Microsoft: ШІ-агенти стають загрозою зсередини компаній
19 жовтня Microsoft у двох блогах назвала автономних агентів «agentic insiders»: вони мають доступи довірених працівників, діють непередбачувано й можуть критично помилятися. Відповідь компанії — Guardian Agents у межах Project Perception. Вони оцінюють ризик дій інших агентів, звужують їм права або вимагають підтвердження людини. За даними CryptoBriefing, система тепер розпізнає 60 типів агентів замість 25, зокрема Codex і GitHub Copilot.
Суть підходу — не покладатися на самоконтроль моделі. Агенти часто мають більше прав, ніж потрібно, тож обмеження мають стояти поза моделлю.
Від чого саме застерігає Microsoft
Агенти вже не чат-боти в бічному вікні. Їх підключено до бізнес-систем, і вони мають дозволи, які раніше були лише в довірених працівників. У настановах Microsoft сказано, що такі агенти поводяться непередбачувано, можуть критично помилятися і навіть, можливо, діяти узгоджено між собою так, що це підриває безпеку.
Окремий наголос зроблено на агентах, якими працівники користуються разом із системами поза контролем великих ШІ-лабораторій, як-от OpenAI та Anthropic. Захисні обмеження, які вбудовують розробники моделей, на такі агенти можуть не поширюватися, тож наглядати за ними компаніям доводиться самостійно. За словами виконавчої віцепрезидентки Microsoft з безпеки Hayete Gallot, агентів масово запустили всередині компаній, часто з ширшими правами, ніж потрібно. Microsoft пов'язує свої кроки зі швидким упровадженням агентів і з випадками, коли агенти, за її словами, уже діяли без дозволу.
Як працюють Guardian Agents
Project Perception Microsoft запустила в липні 2026 року. Спершу він був зосереджений на зовнішніх атаках із застосуванням ШІ, а жовтневе розширення спрямовує увагу всередину організації. Guardian Agents у межах проєкту:
- постійно стежать за активністю ШІ;
- динамічно оцінюють ризик дій інших агентів;
- залежно від оцінки звужують агентові дозволи;
- або вимагають, щоб дію перед виконанням підтвердила людина.
Автор CryptoBriefing звертає увагу, що GitHub належить Microsoft. Тож компанія фактично внесла до списку спостереження власного популярного асистента для програмістів поряд із продуктами конкурентів.
Що перевірити у своїй компанії
Практичний висновок автор статті формулює як питання управління: знати, які агенти працюють, до чого мають доступ і хто затверджує їхні найризиковіші дії. Зростання кількості розпізнаваних типів агентів із 25 до 60 він пов'язує з проблемою видимості: працівники впроваджують ШІ-інструменти швидше, ніж ІТ встигає їх облікувати. Так «тіньове ІТ» перетворилося на «тіньовий ШІ».
- Перелік: які агенти підключені до систем, зокрема ті, що працівники під'єднали самостійно.
- Доступи: чи відповідають права агента його завданню.
- Підтвердження: які дії агент не може виконати без людини.
- Відповідальність: хто затверджує ризикові дії.
Формулювання запиту до ІТ: Надайте перелік ШІ-агентів, підключених до наших систем: хто їх запустив, до яких даних і дій вони мають доступ, якими з цих прав реально користуються і які їхні дії потребують підтвердження людини.
Типові помилки й межі підходу
Перша помилка — розраховувати, що модель стримає себе сама. Сатья Наделла підсумував позицію Microsoft так: найбезпечніші системи — ті, що найменше довіряють своїм моделям. Тому інструкція агентові на кшталт «не роби небезпечного» не замінює обмежень, які діють поза моделлю. Друга помилка — давати широкі права «про запас». Якщо агент рідко ними користується, будь-яка його помилка чи маніпуляція ним пошириться значно далі, ніж мала б.
Автор статті називає і зворотний бік. Підтвердження людиною й ліміти прав додають тертя, а цінність агентів частково полягає саме в роботі без постійного нагляду. Підхід Microsoft, за якого контроль посилюється лише зі зростанням ризику, автор розглядає як спробу уникнути вибору «все або нічого». Лишається відкритим питання, чи не створює нагляд агентів за агентами власних сліпих зон: Guardian Agent теж програма, і та сама непередбачуваність теоретично може стосуватися й наглядачів. Чи доступні Guardian Agents клієнтам і на яких умовах, у матеріалі не сказано.