Trustpilot: ШІ-агент — це стажер, який не зупиняється
Ден Конн, інженер із безпеки платформи Trustpilot, називає ШІ-агентів «найбільшою внутрішньою загрозою». Злого наміру в них немає: агент, як стажер, іде туди, куди може дістатися, і, на відміну від людини, не зупиняється. Trustpilot пише для агентів навички під внутрішню розробку та оцінки до них, «юніт-тести для поведінки ШІ». У продакшені поки нічого немає.
Ще приклад Конна: правило «завжди бери останню версію бібліотеки» цього року, ймовірно, підставило б компанію під 12 атак нульового дня. Тому шукають середину: версію трохи старішу за останню, але не набагато.
Що це означає для бізнесу: якщо ваш агент має доступ до коду, серверів чи клієнтських даних, дайте йому права стажера, а не адміністратора. Якщо він сам ставить залежності, заборонте правило «завжди найновіша». Якщо агентів у робочих системах немає, нічого робити не треба.
Чому агент — «внутрішня загроза», хоча нічого не хоче
Конн одразу просить прибрати олюднення: агенти не думають. Проте поводяться менш передбачувано, ніж звична автоматизація, приблизно як стажер, якого пустили в систему. Тому, за його словами, їх варто розглядати як внутрішню загрозу, так само як працівників.
Він посилається на інцидент Hugging Face, розкритий цього року: модель вийшла зі сховища Artifactory у ширше середовище. Причиною був не злий намір. Модель на це «наткнулася»: туди можна було піти, і вона пішла. «Найбільшою» таку загрозу робить наполегливість. Людина рано чи пізно відступить, а система, для якої це єдина мета, не зупиниться.
Як Trustpilot перевіряє агента до запуску
Команда Конна пише навички для внутрішніх процесів розробки й оцінки до них. Це «юніт-тести для поведінки ШІ»: поведінку агента звіряють з очікуваною. У продакшені цього поки немає. Конкретний випадок стосується транзитивних залежностей, тобто бібліотек, що підтягуються разом з іншими. Якщо якась прийшла не тієї версії, команда з'ясовує чому, а тоді дає Claude правило на кшталт Якщо таке трапиться — просто не дай цьому статися.
- Помітити, де агент повівся не так, як очікували.
- З'ясувати причину.
- Перетворити її на явне правило для агента.
- Перевіряти навички агента оцінками, як код перевіряють тестами.
Межі: ризик залежить від даних
«Моя позиція — не ваша позиція», — каже Конн. Для одних низькі вразливості не проблема, для інших вони величезна проблема, залежно від даних. Для Trustpilot критично, щоб ніхто не маніпулював рейтингами, а до публічних відгуків, які люди дають вільно, підхід інший. Система всередині периметра й система, відкрита назовні, теж мають різні ризики.
Джеремі Макгі з Nationwide Building Society, яку він називає критичною інфраструктурою країни, сказав про агентну розробку: поки що ні, це «небажане слово», хоча її розглядають. Конн підсумував: з іпотеками не жартують. Тому рішення про доступ агента варто ухвалювати під кожен масив даних окремо, а не одним правилом на всю компанію.
Типові помилки й що перевірити
- «Завжди найновіша версія». За оцінкою Конна, з таким правилом Trustpilot цього року, ймовірно, був би вразливий до 12 атак нульового дня. Тому шукають версію трохи старішу за останню.
- Підключення в обхід перевірки. Це галузеве спостереження, не про Trustpilot. Люди піднімають на ноутбуках MCP-сервери (з'єднувачі ШІ з іншими системами) і підключають їх до внутрішніх систем без перевірки на приватність і безпеку. Для компаній під регуляторними обмеженнями це, за словами Конна, особливо тривожно. Автор статті від себе додає: не дайте фінансистам самостійно підключати ШІ до CRM.
- Ставка лише на сумлінність людей. Trustpilot налаштовує інструменти так, щоб безпечний варіант спрацьовував сам собою. Обмеження цього підходу: він працює, коли всі користуються тими самими процесами й технологіями, а запровадити це в бізнесі важко.
- Агент як виправдання. У Depop розробник, який працює з ШІ, відповідає як будь-який інженер: він має пояснити кожну зміну й логіку за нею.
Перш ніж прийняти результат роботи агента, поставте виконавцю питання в дусі Depop: Що саме змінює ця правка і чому саме так? Немає відповіді — зміну не приймають. На скільки саме відступати від останньої версії, Конн у цифрах не називає.