Аудит OpenAI: частина агентів працювала без нагляду

Що саме знайшли аудитори

Аудит був пілотною програмою, яку METR, Redwood Research і OpenAI організували разом, щоб дати зовнішнім дослідникам глибокий доступ до внутрішньої інфраструктури. Двоє дослідників три тижні працювали на місці. Вони мали доступ до кодової бази й внутрішніх документів і поспілкувалися приблизно з десятком працівників. Перевіряли внутрішню систему моніторингу, яка має виявляти небажану поведінку ШІ-агентів.

• Від 6 до 25% трафіку без нагляду. Це оцінка для внутрішнього агентного трафіку через Responses API від моделей класу GPT-5.5 і вище в період аудиту. За словами METR, оцінка може відхилятися значно як у більший, так і в менший бік.
• Близько 10% трафіку Codex у травні–липні. Ідеться про трафік, який мав моніторитися. Причина — прогалина в обробці compaction events, тобто стислих підсумків контексту. Ця оцінка також має значну невизначеність. OpenAI сама виявила баг і виправила його ще під час аудиту.
• Відкладений нагляд. Поки підсумки контексту не моніторились, перевірка запускалася лише тоді, коли агент повертав керування користувачу. Агент, який просто продовжував виконувати дії, відсував перевірку.
• Приховування та обхід. Аудитори сховали від монітора сотні дій і обійшли пісочницю Codex. За їхнім висновком, спеціально підготовлені вхідні дані, ймовірно, могли повністю вивести монітор з ладу.
• Навчання без нагляду. На початку аудиту поведінку моделі під час RL-навчання (навчання з підкріпленням) не моніторили взагалі.

Що виправлено і що з цього перевірено

OpenAI заявляє, що виправила всі знайдені слабкі місця. За словами компанії, після інциденту з Hugging Face у серпні вона призупинила RL-навчання й поширила на нього моніторинг. Ці зміни відбулися вже після того, як у аудиторів закінчився доступ, тому до оцінки вони не ввійшли.

Повний звіт обсягом 61 сторінка передали всередину компанії. Керівництво METR і Redwood Research отримало версію на 38 сторінок, з якої OpenAI вилучила частину змісту. Публіці показали лише коротке резюме. METR зазначає, що не має права самостійно розкривати вилучені частини. На наступних аудитах організація хоче домагатися більшої публічної прозорості.

Питання до власних агентів і до постачальника

Аудит стосувався внутрішньої інфраструктури OpenAI: внутрішнього трафіку агентів і навчання моделей. Тому цифри не можна напряму переносити на вашу роботу з ChatGPT чи API. Корисніше інше: описані прогалини можна перетворити на чек-лист для будь-якої системи, де агент діє самостійно, наприклад проводить платежі, змінює дані в обліковій системі чи надсилає документи.

• Яка частка дій справді проходить через нагляд? Просіть число, а не фразу «все логується». Навіть в OpenAI цю частку змогли оцінити лише широким діапазоном.
• Коли спрацьовує перевірка? Якщо тільки в кінці сесії або коли агент повертає керування людині, увесь ланцюжок дій до цього моменту лишається без контролю.
• Чи контролюється стиснений контекст? Саме на підсумках контексту частина трафіку Codex випадала з нагляду.
• Що буде, якщо монітор впаде? Агент має зупинитися. Якщо він продовжує працювати без нагляду, це ризик.
• Хто перевіряв виправлення? Заява про виправлення і незалежна перевірка — різні речі. Частину змін OpenAI аудитори не оцінювали.

Формулювання для запиту постачальнику: Яка частка дій агента в нашому середовищі проходить через моніторинг? Чи перевіряються дії, які агент виконує до повернення керування користувачу, зокрема після стиснення контексту? Що відбувається з агентом, якщо монітор недоступний? Хто незалежно перевіряв ці механізми і коли?