ШІ забуває правила після стиснення контексту

Що саме втрачається під час compaction

Дослідження Penn State фокусується не на звичайних помилках відповіді, а на окремому типі інструкцій — session constraints. Це тимчасові правила на одну сесію: наприклад, спершу підтверджувати зміни з користувачем або не використовувати його ім’я у відповідях. Вони не є частиною основного завдання і не зберігаються як постійні системні інструкції.

Саме тому такі обмеження виявилися крихкими. Системи стиснення контексту зазвичай намагаються зберегти безперервність роботи: мету, поточний стан і наступні кроки. Побічні умови, які накладає користувач, у цьому процесі часто випадають.

Практична проблема в тому, що агент після стиснення може продовжити завдання так, ніби заборони або умови не існувало. У джерелі наведені приклади ризиків: несанкціоновані виклики інструментів, розкриття прихованої інформації або пропуск перевірки, яку користувач прямо вимагав.

Як це вимірювали і які цифри показав тест

Для оцінки дослідники представили набір тестів COMPINT. У ньому перевіряли, чи зберігаються вставлені користувацькі обмеження після стиснення контексту і чи продовжує модель їх виконувати.

• У середньому після compression зберігалося лише 17% доданих session constraints.
• Коли агент отримував повний, нестиснений контекст із правилом користувача, дотримання правил становило 59–71%.
• Після стиснення показник для більшості протестованих compactors різко падав і часто був лише трохи вищим, ніж у випадку, коли обмеження взагалі не задавали.
• Більш цільові prompts для стиснення допомагали, але не закривали проблему: навіть prompt, спеціально побудований для збереження користувацьких обмежень, утримував менше 40% таких інструкцій.
• Більшість протестованих compactor setups працювали гірше, ніж варіант без compression, хоча GPT-5.4-mini у деяких сценаріях перевищував baseline.

Ці результати важливі саме для довгих робочих чатів. У джерелі пояснюється, що контекстне вікно стає вузьким місцем, коли користувачі не починають новий чат, а постійно повертаються до однієї сесії. Для звичайного користувача керування контекстом майже недоступне, тому лабораторії й використовують compaction, аби звільнити місце.

Запропоноване рішення: окремий модуль для правил користувача

За даними джерела, найкращий результат дала не зміна основної системи стиснення, а невеликий додатковий модуль поруч із нею. Він побудований на Qwen3.5-9B і читає кожен ввід користувача, щоб виявляти session constraints та збирати їх в окремий список.

Коли пізніше контекст стискається, цей список додається до summary. Так правила користувача не губляться разом із деталями попередньої розмови. У джерелі підкреслюється, що такий extractor не потребує навчання і не вимагає змін у самій compression system.

• Загальне утримання обмежень у трьох протестованих сценаріях — понад 90%.
• Для agent trajectories — 95,6%.
• Для long-term research tasks — 95,1%.
• Для multi-turn chats — 90,3%.
• Набір COMPINT і extractor доступні на GitHub.

Що це означає для бізнес-користувачів і що поки невідомо

Для керівників, фінансистів, бухгалтерів, юристів і HR це сигнал не про те, що AI-агентами не можна користуватися, а про межі довгих сесій. Якщо в робочому чаті є умови на кшталт «нічого не надсилати без погодження» або «не розкривати цю інформацію», саме вони можуть виявитися менш стійкими після стиснення контексту.

Застосувати запропонований extractor у звичайному корпоративному інтерфейсі сьогодні можна лише там, де команда має доступ до відповідної інфраструктури або інтеграцій. У джерелі сказано, що код і evaluation suite доступні на GitHub, але не наведено умов впровадження в конкретні комерційні продукти.

• Не вказано дату появи такого підходу у масових AI-асистентах.
• Не вказано вартість використання extractor.
• Не уточнено, які саме платформи або продукти вже підтримують подібний механізм.
• Не наведено юридичних гарантій, що збережене правило буде виконане у кожному випадку.