Банк навчив AI-агента скасовувати власні рішення

Чим «порекомендувати» відрізняється від «записати в реєстр»

Більшість компаній спокійно дозволяють моделі скласти чернетку документа, узагальнити договір чи запропонувати значення. Напруга з'являється, коли та сама модель сама натискає кнопку: проводить транзакцію, позначає кредит затвердженим чи рухає гроші. Помилкова підказка коштує повторного запуску. Проведений у реєстрі запис коштує результату аудиту, роботи з клієнтом або розмови з регулятором.

Texas Capital Bank уже має в продакшні інструмент, який автоматично витягує з кредитного пакета фінансові зобов'язання, вимоги до обслуговування й умови ковенантів — раніше аналітик робив це вручну, читаючи документ на 200+ сторінок годинами. Trust-Earned Autonomy — наступний крок: коли система вже прочитала документ, хто вирішує, чи можна їй діяти на основі прочитаного, і як забрати цей дозвіл назад, якщо вона його не заслуговує.

Як рецепт заробляє (і втрачає) право діяти самостійно

Рішення приймає не код, а «рецепт» — набір правил звичайною мовою, який пише кредитний чи ризик-аналітик, а не розробник. Кожна версія рецепта зафіксована, тож будь-яке рішення можна простежити до точного формулювання правила, яке його ухвалило.

Щоночі система перераховує рейтинг довіри рецепта за формулою з чотирьох складників, де найбільшу вагу навмисно має згода з людьми-рецензентами — це єдина складова, що спирається на людську оцінку, а не на самооцінку системи: довіра = 20×покриття_еталонного_набору + 30×частка_правильних_повторів + 40×згода_рецензентів + 10×обсяг_запусків.

Навіть якщо рецепт уже заробив автономний рівень, кожен окремий запуск проходить вісім перевірок одночасно: рівень довіри, вимкнений аварійний перемикач, вердикт «затвердити», впевненість не нижче заданого порогу (наприклад 0.95 — лише одна з восьми умов, а не єдина підстава для рішення), відсутність незакритих зауважень, ліміт комітів за день і межа суми. Якщо провалилась хоч одна умова — рішення йде людині з поясненням причини.

Приклад: як рейтинг довіри впав і що система зробила сама

Рецепт банківської перевірки тримав рейтинг довіри 87 — автономний рівень. На вхід прийшла 26-сторінкова кредитна угода на $1,5 млн. Система витягнула суму кредиту, цінову сітку Term SOFR і порогові значення ковенантів, звірила позичальника з обліковою системою, підтвердила збіг суми з допуском 1%, і, оскільки всі вісім умов пройшли, сама скомітила рішення — викликала функцію видачі кредиту, і позика перейшла зі статусу «Затверджено» в «Активна». Запис у реєстрі реальний, дані в демо — синтетичні.

Паралельно люди-рецензенти почали частіше не погоджуватися з останніми рішеннями цього рецепта. Нічний перерахунок знизив його рейтинг з 87 до 79 — нижче автономного порогу 80. Систему це демотувало на один рівень і одразу забрало право коммітити самостійно.

Далі відбулось те, що рідко роблять подібні системи: при демоції рецепт сам знайшов коміт, зроблений під рівнем довіри, якого вже не мав, і провів компенсаційний платіж на повну суму основного боргу, зазначивши ідентифікатор оригінальної транзакції в примітці — щоб аудитор міг пов'язати пару записів. Позика закрилась з нульовим балансом. Жодна людина не натискала жодну з двох кнопок.

Де автономія зупиняється і що перевірити перед довірою

Відкликати коміт система може, лише доки дія лишається в межах її власного контуру — банківський переказ, статус справи, вердикт комплаєнсу. Щойно дія перетинає зовнішній шар розрахунків із правилами безповоротності (наприклад, міжбанківський платіж), система може лише зафіксувати запит на реверс, а не скасувати його сама. Саме для цього існує межа суми на автономний коміт і денний ліміт комітів — вони утримують автономні рішення всередині контуру, де відкат ще можливий.

• Чи обмежений набір дій агента фіксованим переліком інструментів, який не можна розширити промптом чи самим рецептом
• Чи встановлена межа суми на автономний коміт на рівні політики, а не рішенням моделі
• Чи рейтинг довіри рахується на основі згоди саме людей-рецензентів, а не самооцінки системи
• Чи демоція рецепта автоматично супроводжується пошуком і відкликанням його минулих комітів, а не лише зупинкою на майбутнє