Впевнений тон AI ще не доказ
Помилка: сприймати гладку відповідь як перевірений факт. AI може впевнено написати вигаданий ЄДРПОУ, неточний ПДВ, переплутати Q1 і Q4, «прочитати» не ту секцію договору або погодитися з вашою помилкою.
Приклад для аудиту договору постачання. Не просіть: «Перевір договір». Краще вставте текст і додайте:
Перевір відповідь на ризики. Розділи висновок на: 1) підтверджено текстом договору; 2) треба звірити з першоджерелом; 3) можлива вигадка. Окремо перевір реквізити, ПДВ, дати, суми й посилання на норми. Якщо джерела немає — напиши «не знайшов», не додумуй.
Після цього звірте критичне з договором, первинкою, обліком або нормою закону. Для масової перевірки спочатку протестуйте на 3–5 документах, не на 500.
Що це дає: знижує ризик, що красива AI-відповідь потрапить у рішення, звітність або лист назовні.
Де ризик найвищий
AI помиляється не хаотично. У джерелі перелічені шість типів: вигадані факти або реквізити, помилки в розрахунках, хибна інтерпретація документа, застарілі дані, згода з вашою помилкою, вигадані тренди або висновки. Найболючіші місця для бізнесу: цифри у звітність, ставки податків, норми закону, цитати, реквізити, дати й періоди.
Причина проста: модель не є базою даних. Коли точної інформації немає, вона може скласти правдоподібну відповідь. Тому гладкий стиль треба відділяти від доказовості: відповідь може звучати переконливо й водночас містити вигаданий ЄДРПОУ, неточний ПДВ або плутанину Q1/Q4.
- Якщо факт іде у гроші, звітність, рішення, декларацію або документ назовні, його треба звірити з джерелом.
- Якщо джерела немає, правильна відповідь AI має бути «не знайшов», а не припущення.
- Якщо запит спирається на ваше припущення, перевірте, чи AI не погодився з помилкою.
Два робочі сценарії поза договором
Сценарій для фінансів або бухгалтерії: AI рахує або коментує показники для звітності. Ризик тут не в стилі, а в формулі, округленні, ставці, періоді й джерелі цифри. Не просіть просто «перевір розрахунок». Дайте вхідні дані й змусьте модель показати, звідки взяла кожен висновок.
Перевір відповідь щодо розрахунку. Розділи висновок на: 1) підтверджено в наданих даних; 2) треба звірити з обліком або первинкою; 3) можлива помилка або вигадка. Окремо перевір формулу, округлення, період Q1/Q4, ПДВ, дати й суми. Якщо джерела для цифри немає, напиши «не знайшов».
Сценарій для юриста, фінансиста або керівника: на стіл приходить AI-відповідь від колеги, підрядника чи іншого чат-бота. Робочий патерн із джерела: AI перевіряє AI-текст у новому чаті. Тут мета не «зробити красивіше», а знайти слабкі місця.
Ось відповідь AI-асистента на запит: [вставте запит]. Ось відповідь: [вставте текст]. Перевір: що підтверджено, що треба звірити з першоджерелом, де можлива вигадка. Окремо познач цифри, цитати, реквізити, норми закону, періоди й висновки, які потребують зовнішніх джерел.
Покрокова перевірка перед масштабом
Guardrail краще додавати одразу у важливий запит, а не після того, як відповідь уже пішла в роботу. У джерелі це сформульовано як «не вигадуй + джерела + покроково». Для регулярних задач такий рядок варто вшити в асистента.
- Вставте сам текст, дані або відповідь, яку треба перевірити.
- Попросіть розділити висновки на підтверджені, такі, що треба звірити, і можливі вигадки.
- Окремо назвіть критичні поля: реквізити, ПДВ, дати, суми, періоди, цитати, норми.
- Попросіть не додумувати, якщо джерела немає.
- Звірте критичне з обліком, первинкою, договором або нормою закону.
- Перед масовою обробкою перевірте 3–5 елементів, а не одразу 500.
Для кожного факту вкажи джерело в наданому матеріалі. Якщо джерела немає, напиши «не знайшов». Не вигадуй реквізити, цифри, цитати, норми й висновки. Міркуй покроково й окремо познач усе, що треба звірити вручну.
Коли прийом не працює
Перевірка не робить AI джерелом істини. Якщо модель не має першоджерела, вона не може підтвердити факт. Якщо питання стосується подій після дати відсічки моделі, ризик застарілих даних лишається. Якщо документ довгий, AI може інтерпретувати не ту секцію або сторінку, тому посилання на конкретний фрагмент треба дивитися очима.
Є й протилежна помилка: перевіряти все підряд. Джерело прямо попереджає, що це з’їдає вигоду. Раціональна межа така: звіряйте не кожен рядок, а критичне для грошей, звітності, рішень і зовнішніх документів.
- Не довіряйте відповіді без джерела для цифри або норми.
- Не приймайте «звучить логічно» як доказ.
- Не запускайте масову перевірку без тесту на малій вибірці.
- Не просіть загальне «перевір», якщо потрібна перевірка реквізитів, сум, дат і посилань.
- Не виправляйте стиль відповіді, поки не відділили підтверджені факти від можливих вигадок.