AI може ввічливо підтвердити вашу помилку
Небезпечна помилка — ставити запит із хибним припущенням. Наприклад: «Перевір договір постачання і підтверди, що постачальник не несе відповідальності за прострочення». Якщо в договорі відповідальність усе ж є, AI може погодитися з вами й написати впевнено, але неправильно.
Як уникнути: не просіть підтвердити вашу версію. Просіть перевірити її. Формулювання для роботи з договором:
Перевір моє припущення: постачальник не несе відповідальності за прострочення. Знайди в тексті договору пункти, які це підтверджують або спростовують. Якщо доказу немає — так і напиши. Не вигадуй.
Те саме для цифр, дат, реквізитів, норм і звітності: AI готує чернетку, але критичне звіряємо з першоджерелом.
Що це дає: менше ризику підписати, надіслати або погодити документ на основі впевненої помилки.
Де ризик найбільший
AI помиляється не лише в договорах. У першоджерелі наведені типові зони ризику: цифри у звітність, ставки податків, норми закону, цитати, реквізити, періоди. Тобто все, що потім піде у рішення, декларацію, лист клієнту або документ назовні.
Другий робочий приклад: ви просите перевірити AI-відповідь щодо ПДВ. Якщо запит уже містить припущення, модель може не сперечатися, а ввічливо підлаштуватися. Безпечніше ставити завдання так: Перевір моє припущення щодо ПДВ. Покажи, що підтверджено, що треба звірити з джерелом, де можлива вигадка. Якщо доказу немає, напиши "не знайшов".
Третій приклад: звіт або аналітична записка з періодами. У тренажері з першоджерела окремо згадана плутанина Q1/Q4. Для фінансиста або бухгалтера це не стилістична помилка, а ризик неправильного висновку. Формулювання: Перевір періоди в цьому тексті. Знайди всі згадки Q1 і Q4, поясни, де вони підтверджені, а де можуть бути переплутані. Не виправляй мовчки.
Як ставити завдання, щоб AI не підлаштовувався
Поганий запит просить підтвердити вашу версію. Робочий запит просить її перевірити. Різниця не в чемності, а в ролі моделі: вона має шукати докази за і проти, а не писати відповідь під очікуваний висновок.
- Назвіть припущення окремо:
Перевір моє припущення: ... - Попросіть знайти підтвердження і спростування в тексті або джерелі.
- Додайте вимогу не вигадувати:
Якщо доказу немає, так і напиши. Не вигадуй. - Попросіть показати джерело для кожного факту: документ, пункт, реквізит, цитату або норму.
- Після відповіді запустіть самоперевірку:
Перевір свою відповідь: що підтверджено, що треба звірити, де можлива вигадка.
Такий guardrail особливо потрібен у важливих задачах: гроші, звітність, рішення, юридичні формулювання, реквізити. Для чернетки листа він може бути зайвим, але для документа назовні економити на перевірці не варто.
Коли прийом не працює
Guardrail знижує ризик, але не робить AI базою даних. У першоджерелі прямо сказано: модель може генерувати правдоподібну відповідь, коли точної інформації немає. Тому рядок "не вигадуй" не замінює першоджерело, облік, первинку або норму закону.
Прийом слабшає у довгих задачах. У матеріалі зазначено, що сучасний Claude на простих запитах помиляється рідко, але ризик живе у довгих задачах. Якщо в одному запиті договір, розрахунки, періоди, реквізити і висновок для керівника, модель може помилитися в одній ділянці й написати решту впевнено.
- Не покладайтеся на AI для подій або даних, яких модель може не знати.
- Не приймайте впевнений тон за доказ.
- Не запускайте обробку на 500 елементах без перевірки на 3-5 прикладах.
- Не вимагайте перевіряти все підряд: це з'їдає вигоду. Перевіряйте критичне.
Що перевірити перед довірою до результату
Перший тест: чи є джерело для кожного факту. Якщо AI пише ЄДРПОУ, цитату, ставку, норму ПКУ, реквізит або висновок за документом, поруч має бути джерело. Немає джерела означає не "ймовірно правильно", а "треба звірити".
Другий тест: чи не була відповідь отримана з навідного запиту. Якщо ви написали "підтверди, що...", результат треба перечитати як потенційно упереджений. Краще вставити відповідь у новий чат і попросити: Ось відповідь AI-асистента на запит. Перевір: що підтверджено, що звірити, де можлива вигадка.
- Для цифр звірте формулу, округлення і період.
- Для звітності звірте дані з обліком або первинкою.
- Для юридичних висновків звірте пункт документа або норму закону.
- Для реквізитів звірте написання, код і посилання з оригінальним джерелом.
- Для зовнішнього документа перевірте все, що впливає на гроші, рішення або відповідальність.