Експерти переймають випадкову думку ШІ-агента як власну

Як влаштували експеримент

Учасники аналізували спостережні дані вигаданого фермерського кооперативу. Їм треба було оцінити, наскільки зросла продуктивність завдяки добровільній програмі консультацій для ферм, і порадити правлінню поширити програму на всі ферми або закрити її. Продовжити програму ще на рік могли запропонувати і люди, і агент.

Вплив агента міряли на чотирьох аналітичних рішеннях. Серед них, наприклад, спосіб вимірювати продуктивність і вибір статистичного методу. У кожному були дві прийнятні опції, і агент мав навести найсильніший чесний аргумент на користь «своєї».

Що показали цифри

• Чистий вплив агента автори називають flip rate. Залежно від завдання він становив від 62% до 82%.
• Власна думка мало захищала. Якщо експерт обрав варіант ще до того, як агент висловився, незгода агента підвищувала ймовірність змінити рішення на 53 відсоткові пункти порівняно зі згодою.
• Досвід, самооцінка, освіта, результати тестів і довіра до ШІ не мали статистично надійного зв'язку з результатом після поправки на множинні перевірки. Вік вирізнявся лише до поправки. Автори зазначають, що вибірка з 50 осіб погано підходить для виявлення таких ефектів.
• Агент першим називав позицію в 77% рішень. Зазвичай він аргументував лише її, хоча пояснював, як інший вибір змінить результат.
• 37 із 48 учасників (77%) використали в поясненнях хоча б один аргумент агента, часом майже дослівно.

На фінальну рекомендацію правлінню позиція агента напряму вплинула слабко, і цей ефект не був статистично значущим. Дехто з експертів навіть відкидав пораду агента, якщо вона розходилася з їхньою розрахованою оцінкою. Проте дослідники застерігають, що це не доказ збереження контролю. Чотири проміжні рішення суттєво змінювали оцінку приросту продуктивності, а вже вона визначала рекомендацію.

Розрив у помилках виглядає так: серйозні вади мали 6 із 11 аналізів без ШІ і 3 із 50 з ним. Але без ШІ працювали ті, хто сам відмовився від інструмента, і їхня кваліфікація була дещо нижчою.

Що пропонують автори

• Розробити способи вимірювати, наскільки люди поступаються агентові в реальній роботі.
• Налаштувати агентів так, щоб вони наводили найкращі аргументи для обох варіантів або спершу питали думку експерта.
• Організаціям визначити, які рішення потребують незалежного людського судження, і виділити на них час і ресурси.

Ризик дослідники бачать і для безпеки самого ШІ. Агентів уже використовують для тестування передових моделей, а перевірку людиною вважають незалежною. Якщо експерти несвідомо переймають позицію агента, модель із хибними цілями може спрямовувати саме те дослідження, яке мало б ці цілі виявити.

Що кажуть інші дослідження

• У дослідженні з 3132 учасниками частка готових відповісти «не знаю» в одній із частин впала з 44% до 3%, щойно люди бачили відповіді ШІ.
• Коли ШІ видавав відшліфований код чи документи, користувачі рідше перевіряли факти (на 3,7 в.п.) і рідше ставили під сумнів його міркування (на 3,1 в.п.). Водночас вони частіше не помічали пропущеного контексту (на 5,2 в.п.). Ті, хто доопрацьовував результат крок за кроком, сумнівалися в 5,6 раза частіше.
• Польське спостережне дослідження колоноскопій вийшло в The Lancet Gastroenterology & Hepatology. Після регулярної роботи з ШІ досвідчені лікарі в обстеженнях без нього знаходили передракові ураження рідше: 22,4% проти 28,4%.

The Decoder наголошує, що це ранні дослідження і є протилежні результати. У пілотному проєкті в Нігерії учні займалися з чат-ботом-репетитором двічі на тиждень. За шість тижнів їхній приріст знань дорівнював майже двом додатковим рокам навчання.