Люди ділилися випадками, коли фейкові дані змусили ChatGPT і Gemini дати неправду

Модератор форуму Julia Discourse розповів, що доводиться боротися зі спамом, підлаштованим під AI (GEO), а не лише під пошук (SEO): якщо SEO-спам легко впізнати за посиланнями, то нові дописи виглядають як щирі відповіді на кшталт «Як використовувати Julia для аналізу ринкових даних» — без жодного посилання, і лише іноді автори дописів згодом повертаються, щоб додати номери телефонів. За словами коментатора, це шкідливіше за звичайний SEO-спам, бо провокує щирі, добросовісні відповіді спільноти.

Інший учасник обговорення займався видаленням фейкових номерів підтримки бренду і зазначив, що проблема була не в тому, щоб їх знайти, а в тому, що видалення одного PDF-файлу просто призводило до появи нового поста на Medium вже наступного ранку.

Один із коментаторів описав досвід у продуктовій роботі: він закидає транскрипти дзвінків із фідбеком у Claude, і модель вірить кожному слову, роблячи висновки на кшталт «користувач сказав, що використає цю функцію — треба її зробити». За його словами, це не так, і саме в цьому суть аналізу — відділяти щирі наміри від розмовних люб'язностей, з чим, на його думку, LLM справляються погано.

Ще один коментатор розповів, що його літня сусідка шукала номер телефону служби підтримки Microsoft, і Gemini підказала їй шахрайський номер. Після цього її обманули настільки, що йому довелося витратити вихідні на очищення її комп'ютерів, блокування облікових записів і боротьбу з крадіжкою особистих даних.