Чому безпека агентів — це питання походження даних

Де саме ламається процес у сценарії

Джерело описує ілюстративний сценарій. Збій у ньому складається з кількох ланок, і кожна окремо виглядає безневинно.

• Змішування джерел. Агент бере ціни із закритих цінових систем, внутрішньої комунікації та архівних пропозицій і зводить їх в одну відповідь.
• Впевненість замість перевірки. Результат здається агентові точним, тому він передає його далі.
• Передача між агентами. Другий агент отримує вже готові дані, а не вихідні документи, і пише на їх основі пропозицію.
• Жодної людини на передачах. Ні першу, ні другу передачу ніхто не перевіряє.
• Неможливість розслідування. Коли в пропозиції знаходять несхвалену, конфіденційну й чутливу інформацію, ніхто не може встановити, де вона потрапила в процес і як розійшлася системами, файлами та агентами.

Чому автори говорять про дані, а не про інструменти

Аргумент такий: агенти працюють не зі статичними файлами. Дані постійно вбираються, копіюються, підсумовуються, перетворюються, повторно використовуються й поширюються в нових формах. Захист, побудований лише навколо застосунків, систем, мереж чи пристроїв, автори вважають уже недостатнім. Це не заклик такий захист прибрати, а теза, що його бракує. Звідси вимога data lineage: простежувати рух даних у процесах, де працюють люди, агенти або обидва разом. Автори пов'язують це з керуванням, підзвітністю та довірою.

Той самий механізм в інших відділах

Матеріал описує лише продажі. Схема «агент збирає з кількох джерел, другий агент оформлює, людина не дивиться» впізнається й деінде. Нижче наша ілюстрація, а не приклади з джерела:

• Фінанси. Агент готує довідку для банку з управлінської звітності та внутрішніх листів, другий агент робить із неї презентацію. Оцінка, призначена лише для правління, може опинитися в зовнішньому документі.
• HR. Агент збирає дані для оферти з кадрової системи та листування керівників. У текст може потрапити зарплата іншого працівника.
• Юристи. Агент складає проєкт договору на основі архівних угод і переносить умови, конфіденційно погоджені з іншим контрагентом.

Що перевірити, перш ніж довіряти результату

• Чи може система для конкретної відповіді показати, з яких джерел її складено.
• Чи є серед джерел агента закриті системи, до яких кінцевий отримувач документа не має доступу.
• Чи стоїть людина хоча б на одній передачі між агентами, бажано перед тим, як документ іде назовні.
• Чи зможете ви після інциденту відновити ланцюжок: який агент, яке джерело, на якому кроці.

Типова помилка: вважати, що точний на вигляд результат є безпечним. У сценарії агентові результат саме здавався правильним, а проблема була в походженні даних. Перевірку можна попросити прямо: Для кожної цифри й факту у відповіді вкажи джерело: систему, документ або лист. Познач джерела з обмеженим доступом. Проте відповідь агента про власні джерела не замінює технічної простежуваності. Це додаткова перевірка, а не гарантія.

Враховуйте природу тексту. Це спонсорований матеріал, створений у партнерстві з Cyberhaven підрозділом замовного контенту MIT Technology Review Insights, а не редакцією видання. Даних про частоту таких інцидентів і конкретних способів запровадити data lineage в ньому немає.