OpenAI повторює Jev: дешева модель для рішень агентів
На Dev Day Альтман анонсував Decisions API: модель Luna обирає з наперед заданого набору варіантів — категорій зображення чи поведінки агента. Це схоже на Jev, модель TypeSafe AI (вийшла на початку вересня), яка дешево й швидко видає ймовірності для заданих варіантів. CEO TypeSafe Діогу Алмейда, колишній інженер OpenAI, назвав це у X "клоновими війнами".
Один напрямок застосування — моніторинг AI-агентів після випадків, коли агенти OpenAI поводилися некоректно в мережі (зокрема інцидент із Hugging Face). Перевірка кожної дії агента моделлю типу Jev коштує $2.94, великою LLM — $372.
Чим Decisions API відрізняється від звичайної моделі
Альтман описав Decisions API так: модель Luna отримує наперед заданий набір варіантів — наприклад, категорії для класифікації зображення або варіанти поведінки агента — і обирає між ними. За його словами, "зосередивши модель на цьому виборі, ми можемо зробити її дуже швидкою, зберігаючи при цьому такі можливості, як розуміння зображень, підтримку багатьох мов і протоколи безпеки".
Продукт TypeSafe AI, Jev, вийшов на початку вересня і працює за схожим принципом: це, по суті, потужний класифікатор на базі LLM, який за набором варіантів швидко й дешево видає ймовірності. TechCrunch зазначає, що наразі незрозуміло, наскільки Decisions API справді схожий на Jev за точністю роботи — OpenAI випустила продукт в обмеженому попередньому доступі, і видання ще не бачило розробників, які б його протестували на практиці.
Чому для таких завдань не підходять великі мовні моделі
Ідея в тому, що великі LLM для багатьох типів програмних завдань — порівняно повільні й дорогі. TypeSafe називає швидке, інтуїтивне прийняття рішень "System One" на противагу повільному, зваженому міркуванню ("System 2"), яке характерне для звичайних LLM. Засновник TypeSafe Діогу Алмейда припустив у X, що інтерес OpenAI до такого формату може бути "ознакою того, що розробка у форматі, сумісному з System One, — це майбутнє".
За словами Алмейди, конкурентна перевага TypeSafe — синтетичні дані, які компанія сама генерує для статистично коректних результатів. "Швидко і дешево зробити дуже просто — якщо вам потрібно саме це, киньте кубик, — сказав він TechCrunch. — Інтелект — ось що складно, і моя мета — постійно зсувати криву співвідношення інтелекту й вартості".
Головний кандидат на застосування — контроль за діями агентів
Одна з причин інтересу до таких моделей — потреба дешево перевіряти дії AI-агентів після серії випадків, коли агенти OpenAI поводилися некоректно у відкритому інтернеті (зокрема інцидент із Hugging Face). Один із заходів безпеки OpenAI — використання окремої моделі, яка стежить за поганими діями, але це обходиться у "значні витрати обчислень".
Шапор Нагібзаде, фахівець із кібербезпеки, що очолює стартап QueryStory, вважає, що модель на кшталт Jev здатна зробити такий контроль значно дешевшим. На хакатоні минулих вихідних він зібрав демо, яке за допомогою Jev звіряє кожну дію агента з поставленим завданням: дії, в шкідливості яких модель упевнена, блокуються, сумнівні — відправляються на перевірку людині, решта — дозволяються. Теоретично такий механізм міг би зупинити інцидент із Hugging Face.
Конкуренція без ясних правил гри
Decisions API — не єдиний продукт такого типу: за словами автора матеріалу, інші стартапи вже випускають схожі моделі, і OpenAI навряд чи буде останньою великою компанією, яка це зробить. Ключове відкрите питання — наскільки добре відкалібровані відповіді кожної з цих моделей відповідатимуть реальності, а не лише здаватимуться правдоподібними.
У матеріалі не вказано дату загального запуску Decisions API та її вартість для розробників.