OpenAI відкрила Decisions API для всіх
У четвер OpenAI зробила Decisions API доступним усім клієнтам — відповідь на Jev від TypeSafe (оцінка $7,6 млрд). OpenAI прискорила ChatGPT Luna: інференс впав з 1–3 секунд до 100–180 мс. У Speak час між діями скоротився з 1,4 с до 0,13 с.
Decision-моделі швидко обирають варіант і оцінюють впевненість — дешевша заміна LLM для масових рішень. У бенчмарках AIM System One Index та Artificial Analysis Decision Index OpenAI на 8-му і 14-му місці, Jev — на 7-му і 3-му; на OpenRouter наразі частіше запитують саме TypeSafe.
Чому OpenAI обрала швидкість, а не нову модель
За словами Нікунджа Ханди, керівника напрямку API в OpenAI, після появи Jev колеги в компанії відреагували словами: «у нас же мільйон кейсів для цього». Але замість того, щоб будувати окрему спеціально відкалібровану decision-модель, як зробила TypeSafe, команда OpenAI взяла вже готову ChatGPT Luna і перенастроила її для швидшого інференсу й дешевшої роботи.
Ханда прямо визнає, що зараз це просто «звичайна Luna, яка виконує роботу» — без спеціального тренування під decision-задачі. За його словами, у майбутньому OpenAI може додати окреме тренування, щоб покращити модель саме в цьому напрямку.
Де вже протестували й що додали в публічній версії
Decisions API анонсували на дні розробників OpenAI 29 вересня, а у четвер відкрили доступ усім клієнтам. У публічну версію додали нові голосові та візуальні модальності, а також працювали над зниженням затримки в різних регіонах світу, географічно розподіляючи обчислювальні ресурси для інференсу.
Серед перших клієнтів, які тестували API, — Box, Datadog, Ramp і Speak; інженери замінювали ним звичні LLM-моделі OpenAI, щоб отримати вищу пропускну здатність. Компанія також використала продукт, щоб прискорити роботу власного голосового асистента Dots.
Чи дійсно рейтинги показують лідера
У матеріалі TechCrunch зазначається: поки незрозуміло, що саме робить decision-модель «хорошою» — крім формули «працює для вас». Баланс між інтелектом, вартістю, калібруванням і швидкістю, за словами журналіста, відрізняється залежно від конкретного робочого навантаження. Diogo Almeida, CEO TypeSafe, не довіряє публічним бенчмаркам і радить тестувати моделі на власних задачах — хоча сама TypeSafe минулого тижня опублікувала власний рейтинг разом із випуском нової версії Jev, яка отримала підтримку зображень і «умовних if-операторів».
Самі публічні бенчмарки — AIM System One Index і Artificial Analysis Decision Index — фаворитами називають не OpenAI і не TypeSafe, а D1 Ultra від Liquid (випущена минулого тижня) і Elephant-1 від Base Lab. Є ще один, менш серйозний рейтинг — JevMan, де decision-моделі грають у PacMan; за словами Felix Wunderlich, chief growth officer Opper AI, який створив цей бенчмарк, гра добре тестує моделі через безперервний потік швидких рішень під високим ризиком — на кожному перехресті модель має вирішити напрямок за частки секунди. Найновіша Jev очолює саме цей рейтинг.
Де OpenAI бачить свою перевагу
За словами Ханди, сильна сторона Luna — мультимодальність: у класифікації зображень модель показує кращу якість і краще калібрування, ніж конкуренти. Клієнти OpenAI також просять зробити API гнучкішим для використання зображень не лише як вхідних, а й як вихідних даних.
Ханда бачить потенціал у подальшому прискоренні: якщо довести затримку приблизно до 60 мілісекунд, API зможе обробляти кожен окремий кадр відео в реальному часі. Назва Jev відсилає до економіста, який пояснив, як підвищення ефективності використання ресурсу робить його ширше використовуваним. Ханда ж описує це як дедалі більший «божевільний набір кейсів», які досі ховалися на видноті.
Ціни на Decisions API в матеріалі не наведено.