OpenAI одразу видала майже 400 математичних доведень
OpenAI випустила майже 400 математичних результатів у понад 700 рукописах — з комбінаторики, геометрії, теорії чисел, топології. Лише 300 з 719 рукописів (42%) формалізовано в Lean, решту доведень перевірятимуть вручну. Компанія вже відкликала три роботи.
Понад 30 математиків сказали The Verge, що розібратися у виданому можуть роки — лише перегляд 40-сторінкового змісту абстрактів зайняв у них годину. Частина робіт тягне на рівень Філдсівської медалі (прогрес щодо гіпотези Рімана, гіпотези Ходжа, задачі Какея), інші — «slop»: погане оформлення і сумнівна атрибуція.
Що передувало релізу
Це не перший конфлікт OpenAI з математичною спільнотою: раніше компанія вже потрапляла в суперечки через претензії щодо доведень, пов'язаних із рівнянням Нав'є-Стокса (математик Тристан Бакмастер з NYU був у центрі того спору). Після цих «болючих» зіткнень OpenAI почала співпрацювати з новоствореною Advisory Group on Mathematics and Artificial Intelligence (AGMAI), яка заздалегідь сформулювала вимоги до відповідального релізу.
- публікувати роботи, зрозумілі людині, або давати підтримку для їх розуміння;
- формалізувати докази там, де це можливо;
- розкривати, які моделі й промпти використані;
- не перетворювати математичні релізи на маркетинг моделей;
- не тестувати найскладніші задачі на закритих моделях, недоступних спільноті.
Що показала перевірка якості
Кевін Баззард з Imperial College London, що працює в алгебраїчній теорії чисел, виявив десятки теорем у своїй галузі — лише близько шести з них одразу «виділялися», і майже жодна не була формалізована в Lean. За його словами, тепер йому лишається або читати потенційно некоректний «slop», або чекати, поки хтось формалізує ці результати. Брендан Хассетт з Brown сказав, що опис задачі, яку він знає найкраще, «мав мало сенсу» після швидкого читання — це було сказано ще до того, як OpenAI відкликала три роботи.
За даними компанії, модель намагалася розв'язати понад 4000 задач, а на типовий результат йшло близько трьох годин обчислень ChatGPT Pro в режимі «мислення». Математик Скотт Армстронг зауважив, що деякі напрямки атакували з майже «військовою точністю»: кластер робіт із математичної фізики вказує на роботу над теорією Янга-Міллса і пов'язаною проблемою «mass gap» — однією із семи Prize problems.
Кар'єри під ударом нерівномірно
Тристан Бакмастер сказав, що вже чув про трьох людей, чиї дослідницькі програми були повністю «знищені» релізом. Франческо Фурньє-Фачіо з Heriot-Watt заявив, що теорію груп у його області буквально «розбульдожили». Водночас Колва Роні-Дугал з St Andrews, яка теж працює в теорії груп, сказала, що її ділянка залишилась практично неушкодженою — хоча пізніше написала, що почувається «невпевнено», знайшовши власну роботу процитованою в одній із робіт.
Що OpenAI пообіцяла і чого не виконала
Компанія виконала частину вимог AGMAI: профінансує серію воркшопів і конференцій (без деталей коли й у якому форматі), впровадила «протоколи перевірок і цитувань» та обіцяла зберігати публічну історію релізу. Станом на 8 жовтня ця історія вже містила правки понад десятка рукописів і вилучення трьох робіт через «помилку знаку», яка робить аргумент недійсним.
Але найважливіші пункти AGMAI лишилися невиконаними: OpenAI не назвала модель, що стояла за релізом, не розкрила промпти й повний перелік задач, які модель намагалась розв'язати. Компанія визнала, що якість робіт поки недостатня, і пообіцяла покращити цитування й виклад у майбутніх релізах — але дала зрозуміти, що тестування моделей на математиці не припинить, а вважає це пріоритетом. AGMAI назвала реліз лише «першим кроком» і наголосила, що майбутнє математичних досліджень «не може полягати лише в розумінні результатів, вироблених лабораторіями ШІ».