Податки з Claude, Codex і Gemini: моделі ловили помилки, але й самі помилялися

Один з учасників розповідає про цьогорічну декларацію, підготовлену з Astra і Codex. За оцінкою учасника, складну декларацію опрацьовано ретельно, усе зведено в таблицю, яку передали бухгалтерові для заповнення податкової форми. Коли форму повернули на фінальну перевірку, Codex знайшов у ній безліч помилок: повернення податку виходило майже на $2 тис. меншим, ніж мало бути, частину даних внесли не в ті поля. Щоб довести все до повної правильності, довелося кілька разів обмінюватися правками. Учасник пише, що тепер замислюється, скільки декларацій за попередні роки були неправильними, і припускає, що колись використання ШІ для завдань, які вимагають точності, стане обов'язковим.

Інший учасник має громадянство США, проживає за кордоном і, за власними словами, має нетривіальну податкову ситуацію. Декларації учасник готує сам, бо надійного консультанта з транскордонних податків так і не знайшлося, а останні кілька років завантажує чернетку разом з усіма підтвердними документами в Claude. Модель знаходила помилки, зокрема неправильний обмінний курс, і навіть з'ясувала, як цю помилку зроблено, що вразило учасника. Вона також позначала пункти, які виглядали як помилки, хоча їх пояснював контекст, невідомий моделі; не погоджувалася з податковим трактуванням, але визнавала, що закон неоднозначний (після додаткового пошуку учасникові в одних випадках більше сподобалося трактування моделі, в інших — ні); не погоджувалася з настановами IRS і визнавала їх лише після того, як отримала посилання; давала дуже неточні розрахунки оціночного податку й не змогла їх виправити навіть після заперечень.

Ще один учасник розповідає, що Gemini допомагав з розрахунками RMD для спадкового майна, яким учасник управляє. Поради були здебільшого добрими, але модель помилилася щодо утримання податку і для США, і для CA та пропустила відрахування в США; водночас точно оцінила MFJ і наслідки смерті одного з подружжя. За досвідом учасника, поки що ШІ ефективніший для підготовки, ніж для планування чи порад; є план перед промптами завантажувати в модель закони, правила й інструкції. В іншому коментарі йдеться про облік: учасник вивантажив 1700 власних транзакцій і за допомогою ШІ створив застосунок, щоб аналізувати їх і перевіряти правильність категорій. Раніше через QuickBooks на це йшов цілий день, тепер перегляд усіх транзакцій забрав менше години.

Є й протилежний досвід. Учасник, чия кар'єра, за власними словами, почалася з виправлення помилок попередніх податкових радників клієнтів, щомісяця ставить великим LLM той самий набір запитань про останній податковий законопроєкт США — і правильних відповідей досі не отримує. На думку цього учасника, наступне покоління податкових юристів так само виправлятиме чужі помилки, тільки тепер — помилки LLM. Інший коментатор сумнівається, що LLM скоро добре впораються з податками, бо вони погано дають раду навіть простій математиці, і вважає, що для цього потрібні навчання на багатьох сценаріях і математичний сервіс на підтримку. Щодо самого тесту Dayjob: Tax на 50 податкових завданнях двоє коментаторів зауважують, що не бачать спеціалізованої інфраструктури для агентів: один вважає, що цікавіше було б перевірити моделі в добре продуманому harness саме під податки, другий — що з такими завданнями моделі, схоже, краще впоралися б у harness під конкретне завдання.