Учасник редагував договір через Claude, юрист лише перевірив фінал

Один з учасників обговорення розповів, що використав Claude для редагування (redlining) типового договору з постачальником (OEM agreement) — шаблон і заперечення сторони майже завжди однакові. Спершу він спробував Claude, і навіть його юрист визнав, що модель знайшла моменти, які юрист пропустив. Потім учасник використав Claude для редагування цього типу договору, і інша сторона сказала: «ваш юрист був на диво ретельний». Фінальну перевірку робив юрист, і саме під час неї він сказав «виглядає добре»; перші три раунди редагування через Claude дозволили заощадити гроші. Той самий учасник додав, що на його думку LLM добре підходять для типової роботи, яку зазвичай доручають новому помічнику чи параюристу (наприклад, простий заповіт), але не для важливих речей, якими займаються партнери фірми.

Юрист серед коментаторів написав, що не вражений 20-відсотковим показником проходження одного з бенчмарків: на його думку, суть судової практики — готовність до нових ситуацій, а не повторний розгляд уже вирішених. Інший учасник додав, що нерозкритий набір даних для тренування моделі викликає обґрунтовану підозру, що тестові завдання могли перетинатися з тренувальними, через що результат бенчмарку стає сумнівним.

Кілька коментаторів звернули увагу, що право прив'язане до конкретної країни, і запитували, чи модель не змішує, наприклад, ірландське право з американським чи британським через склад тренувальних даних, або просто вигадує якусь суміш. Інший учасник написав, що немає навіть вказівки, під яку правову систему модель налаштована — США, Китай чи Європа. Ще один коментатор назвав ідею юридичних моделей образливою і написав, що право не ґрунтується на базових аксіомах і що «ми часто просто вигадуємо на ходу», тож навіть у повсякденній юридичній роботі, яка не є проривом, за його словами, цінність моделей сумнівна. Водночас інший учасник написав, що тішиться з того, що LLM «починають тиснути» у цій сфері, і припустив, що згодом це може стати достатньо хорошим для 90% юридичної роботи.