Taxbit вбудував ШІ-асистента в дашборд на AWS
Taxbit, платформа податкового обліку цифрових активів для бірж і брокерів, вбудувала в дашборд асистента Taxbit Assist на Amazon Bedrock AgentCore. Він відповідає з посиланнями на джерела, враховує роль користувача і не дає податкових порад. Доступу до податкових даних клієнтів у нього немає, лише база знань і власні тікети користувача. За внутрішньою аналітикою Taxbit, понад 55% користувачів повертаються з новим питанням протягом доби.
Найцінніше покращення пошуку дала не модель, а чистка корпусу. Із понад 400 URL сайту лишили близько 70, прибравши 300+ маркетингових сторінок блогу, які перебивали довідку як джерело.
Спершу корпус, потім промпти
Головний висновок команди Taxbit: після того як індекс звузили до довідки й документації, а кожному фрагменту дали контекст його документа, відповіді покращилися більше, ніж від будь-якої правки промпту. Порядок роботи, який з цього випливає:
- Визначити, які джерела мають право бути основою відповіді. Маркетингові тексти конкурують із довідкою і стають цитованим джерелом там, де йдеться про комплаєнс.
- Додати до кожного фрагмента контекст документа. Шматок із середини тексту губить, до чого він стосується.
- Закрити прогалини, яких немає в жодному тексті. Taxbit генерує документацію з вихідного коду продукту (маршрути дашборду, права доступу, логіку придатності форм) і окремо веде вручну написані статті та затверджені виправлення.
Приклад проблеми з контекстом: абзац, що стосується лише податкових режимів поза США, вводить в оману, якщо його видано на питання про форму IRS 1099. Рішення Taxbit: до кожного фрагмента дописувати заголовок документа + вступний абзац, де сказано, до чого застосовується текст. Команда називає це найвпливовішою зміною в пошуку.
Де закінчується довідка і починається порада
Межа вузька. Пояснити, як Taxbit застосовує FIFO, — це документація продукту. Фраза Переказ між власними гаманцями не є оподатковуваною подією — уже податкова порада. Фільтр за темами такої різниці не бачить: за даними Taxbit, він дає близько 25% хибних спрацювань. Модель-класифікатор з інструкціями та прикладами дає майже нуль хибних спрацювань і перевіряє кожну відповідь.
Друге правило — посилання. Цитувати можна лише опубліковані джерела, бо тільки їх клієнт може відкрити. Матеріали з коду та внутрішні статті використовуються для відповіді, але посилань не дають. Це обмеження прописано в коді, а не в інструкції для моделі.
Доступи і персональні дані: дві помилки, яких уникли
Особу користувача передавала модель. У ранній тестовій версії модель сама передавала інструментам email, організацію і ролі. До запуску це перенесли в сервіс, що викликає асистента. Тепер модель вирішує, чи перевіряти права, але не чиї. Це зроблено для того, щоб підкинутий у запит текст не міг розширити доступ.
Фільтр персональних даних заважав роботі. Паролі, CVV-коди та ключі доступу блокуються повністю. SSN, ITIN, банківські рахунки й IBAN замінюються маскою, тож асистент допомагає з процесом, не бачачи значення. Детектори PIN і банківських кодів команда виміряла на власному трафіку і перевела в режим «лише позначати». Інакше номери форм на кшталт 1099 сприймалися б як чутливі дані.
Що перевіряти перед тим, як довіряти відповідям
- Окремо дві речі: чи відповідь спирається на знайдені джерела і чи ці джерела взагалі доречні. Відповідь може бути точною щодо документа, який не мав потрапити у вибірку. Тоді проблема в пошуку, а не в моделі.
- Вибіркову перевірку живих розмов. Taxbit автоматично оцінює 10% сесій.
- Канал для експертів. Їхні виправлення потрапляють у базу і за хвилини діють для наступного користувача.
- Еталонний набір сценаріїв, який проганяють перед кожною зміною і щоночі.
Приклад ефекту: новий клієнт під час інтеграції збору форм W-8 і W-9 отримував відповіді одразу, без тікетів і спільного каналу з командою Taxbit. Вартість моделі — в середньому менше 20 центів за розмову. Близько трьох чвертей вхідних токенів беруться з кешу, що зменшує витрати більш ніж удвічі.
Продукти: Курс