Microsoft: перевага в ШІ — не модель, а власні оцінки

Принцип "спершу процес, потім агенти" — покроково

Посібник Microsoft описує послідовність дій для переходу від копілотів до агентів: картографувати робочий процес від початку до кінця; прибрати зайві погодження й передачі між людьми; створити спільну базу даних як єдине джерело правди; призначити відповідальних за процес на рівні кількох підрозділів — і лише тоді вирішувати, які рішення лишаються за людиною, а які передаються агентам.

• Картографувати процес повністю, а не окрему задачу
• Прибрати зайві погодження й передачі між відділами
• Створити єдину базу даних, з якої «розмірковують» агенти
• Явно визначити, які рішення лишаються за людиною

Саме так команда supply chain Microsoft діяла перед розгортанням 111 агентів: спершу спростила самі робочі процеси, і лише тоді агенти отримали єдине джерело даних. Тепер вони самостійно досліджують зміни попиту, моделюють потужності, порівнюють перевезення повітрям, землею й морем за вартістю, термінами й впливом на викиди, а в межах заданих лімітів — можуть оновлювати або скасовувати замовлення на закупівлю.

Другий приклад: команда з дев'яти людей і продукт за 35 днів

У продуктовій розробці Microsoft застосувала той самий принцип радикальніше. Команду з дев'яти осіб, яка створювала продукт Copilot Cowork, помістили у «пісочницю» й попросили одразу будувати процес розробки навколо ШІ, а не додавати агентів до вже усталеного інженерного процесу.

Команда працювала за підходом із трьох елементів: специфікації, що описують намір; оцінки (evals), що визначають хороший результат; і контекст для агентів. Учасники перетворилися на «мета-інженерів», «мета-дизайнерів» і «мета-PM-ів», які працюють з агентами зі спільного контексту та єдиного набору оцінок. Результат — 18 600 комітів (123 на день), 9,3 млн рядків коду та випуск першої версії продукту за 35 днів. Сама Microsoft застерігає: це показник одного проєкту, а не бенчмарк для всієї компанії, і кількість комітів чи рядків коду не варто прирівнювати до якості продукту.

Типові помилки при впровадженні

За визнанням самої Microsoft, компанія спершу впроваджувала ШІ як звичайний софтверний реліз: розгорнути технологію, навчити співробітників, стимулювати використання. Ліцензія, видана 100 тисячам співробітників, сама собою не змінює, як виконується робота — доступ і використання не гарантують бізнес-ефекту.

Друга помилка — вимірювати успіх кількістю ліцензій чи обсягом запитів, а не бізнес-результатом. У пілоті серед 687 продавців Microsoft 365 Copilot дохід на менеджера зріс на 9,4%, а частка закритих угод була на 20% вищою — але дані спостережні, тож самі по собі не доводять причинності. Висновок Microsoft: заклик «використовуйте ШІ більше» працює гірше, ніж пошук конкретних моментів, де агент реально покращує результат.

Третя помилка — додавати агентів поверх процесу, спроєктованого під людей: агенти в такому разі просто автоматизують наявну дисфункцію. Четверта — розбиратися з резидентністю даних та ізоляцією орендарів вже після запуску агентів: Microsoft називає таке доопрацювання «заднім числом» значно складнішим, ніж проєктування одразу.

Що перевірити, перш ніж довіряти результатам

Microsoft пропонує оцінювати ШІ-впровадження на чотирьох рівнях із різною затримкою прояву: вхідні показники готовності й адаптації — за 2–4 тижні; проникнення в самі робочі процеси — за 1–3 місяці; ефекти на кшталт продуктивності — за 3–6 місяців; бізнес-результати — від пів року і довше. Якщо результат оцінюють раніше цього терміну, висновок передчасний.

Окремо варто зважати на довіру до автоматизованих оцінок якості (evals): за опитуванням серед 108 підприємств лише 13% повністю довіряють автоматизованій оцінці сьогодні. Серед компаній, чий агент уже пройшов внутрішні оцінки, але провалився перед клієнтом, довіряють оцінкам лише 4% — проти 24% серед тих, кого це ще не торкнулося.