Swiggy прогнозує цінність клієнта до покупки
Swiggy створила pLTV-модель для доставки їжі та Instamart: вона оцінює цінність клієнта до першого замовлення за понад 350 ознаками — від каналу залучення до географії та платежів. Прогноз кількості замовлень скоротив модель на 63%: із 363 000 до 135 000 параметрів.
Кореляція Спірмена перевищила 0,75, покриття децилів цінності сягнуло 70–80%. Сигнал підключили до Google tROAS, щоб ставки залежали від очікуваної цінності, а не короткої конверсії. В A/B-тесті модель Swiggy дала вищі утримання та валову вартість замовлень на залученого користувача без плати сторонній платформі; та залучала більше користувачів на долар.
Як модель працює за нестачі ранніх даних
До першого замовлення поведінкової історії майже немає, а ціль розподілена нерівномірно: значна частина нових користувачів нічого не замовляє в перші 30 днів, тоді як невелика група згодом створює значно вищу довічну цінність. Тому задача полягає не просто в розрахунку бала, а у відокремленні людей, які на старті виглядають схоже, але надалі замовляють по-різному.
Робочий процес можна розкласти на чотири кроки:
- зібрати лише ознаки, доступні до першого замовлення: канал залучення, пристрій і сигнали шахрайства, географічну поведінку, історію скарг, інтерес до категорій Instamart, платіжні патерни, поведінку замовлень і соціально-економічні індикатори;
- передати їх у спільні три приховані шари, які навчають представлення одразу для кількох завдань;
- окремими виходами прогнозувати довічну цінність і кількість замовлень для Food та Instamart;
- використати отриманий рейтинг цінності як сигнал для рекламних ставок.
Два додаткові робочі сценарії
Перший сценарій — одна компанія має два напрями з різною поведінкою клієнтів. Swiggy не будувала повністю ізольовані моделі: спільні шари знаходять корисні закономірності, а окремі голови дають прогнози для доставки їжі та Instamart. Додаткове завдання — прогноз кількості замовлень — допомогло моделі краще навчатися на розріджених сигналах, хоча архітектура залишилася відносно простим багатошаровим перцептроном.
Другий сценарій — вибір між власною моделлю та зовнішньою платформою. У виробничому A/B-тесті власне рішення дало вище утримання та більшу валову вартість замовлень на залученого користувача без додаткової плати платформі. Водночас саме зовнішня платформа залучала більше користувачів на витрачений долар. Отже, порівнювати треба не за одним показником: дешевше залучення не тотожне вищій подальшій цінності клієнта.
Як оцінювати результат і де межі підходу
Середня абсолютна помилка та середня абсолютна відсоткова помилка тут недостатні: велика кількість нульових значень і довгий хвіст цінності спотворюють картину. Swiggy перевіряла, чи правильно модель ранжує клієнтів. Для цього прогнозовану й фактичну цінність ділили на десять квантилів і дивилися, як часто користувач потрапляє у відповідні прогнозовану та фактичну групи.
Перед передаванням сигналу в Google tROAS людині варто перевірити:
- чи всі ознаки справді доступні до першого замовлення, інакше вимога холодного старту порушується;
- чи модель правильно впорядковує клієнтів за цінністю, а не лише показує прийнятну середню похибку;
- чи якість підтверджена окремо для Food та Instamart за кореляцією Спірмена і покриттям діагоналі децилів;
- чи виробничий A/B-тест одночасно враховує утримання, валову вартість замовлень на користувача, кількість залучених користувачів на долар і витрати на зовнішню платформу.
Типова помилка — сприймати точковий прогноз як однаково надійний для всіх користувачів. Наступний етап Swiggy — імовірнісний pLTV, який має відображати невизначеність цінності та враховувати її у ставках; до цього ранжування не слід читати як гарантовану майбутню суму.