Предсказание вероятности отмены заказа при помощи машинного обучения

1. Модель скоринга заказов
и её применение
Евгений Гапон

2. • Мы сервис по уборке квартир
• Работаем в 4 городах России
• Сайт и iOS-приложение для клиентов
• Android-приложение для исполнителей
• Свои CRM для клиентов и исполнителей
• Микроксервисы

3. Как работает Qlean
Прием заказов
через сайт и
iOS-приложение
Расписание в
приложении
исполнителей
Система
распределения
заказов
Пул
нераспределенных
заказов
Пул доступных
исполнителей
Распределенные
заказы

4. Почему несвоевременные отмены – это плохо?
• Не можем принять больше заказов
• Выплаты исполнителям за ложные выезды
• Упущенная прибыль
Было бы круто заранее понимать, какие заказы отменятся

5. Модель
предсказания отмен

6. Какие данные у нас есть?
Информация о заказе:
• Сумма заказа
• Наличие промокода на заказе
• Кол-во дополнительных услуг
• Способ оплаты
• Способ создания заказа
• …
Информация о клиенте
• Кол-во выполненных заказов в прошлом
• Кол-во отмененных заказов в прошлом
• Доля отмененных заказов
• Наличие мобильного приложения
• Наличие подписки
• …
Всего 33
признака

7. Обучим модели предсказания отмены заказа
• Логистическая регрессия
• Деревья решений
• Градиентный бустинг над решающими деревьями

8. Результаты обучения моделей
ROC-кривая для градиентного бустинга

9. Важность признаков для градиентного бустинга
Кол-во отмен в прошлом
Привязана ли кредитная карта
Кол-во доп. услуг в заказе
Доля отмен по прошедшим заказам
Наличие отдельных доп. услуг

10. • Не можем принять больше заказов
• Выплаты исполнителям за ложные выезды
• Упущенная прибыль
Применение #1
Обзвон «опасных» заказов

11. Обзвон увеличивает кол-во отмен
91%
84%
• Выбрали заказы с вероятностью
отмены более 70%:
o Тестовой группе звонили за день
до заказа
o В контрольной группе ничего не
делали 80%
82%
84%
86%
88%
90%
0
100
200
300
400
500
600
week 1 week 2 week 3
Доля отмен
Кол-во заказов
Не звоним (control)
85%
87%
89%
91%
93%
95%
0
200
400
600
800
1000
1200
week 1 week 2 week 3
Доля отмен
Кол-во заказов
Звоним (test)
заказ отменился заказ состоялся доля отмен

12. Но нам выгодно обзванивать и заранее отменять заказы
100 заказов
16 состоялось ( +3200 руб. )
84 отменилось
Не звоним (control)
76 успели отменить до приезда клинера
8 ложных выездов ( -800 руб. )
выполненный заказ +200 руб; ложный выезд –100 руб;
2400 руб.
100 заказов
9 состоялось ( +1800 руб. )
91 отменилось
Звоним (test)
91 успели отменить до приезда клинера
3800 руб.
10 заказов дополнительно приняли и выполнили ( +2000 руб. )
0 ложных выездов ( 0 руб. )

13. • Не можем принять больше заказов
• Выплаты исполнителям за ложные выезды
• Упущенная прибыль
Применение #2
Бонус за сохранение заказа

14. Попробуем начислять бонус за сохранение заказа
0%
20%
40%
60%
80%
100%
0
200
400
600
800
1000
1200
1400
1600
Доля отмен
Кол-во заказов
заказ отменился
заказ состоялся
доля отмен
Этим группам будем начислять бонус за сохранение заказа.
Чем больше вероятность отмены, тем больше бонус.

15. Бонус сохранил 3-9% заказов (в зависимости от группы)
40%
50%
60%
70%
80%
90%
100%
[50%;60%) [60%;70%) [70%;80%) [80%;90%) [90%;100%]
Доля отмен
control
test

16. • Принимаем и исполняем на 5-20% больше заказов (по
группе обзвона)
• Выплаты за ложные выезды сократились до 0 руб. (в
группе обзвона)
• Научились сохранять 3-9% заказов при помощи бонуса за
сохранение
Результаты

17. Спасибо!
Евгений Гапон
inbox@gapon.me
facebook.com/egapon