More Related Content
Similar to Как устроено машинное обучение в Qlean
Similar to Как устроено машинное обучение в Qlean (20)
Как устроено машинное обучение в Qlean
- 2. • Мы сервис по уборке квартир • Работаем в 3 городах России • Сайт и iOS-приложение для клиентов • Android-приложение для исполнителей • Свои CRM для клиентов и исполнителей • Микросервисная архитектура
- 3. А еще у нас есть машинное обучение • Скоринг заказов на вероятность отмены • Модель активности клиентов следующие N дней • Модель активности исполнителей следующие N дней • Скоринг исполнителей на вероятность неявки на заказ • Скоринг лидов исполнителей
- 4. Нужно пройти всего 6 этапов* • Сбор и хранение данных • Формулировка задачи • Извлечение признаков • Построение и оценка модели • Бизнес-тестирование модели • Внедрение модели * – обязательно должны быть культура работы с данными и люди
- 6. • Сбор и хранение данных • Формулировка задачи • Извлечение признаков • Построение и оценка модели • Бизнес-тестирование модели • Внедрение модели
- 7. Мы собрали данные из разных источников в одном месте Наши источники данных: • Операционные данные из production базы • Клик- и ивент-стримы из Snowplow • Мобильный трекинг из Adjust • Обращения в поддержку из Zendesk • Данные по звонкам из Манго • Затраты на рекламу из различных источников Postgres
- 9. • Сбор и хранение данных • Формулировка задачи • Извлечение признаков • Построение и оценка модели • Бизнес-тестирование модели • Внедрение модели
- 11. • Сбор и хранение данных • Формулировка задачи • Извлечение признаков • Построение и оценка модели • Бизнес-тестирование модели • Внедрение модели
- 14. • Сбор и хранение данных • Формулировка задачи • Извлечение признаков • Построение и оценка модели • Бизнес-тестирование модели • Внедрение модели
- 16. • Сбор и хранение данных • Формулировка задачи • Извлечение признаков • Построение и оценка модели • Бизнес-тестирование модели • Внедрение модели
- 17. До внедрения модели мы проводим ручное A/B-тестирование 40% 50% 60% 70% 80% 90% 100% [50%;60%) [60%;70%) [70%;80%) [80%;90%) [90%;100%] Доля отмен Вероятность отмены заказа control test Мы руками начисляли бонус за сохранение заказа тестовой группе. Чем больше вероятность отмены, тем больше бонус.
- 18. • Сбор и хранение данных • Формулировка задачи • Извлечение признаков • Построение и оценка модели • Бизнес-тестирование модели • Внедрение модели
- 20. • Соберите данные в одном месте и начните пользоваться ими • Задачи должны приходить от бизнеса • Некоторые задачи можно решить и без машинного обучения • Не жалейте времени на извлечение признаков • Заинжениренные признаки работают лучше • Разберитесь с полученным результатом • Проводите ручное A/B-тестирование • Наколеночная инфраструктура рулит! Итого