Павел Клеменков Rambler&Co

2. Все еще не верите в машинное обучение?
Тогда мы идем к Вам!
Рамблер / Модель

3. Что такое машинное обучение?
Отдел машинного обучения AdTech 1/36

4. + Область знаний молодая, но уже очень
сильно развитая
+ Существуют state-of-the-art алгоритмы
+ Разработаны качественные библиотеки
+ Выработаны best practices
Отдел машинного обучения AdTech 2/36

5. Но... есть проблема
Отдел машинного обучения AdTech 3/36

6. Отдел машинного обучения AdTech 4/36

7. Big Data is a mindset
За словосочетанием Big Data скрывается:
+ хранение всех возможных данных в
максимально сыром виде
+ извлечение знаний из этих данных по
мере возникновения вопросов
Отдел машинного обучения AdTech 5/36

8. No ML, no Big Data
CRIM ZN INDUS CHAS NOX RM AGE
0 0.00632 18.0 2.31 0.0 0.538 6.575 65.2
1 0.02731 0.0 7.07 0.0 0.469 6.421 78.9
2 0.02729 0.0 7.07 0.0 0.469 7.185 61.1
3 0.03237 0.0 2.18 0.0 0.458 6.998 45.8
4 0.06905 0.0 2.18 0.0 0.458 7.147 54.2
5 0.02985 0.0 2.18 0.0 0.458 6.430 58.7
6 0.08829 12.5 7.87 0.0 0.524 6.012 66.6
7 0.14455 12.5 7.87 0.0 0.524 6.172 96.1
8 0.21124 12.5 7.87 0.0 0.524 5.631 100.0
9 0.17004 12.5 7.87 0.0 0.524 6.004 85.9
Отдел машинного обучения AdTech 6/36

9. No ML, no Big Data. Одиночные признаки
x
0 -0.5
1 3.7
2 -1.8
3 1.5
4 -1.6
5 2.4
6 1.4
7 5.2
8 2.3
9 1.7
Отдел машинного обучения AdTech 7/36

10. No ML, no Big Data. Одиночные признаки
Отдел машинного обучения AdTech 8/36

11. No ML, no Big Data. Попарные взаимодействия
x x*x
0 -0.5 0.25
1 3.7 13.69
2 -1.8 3.24
3 1.5 2.25
4 -1.6 2.56
5 2.4 5.76
6 1.4 1.96
7 5.2 27.04
8 2.3 5.29
9 1.7 2.89
Отдел машинного обучения AdTech 9/36

12. No ML, no Big Data. Попарные взаимодействия
Отдел машинного обучения AdTech 10/36

13. No ML, no Big Data. Взаимодействия троек
x x*x x*x*x
0 -0.5 0.25 -0.125
1 3.7 13.69 50.653
2 -1.8 3.24 -5.832
3 1.5 2.25 3.375
4 -1.6 2.56 -4.096
5 2.4 5.76 13.824
6 1.4 1.96 2.744
7 5.2 27.04 140.608
8 2.3 5.29 12.167
9 1.7 2.89 4.913
Отдел машинного обучения AdTech 11/36

14. No ML, no Big Data. Взаимодействия троек
Отдел машинного обучения AdTech 12/36

15. А теперь представьте, что будет...
0 1 2 3 4 … 100000
0 0 0 1 0 0 … 0
1 0 0 0 0 0 … 0
2 0 0 0 0 0 … 1
3 0 0 0 0 0 … 0
4 0 0 0 0 0 … 0
5 0 0 0 0 0 … 0
6 0 0 0 0 0 … 0
7 0 0 0 0 0 … 0
… … … … … … … …
1000000 0 0 0 0 1 … 0
Отдел машинного обучения AdTech 13/36

16. Что мы делаем?
+ Предикт базового соц-дема (пол, возраст,
доход)
+ Построение аудиторных сегментов
+ Построение lookalike-аудиторий
+ Товарные рекомендации на Price.ru
+ Медийные рекомендации
+ И кое-что еще...
Отдел машинного обучения AdTech 14/36

17. Как мы это делаем?
+ Hadoop
+ Spark
+ Hive
+ Tez
+ h2o.ai
+ XGboost
+ Vowpal Wabbit
+ ElasticSearch
Отдел машинного обучения AdTech 15/36

18. Все занимаются Big Data,
но есть пара деталей...
Отдел машинного обучения AdTech 16/36

19. Отдел машинного обучения AdTech 17/36

20. Алгоритмы машинного обучения работают
на основе некоторых базовых
предположений о данных
Отдел машинного обучения AdTech 18/36

21. Отдел машинного обучения AdTech 19/36

22. Отдел машинного обучения AdTech 20/36

23. Мы инвестируем и стараемся нанимать лучших
Отдел машинного обучения AdTech 21/36

24. А теперь к делу!
Отдел машинного обучения AdTech 22/36

25. Отдел машинного обучения AdTech 23/36

26. Отдел машинного обучения AdTech 24/36

27. Отдел машинного обучения AdTech 25/36

28. Отдел машинного обучения AdTech 26/36

29. Отдел машинного обучения AdTech 27/36

30. Отдел машинного обучения AdTech 28/36

31. Отдел машинного обучения AdTech 29/36

32. Отдел машинного обучения AdTech 30/36

33. Отдел машинного обучения AdTech 31/36

34. Отдел машинного обучения AdTech 32/36

35. Отдел машинного обучения AdTech 33/36

36. Отдел машинного обучения AdTech 34/36

37. Отдел машинного обучения AdTech 35/36

38. Все еще не верите? Попробуйте сами!
http://model.rambler.ru
Отдел машинного обучения AdTech 36/36