Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

РИФ 2016, Все еще не верите в машинное обучение? Тогда мы идем к Вам!

79 views

Published on

Павел Клеменков
Rambler&Co

Published in: Business
  • Login to see the comments

  • Be the first to like this

РИФ 2016, Все еще не верите в машинное обучение? Тогда мы идем к Вам!

  1. 1. Все еще не верите в машинное обучение? Тогда мы идем к Вам! Рамблер / Модель
  2. 2. Что такое машинное обучение? Отдел машинного обучения AdTech 1/36
  3. 3. + Область знаний молодая, но уже очень сильно развитая + Существуют state-of-the-art алгоритмы + Разработаны качественные библиотеки + Выработаны best practices Отдел машинного обучения AdTech 2/36
  4. 4. Но... есть проблема Отдел машинного обучения AdTech 3/36
  5. 5. Отдел машинного обучения AdTech 4/36
  6. 6. Big Data is a mindset За словосочетанием Big Data скрывается: + хранение всех возможных данных в максимально сыром виде + извлечение знаний из этих данных по мере возникновения вопросов Отдел машинного обучения AdTech 5/36
  7. 7. No ML, no Big Data CRIM ZN INDUS CHAS NOX RM AGE 0 0.00632 18.0 2.31 0.0 0.538 6.575 65.2 1 0.02731 0.0 7.07 0.0 0.469 6.421 78.9 2 0.02729 0.0 7.07 0.0 0.469 7.185 61.1 3 0.03237 0.0 2.18 0.0 0.458 6.998 45.8 4 0.06905 0.0 2.18 0.0 0.458 7.147 54.2 5 0.02985 0.0 2.18 0.0 0.458 6.430 58.7 6 0.08829 12.5 7.87 0.0 0.524 6.012 66.6 7 0.14455 12.5 7.87 0.0 0.524 6.172 96.1 8 0.21124 12.5 7.87 0.0 0.524 5.631 100.0 9 0.17004 12.5 7.87 0.0 0.524 6.004 85.9 Отдел машинного обучения AdTech 6/36
  8. 8. No ML, no Big Data. Одиночные признаки x 0 -0.5 1 3.7 2 -1.8 3 1.5 4 -1.6 5 2.4 6 1.4 7 5.2 8 2.3 9 1.7 Отдел машинного обучения AdTech 7/36
  9. 9. No ML, no Big Data. Одиночные признаки Отдел машинного обучения AdTech 8/36
  10. 10. No ML, no Big Data. Попарные взаимодействия x x*x 0 -0.5 0.25 1 3.7 13.69 2 -1.8 3.24 3 1.5 2.25 4 -1.6 2.56 5 2.4 5.76 6 1.4 1.96 7 5.2 27.04 8 2.3 5.29 9 1.7 2.89 Отдел машинного обучения AdTech 9/36
  11. 11. No ML, no Big Data. Попарные взаимодействия Отдел машинного обучения AdTech 10/36
  12. 12. No ML, no Big Data. Взаимодействия троек x x*x x*x*x 0 -0.5 0.25 -0.125 1 3.7 13.69 50.653 2 -1.8 3.24 -5.832 3 1.5 2.25 3.375 4 -1.6 2.56 -4.096 5 2.4 5.76 13.824 6 1.4 1.96 2.744 7 5.2 27.04 140.608 8 2.3 5.29 12.167 9 1.7 2.89 4.913 Отдел машинного обучения AdTech 11/36
  13. 13. No ML, no Big Data. Взаимодействия троек Отдел машинного обучения AdTech 12/36
  14. 14. А теперь представьте, что будет... 0 1 2 3 4 … 100000 0 0 0 1 0 0 … 0 1 0 0 0 0 0 … 0 2 0 0 0 0 0 … 1 3 0 0 0 0 0 … 0 4 0 0 0 0 0 … 0 5 0 0 0 0 0 … 0 6 0 0 0 0 0 … 0 7 0 0 0 0 0 … 0 … … … … … … … … 1000000 0 0 0 0 1 … 0 Отдел машинного обучения AdTech 13/36
  15. 15. Что мы делаем? + Предикт базового соц-дема (пол, возраст, доход) + Построение аудиторных сегментов + Построение lookalike-аудиторий + Товарные рекомендации на Price.ru + Медийные рекомендации + И кое-что еще... Отдел машинного обучения AdTech 14/36
  16. 16. Как мы это делаем? + Hadoop + Spark + Hive + Tez + h2o.ai + XGboost + Vowpal Wabbit + ElasticSearch Отдел машинного обучения AdTech 15/36
  17. 17. Все занимаются Big Data, но есть пара деталей... Отдел машинного обучения AdTech 16/36
  18. 18. Отдел машинного обучения AdTech 17/36
  19. 19. Алгоритмы машинного обучения работают на основе некоторых базовых предположений о данных Отдел машинного обучения AdTech 18/36
  20. 20. Отдел машинного обучения AdTech 19/36
  21. 21. Отдел машинного обучения AdTech 20/36
  22. 22. Мы инвестируем и стараемся нанимать лучших Отдел машинного обучения AdTech 21/36
  23. 23. А теперь к делу! Отдел машинного обучения AdTech 22/36
  24. 24. Отдел машинного обучения AdTech 23/36
  25. 25. Отдел машинного обучения AdTech 24/36
  26. 26. Отдел машинного обучения AdTech 25/36
  27. 27. Отдел машинного обучения AdTech 26/36
  28. 28. Отдел машинного обучения AdTech 27/36
  29. 29. Отдел машинного обучения AdTech 28/36
  30. 30. Отдел машинного обучения AdTech 29/36
  31. 31. Отдел машинного обучения AdTech 30/36
  32. 32. Отдел машинного обучения AdTech 31/36
  33. 33. Отдел машинного обучения AdTech 32/36
  34. 34. Отдел машинного обучения AdTech 33/36
  35. 35. Отдел машинного обучения AdTech 34/36
  36. 36. Отдел машинного обучения AdTech 35/36
  37. 37. Все еще не верите? Попробуйте сами! http://model.rambler.ru Отдел машинного обучения AdTech 36/36

×