Download as PDF, PPTX
![Minhash
Min-wise independent permutations locality sensitive hashing scheme
Снижаем размерность
Совместима с LSH (следующий слайд)
Pr[ hmin(A) = hmin(B) ] = J(A,B)
Размер сигнатуры: 50-500
simhash](https://image.slidesharecdn.com/serbul-180409075710/85/Alexander-Serbul-ITEM-2018-89-320.jpg)
![Векторизация описания Товара
Текст: «Штаны красные махровые в полоску»
Вектор «bag of words»: [0,0,0,1,0,…0,1,0] – ~ 10000 -1000000 элементов
(kernel hack)
Minhash-сигнатура после shingling:
[1243,823,-324,12312,…] – 100-500 элементов, совместима с LSH](https://image.slidesharecdn.com/serbul-180409075710/85/Alexander-Serbul-ITEM-2018-91-320.jpg)
Uploaded byITEM
Alexander Serbul ITEM 2018
Документ рассматривает методы применения машинного обучения и нейросетей в электронной коммерции, акцентируя внимание на их эффективности в решении бизнес-задач. Он охватывает актуальные алгоритмы, архитектуры и подходы к анализу больших данных, включая кластеризацию и персонализацию. Приведены примеры реальных бизнес-кейсов и рекомендации по использованию инструментов для анализа и визуализации данных.
Alexander Serbul ITEM 2018
- 1. Эффективное применение машинногообучения и нейросетей для прикладных задач электронной коммерции Александр Сербул Руководитель направления
- 2. Карл… Карл, я открыл страшнуютайну нейронных сетей Это очень интересно, пап!
- 3. Карл… Карл, яспециалист по BigData…. Это очень круто, пап! Они неплохо обучаются и эффективно работают, но понять, как они «принимают решения» – люди пока не научились
- 4. О чем хочетсяпоговорить •Ввести в исторический контекст проблемы. Разобраться в причинах. •Довести теорию до интуиции •Перечислить актуальные, интересные бизнес- задачи в электронной коммерции и не только •Рассмотреть популярные архитектуры нейронок и алгоритмов машинного обучения для решения продуктовых бизнес-задач
- 5. О ЧЕМ ПОГОВОРИМ •Дляменеджеров, без математики! •Понятные алгоритмы и техники •Полезные для электронной торговли •В рамках Bigdata Слайд 5
- 6. Развиваем интуицию, открываем«сердце» Многие сложные математические концепции, при желании, МОЖНО объяснить просто, на уровне интуиции.
- 7. Развиваем интуицию, открываем«сердце» Но для этого нужно превосходно разобраться в алгоритмах и технологиях. А это – очень сложно!
- 8.
- 9. «Золотая» лихорадка •Была бигдата •Теперьнейронки •Завтра будет вторжение инопланетян •Что происходит, успеть или забИть?
- 10. Что такое бигдатана самом деле? •Данные хранят ценную информацию. На данных можно обучать алгоритмы. •Как собрать данные правильно? MySQL или Hadoop? •Сколько нужно данных? Алгоритмы и объем данных •Инженерная культура в компании •Что нужно знать, чтобы извлечь пользу из данных (аналитика, матстатистика, машинное обучение)
- 11.
- 12.
- 13.
- 14.
- 15. Бигдата и нейронки– созданы друг для друга •Машины опорных векторов •Факторизация слоев •Нелинейность
- 16. Подтянулись GPU ижелезо •Универсальные GPU •CUDA •Работа с тензорами •Диски, кластера: Spark, Hadoop/HDFS, Amazon s3 •Языки: Scala
- 17.
- 18. Парад бесплатных фреймворков •TensorFlow(Google) •Torch •Theano •Keras •Deeplearning4j •CNTK (Microsoft) •DSSTNE (Amazon) •Caffe
- 19. Вендоры скупают ученых •Facebook(Yann LeCun) •Baidu (Andrew Ng, уже правда уходит, достали тупить ) •Google (Ian Goodfellow) •SalesForce (Richard Socher) •openai.com …
- 20. Как работает нейронка? •Всепросто – почти как наш мозг •Вспомните школьные годы – и все станет понятно www.deeplearningbook.org
- 21. Продвинутый метод улучшенияобучения нейросети, Dropout, сильно напоминает действие алкоголя на мозг
- 22. А если данныхвсе таки собрано мало? •Сколько нужно данных? •У большинства компаний – «маленькая» бигдата •Простые классические алгоритимы: naïve bayes, logistic regression, support vector machine (SVM), decision tree, gbt/random forest (https://tech.yandex.ru/catboost/)
- 23.
- 24.
- 25.
- 26.
- 27. Картинка по эскизу Слайд27 https://habrahabr.ru/company/mailru/blog/338248/
- 28.
- 29. Распознавание лиц вБитрикс24
- 30. Распознавание лиц вБитрикс24 Face-карт Bitrix24.Time
- 31.
- 32.
- 33. Google Neural MachineTranslation https://habrahabr.ru/company/mailru/blog/338248/
- 34. Чтение по губам •Сетьбез звука читает по губам – уже 2 раза лучше человека https://habrahabr.ru/company/mailru/blog/338248/
- 35. Ответы на вопросыпо картинке •В некоторых случаях и датасетах сеть – опережает человека https://habrahabr.ru/company/mailru/blog/338248/
- 36.
- 37. Особенно важные прикладныебизнес-кейсы применения нейронок и алгоритмов машинного обучения •Предсказание следующего действия (RNN, …) •Кластеризация (autoencoders) •Кто из клиентов уйдет, кто из сотрудников уволится (churn rate: FFN, CNN) •Сколько стоит квартирка (regression) • Анализ причин (InfoGANs) • Персонализация
- 38. Пример: ранжирование товаров(Google Play) arxiv.org/abs/1606.07792
- 39.
- 40. arxiv.org/abs/1606.07792 •Собирается все чтоесть… •Засовывается в нейронку •Нейронка предсказывает вероятность клика/покупки приложения – для каждого приложения из отобранных • Приложения сортируются и отображаются. Все! Ражнирование товаров (Google Play)
- 41.
- 42. Полезные (готовые) инструменты •Rapidminer • SAS • SPSS • … Готовые блоки, серверные редакции (hadoop), графики
- 43. Полезные библиотеки (бесплатные) •Spark MLlib (scala/java/python) – много данных • scikit-learn.org (python) – мало данных • R
- 44.
- 45. Аналитик •Организовать сбор данных •Минимумпрограммирования •Работа в инструментах (Rapidminer, R, SAS, SPSS) •Bigdata – как SQL •Желательно математическое образование
- 46. Война систем хранения Слайд46 • SQL на MapReduce: Hive, Pig, Spark SQL • SQL на MPP (massive parallel processing): Impala, Presto, Amazon RedShift, Vertica • NoSQL: Cassandra, Hbase, Amazon DynamoDB • Классика: MySQL, MS SQL, Oracle, …
- 47.
- 48.
- 49. Визуализация! •Кто мои клиенты(возраст, средний чек, интересы)? •Тренды, графы •Корреляция значений •2-3, иногда больше измерений •«Дешевле/проще» кластеризации
- 50. Визуализация! •Гистограмма: • - Времяпребывания клиента в разделе сайта • - Число платных подписок в зависимости от числа пользователей услуги
- 51. Сервис «Скорость сайта»клиента на Битрикс 1. Собираем хиты из Amazon Kinesis в Redis 2. Хит содержит метрики js navigation timing. 3. Храним последние 1250 хитов (redis list) 4. Удаляем 20% самых долгих 5. Рассчитываем медиану времени отображения страницы в кластере 6. Отдаем на карту, jsonp, RemoteObjectManager
- 52. Регистрация Хранение BigData –«под капотом». С птичьего полета. ~1000 запросов/сек bitrix.info Обработка, анализ Batch процессинг On-line процессинг Выдача ключевой информации analytics.bitrix.info
- 53. Amazon DynamoDB nginx+Lua Amazon Kinesis BigData– «под капотом». Регистрация событий. ~1000 запросов/сек Буфер bitrix.info worker’s cluster worker (PHP) ~100 запросов/сек фильтрация worker (PHP) worker (PHP) worker (PHP) worker (PHP) worker (PHP) worker (PHP) worker (PHP) Лог событий Пользователи Домены
- 54. Amazon DynamoDB BigData – «подкапотом». Обработка, анализ, выдача. Лог событий Пользователи Домены Apache Spark Сервер (spot) Amazon S3 Файл данных Файл данных Сервер (spot) Сервер (spot) Сервер (spot) … Кластер рекомендаций Apache Tomcat Apache Mahout «Мозги» Выдача analytics.bitrix.info
- 55.
- 56.
- 57.
- 58.
- 59. Amazon Kinesis Apache Spark Streaming ~1000 событий/сек Окноагрегации – 30 секунд JVM HashTable Геоточка - LinkedList Json Растеризатор(PHP) Google Карта Архитектура карты активности клиентов Битрикс/Битрикс24
- 60. Архитектура карты активностиклиентов Битрикс24
- 61.
- 62. Кластеризация – «напальцах»
- 63. Алгоритм использования кластеризациив продукте - I Кластеризация метрик: k- means, агломеративная и т.п Агрегация метрик: среднее за квартал, месяц, день Кластер 1: любят чат, используют видеозвонки и wiki Кластер 2: создают группы и задачи, используют календари и общий диск Кластер 3: используют CRM и связь с магазином «Сырые» данные о пользоват елях продукта: активность , пол, возраст, интересы, звонки и т.п.
- 64. Алгоритм использования кластеризациив продукте - II Кластер 1: любят чат, используют видеозвонки и wiki Кластер 2: создают группы и задачи, используют календари и общий диск Кластер 3: используют CRM и связь с магазином Неструктурированные клиенты Маркетинг Письмо про CRM. Конверсия: 10% Скидки на видеозвонки. Конверсия: 12% Скидки на доп. календари и место на диске. Конверсия: 1% Снова спам?!: 90% аудитории
- 65. Алгоритм использования кластеризациив продукте - III Кластер 1: любят чат, используют видеозвонки и wiki Кластер 2: создают группы и задачи, используют календари и общий диск Кластер 3: используют CRM и связь с магазином Новый клиент: «любит» календари Клиент математически «похож» на Кластер 2
- 66. Кластерный анализ –бизнес-кейсы • Сегментация клиентов, типов использования сервиса, … • Facebook, Google – автокластеризация, поиск похожих • Кластеризация «общего» товарного каталога • Кластеризация графа связей сайтов (пересечение аудитории) • Маркетинг работает с целевыми группами, информация разбита на «смысловые облака».
- 67. Кластерный анализ –оценки на программирование • Данные должны быть уже собраны • Анализ в Rapidminer (0.1-2 часа) • Анализ в Spark Mllib (1-2 дня, много данных) • Анализ в scikit-learn – аналогично (мало данных) • На выходе: список кластерных групп, иногда визуализация. • Метрики качества кластеризации.
- 68. Кластерный анализ вБитрикс • События использования инструментов на Битрикс24: задачи, вики, видеозвонки, календарь, чаты, поиск… • Агрегация метрик по пользователям: Amazon Kinesis -> Amazon DynamoDB -> s3 -> Apache Spark • Apache Spark Mllib, стандартный k-means – не взлетает, O(n^3) • «Иерархический k-means с усреднением», Scala, Spark • На выходе 3-4 группы = типа использования продукта
- 69.
- 70. Объем продаж товаров •Best-sellers •Топ-продаж… •Сэтим товаром покупают •Персональные рекомендации «Mining of Massive Datasets», 9.1.2: Leskovec, Rajaraman, Ullman (Stanford University)
- 71. Алгоритм использования персонализациив продукте - I Маркетинг Персонально подобранные кроссовки. Конверсия: 23% Персонально подобранная моднуая одежда. Конверсия: 37% Скидки на кроссовки. Конверсия: 0% Жалобы на спам
- 72. Коллаборативная фильтрация •Предложи Товары/Услуги,которые есть у твоих друзей (User-User) •Предложи к твоим Товарам другие связанные с ними Товары (Item-Item): «сухарики к пиву»
- 73. Алгоритм коллаборативной фильтрации(User-User)
- 74. Алгоритм коллаборативной фильтрации(Item-Item) - I Пара встречается в 123 заказах Пара встречается в 321 заказах Предлагаем «фисташки». Конверсия: 18%
- 75. Алгоритм коллаборативной фильтрации(Item-Item) - II Пара встречается в 123 заказах Пара встречается в 321 заказах С этим Товаром покупают… Борщ: 0.72 Горилка: 0.28
- 76. Как работает коллаборативнаяфильтрация Матрица: - Пользователь - Товар Похожие Пользователи Похожие Товары
- 77. Коллаборативная фильтрация (Item-Item)– сроки, риски •Apache Spark MLlib (als), Apache Mahout (Taste) + неделька •Объем данных •Объем модели, требования к «железу»
- 78. Коллаборативная фильтрация (Item-Item)в Битрикс • Были модели по 10-20 миллионов Пользователей/Товаров • Фильтрация, создание датасета для матрицы: s3- >Apache Spark job->Apache Mahout Taste • Оставили модель 10 на 10 миллионов для «похожести» Товара на Товар • Хак: популярный Товар на сайте через похожесть • Проблема холодного старта
- 79. Content-based рекомендации •Купил пластиковыеокна – теперь их предлагают на всех сайтах и смартфоне. •Купил Toyota, ищу шины, предлагают шины к Toyota
- 80. Алгоритм content-based рекомендаций PS3игры PS4 игры Джойстики VR шлем Fallout Doom Комиксы Товар 1: джойстик для PS4 с комиксом в подарок Товар 2: Отбойный молоток и 2 недели отпуска в подарок Математически высокая похожесть: 0.8 Математически низкая похожесть: 0.05 Отпуск Каникулы
- 81. Content-based рекомендации –реализация, риски • Поисковый «движок»: Sphinx, Lucene (Solr) • «Обвязка» для данных • Хранение профиля Клиента • Реализация: неделька. Риски – объем данных, языки.
- 82. Content-based, collaborative рекомендации- разумно •Рекомендовать постоянно «возобновляемые» Товары (молоко, носки, …) •Рекомендовать фильм/телевизор – один раз до покупки •Учет пола, возраста, размера, …
- 83. Content-based рекомендации –в Битрикс Amazon Kinesis Java indexing workers (16) ~1000 событий/сек Index (disk) Index (disk)Redis (profiles) Раздающий Servlet (Tomcat)
- 84. Content-based рекомендации –в Битрикс ● Профиль Пользователя: десятки тэгов ● Стемминг Портера ● Высокочастотные и «специальные» слова ● Алгоритмы вытеснения тэгов ● Куда можно развивать… (word2vec, glove, синонимы ...)
- 85. Content-based рекомендации –в Битрикс ● Многопоточный индексатор, java/lucene ● Amazon Kinesis – как буффер ● Индекс в папке на диске, вытеснение ● Как реализован “онлайн” ● Раздающий Servlet
- 86. Content-based рекомендации –в Битрикс ● “Потребители”: десятки тысяч интернет-магазинов ● “Поставщики”: все сайты на Битрикс, больше 100к ● Тэги Профиля: название страницы, h1 ● Индекс Товаров: название, краткое описание, разделы ● Индекс: гигабайты, сотни файлов в папке
- 87. Content-based рекомендации –в Битрикс
- 88. Коллаборативная фильтрация –«сжатие» Товаров • «Единый» каталог • Склеить дубликаты • Передать «смысл» между Товарами • Улучшить качество персональных рекомендаций • Семантическое сжатие размерности, аналог матричной факторизации • Скорость • Ранжирование результатов
- 89. Minhash Min-wise independentpermutations locality sensitive hashing scheme Снижаем размерность Совместима с LSH (следующий слайд) Pr[ hmin(A) = hmin(B) ] = J(A,B) Размер сигнатуры: 50-500 simhash
- 90. Text shingling Shingle– «черепица» Устойчивость к вариантам, опечаткам «Штаны красные махровые в полоску» {«штан», «таны», «аны », «ны к», «ы кра», «крас», …} «Красные полосатые штаны»
- 91. Векторизация описания Товара Текст: «Штаны красные махровые в полоску» Вектор «bag of words»: [0,0,0,1,0,…0,1,0] – ~ 10000 -1000000 элементов (kernel hack) Minhash-сигнатура после shingling: [1243,823,-324,12312,…] – 100-500 элементов, совместима с LSH
- 92. Locality-Sensitive Hashing (LSH) Вероятностный метод снижения размерности Использовали для minhashed-векторов Banding: b – корзины, r – элементов в корзине. P{ “Векторы совпадут хотя-бы в одной корзине” }:
- 93. Кластеризация каталога ApacheSpark 2-3 часа, 8 spot-серверов 10-20 млн. Товаров => 1 млн. кластеров Адекватные по смыслу кластера Персональные рекомендации - стали в разы «лучше» DynamoDB – хранение кластроидов
- 94.
- 95. Классификация – этоне кластеризация! •Не путать! •Кластеризация – автоматическая и если повезет •Классификация – учим компьютер сами и «везет» чаще •Пример: фильтрация спама, которую доучиваем
- 96. Алгоритм использования классификациив продукте - I «Сырые» данные о пользователях продукта/клиентах: активность, пол, возраст, покупки, звонки в саппорт, лайки, друзья, хобби, интересы Купил услугу Не купил услугу Класси фикат ор Обучение на исторических данных
- 97. Алгоритм использования классификациив продукте - II Класси фикат ор Купит услугу или нет? Новый клиент Купит, уверенность: 85%
- 98. Алгоритм использования классификациив продукте - III Класси фикат ор Купит услугу или нет? Новый клиент Не купит, уверенность: 70%
- 99. Алгоритм использования классификациив продукте - IV Класси фикат ор Купит услугу или нет? Новый клиент Купит, уверенность: 55%
- 100. Алгоритм использования классификациив продукте - V Класси фикат ор Купит услугу или нет? Новые клиенты Купят с вероятностью > 60% Маркетинг Персональное предложение купить услугу. Конверсия: 29%
- 101. Алгоритм использования классификациив продукте - VI Маркетинг Купит Лопату? Станет платником? Уйдет к конкуренту? Принесет больше $1000 в год Купит Машину?
- 102. Алгоритм использования классификациив продукте - VII Уйдет к конкур енту? Станет платник ом? Принесет больше $1000 в год Уйдет, p=0.7 Станет, p=0.73 Да, p=0.84 Менеджер по особо-важным клиентам Купит Товар 1?Купит Товар 1?Купит Товар 1?Купит Товар 1?Купит Товар 1? Интерес уется вином №129? Персональная рекомендация (коллаборативная) Персональная рекомендация (content-based) Чем удержать «важного» клиента? Персональное предложение, от которого сложно отказаться Марк етинг
- 103. Классификация – бизнес-кейсы •Удержание: найти клиентов, которые скоро уйдут (churn-rate) • Найти клиентов, готовых стать платными • Найти клиентов, которые готовы купить новую услугу • Найти готовых уволиться • Определить у клиента – пол!
- 104. Классификация – тонкости •Акак/чем удержать клиентов? •Определение релевантных групп – зондирование (рассылки, опросы), база моделей •Оценка качества моделей
- 105. Классификация – реализация,риски •Определение, нормализация атрибутов •Feature engineering •Выбор алгоритма, kernel •Spark MLlib, scikit-learn – 2-3 дня •Rapidminer – полчаса
- 106. Классификация – качество •Confusionmatrix •Recall/precision •Kappa •AUC > 0.5
- 107. Классификатор обращений техподдержки Скрытыеслои, 96*96. Активация – softsign. Классифицирующий слой, 50-100 категорий. softmax Ответ сети: Категория1 : 90% Категория2: 10% Категория3: 5% Ngram3 токенизация. Сжатие хэшированием до 10 000 триграм. TF IDF векторизатор. Текст: «Как поменять пароль на сайте? Где найти эту форму в админке?» Глубокий классификатор, использующий ngrams3 векторизатор и сжимающее хэширование входного вектора. Используем взвешенную cost-функцию для балансирования неравномерного числа примеров в категориях. Иногда добавляем сверточные слои. Иногда лучше работают рекуррентные слои. Drop out: 0.85, l2: 0.001, learning rate: 0.1, adam, batch=128. В обученной сети: 1-3 миллиона параметров. 10000*96, входной слой. Активация - softsign Фреймворк: deeplearning4j Веб-сервер: jetty. Нейронная сеть – набор файлов на диске (10-20 МБ). Кеширование сетей в памяти. Выдача результатов через json rest API
- 108. 1D свертка дляклассификации текстов • Глубокий аналог ngrams, очень быстрое обучение на GPU • Word/char-based 1D convolution • Пилотная сеть для техподдержки в Битрикс. Увеличение качества на 30%.
- 109. темы доклада Классификатор обращенийтехподдержки Битрикс24
- 110. Классификация – компании-клиентыБитрикс24 • Кто из бесплатников станет платником? • Кто из платников уйдет? • Больше 2.5 миллиона зарегистрированных компаний • Сбор счетчиков (десятки метрик) и агрегация в Apache Spark • Классификация, Apache Spark MLlib, логистическая регрессия с регуляризацией • Выгрузка моделей в админки для маркетинга, рассылки, конверсия на 2-3 процента выше • Минус: небольшой охват с уверенным предсказанием
- 111. Классификатор клиентов Битрикс24 Сотрудникиотдела маркетинга ранжируют клиентов, выполняя e-mail рассылку и другие действия по удержанию и «стимуляции». «Уверенность» классификатора – тонкости. Триггеры действий в модулях Битрикс24: - создал задачу - добавил пост - обратился в саппорт … Триггерыдействий Буфферизация JS счетчик. Буффер в Amazon Kinesis Агрегация в Apache Spark Классификаторв ApacheSparkMLLib Логистическая регрессия с регуляризацией (kernel = annova), SVM, нейронка… Средние активности в месяц, неделю, день Ранкингклиентов длямаркетинга Вероятность что: «станет платным», «останется надолго», «платник уйдет»
- 112. «Нейробот» Embedding+encoding - каскад сжатиявопроса/контекста (RNN/FF/CNN, softsign, adam) Слой векторного умножения (dot product) либо другой kernel Корректирующий слой (feed forward + softmax) Ответ сети: похожесть вопроса и ответа (0-1) TF-IDF/Ngram – токенизация TF-IDF/Ngram - токенизация Embedding+encoding - каскад сжатия ответа (RNN/FF/CNN, softsign, adam) "Вопрос" "Ответ" Кластер веб-серверов, Кэширование, REST-API GPUs (TitanX) Возможные ответы на контекст Глубокая нейронная сеть с двумя входами и одним выходом с адаптивной архитектурой. Внутри сети происходит совмещение семантических пространств вопросов и ответов. В 2017 году – сделали совместный пилот с мэрией Москвы
- 113.
- 114. Стратегии • Изучаем клиентов(кластерный анализ, зондирование) • Привлечь нового дороже чем удержать старого? • Высокий churn-rate и CLV – удерживаем релевантным предложением • Меньше «тупого» спама - больше лояльность • Персонализированный контент • Ранжирование лидов и просчет рисков в CRM (Sales Force Einstein)
- 115. Каких брать людейв продуктовую команду? •Бигдата: хорошие программисты и опытные сисадмины – 1 штука на проект •Создание/тюнинг моделей: физматы – 1 штука на отдел •Product owner с обновленным мозгом – 1 штука на проект(ы) •Менеджеры – 1024 килограмм •python, java, unix, spark, scala
- 116. Спасибо за внимание! Вопросы? Александр Сербул @AlexSerbul AlexandrSerbul serbul@1c-bitrix.ru