Применение Big Data в
маркетинге
к.ф.-м.н. Евгений Николаевич Павловский,
Зав.лаб. Аналитики потоковых данных и машинного обучения НГУ-Экспасофт
Директор по развитию Экспасофт
2010 - …
ООО "Экспасофт"
ООО "Исследовательские системы"
ЭКСПАСОФТ
1999 - 2003
Выпускники НГУ
(к.ф.-м.н.)
2003 - 2011
ИМ СО РАН, лаборатория анализа данных
История создания
2015 - …
Лаборатория аналитики потоковых данных и машинного обучения НГУ
Маркетинг
• Управлять
• Измерить
• Данные
• Информация
• Принять решение
• Исполнить
Показатели
Воронка цифрового маркетинга
ВОЗДЕЙСТВИЕ
ОБНАРУЖЕНИЕ
РАЗМЫШЛЕНИЕ
КОНВЕРСИЯ
• Поиск, реклама, email, пресса, форумы, блоги,
сарафанное радио
• Изучение контента
• Соответствует потребности?
• Целевое действие
• Сервис, коммуникация, выполнение заказа ->
положительный опыт
• Возвращается
1. Персонализация
рост конверсии
сегментация
аудитории
совместный анализ
обучение с
подкреплением
персональные
предложения
2. Программы лояльности
Score Face – Распознавание изображений
Распознавание лиц
Верификация
Точность на LWF = 98%
≠
=
Идентификация
Точность на LFW = 86%
Aaron Peirsol Abdel Nasser Aaron Eckhart
Распознавание пола и возраста
3. Мониторинг и анализ мнений
потребителей
Эффективность рекламы
Билборды
Интернет
? ?
?
?
Прогнозирование потока посетителей
Таргетирование
объем продаж
магазинов 4812
жанров книг 1864
0-2300
618 команд
164 организации
42 страны
4 место
ошибка < 1
Распознавание документов
Детектирование людей и автомобилей
Распознавание звуковых событий
Восстановление модели черепа
Ван Гог Иван Гогов
Alex J. Champandard. Semantic Style Transfer and Turning Two-Bit Doodles into Fine Artworks. 2016
Раскраски
http://tinyclouds.org/colorize/
Семантическая сегментация
http://arxiv.org/pdf/1511.00561v2.pdf
BA Кейсы
Проектный
цикл
Бизнес-
задачи
Бизнес-
модели
ML Алгоритмы Модели Критерии Техники
SE Python SciPy NumPy OWL
Tools MapReduce Tableau TextMining NoSQL
DataScientist
CIO
Бизнес-
аналитик,
дата-аналитик
Разработчик
DBA
Курсы по анализу больших данных
Успехи чат-ботов
• WeChat,
• Джастин Лонг, знакомства для Tinder
• Джошуа Браудер, оспорить штрафы, http://www.donotpay.co.uk/signup.php
• Роджер Андресон, удержать продавца на телефоне, http://jollyrogertelephone.com/
• Textocat, можно заказать еду http://textocat.ru/ (набор шаблонов)
• Личный помощник М от Facebook
• Manybot, ManyChat (Микаэл Ян) - платформа для конструирования ботов
• Chatfuel (Дмитрий Думик и Артем Пташник) - платформа для конструирования ботов
• Тау (Микрософт) - возненавидел феминисток и евреев
• Camomile Quotient (Наталия Артемьева) - эмоциональный интеллект для продаж
• http://quest.ai/ (Андрей Загоруйко, Михаил Бузенков и Никита Жильцов)
• Клара - поисковый помощник, @clarabot
• Api.ai (Илья Гельфенбейн) – создание бота с искусственным интеллектом
ОБУЧЕНИЕ
BIG DATA
ИСКУССТВЕННЫЙ
ИНТЕЛЛЕКТ
ПРОГНОЗНЫЕ
МОДЕЛИ
РАЗУМНЫЕ
ТЕХНОЛОГИИ
Спасибо за внимание!
• Евгений Николаевич
Павловский, к.ф.-м.н.
• зав. лабораторией аналитики
потоковых данных и
машинного обучения НГУ -
Экспасофт
• e@expasoft.ru
• http://bigdata.nsu.ru

Применение Big Data в маркетинге

Editor's Notes

  • #3 Исторически, компания Экспасофт выделилась из лаборатории анализа данных Института математики им. С.Л. Соболева СО РАН и с момента своего основания остается в поле технологий связанных с решением машинными методами интеллектуальных задач. Технологический стек компании: Artificial Intelligence: Python (Scikit learn, Numpy, Pandas), R (Revolution R), Azure ML, SPSS Climentine, Knime, Vowpal wabbit Deep learning: CNN, LSTM, DNN, Café, Theano, Tensor flow Natural Language Processing: Rule based, Bag of words, TFIDF, Latent semantic analysis, Word2vec, Doc2vec Big Data: Spark, Hadoop, MlLib, AWS (Redshift)
  • #7 В рамках совместно Франко-Российского проекта была разработана технология автоматической персонификации вебсайтов в соответствии с индивидуальными предпочтениями и особенностями восприятия посетителей. Алгоритм персонификации в автономном режиме «24/7/365» изучает трафик вебсайта путем внесения точечных изменений на уровне дизайна, контента и функционала отдельных страниц сайта. Цель изучения – поиск оптимальных стратегий воздействия на посетителей в направлении максимизации заданной метрики конверсионного отклика. Помимо графика отражающего общий рост конверсии, результат работы алгоритма представим в виде сегментации клиентов по группам характеризующимся едиными покупательскими пристрастиями. Каждый сегмент описывается объективными характеристиками, доступными для наблюдения: пол, возраст, достаток, семейное положение и т.д. Для каждого сегмента сформирована оптимальная стратегия воздействия.
  • #8 Биг Дата как инструмент по повышению лояльности и удержанию клиентов. Прогнозирование возможного ухода клиентов - как они могут уйти и почему? Нацеливание маркетинговых усилий по удержанию клиентов на выявленные группы риска. Выявление лидеров мнений, принятие оперативных решений для предложения индивидуальных условий обслуживания для лидеров мнений - создание авторитетов бренда/продукта/компании.
  • #9 аспознавание посетителей – клиент, повторно пришедший в магазин и прошедший перед камерой, распознается с помощью облачного сервиса. Соответствующее уведомление поступает оператору. Позволяет выстраивать систему лояльности.
  • #10 Системы распознавания лиц решают две задачи: задача верификации задача идентификации Задача верификации заключается в сравнении двух фотографий с целью понять, являются ли запечатленные на них люди одним и тем же человеком или это фотографии разных людей (one-to-one). Зачастую данная задача возникает в системах охраны, когда необходимо понять является ли человек тем, за кого себя выдает. Задача идентификации заключается в понимании, кто именно из заданного набора персон запечатлен на данной фотографии (one-to-many). Задача идентификации является технически более сложной, т.к. это задача многоклассовой классификации.
  • #11 Пример решения пары «классических» задач распознавания образов, близко сопряженных с распознаванием лиц – определение пола и возраста человека по фотографии: точность распознавания пола близка к 95% машинное определение возраста работает в пределах допусков в 7 лет для людей среднего возраста
  • #12 Биг Дата как инструмент мониторинга и анализа мнений потребителей о компании/продукте/бренде. Выявление упоминаний названия компании, продукта или бренда в сети: блогах, соц сетях, форумах оценка отклика: негативный/позитивный, принятие решения для оперативного реагирования.
  • #13 Если для продвижения товаров используются различные рекламные каналы, важно понимать: объем продаж инициированных каждым каналом рентабельность каналов продаж как уровень продаж зависит от распределения рекламного бюджета между различными каналами Получить ответы на эти вопросы можно путем сопоставления наблюдаемых объемов продаж изменениям которым подвергались рекламные бюджеты.
  • #14 На основании истории прохода посетителей через кассы в супермаркете решалась задача прогнозирования ежедневного количества покупателей. Прогнозная модель учитывала время суток, день недели, праздничный/не праздничный день. Ошибка предсказания составила 5%.
  • #15 В рамках международного соревнования анализировались данные о том, сколько книг того или иного жанра было продано в разных магазинах торговой сети в течение года. Данные содержали число книг каждого из 1856 жанров, проданных в течение года в том или ином магазине. Цель анализа – понять необходимый объем поставок книг определенного жанра в каждый магазин. В конкурсе изъявили желание участвовать 618 команд из 164 организаций 42 стран, 231 команда решила эту задачу и прислала свои результаты, 49 команд преодолели порог приемлемых результатов, установленный организаторами. Среднее количество ошибок на одно предсказываемое значение у разных команд колебалось от 0.89 до 100.22. Наша команда в среднем сделала 0.95 ошибки на прогноз и заняла 4 место.
  • #17 Получено решение задачи автоматической идентификации изображений бланков документов, относящихся к следующим классам: паспорт гражданина РФ заграничный паспорт гражданина РФ страховое свидетельство обязательного пенсионного страхования водительское удостоверение свидетельство о регистрации ТС
  • #18 На базе технологии глубоких нейронных сетей создано решение, позволяющее детектировать на изображении наличие людей и транспортных средств с точностью порядка 95%.
  • #19 Реализована технология идентификации аудио-событий. С высокой степенью достоверности (не менее 98%) распознаются: крик ребенка лай собаки звон разбитого стекла выстрел пожарная сирена
  • #20 Была разработана компьютерная технология 3D-моделирования имплантатов для проведения реконструктивных операций на костях лицевого и мозгового отделов черепа. Решение задачи было получено путем обучения стека глубоких нейронных сетей восстановлению изображений черепов, что позволило создать полностью автоматический процесс моделирования не требующий участия человека. Формируемые модели имплантата распечатываются на 3D-принтере.
  • #24 Компания Экспасофт проводит очное обучение анализу больших данных. Курс даёт знания из области анализа данных, машинного обучения, бизнес-анализа. Разбираются кейсы по движкам рекомендаций, обработки серверных логов, кредитному скорингу и интеграции данных (ETL). Затрагиваются все аспекты анализа данных: математический, аналитический, инженерный и управленческий. Курс рассчитан на инженеров, программистов, маркетологов, базовиков и аналитиков. Процесс учебы включает в себя проработку проекта больших данных для собственной компании ученика под руководством опытных специалистов. Выпускники курса, способны определять выгоды анализа больших данных для собственной компании, овладевают практичными алгоритмами (RandomForest, Naïve Bayesian, Boosting, Bagging, DT, SVM, kNN и др.), обучены использовать Python для анализа данных и текстов (Pandas, SciPy, NumPy, PyMorphy, NLTK), овладеете средами (Tableau, Orange), могут интегрировать большие потоки данных и работать с ними через Hadoop.
  • #26 Академпарк, ИТ-центр ООО “Экспасофт” ул. Николаева, 11, офис 707 г. Новосибирск, 630090 Тел: +7-923-227-49-97 email: v@expasoft.ru Часть технологий, приведенных в презентации, оформлена в виде демонстрационного стенда, доступного по адресу: https://expasoft.com/services/