Применение Data Science и машинного обучения для бизнеса

1. BA for Data Science
& Machine Learning

2. Гузенко Дмитрий
 Инструктор IT Education Academy
 Аналитик Luxoft
 Специалист по проектированию, разработке и
внедрению IT проектов
 24 года в ИТ
 15 лет БA
КОНТАКТНЫЕ ДАННЫЕ
fb.com/dmitry.guzenko
d.guzenko@outlook.com

3. ERP Ирбис
предприятие
75 / 300
implementations
ERP SiReD
5000 users
Brunei Telecom
Solution
25 Systems
АПУ, МОН,
КМДА, Антонов
Luxoft
Bank Domain
Medical
Statistic System
1992 201820122008

4. What we can
deliver now…

6. What we deliver? Free Time

7. What we can
deliver now…

9. (не)Новые технологии
Machine Learning
Data Science

10. (не)Новые роли
Data Scientist
Data Analyst

11. Who Is mr. Data Scientist

13. Specialized knowledge
 Understanding theoretical concepts of statistics/probability, data mining, machine learning
 Understanding how these theoretical concepts could be applied to real world problems
 Ability to understand the nature of business problems and see the place of analytical models in the
solution
 Knowledge and hands-on experience with one or more of the following: Matlab/Octave, R, Python
 Familiarity with the concept of HPC, parallel computing
 Knowledge and hands-on experience with one or more of the following for data analytics:
Spark/Theano/TensorFlow/Caffee

14. Skills and abilities
 Strong English verbal and written communication
skills
 Deep analytical skills
 Self-organization, self-management
 Ability to work independently with limited
supervision
 Ability to handle multi-tasking activities
 Ability to learn quickly
 Following academic research and trends as a
habit
 Initiative and pro-active skills and flexibility
Experience
•Track record in data analysis, data science,
artificial intelligence
Personal characteristics
•Passion for learning and education
•Business orientation
•Result orientation
Job Context
•Customer facing role
•Sole responsibility over the analytical project
•High level of responsibility
•Simultaneous handling and fast processing of
multiple tasks
•Lots of educational and self-educational
activities
•Culture of knowledge sharing

15. Вывод
Конец рабочего дня!!!

16. Вывод
BA knowledge as a base
BA + DS = новые возможности

17. (не)Новые инновации

18. Что происходит

19. 1924 - Present 2001 - Present 2015 - Present

20. Data-Driven Approach
Сбор всех данных
Какие именно –
рецепта нет

21. Data-Driven Approach
Объединение
данных
различного типа

22. The Evolution of Data-Driven Company

23. (не)Новые возможности
Вопросы
Предсказания

24. Data Science — это наука о
методах анализа данных и
извлечения из них ценной
информации, знаний.

27. Data Science Process
https://en.wikipedia.org/wiki/Cross-industry_standard_process_for_data_mining
Cross-Industry
Standard Process for
Data Mining
Brussels, 1999
CRISP-DM

28. Data Science Process
Business
Analysis
Development
Evaluation
Deployment Data
Business
Understanding
Data
Understanding
Data
Preparation
Modeling

29. Data Science Pipeline

30. Вывод

31. Вывод
Больше половины нам и так знакомо
Пока все понятно.

38. Принцип машинного обучения

40. Предсказания

41. Варианты использования
Очевидные и невероятные

42. Персонализация
Рекомендация
Оптимизация
Безопасность
Автоматизация
Генерация
Прикладное применение

43. Индустрии

44. На какие вопросы отвечает Data Science?

45. На какие вопросы отвечает Data Science?
Это A или B?
Является ли это странным?
Сколько?
Как это организовано?
Что делать дальше?
Classification
Anomaly Detection
Regression
Clustering
Recommendation
1
2
3
4
5

46. На какие вопросы отвечает Data Science?
Сколько? Regression
Пример 2-х мерного пространства
Характеристик много, реальное
пространство многомерное

47. На какие вопросы отвечает Data Science?
Сколько? Regression
•Какой доход принесет клиент?
•Какой возраст у клиента?
•Сколько стоит этот объект (недвижимости)?
•Какая оптимальная стоимость услуги?

48. На какие вопросы отвечает Data Science?
Сколько? Regression
•Какой объем продаж будет в следующем месяце?
•Сколько сотрудников уволится в следующем
месяце?
•Прогноз прибыли или убытков по
филиалам/направлениями/продуктам/менеджерам?

49. Кластеризация

50. Как это организовано? Clustering

51. На какие вопросы отвечает Data Science?
Это A или B? Classification
•Какой категории этот клиент?
•Сотрудник уволится в следующем месяце?
•Вернет ли этот клиент кредит банку: Да или Нет?
1
•Какой пол клиента?

52. На какие вопросы отвечает Data Science?
Является ли это странным? Anomaly Detection2
Нормально ли это сообщение внутри интернет трафика?
Могли ли вы рассчитаться кредитной картой одновременно
из двух разных мест?
Нормально ли то, что клиент летит в Египет но заказал
экскурсию в Турции?

53. Рекомендательная система Collaborative Filtering

54. Рекомендательная система Collaborative Filtering

55. На какие вопросы отвечает Data Science?
Что добавить еще? Recommendation
•Какой товар можно еще докупить
•Какой контент можно просмотреть еще?
•Каким клиентам еще можно предложить эту услугу?
•Рекомендация друзей, специалистов (FB, LinkedIn)?

56. Case: Такси Uklon
Задачи:
• Сократить время ожидания
• Повысить кол-во заказов
Бизнес модель: Клиент имеет возможность сам назначить цену поездки
Проблема: Низкий % вывоза из определенных точек города
Решение: сервис прогноза оптимальной стоимости поездки
Целевые переменные:
• Ожидаемое время прибытия
• Процент выполнения заказа, план

57. Case: Такси Uklon
Features:
цена, конечная точка маршрута, марка машины, место прибытия, время суток, время года
Dataset:
Size = 20 Gb;
Count = 20 000 000 поездок;
Features = 20 характеристик;

58. Подходы:
Кластеры: отличаются от стандартного разделения города
на административные районы

59. Подходы:
Создание временных групп:
Сезоны, дни недели, время в сутках

60. Подходы:
300 ветвей дерева принятия решений

61. Архитектура:

62. Результаты
A/B testing:
В 75% случаев клиент не торгуется
Время ожидания и KPI улучшились на 5-15%

63. Bank & Finances
Николай Щербина
Попасть в девяточку: как с
помощью сегментации увеличить
конверсию на 473%
Персонализация коммуникаций:
как достучаться до каждого
Поток: CRM & Лояльность

64. На какие вопросы отвечает Data Science?
Как это организовано? Clustering

66. Демократизация технологий

67. Tools for quick starting

68. Tools for Machine Learning

69. Frameworks

70. Value
Data Science
Project Stages

71. Challenges
Фокус не на алгоритм а на результат
Эксперты не хотят терять монополию на
экспертизу
Размерность спринта иногда большая
Отсутствие данных

72. Challenges
Данные собираются для отчетности а не для анализа
Нет чистых данных
Требования объяснить результат
Попытка повлиять на полученные предсказания
Ответственность аналитика не за инсайт а за результат
Заказчик считает что данных предостаточно
Иногда нужна не аналитика а отчетность (30 вагонов продукции)

73. Советы
Использовать «пилоты»
Кол-во данных может быть небольшим
• 100% данных дают 100% результат
• 20% дают 80% результат
• 4% дают 60-70% результата (проверка гипотезы)
Работаем через гипотезы
Решать задачу бизнеса
• Например, остаток кеша в банкоматах не полезен для бизнеса.
Необходимо понимать изменение стоимости пролеживания
денег, штрафы за банкомат без денег, стоимость логистики
инкассации. Т.е. термины и показатели бизнеса

74. Вопросы

75. На какие вопросы отвечает Data Science?
Что делать дальше? Recommendation5
•Для робота-пылесоса: продолжить уборку или вернуться к зарядной станции?
•Для автомобиля с автономным управлением: при желтом сигнале светофора
затормозить или ускориться?
•Для боевого дрона: внизу это колонна боевиков или это дети из школы идут?

76. AI in Marketing
Meet Albert™
the First Artificial Intelligence Marketing
Platform for the Enterprise

77. Save Time More Accurate
Desigions
Increase
Revenue
Smart
Storage
Delight
Customers
High Value
Problem
Solving

78. Meet Albert™
Анализ
аудитории
Аналитика и
insights
Тестирование и
оптимизация
Исполнение
кампаний
Автозакупка
медиаресурсов

79. Client Success Story