Dmitry Spodarets about Machine Learning and Data Science for our Nerd's Day at Provectus

1. Mobile & Design eCommerce DevOps & Big data

2. Введение в Data Science
Dmitry Spodarets

3. Data
Machine Learning
Tools
Computing resources
Automation

4. Big Data

5. Data Growth
Source: IDC - 2014, Structured Data vs. Unstructured Data: The Balance of Power Continues to Shift

6. Dataset volumes
http://www.kdnuggets.com/2016/11/poll-results-largest-dataset-analyzed.html

7. Industries where you applied
Data Science in 2016?
http://www.kdnuggets.com/2016/12/poll-analytics-data-mining-data-science-applied-2016.html

8. Data Science

9. Data Scientist

10. Data Scientist
Scientist Engineer Business
Data Scientist

12. Data Scientist vs Data Engineer

13. Data Science is multidisciplinary
(Brendan Tierney, 2012)

14. Machine Learning
Машинное обучение — процесс, в результате которого машина
(компьютер) способна показывать поведение, которое в нее не было
явно заложено (запрограммировано).
A.L. Samuel
Цель машинного обучения - создавать компьютерные системы,
которые адаптируются и обучаются на своём опыте.
Tom Dietterich
Machine Learning позволяет решать задачи, для которых трудно
или невозможно построить обычный алгоритм.

15. Суть машинного обучения

16. Применение ML
Распознавание
образов
Прогнозирование
акций
Рекомендации

17. Классификация задач ML
● Дедуктивное обучение (экспертные системы)
● Индуктивное обучение (≈ статистическое обучение)
○ Обучение с учителем
○ Обучение без учителя
○ Обучение с подкреплением
○ Активное обучение
○ . . .

18. Дедуктивное обучение
(экспертные системы)
● Имеются знания, сформулированные экспертом и как-то
формализованные.
● Программа выводит из этих правил конкретные факты и
новые правила.

19. Индуктивное обучение
(≈ статистическое обучение)
● Обучение с учителем
● Обучение без учителя

20. Обучение с учителем
● Обучаем машину на примерах (данные + требуемое
решение)
● Алгоритм сохраняет «значение» о примерах во внутренней
математической модели
● Предсказываем новые данные, используя обученную
модель
Основная суть: обучая машину на исходных данных и зная
ответ для этих данных, получить ответ для новых данных.

21. Обучение без учителя
● Загружаем в машину какой-то набор данных
● Машина может самостоятельно проанализировать
загруженные данные и сгруппировать их или предложить
вам набор инсайтов
Основная суть: не зная ответ совсем - получаем ответ.

22. Типы задач
● Обучение с учителем
○ Классификация
○ Регрессия
● Обучение без учителя
○ Кластеризация

23. Классификация

24. Классификация
● Кредитный скоринг: по анкете заемщика принять
решение о выдаче/отказе кредита
● Медицинская диагностика: по набору медицинских
характеристик требуется поставить диагноз
● Геологоразведка: по данным зондирования почв
определить наличие полезных ископаемых
● Оптическое распознавание текстов: по
отсканированному изображению текста определить
цепочку символов, его формирующих

25. Регрессия

26. Регрессия
● Оценка стоимости недвижимости: по характеристике
района, экологической обстановке, транспортной связности
оценить стоимость жилья
● Медицина: по постоперационным показателям оценить
время заживления органа
● Кредитный скоринг: по анкете заемщика оценить
величину кредитного лимита

27. Кластеризация

28. Кластеризация
● Маркетинг: по результатам маркетинговых исследований
среди множества потребителей выделить характерные
группы по степени интереса к продвигаемому продукту
● Финансовая сфера: по сводкам банковских операций
выявить группы «подозрительных», нетипичных банков,
сгруппировать остальные по степени близости проводимой
стратегии
● Экономическая география: по физико-географическим и
экономическим показателям разбить страны мира на
группы схожих по экономическому положению государств

29. Deep Learning
Deep Learning - это вид машинного обучения, основанный на
нейросетях.
Распознавание
речи
Компьютерное зрение Обработка естественного
языка

30. Нейронные сети

31. Нейронные сети

32. Нейронные сети

33. Нейронные сети

34. X*W=Y
Нейронные сети

35. 2*W=6
Нейронные сети

36. Error=2*W-6
Нейронные сети

37. Нейронные сети

38. Нейронные сети

39. Tools

40. Scientific Method

41. Scientific Method

42. Process
Training
model
Deployed
Model
Live
Data
Historical
Data
Result
Creating
model

43. Process
Training
model
Deployed
Model
Live
Data
Historical
Data
Result
Creating
model

44. PostgreSQL 37
CSV 31
MySQL 21
Hadoop 16
Excel 15
HDFS 15
Mongodb 15
Oracle 11
Hive 8
Хранение данных

45. Python 151
R 88
SQL 37
Java 32
Scala 22
bash 17
C++ 17
JavaScript 15
C# 13
vba 8
C 6
Языки

46. Pandas 88
Numpy 68
scikit-learn 48
scipy 26
dplyr 20
matplotlib 20
ggplot2 15
keras 14
SPARK 13
xgboost 13
Tensorflow 12
Библиотерки

47. matplotlib 66
ggplot 40
seaborn 33
Excel 22
Tableau 22
R 19
plotly 13
bokeh 12
d3 11
Визуализация

48. AWS 77
My Server 41
Azure 25
Google 24
Digital ocean 9
OpenStack 7
Watson 1
Облака

49. Jupyter Notebook

50. Jupyter Lab

51. Notebook / IDE

52. Computing resources

53. Computing resources

54. NVIDIA DGX-1 Deep Learning Supercomputer
170/3 TFLOPS (GPU FP16 / CPU FP32)
960/3 TFLOPS (GPU FP16 / CPU FP32)
~5 TeraFLOPS (P100)
~7.5 TeraFLOPS (V100)
~3 TeraFLOPS
Computing resources

55. Titan X vs 1080TI vs K80 vs P100 vs V100
http://www.nvidia.com/
TFLOPS

56. Image Training Performance on GoogLeNet
https://www.nvidia.com/en-us/data-center/gpu-accelerated-applications/caffe/
imagestrainedpersecond

57. Эффективное распараллеливание

58. NVIDIA NVLink

59. 200Gb/s | 400Gb/s

60. NVIDIA Deep Learning SDK

61. Intel
•Intel Math Kernel Library (Intel MKL)
Natively supports C, C++ and Fortran Development.
Cross-language compatible with Java, C#, Python and other
languages.
•Intel Data Analytics Acceleration Library (Intel DAAL)
Includes Python, C++, and Java APIs and connectors to popular
data sources including Spark and Hadoop.
•Intel MPI Library
Natively supports C,C++ and Fortran development

63. Network Based Computing Lab
Ohio State University
•High-Performance Big Data (HiBD)
http://hibd.cse.ohio-state.edu/
•High-Performance Deep Learning (HiDL)
http://hidl.cse.ohio-state.edu/

64. Clouds

65. Clouds
P2-series N-series
16X K80 4X K80
X1-series H-Series
128 vCPU / 1952 GB 16 vCPU / 224 GB
C4-series
36 vCPU / 60 GB
aws.amazon.com/marketplace/ azuremarketplace.microsoft.com

66. Data Science images in Azure Marketplace

67. Data Science images in AWS Marketplace

68. FlyElephant Computing Resources

69. Automation and Services

70. Azure CLI
● sudo pip install azure-cli
● az login
● az group create --name GroupName --location EastUS
● az vm create --resource-group GroupName --name MyVM
--image Canonical:UbuntuServer:16.04-LTS:latest --size
Standard_NC6 --storage-sku Standard_LRS --admin-username
user --ssh-key-value ~/.ssh/id_rsa.pub
● az vm deallocate --resource-group GroupName --name MyVM
● az vm start --resource-group GroupName --name MyVM
● az vm list-ip-addresses --resource-group GroupName --name
MyVM
● az vm delete --resource-group GroupName --name MyVM
● az group delete --name GroupName

71. Docker

72. Docker Machine
•Amazon Web Services
•Digital Ocean
•Exoscale
•Generic
•Google Compute Engine
•IBM Softlayer
•Microsoft Azure
•Microsoft Hyper-V
•OpenStack
•Oracle
•VirtualBox
•Rackspace
•VMware Fusion
•VMware v
•Cloud Air
•VMware vSphere
docker-machine create --driver azure --azure-subscription-id subscription-id
--azure-resource-group resourcename --azure-ssh-user user --azure-size
machine-name
docker-machine ssh machine-name

73. nvidia-docker
https://github.com/NVIDIA/nvidia-docker

74. Singularity
•First public release in April 2016, followed by a massive uptake
•HPC Wire Editor’s choice: Top Technologies to Watch for 2017
•Simple integration with resource managers, InfiniBand, GPUs, MPI, file systems,
and supports multiple architectures (x86_64, PPC, ARM, etc..)
•Limits user’s privileges (inside user == outside user)
•No root owned container daemon
•Network images are supported via URIs and all require local caching:
○ docker:// - This will pull a container from Docker Hub
○ http://, https:// - This will pull an image or tarball from the URL, cache
and run it
○ shub:// - Pull an image from the Singularity Hub
http://singularity.lbl.gov/

75. Contributors to Singularity

76. Cloud Services

78. Dmitry Spodarets
d.spodarets@flyelephant.net
www.flyelephant.net