Дмитро Сподарец - засновник компанії FlyElephant, викладач кафедри системного програмного забезпечення ОНПУ, організатор технічних конференцій про Data Science, AI, BigData, HPC, JS. Тема: Які інструменти використовують в Data Science? Декілька слів від самого спікера: "Наша команда FlyElephant, в конце прошлого года, провела среди дата-сайентистов опрос об инструментах, которые они используют в своей работе. В докладемы рассмотрим, с какими объемами датасетов они работают, какие библиотеки, языки и облачные сервисы они используют, какой софт для сбора, хранения и визуализации популярен. Поговорим о проблемах, с которыми они сталкиваются и том, что может помочь ускорить их работу"

1. What tools
data scientists are using?
Dmitry Spodarets
AI&BigData Club

2. Who am I
Dmitry Spodarets
• Founder and CEO at FlyElephant
• PhD candidate at Odessa National University
• Lecturer at Odessa Polytechnic University
• Organizer of technical conferences about AI,
BigData, HPC, JS, Web Technologies …

3. FlyElephant
We automate Data Science and Engineering Simulation
and help teams to work efficiently.
Computing
resources
Ready-computing
infrastructure
Collaboration
& Sharing
Fast
Deployment
Expert
Community

4. Data Science Tools Survey

5. Datasets
0
10
20
30
40
50
60
70
less than
1 MB
1.1 to 10
MB
11 to 100
MB
101 MB to
1 GB
1.1 to 10
GB
11 to 100
GB
101 GB to
1
Terabyte
1.1 to 10
TB
11 to 100
TB
101 TB to
1
Petabyte
1.1 PB to
10
Petabyte
11 to 100
PB
over 100
PB
Datasets
Datasets

6. Tools for collecting data
Python 45
R 26
Spark 18
SQL 15
Excel 13
Kafka 11
Pandas 10
custom 8
Hadoop 5
Numpy 5
SAS 5

7. Tools for storing data
PostgreSQL 37
csv 31
MySQL 21
Hadoop 16
Excel 15
HDFS 15
Mongodb 15
My Server 12
Oracle 11
Hive 8

8. Programming languages
Python 151
R 88
SQL 37
Java 32
Scala 22
bash 17
C++ 17
JavaScript 15
C# 13
vba 8
C 6

9. Libraries
Pandas 88
Numpy 68
scikit-learn 48
scipy 26
dplyr 20
matplotlib 20
ggplot2 15
keras 14
SPARK 13
xgboost 13
Tensorflow 12

10. Tools for the visualization of data
matplotlib 66
seaborn 33
ggplot2 26
Excel 22
Tableau 22
R 19
ggplot 14
plotly 13
bokeh 12
d3 11

11. Cloud services
aws 77
none 41
azure 25
google 24
digital ocean 9
OpenStack 7
Watson 1

12. Computing power
NVIDIA DGX-1 Deep Learning Supercomputer
170/3 TFLOPS (GPU FP16 / CPU FP32)
intel xeon phi processor
nvidia tesla p100
~5 TeraFLOPS
~3 TeraFLOPS

13. FPGA

15. Dmitry Spodarets
d.spodarets@flyelephant.net
www.flyelephant.net