Diana Dmytrashko, Team Lead of Data Engineering at AUTODOC World of Big Data

1. Данные: от любви до ненависти и обратно.
Кто такие дата-инженеры и как им стать

2. Кто такой дата инженер?
set up infrastructure,
collect data
analysis, DS,
ML, DL
explore/transform,
validation
move/store
Data infrastructure
engineer, Backend
Analysts,
Data Scientists
Data engineer

3. Доставка Обработка
Актуальность
Сбор
Корректность
Хранение
Доступность
Что делает?
За что отвечает?

4. Как становятся дата инженерами?
Data Engineer
Backend
engineers
Analysts
Data Scientists
Architectors

5. Как становятся дата инженерами?
Data Engineer

6. Как становятся дата инженерами?
Backend
engineer
Data Engineer
- Принципы работы схожи
- Безболезненный переход
- Данные как ресурс
- Сложности с бизнес-требованиями

8. Как становятся дата инженерами?
Backend
engineer
Data Engineer
Data analyst
- Принципы работы схожи
- Безболезненный переход
- Данные как ресурс
- Сложности с бизнес-требованиями
- Умение работать с данными и понимать их
- Нехватка данных
- Недостаток документации
- Невозможность проверить источники
- Умение находить проблемы в данных
- Невозможность эти проблемы пофиксить
- Сложности обучения

9. Что должен знать и уметь дата инженер?

10. Что должен знать и уметь дата инженер?
SQL
01
Programming
language
02
Data
pipelines
03
Database
basics &
concepts
04
Cloud
05
Distributed
systems
06
Data
processing
07
MLOps
08
- Python
- Scala
- ETL/ELT
- Airflow
- SQL/No SQL
- Data Warehouse
- Data Lake
- Delta Lake
- GCP
- AWS
- Azure
- MySQL
- PostgreSQL
- PySpark
- Kafka
- DVC
- MLFlow / KubeFlow

11. 3 базовых навыка для старта

12. 3 базовых навыка для старта
Analytical mindset
Programming
SQL

13. Спасибо за внимание!
Вопросы?

14. Diana Dmytrashko
Team Lead of Data Engineering
Contacts:
Linkedin: https://www.linkedin.com/in/diana-dmytrashko-aa98a419b/
Gmail: diana.dmytrashko@gmail.com