16й митап Software Craftsmanship пройдет онлайн и будет посвящен построению ML pipeline с точки зрения инженера-разработчика. В последние год-два все чаще появляются вакансии, в которых инженеру необходимо выстроить ML pipeline. Такие вакансии получают название ML Ops. В ML pipeline входят такие вещи, как построение моделей, хранение, сравнение качества моделей, поддержание версионность моделей, работа с feature storage, и само собой разумеется, применение модели в prod. Модель обычно оформляется как микросервис, который можно просто разворачивать, масштабировать и поддерживать. При этом, как правило, другими членами команды оказываются data scientists или ML engineers, которые сильны в своих областях, но не могут сделать простой масштабируемый REST API для своей модели. В рамках совместной работы с ними и приходится реализовывать ML pipeline. На митапе мы коснемся того, для чего необходим ML pipeline, из каких шагов он состоит, и каким образом организована работа инженера в ML команде.

1. Software Craftsmanship
meetup #16
Building ML Pipepine
Павел Вейник
CEO @ Hard & Soft Skills

2. Мы сегодня online
●Зарегистрировались 91 человек
●Наш пятый митап online
●При поддержке Sam Solutions
●Информационные партнеры
dev.by, tproger.ru
2

3. О митапах
● Часть проекта Hard & Soft Skills
● Поделиться и пообщаться
● Подобрать материал для курсов:
○ Технический лидер
○ От middle developer к senior
engineer
3

4. План митапов
14. Масштабирование монолита
15. Resilience and Reliability
16. ML Operations for engineers
17. ??? Микросервисы
18. ??? hardsoftskills.by/next_meetups
4

5. Сегодня не будет
Математики, статистики…
Python и библиотек
Технических деталей
Подходов к построению
моделей, feature extraction...
5

6. Цель этого митапа
Выяснить что общего у ML и
разработки, и какие отличия.
Понять для чего нужен ML
pipeline.
Понять что такое ML Ops.
6

7. План этого митапа
1.Команда ML
2.Отличия ML от разработки
3.Этапы ML pipeline
4.Платформы ML Ops
7

8. Развитие ML в компаниях
ML начинался с одиночек-
экспериментаторов.
Сейчас - сильный тренд в
сторону большей доступности и
воспроизводимости их работы.
8

9. Команда ML
Data scientist
Data engineer
ML Engineer
DevOps engineer
Software engineer
Business owner, PO
Manager
9

10. Data Scientist
Цель: найти data-driven решение
для бизнес задачи
Skills: мат статистика,
визуализация данных, ML
эксперименты
Задачи: поиск закономерностей
10

11. Data Engineer
Цель: обеспечить доступность
данных для data scientist
Skills: db, data lake, data
warehouse, ETL, data format
Задачи: получение данных,
преобразование, отдача данных
11

12. ML Engineer
Цель: построить прод модель на
основе результатов data scientist
Skills: теория ML, CI/CD
Задачи: обучение/тестирование
моделей, деплой и мониторинг
12

13. DevOps Engineer
Цель: обеспечить
масштабируемость и
стабильность моделей в прод
Skills: DevOps
Задачи: поддержка
инфраструктуры, релизы/деплой
13

14. Software Engineer
Цель: создать работающую
систему, использующую модели
Skills: software engineer
Задачи: интеграция моделей,
масштабирование, разработка
ПО
14

15. Business Owner, PO
Цель: выстроить модели, ценные
для бизнеса
Skills: глубоко в домене +
коммуникации
Задачи: понимать ценность,
риски и ограничения модели
15

16. Manager
Цель: обеспечить работу
команды ML
Skills: менеджер
Задачи: коммуникации вне и
внутри команды, ресурсы, ROI,
планы и сроки
16

17. Команда ML
Более разнородна чем обычная
команда разработки.
Больше ролей, сложнее
процесс, сложнее
коммуникации.
Требуется больше скилов.
17

18. ML vs software engineering
Разработка ПО:
код
Разработка моделей:
data + код
Чаще всего big data, а не data
18

19. ML vs software engineering
19

20. ML vs software engineering
ПО:
изменения кода -> результат
Модель:
изменения кода, повторное
обучение -> результат
20

21. ML vs software engineering
Повторное обучение требует:
данные
вычислительную инфра
время
21

22. ML vs software engineering
ПО:
версионность кода
Модели:
версионность кода
версионность datasets
Dataset - сбор, преобр...
22

23. ML Operations
23

24. ML Operations
24

25. Назначение ML Ops - облегчить,
ускорить и уменьшить риски
перехода от созданной модели к
ее использованию в production.
ML Operations
25

26. Потеря знаний, bus factor
Падения и ошибки в production
Риски предметной области
Риски ML
26

27. Потеря знаний в ML команде
27

28. Кроме кода, есть данные:
как они получены
какие features
версии notebooks/скриптов
Сложно добиться повторяемости
Потеря знаний в ML команде
28

29. Поведение модели:
покрывается тестами
проверки на данные
проверки на инфра
проверки на overfitting
Ошибки в проде
29

30. Какие бизнес-риски несут
ошибки модели?
Риски домена
30

31. 31

32. Обеспечивает общий язык в
кроссфункциональной команде
Автоматизирует рутинные
операции
ML Ops
32

33. ML Ops
33

34. 1. управлять версиями данных,
моделей, кода, параметров,
окружений
2. рассматривать этапы
подготовки моделей как
компоненты и объединять их в
pipeline
ML Ops best practices
34

35. 3. Автоматизировать проверки,
вводить стандарт качества
моделей
4. Автоматизировать любую
рутинную работу, освобождать
время для разработки
ML Ops best practices
35

36. MLFlow
KubeFlow
MetaFlow
Flyte
Valohai
Iguazio
MLOps Platforms
36
DataRobot
Dataiku
cnvrg.io
Allegro AI
Algorithmia

37. 37

38. Код
эксперименты
реализация
инфраструктура (IaC)
Данные (+метаданные)
Модели
Версионность моделей
38

39. 39

40. Сбор версии с помощью конфиг
файлов (часть кода)
DVC, частично и pipeline
Pachyderm
MLFlow
H2O
Версионность моделей
40

41. Версионность в ML проекте
нуждается в отдельном
планировании и управлении.
Версионность моделей
41

42. Курсы Hard & Soft Skills
● Цель митапов - материалы для
различных курсов
● Для мидлов, сеньеров, лидов,
архитекторов, CTO
● Сейчас обучается второй набор
курса “Технический лидер”
42

43. Ссылки
pipeline
● https://valohai.com/machine-learning-pipeline/
● https://github.com/Building-ML-Pipelines/building-machine-learning-pipelines
● https://mlflow.org/
● https://www.kubeflow.org/
● https://metaflow.org/
● https://github.com/flyteorg/flyte
● https://www.iguazio.com/
● https://www.datarobot.com/
● https://www.dataiku.com/
● https://cnvrg.io/
● https://www.allegro.ai/
● https://algorithmia.com/
книга
● https://www.buildingmlpipelines.com/
версионность
● https://medium.com/acing-ai/ml-ops-data-science-version-control-5935c49d1b76
● https://dvc.org/
● https://www.pachyderm.io/open_source.html
● https://www.mlflow.org/docs/latest/projects.html
● http://docs.h2o.ai/h2o/latest-stable/h2o-docs/productionizing.html
43

44. Задайте мне вопрос
44