Все у вас хорошо, ci крутится, cd мутится, веб бегает стабильно и жизнь наладилась. Но приходит светлая идея в голову руководителя что надо использовать ML или проект новый с этой новой чудо технологией (вообще она не новая, но это опустим). Что вам надо делать, куда бежать, что смотреть и как со всем этим жить.

1. Павел Галушко
Чтоделатьdevops'уеслиувас
захотелиmachinelearning

2. Pavlo Galushko
• Меня зовут Паша
• Программирую всю жизнь, за
деньги уже больше 25 лет
• Учу людей думать и
программировать
• Умею дышать огнем
• Tech lead Machine Learning dev
team at Namecheap
Кто я
спойлер: Кузнец

3. Pavlo Galushko
О чем не будет этот доклад
0111001101101111011100100111001001111001
• Этот доклад не будет про помощь ML в
жизни devops.
- Да, так можно
- Да, это работает
- Нет, вам это не нужно
• Если таки жизни больше нет:
- Поиск аномалий
- Особый упор на модели которые
работают с временным рядом.
- Доклад Antonio Pigna

4. Pavlo Galushko
А ещё не будет ( почти)
01101111011011110111000001110011
• Big Data
• ETL
• Скайнет

5. Pavlo Galushko
А что будет?
010000010110110001101100001000000111
001001101001011001110110100001110100
• Что такое ML
• Как выглядят процессы
• Что вас ждет (CD4ML)
• Что с этими счастьем делать?

6. Pavlo Galushko
Что такое машинное обучение
011100100110010101100001011001000110110101100101
• Это математические алгоритмы
• Код создает другой код
• Ему для этого нужно много
данных
• В результате получается
обычный api

7. Pavlo Galushko
Особенности
0111001101110100011100100110000101101110011001
1101100101
• Эти люди хотят странного
• Очень длинный и сложный
процесс
• Очень много данных
• Очень много вычислений
• Даже на проде
• Получается магия

8. Pavlo Galushko
Как это делается?
010101110101010001000110
• Сначала ищут данные
• Обучают модель выполнять
задачу
• Пишут сервис работающий с
моделью
• Пишут сервис переобучающий
модель
• Со всем этим счастьем, мы
попробуем взлететь

9. Pavlo Galushko
Рабочая среда для ресечеров
010011100111011001101001011001000110100101100001
• Железо с GPU
• Nvidia docker
• Jupyter Notebooks
• Каждому свой
• Много CUDA

10. Pavlo Galushko
Как выглядит готовый проект
0111001101101000011011110110001101101011
• Тренировка
- ETL (spark, Hadoop, много баз)
- Преобразование данных
- Обучение модели
• Prod
- Преобразование данных
- модель
• Дополнительные сервисы

11. Pavlo Galushko
Что вас ждет (CD4ML)
010011110100110101000111
• Эти люди хотят странного
• Docker,kubernetes с GPU
• Длинные пайплайны
• Передача моделей
• Облачные сервисы
• Spark, Hadoop и прочие ужасы
• Опять закончилось место
• CI/CD никуда не уходил

12. Pavlo Galushko
• Зовем дева
• Подготавливаемся к длинными
процессам
• Гоняем любителей делать сложные
пайплайны, которые причудливо
образом зависят друг от друга
• Помогаем им разбить на атомарные
пайпланы
• Подготовить место. Быть готовым к
тому, что террабайт забивают
примерно минут за 20
Что с этими счастьем делать?
01001001010011010100100001001111

13. Pavlo Galushko
• Разбираемся с предложениями
облаков
• Изучить особенности видеокарт
И работы с ними. CUDA и прочие
прелести жизни
• Гонять любителей всего нового
и свежего. TF2 еще не готов для
прода
Что с этими счастьем делать?
01001001010011010100100001001111

14. Pavlo Galushko
• Разбираемся с особенностями
работы кубика c GPU
• Изучаем стек Апач. Желательно
попробовать
Что с этими счастьем делать?
01001001010011010100100001001111

15. Pavlo Galushko
До новых встреч
https://www.linkedin.com/in/
galushkopavlo/
https://www.facebook.com/
paul.galushko
• OdessaJS’ 2020 / 29-30 августа
• PyCon Odessa 2020 /сентябрь
0110011001101111011011000110110001101111011101
1100100000011101000110100001100101