SlideShare uses cookies to improve functionality and performance, and to provide you with relevant advertising. If you continue browsing the site, you agree to the use of cookies on this website. See our User Agreement and Privacy Policy.
SlideShare uses cookies to improve functionality and performance, and to provide you with relevant advertising. If you continue browsing the site, you agree to the use of cookies on this website. See our Privacy Policy and User Agreement for details.
Successfully reported this slideshow.
Activate your 30 day free trial to unlock unlimited reading.
DevOps Fest 2020. Павел Галушко. Что делать devops'у если у вас захотели machine learning
Все у вас хорошо, ci крутится, cd мутится, веб бегает стабильно и жизнь наладилась. Но приходит светлая идея в голову руководителя что надо использовать ML или проект новый с этой новой чудо технологией (вообще она не новая, но это опустим). Что вам надо делать, куда бежать, что смотреть и как со всем этим жить.
Все у вас хорошо, ci крутится, cd мутится, веб бегает стабильно и жизнь наладилась. Но приходит светлая идея в голову руководителя что надо использовать ML или проект новый с этой новой чудо технологией (вообще она не новая, но это опустим). Что вам надо делать, куда бежать, что смотреть и как со всем этим жить.
DevOps Fest 2020. Павел Галушко. Что делать devops'у если у вас захотели machine learning
1.
Павел Галушко
Чтоделатьdevops'уеслиувас
захотелиmachinelearning
2.
Pavlo Galushko
• Меня зовут Паша
• Программирую всю жизнь, за
деньги уже больше 25 лет
• Учу людей думать и
программировать
• Умею дышать огнем
• Tech lead Machine Learning dev
team at Namecheap
Кто я
спойлер: Кузнец
3.
Pavlo Galushko
О чем не будет этот доклад
0111001101101111011100100111001001111001
• Этот доклад не будет про помощь ML в
жизни devops.
- Да, так можно
- Да, это работает
- Нет, вам это не нужно
• Если таки жизни больше нет:
- Поиск аномалий
- Особый упор на модели которые
работают с временным рядом.
- Доклад Antonio Pigna
4.
Pavlo Galushko
А ещё не будет ( почти)
01101111011011110111000001110011
• Big Data
• ETL
• Скайнет
5.
Pavlo Galushko
А что будет?
010000010110110001101100001000000111
001001101001011001110110100001110100
• Что такое ML
• Как выглядят процессы
• Что вас ждет (CD4ML)
• Что с этими счастьем делать?
6.
Pavlo Galushko
Что такое машинное обучение
011100100110010101100001011001000110110101100101
• Это математические алгоритмы
• Код создает другой код
• Ему для этого нужно много
данных
• В результате получается
обычный api
7.
Pavlo Galushko
Особенности
0111001101110100011100100110000101101110011001
1101100101
• Эти люди хотят странного
• Очень длинный и сложный
процесс
• Очень много данных
• Очень много вычислений
• Даже на проде
• Получается магия
8.
Pavlo Galushko
Как это делается?
010101110101010001000110
• Сначала ищут данные
• Обучают модель выполнять
задачу
• Пишут сервис работающий с
моделью
• Пишут сервис переобучающий
модель
• Со всем этим счастьем, мы
попробуем взлететь
9.
Pavlo Galushko
Рабочая среда для ресечеров
010011100111011001101001011001000110100101100001
• Железо с GPU
• Nvidia docker
• Jupyter Notebooks
• Каждому свой
• Много CUDA
10.
Pavlo Galushko
Как выглядит готовый проект
0111001101101000011011110110001101101011
• Тренировка
- ETL (spark, Hadoop, много баз)
- Преобразование данных
- Обучение модели
• Prod
- Преобразование данных
- модель
• Дополнительные сервисы
11.
Pavlo Galushko
Что вас ждет (CD4ML)
010011110100110101000111
• Эти люди хотят странного
• Docker,kubernetes с GPU
• Длинные пайплайны
• Передача моделей
• Облачные сервисы
• Spark, Hadoop и прочие ужасы
• Опять закончилось место
• CI/CD никуда не уходил
12.
Pavlo Galushko
• Зовем дева
• Подготавливаемся к длинными
процессам
• Гоняем любителей делать сложные
пайплайны, которые причудливо
образом зависят друг от друга
• Помогаем им разбить на атомарные
пайпланы
• Подготовить место. Быть готовым к
тому, что террабайт забивают
примерно минут за 20
Что с этими счастьем делать?
01001001010011010100100001001111
13.
Pavlo Galushko
• Разбираемся с предложениями
облаков
• Изучить особенности видеокарт
И работы с ними. CUDA и прочие
прелести жизни
• Гонять любителей всего нового
и свежего. TF2 еще не готов для
прода
Что с этими счастьем делать?
01001001010011010100100001001111
14.
Pavlo Galushko
• Разбираемся с особенностями
работы кубика c GPU
• Изучаем стек Апач. Желательно
попробовать
Что с этими счастьем делать?
01001001010011010100100001001111
15.
Pavlo Galushko
До новых встреч
https://www.linkedin.com/in/
galushkopavlo/
https://www.facebook.com/
paul.galushko
• OdessaJS’ 2020 / 29-30 августа
• PyCon Odessa 2020 /сентябрь
0110011001101111011011000110110001101111011101
1100100000011101000110100001100101
0 likes
Be the first to like this
Views
Total views
189
On SlideShare
0
From Embeds
0
Number of Embeds
0
You have now unlocked unlimited access to 20M+ documents!
Unlimited Reading
Learn faster and smarter from top experts
Unlimited Downloading
Download to take your learnings offline and on the go
You also get free access to Scribd!
Instant access to millions of ebooks, audiobooks, magazines, podcasts and more.
Read and listen offline with any device.
Free access to premium services like Tuneln, Mubi and more.