Successfully reported this slideshow.

DevOps Fest 2020. Павел Галушко. Что делать devops'у если у вас захотели machine learning

0

Share

1 of 15
1 of 15

DevOps Fest 2020. Павел Галушко. Что делать devops'у если у вас захотели machine learning

0

Share

Все у вас хорошо, ci крутится, cd мутится, веб бегает стабильно и жизнь наладилась. Но приходит светлая идея в голову руководителя что надо использовать ML или проект новый с этой новой чудо технологией (вообще она не новая, но это опустим). Что вам надо делать, куда бежать, что смотреть и как со всем этим жить.

Все у вас хорошо, ci крутится, cd мутится, веб бегает стабильно и жизнь наладилась. Но приходит светлая идея в голову руководителя что надо использовать ML или проект новый с этой новой чудо технологией (вообще она не новая, но это опустим). Что вам надо делать, куда бежать, что смотреть и как со всем этим жить.

More Related Content

Similar to DevOps Fest 2020. Павел Галушко. Что делать devops'у если у вас захотели machine learning

More from DevOps_Fest

Related Books

Free with a 30 day trial from Scribd

See all

Related Audiobooks

Free with a 30 day trial from Scribd

See all

DevOps Fest 2020. Павел Галушко. Что делать devops'у если у вас захотели machine learning

  1. 1. Павел Галушко Чтоделатьdevops'уеслиувас захотелиmachinelearning
  2. 2. Pavlo Galushko • Меня зовут Паша • Программирую всю жизнь, за деньги уже больше 25 лет • Учу людей думать и программировать • Умею дышать огнем • Tech lead Machine Learning dev team at Namecheap Кто я спойлер: Кузнец
  3. 3. Pavlo Galushko О чем не будет этот доклад 0111001101101111011100100111001001111001 • Этот доклад не будет про помощь ML в жизни devops. - Да, так можно - Да, это работает - Нет, вам это не нужно • Если таки жизни больше нет: - Поиск аномалий - Особый упор на модели которые работают с временным рядом. - Доклад Antonio Pigna
  4. 4. Pavlo Galushko А ещё не будет ( почти) 01101111011011110111000001110011 • Big Data • ETL • Скайнет
  5. 5. Pavlo Galushko А что будет? 010000010110110001101100001000000111 001001101001011001110110100001110100 • Что такое ML • Как выглядят процессы • Что вас ждет (CD4ML) • Что с этими счастьем делать?
  6. 6. Pavlo Galushko Что такое машинное обучение 011100100110010101100001011001000110110101100101 • Это математические алгоритмы • Код создает другой код • Ему для этого нужно много данных • В результате получается обычный api
  7. 7. Pavlo Galushko Особенности 0111001101110100011100100110000101101110011001 1101100101 • Эти люди хотят странного • Очень длинный и сложный процесс • Очень много данных • Очень много вычислений • Даже на проде • Получается магия
  8. 8. Pavlo Galushko Как это делается? 010101110101010001000110 • Сначала ищут данные • Обучают модель выполнять задачу • Пишут сервис работающий с моделью • Пишут сервис переобучающий модель • Со всем этим счастьем, мы попробуем взлететь
  9. 9. Pavlo Galushko Рабочая среда для ресечеров 010011100111011001101001011001000110100101100001 • Железо с GPU • Nvidia docker • Jupyter Notebooks • Каждому свой • Много CUDA
  10. 10. Pavlo Galushko Как выглядит готовый проект 0111001101101000011011110110001101101011 • Тренировка - ETL (spark, Hadoop, много баз) - Преобразование данных - Обучение модели • Prod - Преобразование данных - модель • Дополнительные сервисы
  11. 11. Pavlo Galushko Что вас ждет (CD4ML) 010011110100110101000111 • Эти люди хотят странного • Docker,kubernetes с GPU • Длинные пайплайны • Передача моделей • Облачные сервисы • Spark, Hadoop и прочие ужасы • Опять закончилось место • CI/CD никуда не уходил
  12. 12. Pavlo Galushko • Зовем дева • Подготавливаемся к длинными процессам • Гоняем любителей делать сложные пайплайны, которые причудливо образом зависят друг от друга • Помогаем им разбить на атомарные пайпланы • Подготовить место. Быть готовым к тому, что террабайт забивают примерно минут за 20 Что с этими счастьем делать? 01001001010011010100100001001111
  13. 13. Pavlo Galushko • Разбираемся с предложениями облаков • Изучить особенности видеокарт И работы с ними. CUDA и прочие прелести жизни • Гонять любителей всего нового и свежего. TF2 еще не готов для прода Что с этими счастьем делать? 01001001010011010100100001001111
  14. 14. Pavlo Galushko • Разбираемся с особенностями работы кубика c GPU • Изучаем стек Апач. Желательно попробовать Что с этими счастьем делать? 01001001010011010100100001001111
  15. 15. Pavlo Galushko До новых встреч https://www.linkedin.com/in/ galushkopavlo/ https://www.facebook.com/ paul.galushko • OdessaJS’ 2020 / 29-30 августа • PyCon Odessa 2020 /сентябрь 0110011001101111011011000110110001101111011101 1100100000011101000110100001100101

×