Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

DevOps Fest 2020. Павел Галушко. Что делать devops'у если у вас захотели machine learning

59 views

Published on

Все у вас хорошо, ci крутится, cd мутится, веб бегает стабильно и жизнь наладилась. Но приходит светлая идея в голову руководителя что надо использовать ML или проект новый с этой новой чудо технологией (вообще она не новая, но это опустим). Что вам надо делать, куда бежать, что смотреть и как со всем этим жить.

Published in: Education
  • Be the first to comment

  • Be the first to like this

DevOps Fest 2020. Павел Галушко. Что делать devops'у если у вас захотели machine learning

  1. 1. Павел Галушко Чтоделатьdevops'уеслиувас захотелиmachinelearning
  2. 2. Pavlo Galushko • Меня зовут Паша • Программирую всю жизнь, за деньги уже больше 25 лет • Учу людей думать и программировать • Умею дышать огнем • Tech lead Machine Learning dev team at Namecheap Кто я спойлер: Кузнец
  3. 3. Pavlo Galushko О чем не будет этот доклад 0111001101101111011100100111001001111001 • Этот доклад не будет про помощь ML в жизни devops. - Да, так можно - Да, это работает - Нет, вам это не нужно • Если таки жизни больше нет: - Поиск аномалий - Особый упор на модели которые работают с временным рядом. - Доклад Antonio Pigna
  4. 4. Pavlo Galushko А ещё не будет ( почти) 01101111011011110111000001110011 • Big Data • ETL • Скайнет
  5. 5. Pavlo Galushko А что будет? 010000010110110001101100001000000111 001001101001011001110110100001110100 • Что такое ML • Как выглядят процессы • Что вас ждет (CD4ML) • Что с этими счастьем делать?
  6. 6. Pavlo Galushko Что такое машинное обучение 011100100110010101100001011001000110110101100101 • Это математические алгоритмы • Код создает другой код • Ему для этого нужно много данных • В результате получается обычный api
  7. 7. Pavlo Galushko Особенности 0111001101110100011100100110000101101110011001 1101100101 • Эти люди хотят странного • Очень длинный и сложный процесс • Очень много данных • Очень много вычислений • Даже на проде • Получается магия
  8. 8. Pavlo Galushko Как это делается? 010101110101010001000110 • Сначала ищут данные • Обучают модель выполнять задачу • Пишут сервис работающий с моделью • Пишут сервис переобучающий модель • Со всем этим счастьем, мы попробуем взлететь
  9. 9. Pavlo Galushko Рабочая среда для ресечеров 010011100111011001101001011001000110100101100001 • Железо с GPU • Nvidia docker • Jupyter Notebooks • Каждому свой • Много CUDA
  10. 10. Pavlo Galushko Как выглядит готовый проект 0111001101101000011011110110001101101011 • Тренировка - ETL (spark, Hadoop, много баз) - Преобразование данных - Обучение модели • Prod - Преобразование данных - модель • Дополнительные сервисы
  11. 11. Pavlo Galushko Что вас ждет (CD4ML) 010011110100110101000111 • Эти люди хотят странного • Docker,kubernetes с GPU • Длинные пайплайны • Передача моделей • Облачные сервисы • Spark, Hadoop и прочие ужасы • Опять закончилось место • CI/CD никуда не уходил
  12. 12. Pavlo Galushko • Зовем дева • Подготавливаемся к длинными процессам • Гоняем любителей делать сложные пайплайны, которые причудливо образом зависят друг от друга • Помогаем им разбить на атомарные пайпланы • Подготовить место. Быть готовым к тому, что террабайт забивают примерно минут за 20 Что с этими счастьем делать? 01001001010011010100100001001111
  13. 13. Pavlo Galushko • Разбираемся с предложениями облаков • Изучить особенности видеокарт И работы с ними. CUDA и прочие прелести жизни • Гонять любителей всего нового и свежего. TF2 еще не готов для прода Что с этими счастьем делать? 01001001010011010100100001001111
  14. 14. Pavlo Galushko • Разбираемся с особенностями работы кубика c GPU • Изучаем стек Апач. Желательно попробовать Что с этими счастьем делать? 01001001010011010100100001001111
  15. 15. Pavlo Galushko До новых встреч https://www.linkedin.com/in/ galushkopavlo/ https://www.facebook.com/ paul.galushko • OdessaJS’ 2020 / 29-30 августа • PyCon Odessa 2020 /сентябрь 0110011001101111011011000110110001101111011101 1100100000011101000110100001100101

×