Как ужиться на одной машине 20 студентам, изучающим ML, или RND команде из 15? Готовые рецепты, рекомендации и собранные грабли.

1. на 100%
на примере ML-школы DataGym и компании Lamoda

2. О себе
• Петр Ермаков
• https://ermakovpetr.ru
• Lamoda, ex-mail.ru, ex-hh.ru
• Data Science Coach @ DataGym
• t.me/PowerOfData

3. https://pydata.moscow

4. Друзья
• SysML Meetup
• E-com DS meetup
• ML-repa.ru
• Moscow Data Science Major
• http://bit.ly/data_events

5. Сделать первый PyData Moscow Meetup
Сделать второй PyData Moscow Meetup
Сделать третий PyData Moscow Meetup
Cделать четвертый PyData на DataFest-е #5
Сделать пятый PyData с секцией воркшопов
Запилить крутой лендос
Сделать шестой PyData Moscow Meetup
Cделать седьмой PyData на DataFest-е #6
Cделать восьмой PyData совместно с PyCon
——— <мы находимся здесь> ———
Оформить все видео и материалы

6. PyData #7
Производительность и внутреннее устройство RNN в Tensorflow
Юрий Волков
В данном докладе мы узнаем, как выбрать RNN, чтобы они работали
эффективно …
Dataframe inference
Сергей Карпов
В ходе разработки ML продукта часто возникает проблема синхронизации
research и production кода …
Ebonite - модели в прод с пылу с жару из ноутбуков
Михаил Свешников
Когда наши ДСы в очередной раз попросили меня завернуть их модель для
прода, мы поняли …
https://www.youtube.com/watch?v=jsiHaJwi40s

7. Агенда
• Jupyter
• JupyterHub
• Рецепты JupyterHub
• Новые библиотеки и расширения

8. Jupyter

9. Jupyter
• https://www.youtube.com/watch?v=q4d-hKCpTEc
• https://www.youtube.com/watch?v=vD_MjsxbpiI
• https://www.youtube.com/watch?v=5dWaJnPZs1c

10. I don't like notebooks
https://www.youtube.com/watch?v=7jiPeIFXb6U

11. и мне
jupyter
и мне
jupyter
и мне
jupyter
и мне
jupyter и мне
jupyter
и мне
jupyter
и мне
jupyter
и мне
jupyter
и мне
jupyter
и мне
jupyter
мне
jupyter

12. Jupyter - это не выход

13. Jupyter - это не выход

14. Jupyter - это не выход
• Пользователи не видят хаос друг друга
• Пользователи не мешают друг другу
• Пользователи не могут испортить работу друг другу

16. JupyterHub

17. JupyterHub Spawners
dockerspawner Spawn single-user servers in Docker containers
kubespawner Kubernetes spawner for JupyterHub
sudospawner Spawn single-user servers without being root
systemdspawner Spawn single-user notebook servers using systemd
batchspawner Designed for clusters using batch scheduling software
yarnspawner Spawn single-user notebook servers distributed on a Hadoop cluster
wrapspawner WrapSpawner and ProfilesSpawner enabling runtime configuration of spawners

18. JupyterHub Auth
• ldapauthenticator (https://github.com/datagym-ru/ldapauthenticator)
• Auth0
• Azure
• Bitbucket
• GitHub
• GitLab
• Google
• MediaWiki
• Moodle

19. JupyterLab

20. Проблема #1: JupyterLab
• pip install jupyterlab
• https://SERVER/user/petr.ermakov/tree
• https://SERVER/user/petr.ermakov/lab
• c.Spawner.default_url = ‘/lab'
• jupyter labextension install @jupyterlab/hub-extension

21. jupyter_contrib_nbextensions

22. Проблема #2:
jupyter_contrib_nbextensions
• jupyter contrib nbextension install —user (от каждого пользователя)
• https://SERVER/user/petr.ermakov/nbextensions

23. Проблема #3
• Создай папку
• sudo mkdir -p /srv/data/my_shared_data_folder
• Дать доступ пользовательской группе
• sudo chmod 774 /srv/data/my_shared_data_folder
• sudo chown :jhusers_group -R /srv/data/my_shared_data_folder
• Создать линк на папку в home директории каждого пользователя
• sudo ln -s /srv/data/my_shared_data_folder my_shared_data_folder

24. Проблема #4
• Хочу сам ставить библиотеки
• Хочу другую версию библиотек

25. Проблема #4
• Хочу сам ставить библиотеки
• Хочу другую версию библиотек
• pip install —user pandas=0.12.0

26. Проблема #4
• Хочу сам ставить библиотеки
• Хочу другую версию библиотек
• pip install —user pandas=0.12.0
• Чужой ноутбук

27. Проблема #4

28. Проблема #4
• Хочу сам ставить библиотеки
• Хочу другую версию библиотек
• pip install —user pandas=0.12.0
• Чужой ноутбук

29. Проблема #5
• htop
• terminado

30. Проблема #5
• htop
• terminado

31. Проблема #5

32. Проблема #6

33. server-snitch
• TBA at https://github.com/datagym-ru/server-snitch

34. Несколько JupyterHub-ов

35. Дальнейшее развитие
• server-snitch ❤ prometheus
• jupyterhub + shared_notebooks
• widget + glanced

36. tributary

37. ipysheet

39. Panel

40. лан, пока
shiny

41. jupyterlab-go-to-definition

42. jupyterlab-drawio

43. jupyterlab-latex

44. tg_tqdm
https://github.com/datagym-ru/tg_tqdm

45. •300 человек в IT
•https://tech.lamoda.ru

46. DataGym
Тренируем ваши знания Data Science

47. Спасибо
• Петр Ермаков
• https://ermakovpetr.ru
• t.me/PowerOfData