Управление зависимостями в Python: почему универсального решения нет и как мы с этим боремся

1. IT Talk #32
IT Talk #32
1

2. IT Talk #32
IT Talk #
17 октября 2014
Колодяжный Иван
2
Управление зависимостями в
Python:
почему универсального решения
нет и как мы с этим боремся

3. IT Talk #32
• Доклад построен на реальном опыте. Все
совпадения с реальными проектами считаются
случайностями. При подготовке доклада ни один
пакет не пострадал ;)
3

4. IT Talk #32
О чем поговорим?
• Проблема:
– разные компоненты требуют разные версии
зависимостей
4

5. IT Talk #32
О чем поговорим?
• Проблема:
– разные компоненты требуют разные версии
зависимостей:
– Сервис А: SQLAlchemy<=0.8.99
– Сервис Б: SQLAlchemy>=0.9.7
5

6. IT Talk #32
О чем поговорим?
• Проблема:
– разные компоненты требуют разные версии
зависимостей
– управление пакетами: установка, обновление и
удаление
6

7. IT Talk #32
О чем поговорим?
• Проблема:
– разные компоненты требуют разные версии
зависимостей
– управление пакетами: установка, обновление и
удаление
• Решение:
– изоляция компонентов
– управление зависимостями
7

8. IT Talk #32
А также:
• Pip vs RPM/DEB
– Разработчики vs админы
• Virtualenv - не панацея,
Docker - тем более
VM - overhead!
• Серебряной пули нет!
8

9. IT Talk #32
А теперь подробнее
9

10. IT Talk #32
Изоляция зависимостей
• Virtualenv
• Docker
• VMs
10

11. IT Talk #32
Изоляция зависимостей
• Virtualenv
• Docker
• VMs
• Dev/Test/Stage
• Production
11

12. IT Talk #32
Начинаем изолировать код
• Сначала Virtualenv
– изолируем python-код
12

13. IT Talk #32
Начинаем изолировать код
• Сначала Virtualenv
– изолируем python-код
• Потом Docker
– изоляция C-ых расширений и библиотек
13

14. IT Talk #32
Начинаем изолировать код
• Сначала Virtualenv
– изолируем python-код
• Потом Docker
– изоляция C-ых расширений и библиотек
• Потом Virtual Machine
– а если нам нужно другое ядро?
14

15. IT Talk #32
Virtualenv: без фанатизма
• Отлично работает в dev-окружении
• (ну не считая моей проблемы на mac:( )
15

16. IT Talk #32
Virtualenv: без фанатизма
• Отлично работает в dev-окружении
• (ну не считая моей проблемы на mac:( )
• успешно работает в production на проектах
разных размеров
16

17. IT Talk #32
Virtualenv: без фанатизма
• Отлично работает в dev-окружении
• (ну не считая моей проблемы на mac:( )
• успешно работает в production на проектах
разных размеров
• 1) не решает проблему с зависимостями
• 2) прячет ее на потом
• 3) потом может не наступить
• если “потом” наступило - см №1 :)
17

18. IT Talk #32
Docker
• “Полноценная” ОС с минимумом накладных
расходов
• С-расширения разных версий
– а нужно ли?
• разные версии системных библиотек
18

19. IT Talk #32
VM
• Крайний случай, очень редко когда нужно
– контейнеров хватает в 80%
19

20. IT Talk #32
VM
• Крайний случай, очень редко когда нужно
– контейнеров хватает в 80%
• Docker++
– теперь у нас может быть другая ОС и другое
ядро
20

21. IT Talk #32
Управление зависимостями
21

22. IT Talk #32
Python vs OS package
22

23. IT Talk #32
Python vs OS package
1. Религия
23

24. IT Talk #32
Python vs OS package
1. Религия
2. Постоянные споры разработчиков и
администраторов
• разработчики используют pip
• админы yum/aptitude/и т.д.
24

25. IT Talk #32
Python packages: что под
капотом?
• setup.py
• setup.cfg
• PEP-314, PEP-426
• код и другие файлы
• все.
25

26. IT Talk #32
python setup.py install
• Distutils
• Setuptools
• Distribute
• Distutils2
• Distlib
• Bento
• pbr
• pip
26

27. IT Talk #32
Установка python пакета
• “Простое копирование файлов”
• Код
• /usr/lib/python2.x/{site,dist}-packages
• Данные
• /usr/….
• Конфиги
• /etc/
• Документация
• /usr/share/man
27

28. IT Talk #32
Установка python пакета
• “Простое копирование файлов”
• Код
• /usr/lib/python2.x/{site,dist}-packages/package-name
• Данные
• /usr/….
• Конфиги
• /etc/
• Документация
• /usr/share/man
28

29. IT Talk #32
Установка python пакета
• “Простое копирование файлов”
• Код
• /usr/lib/python2.x/{site,dist}-packages/package-name-ver
• Данные
• /usr/….
• Конфиги
• /etc/
• Документация
• /usr/share/man
29

30. IT Talk #32
pip
• “It’s a tool for installing and managing Python
packages.”
• Аналог yum, aptitude, и т.д.
30

31. IT Talk #32
Pip: за и против
• За:
– простота
– pypi
– “родное” для python
31

32. IT Talk #32
Pip: набор батареек
32

33. IT Talk #32
requirements.txt
• Список зависимостей с указанием версий
– порядок имеет значение!
• Зеркало с пакетами
• Поддержка Git/Mercurial/SVN
• Архивы и директории
33

34. IT Talk #32
pip: но есть и минусы
34

35. IT Talk #32
• Пакеты зависят от определенных версий
библиотек
35

36. IT Talk #32
• Пакеты зависят от определенных версий
библиотек
• Установить 2 версии можно, но
36

37. IT Talk #32
• Пакеты зависят от определенных версий
библиотек
• Установить 2 версии можно, но
• С этим нужно уметь и работать
• А уже есть много написанного кода…
37

38. IT Talk #32
• Пакеты зависят от определенных версий
библиотек
• Установить 2 версии можно, но
• С этим нужно уметь и работать
• А уже есть много написанного кода…
• Иногда, пакеты удаляют…
38

39. IT Talk #32
RPM/DEB: за и против
• Привычный способ для админов
устанавливать что-либо
• Поддержка из коробки Puppet/Chef
– есть официальный рецепт для pip
39

40. IT Talk #32
RPM/DEB: за и против
• Привычный способ для админов
устанавливать что-либо
• Поддержка из коробки Puppet/Chef
– есть официальный рецепт для pip
• Полный контроль за установленными
файлами
40

41. IT Talk #32
RPM/DEB: за и против
• Полный контроль за установленными
файлами
– конфликты при установке
– “корректное” обновление
– нет проблем с удаленными зависимостями
– каждый файл принадлежит конкретному пакету
41

42. IT Talk #32
RPM/DEB: за и против
• Публичные репозитории не содержат
актуальных версий пакетов
• приходится держать свои зеркала
• собрать пакет == собрать все зависимости
– зависимостей может быть много
– их нужно правильно прописать
– тестирование
42

43. IT Talk #32
RPM и python
• работает из коробки
– python setup.py bdist_rpm
– поддержка pre-/post-build events
– почти все, что можно в SPEC
43

44. IT Talk #32
DEB и python
• не работает из коробки
– есть несколько пакетов на PyPI, но все
достаточно старые
44

45. IT Talk #32
Подводя итог…
• PIP - простой и удобный способ, но все еще
достаточно сырой
45

46. IT Talk #32
Подводя итог…
• PIP - простой и удобный способ, но все еще
достаточно сырой
• RPM/DEB-пакеты - часто получается очень
долго и дорого
46

47. IT Talk #32
Подводя итог…
• PIP - простой и удобный способ, но все еще
достаточно сырой
• RPM/DEB-пакеты - часто получается очень
долго и дорого
• virtualenv - выглядит хорошим комормисом
47

48. IT Talk #32
Немного ссылок
• http://stackoverflow.com/questions/6344076/
differences-between-distribute-distutils-
setuptools-and-distutils2
• https://pip.readthedocs.org/en/latest/
• http://legacy.python.org/dev/peps/pep-0314/
• http://legacy.python.org/dev/peps/pep-0426/
• http://google.com
48

49. IT Talk #32
Спасибо. Вопросы?
Skype: e0ne-user
Blog: http://blog.e0ne.info/
E-mail: e0ne@e0ne.info
Twitter: @e0ne