Мы в Badoo используем Docker больше года и на нашем примере попробуем поговорить о возможных моделях его применения. - 85% наших сервисов работают в контейнерах: для чего и почему мы перенесли свои сервисы в контейнеры. - Как мы подходим к сборке образов? Базовый образ: используем слои, следим за системными обновлениями. - Автоматизация процесса сборки образов с нашими сервисами: Jira flow, Teamcity и другие страшные для админа слова. - Лучшее ли место для тестирования production? Путь образа от сборки до Production. - baDocker: webUI своими руками: зачем и почему? - Как дать возможность управлять запущенными сервисами и их версиями разработчику. - Docker: мониторинг и анализ работающих контейнеров. Доклад Антона Турецкого на Highload 2015. https://youtu.be/UgUuF_qZmWc

1. Docker в работе:
взгляд на
использование в
Badoo через год
Антон Турецкий

3. Вопросы: год назад,
а актуальны по сей день…

4. Docker: WTF?

5. Предыстория
Docker VS Puppet: Заменит ли Docker Puppet?

6. Предыстория
Virtualization VS Containerization:
Docker – еще одна виртуализация?

7. Предыстория
Docker: silver bullet?
THERE WILL BE NO SILVER BULLET.
RATHER IT WILL BE A COMBINATION
OF TECHNOLOGIES.
Andrew Gould(c)

8. Вопрос
Docker: нужен ли?

9. #1: о наболевшем

10. #1: Сервис -> Сервер

11. #1: Миграция Сервиса

12. #1: Миграция Docker

13. #1: Миграция Docker
#1: Отвязать Application от OS

14. ДЦ: подумай о железе!

15. #2: capacity planning
• + Место в стойке

16. #2: capacity planning
• + Место в стойке
• + Порты на сетевом оборудовании

17. #2: capacity planning
• + Место в стойке
• + Порты на сетевом оборудовании
• + Экономия электроэнергии

18. #2: capacity planning
• + Место в стойке
• + Порты на сетевом оборудовании
• + Экономия электроэнергии
• -/+ SPoF

19. #3: единое окружение

20. #4* $ cat ./Dockerfile
FROM dockerio.badoo.com/itops/sles_12_base:latest
COPY sle-12.puppet.repo /etc/zypp/repos.d/
RUN zypper -q -n in puppetdb
COPY database.ini /etc/puppetlabs/puppetdb/conf.d/database.ini
COPY jetty.ini /etc/puppetlabs/puppetdb/conf.d/jetty.ini
COPY ssl/ /etc/puppetlabs/puppetdb/ssl/
#Service start/stop
COPY run-puppetdb /etc/services.d/puppetserver/run
COPY finish-puppetdb /etc/services.d/puppetserver/finish
ENTRYPOINT ["/init"]

21. Грабли

22. Грабли: (r)?syslog(-ng)?
syslog into container

23. Грабли: (r)?syslog(-ng)?
syslog into container
• “One container – One Service”

24. Грабли: (r)?syslog(-ng)?
syslog into container
• “One container – One Service”
• Поддержка в работающем состоянии

25. Грабли: (r)?syslog(-ng)?
syslog into container
• “One container – One Service”
• Поддержка в работающем состоянии
• Нет времени объяснять – нужно сделать!

26. Грабли: (r)?syslog(-ng)?
syslog into container
• “One container – One Service”
• Поддержка в работающем состоянии
• Нет времени объяснять – нужно сделать!
Решение:
docker run -v /dev/log:/dev/log

27. Грабли: (r)?syslog(-ng)?
docker run -v /dev/log:/dev/log
• УРА!!! Всё работает, сообщения уходят!

28. Грабли: (r)?syslog(-ng)?
docker run -v /dev/log:/dev/log
• УРА!!! Всё работает, сообщения уходят!
• … до первого изменения/перезапуска
syslog на хост-системе…

29. Грабли: (r)?syslog(-ng)?
docker run -v /dev/log:/dev/log
• УРА!!! Всё работает, сообщения уходят!
• … до первого изменения/перезапуска
syslog на хост-системе…
Решение:
syslog into container

30. Грабли: mounts
Прокинуть “что-то” с хост ОС

31. Грабли: mounts
Прокинуть “что-то” с хост ОС
• /proc/mounts в контейнере

32. Грабли: mounts
Прокинуть “что-то” с хост ОС
• /proc/mounts в контейнере
• umount /dev/something (хост ОС)

33. Грабли: mounts
Прокинуть “что-то” с хост ОС
• /proc/mounts в контейнере
• umount /dev/something (хост ОС)
• umount /dev/something (container)

34. Грабли: mounts
Прокинуть “что-то” с хост ОС
• /proc/mounts в контейнере
• umount /dev/something (хост ОС)
• umount /dev/something (container)
• container restart …

35. Грабли: mounts
Решение:
• docker run --privileged

36. Грабли: mounts
Решение:
• docker run --privileged
• 100 раз подумать: так ли необходимо?

37. Грабли: mounts
Решение:
• docker run --privileged
• 100 раз подумать: так ли необходимо?
• избегать использование
“динамических точек монтирования”

38. Грабли: NAT
iptables, nf_conntrack

39. Грабли: NAT
Как можно решать:
• Увеличить таблицу conntrack

40. Грабли: NAT
Как можно решать:
• Увеличить таблицу conntrack
• Увеличить hashsize ~ conntrack / 8

41. Грабли: NAT
Как можно решать:
• Увеличить таблицу conntrack
• Увеличить hashsize ~ conntrack / 8
• Вспомнить про
conntrack_generic_timeout = 600

42. Грабли: NAT
Как можно решать:
• Увеличить таблицу conntrack
• Увеличить hashsize ~ conntrack / 8
• Вспомнить про
conntrack_generic_timeout = 600
• Ждать когда “бомбанёт”

43. Грабли: NAT
Решение:
• Делать свой bridge, Open vSwitch, Weave etc

44. Грабли: NAT
Решение:
• Делать свой bridge, Open vSwitch, Weave etc
• Использовать хост ОС
docker run --net=host
без использования conntrack

45. Грабли: Storage Driver
AuFS
Device Mapper (thinp)
BTRFS
и прочие
вкусности и сладости…

46. Грабли: BTRFS
• root of docker MUST be on a BTRFS

47. Грабли: BTRFS
• root of docker MUST be on a BTRFS
• Запись на диск сразу не идет, сначала – в журнал
(Performance ~ native / 2)

48. Грабли: BTRFS
• root of docker MUST be on a BTRFS
• Запись на диск сразу не идет, сначала – в журнал
(Performance ~ native / 2)
• “No space left on device”
# btrfs fi show /var/lib/docker
# btrfs fi balance start /var/lib/docker

49. Грабли: BTRFS
BTRFS – это то немногое,
что действительно нормально работает

50. Грабли: Storage Driver
Решение: OverlayFS

51. Грабли: Storage Driver
Решение: OverlayFS
• Hardlink на одинаковые файлы

52. Грабли: Storage Driver
Решение: OverlayFS
• Hardlink на одинаковые файлы
• Performance: RW ~ Native Speed

53. Грабли: Storage Driver
Решение: OverlayFS
• Hardlink на одинаковые файлы
• Performance: RW ~ Native Speed
• Space Usage – больше не загадка!

54. Грабли: Misc
• Больше ОДНОГО сервиса в контейнере

55. Грабли: Misc
• Больше ОДНОГО сервиса в контейнере
- свой ENTRYPOINT

56. Грабли: Misc
• Больше ОДНОГО сервиса в контейнере
- свой ENTRYPOINT
РЕШЕНИЕ: S6 http://skarnet.org/software/s6/

57. Грабли: Misc
• Больше ОДНОГО сервиса в контейнере
- свой ENTRYPOINT
РЕШЕНИЕ: S6 http://skarnet.org/software/s6/
• несколько FROM в одном Dockerfile
“FROM can appear multiple times within
a single Dockerfile"

58. Грабли: Misc
• Больше ОДНОГО сервиса в контейнере
- свой ENTRYPOINT
РЕШЕНИЕ: S6 http://skarnet.org/software/s6/
• несколько FROM в одном Dockerfile
“FROM can appear multiple times within
a single Dockerfile”
• docker exec Version < 1.8

59. Важный совет…
не забывать искать свою проблему тут:
Changelog
Issues
GitHub

60. Сервис в контейнере

61. Docker Base Image
• Обновления (Bug fixes, Security fixes, Patches etc)

62. Docker Base Image
• Обновления (Bug fixes, Security fixes, Patches etc)
docker run -it --rm sles_12_base:latest sh -c 'zypper lu -a'

63. Docker Base Image
• Обновления (Bug fixes, Security fixes, Patches etc)
docker run -it --rm sles_12_base:latest sh -c 'zypper lu -a’
• “Требуется внимание оператора” => Jira Task

64. Docker Base Image
• Обновления (Bug fixes, Security fixes, Patches etc)
docker run -it --rm sles_12_base:latest sh -c 'zypper lu -a’
• “Требуется внимание оператора” => Jira Task
• Обновление базового образа

65. Docker Base Image
• Обновления (Bug fixes, Security fixes, Patches etc)
docker run -it --rm sles_12_base:latest sh -c 'zypper lu -a’
• “Требуется внимание оператора” => Jira Task
• Обновление базового образа(+контейнеры)

66. Docker Images
• Обновления (Bug fixes, Security fixes, Patches etc)
docker run -it --rm sles_12_base:latest sh -c 'zypper lu -a’
• “Требуется внимание оператора” => Jira Task
• Обновление базового образа(+контейнеры)
• Следить за “свежестью пакетов” перед выкладкой
сервиса/образа (RPM based)

67. docker_build

68. docker_build
• Сгенерировать структуру директорий, конфиги

69. docker_build
• Сгенерировать структуру директорий, конфиги
• Сгенерировать инструкцию(Dockerfile_source)

70. docker_build
• Сгенерировать структуру директорий, конфиги
• Сгенерировать инструкцию(Dockerfile_source)
• Доставить исполняемые файлы

71. docker_build
• Сгенерировать структуру директорий, конфиги
• Сгенерировать инструкцию(Dockerfile_source)
• Доставить исполняемые файлы
• Выполнить сборку

72. docker_build
• Сгенерировать структуру директорий, конфиги
• Сгенерировать инструкцию(Dockerfile_source)
• Доставить исполняемые файлы
• Выполнить сборку
• Отправить результат в Registry(y/n)

73. docker_build
• Сгенерировать структуру директорий, конфиги
• Сгенерировать инструкцию(Dockerfile_source)
• Доставить исполняемые файлы
• Выполнить сборку
• Отправить результат в Registry(y/n)
• Сообщить о результате
* Обязательно: работать в режиме cli

74. docker_build

75. Мониторинг

76. Мониторинг: контейнер
• Docker CLI внутри

77. Мониторинг: контейнер
• Docker CLI внутри
• Снимаем то же, что и docker stats: CPU/MEM

78. Мониторинг: контейнер
• Docker CLI внутри
• Снимаем то же, что и docker stats: CPU/MEM
• SAR:
$ sar -A -s %s 60 1 -f /var/log/sa/sa%s

79. Мониторинг: контейнер
• Docker CLI внутри
• Снимаем то же, что и docker stats: CPU/MEM
• SAR:
$ sar -A -s %s 60 1 -f /var/log/sa/sa%s
• Отсылаем всё в Graphite

80. Мониторинг: контейнер
• Docker CLI внутри
• Снимаем то же, что и docker stats: CPU/MEM
• SAR:
$ sar -A -s %s 60 1 -f /var/log/sa/sa%s
• Отсылаем всё в Graphite
• Мониторим контейнер и его статус Zabbix’ом

81. Grafana: Host, Mem

82. Grafana: Host, CPU

83. Grafana: Host, Net

84. Grafana: Container, Mem

85. Grafana: Container, CPU

86. baDocker: webUI

87. baDocker: Требования
• Clientless

88. baDocker: Требования
• Clientless
• Управление OpenRegistry (v1, v2)

89. baDocker: Требования
• Clientless
• Управление OpenRegistry (v1, v2)
• Информация о
- хостах
- контейнерах
- сервисах, версиях

90. baDocker: Требования
• Clientless
• Управление OpenRegistry (v1, v2)
• Информация о
- хостах
- контейнерах
- сервисах, версиях
• Планировщик заданий

91. baDocker: Требования
• Clientless
• Управление OpenRegistry (v1, v2)
• Информация о
- хостах
- контейнерах
- сервисах, версиях
• Планировщик заданий
• Dashboard

92. baDocker: Hosts Summary

93. baDocker: Host Details

94. baDocker: Terminal

95. baDocker: Service

96. baDocker: Service HowTo

97. Postmortem Заключение
• Искать свой подход – не наступать на наши грабли

98. Postmortem Заключение
• Искать свой подход – не наступать на наши грабли
• Велосипед – это отлично, если колеса круглые

99. Спасибо
Антон Турецкий
a.turetsky@corp.badoo.com
@tyrchenok
@BadooDev
http://habrahabr.ru/company/badoo/
Вопросы?