Download as PDF, PPTX
Uploaded byOntico
Aviasales: миграция поискового движка в docker / Дмитрий Кузьменков (Aviasales)
Документ описывает процесс миграции поискового движка aviasales.ru в Docker и детализирует архитектуру системы, включая использование различных компонентов, таких как bee, ant и burlesque. Также освещаются вопросы контейнеризации, управления конфигурациями и оркестрации с использованием Kubernetes и других инструментов. Предоставлены рекомендации по безопасности и ограничениям ресурсов для контейнеров.
More Related Content
Similar to Aviasales: миграция поискового движка в docker / Дмитрий Кузьменков (Aviasales)
Aviasales: миграция поискового движка в docker / Дмитрий Кузьменков (Aviasales)
- 1. Миграция поискового движка вDocker Дмитрий Кузьменков www.aviasales.ru
- 2.
- 3. ++ 1 500 000 поисковв день aviasales.ru
- 4. ++ 1 500 000 поисковв день ++ 1 000 поисков в минуту в пики aviasales.ru
- 5. ++ 1 500 000 поисковв день ++ Поиск – опрос 200 партнеров в realtime ++ 1 000 поисков в минуту в пики aviasales.ru
- 6. ++ 1 500 000 поисковв день ++ 15 000 предложений в одном ответе ++ Поиск – опрос 200 партнеров в realtime ++ 1 000 поисков в минуту в пики aviasales.ru
- 7. ++ 1 500 000 поисковв день ++ 15 000 предложений в одном ответе ++ Поиск – опрос 200 партнеров в realtime ++ 1 минута на отдачу билетов ++ 1 000 поисков в минуту в пики aviasales.ru
- 8. Yasen – чтоза зверь?
- 9. Yasen – чтоза зверь? ++ Yet Another Search ENgine
- 10. Yasen – чтоза зверь? ++ Yet Another Search ENgine ++ Python 3.4 & Tornado 4.2
- 11. Yasen – чтоза зверь? ++ Yet Another Search ENgine ++ 8 серверов ++ Python 3.4 & Tornado 4.2
- 12. Yasen – чтоза зверь? ++ Yet Another Search ENgine ++ 8 серверов ++ Python 3.4 & Tornado 4.2 ++ Первый ответ за 200 ms
- 13.
- 14.
- 15.
- 16.
- 17.
- 18.
- 19.
- 20.
- 21.
- 22. Пчела (bee) ++ ОбслуживаетHTTP-запросы на поиск
- 23. Пчела (bee) ++ ОбслуживаетHTTP-запросы на поиск ++ Асинхронная на Tornado
- 24. Пчела (bee) ++ ОбслуживаетHTTP-запросы на поиск ++ Асинхронная на Tornado ++ Цикл жизни 30 минут
- 25. Пчела (bee) ++ ОбслуживаетHTTP-запросы на поиск ++ Асинхронная на Tornado ++ Цикл жизни 30 минут ++ 16 пчел на одной ноде
- 26.
- 27. Наблюдатель (watcher) ++ 1процесс на одну ноду
- 28. Наблюдатель (watcher) ++ 1процесс на одну ноду ++ Следит за изменениями файлов настроек
- 29. Наблюдатель (watcher) ++ 1процесс на одну ноду ++ Следит за изменениями файлов настроек ++ Обновляет настройки пчел в runtime
- 30.
- 31. Муравей (ant) ++ Приоритеты:low, normal, high
- 32. Муравей (ant) ++ Приоритеты:low, normal, high ++ Шлёт информацию о найденных билетах в Redis
- 33. Муравей (ant) ++ Приоритеты:low, normal, high ++ Шлёт информацию о найденных билетах в Redis ++ Сохраняет статистику в разные базы данных
- 34. Муравей (ant) ++ Приоритеты:low, normal, high ++ Шлёт информацию о найденных билетах в Redis ++ Сохраняет статистику в разные базы данных ++ Stateless
- 35.
- 36. Очередь (burlesque) ++ 1процесс на одну ноду
- 37. Очередь (burlesque) ++ 1процесс на одну ноду ++ Go + leveldb
- 38. Очередь (burlesque) ++ 1процесс на одну ноду ++ Go + leveldb ++ Умеет 3000+ rps concurrent read/write
- 39. Очередь (burlesque) ++ 1процесс на одну ноду ++ Go + leveldb ++ Умеет 3000+ rps concurrent read/write ++ Простой HTTP-интерфейс для работы
- 40. Очередь (burlesque) ++ 1процесс на одну ноду ++ Go + leveldb ++ Умеет 3000+ rps concurrent read/write ++ Простой HTTP-интерфейс для работы ++ Opensource: https://github.com/KosyanMedia/burlesque
- 41. Что же нетак?
- 42. Что же нетак? ++ Время на подъем сервиса для разработки
- 43. Что же нетак? ++ 2 часа на деплой всей системы ++ Время на подъем сервиса для разработки
- 44. Что же нетак? ++ 2 часа на деплой всей системы ++ Monit – тупит на большом количестве процессов ++ Время на подъем сервиса для разработки
- 45. Что же нетак? ++ 2 часа на деплой всей системы ++ Chef – настройка серверов ++ Monit – тупит на большом количестве процессов ++ Время на подъем сервиса для разработки
- 46.
- 47.
- 48.
- 49. Зачем? ++ Единое окружениевезде ++ Сборка образа где угодно
- 50. Зачем? ++ Единое окружениевезде ++ Ориентирован на DevOps ++ Сборка образа где угодно
- 51. Зачем? ++ Единое окружениевезде ++ Ориентирован на DevOps ++ Никаких правок на горячую в коде production ++ Сборка образа где угодно
- 52. Зачем? ++ Единое окружениевезде ++ Ориентирован на DevOps ++ Никаких правок на горячую в коде production ++ Простота отката ++ Сборка образа где угодно
- 53.
- 54.
- 55.
- 56. ++ Kubernetes ++ Rancher ++Swarm Оркестрация?
- 57.
- 58.
- 59. Kubernetes ++ By Google ++Хорош для большого количества хостов
- 60. Kubernetes ++ By Google ++Хорош для большого количества хостов ++ Сложность
- 61.
- 62.
- 63. Rancher ++ Функциональный web-интерфейс ++Работает с другими оркестрациями
- 64. Rancher ++ Функциональный web-интерфейс ++Работает с другими оркестрациями ++ Относительно молодой
- 65.
- 66. Swarm ++ Идет вкомплекте с Docker
- 67. Swarm ++ Идет вкомплекте с Docker ++ Самый легкий из всех альтернатив
- 68. Swarm ++ Идет вкомплекте с Docker ++ Самый легкий из всех альтернатив ++ Прост в использовании
- 69.
- 70. В поисках серебрянойпули ++ Хочется прозрачности
- 71. В поисках серебрянойпули ++ Хочется прозрачности ++ Простые вещи дешевле поддерживать
- 72. В поисках серебрянойпули ++ Хочется прозрачности ++ Простые вещи дешевле поддерживать ++ Ещё одна технологическая прослойка
- 73. В поисках серебрянойпули ++ Хочется прозрачности ++ Простые вещи дешевле поддерживать ++ Ещё одна технологическая прослойка ++ Вероятность вернуться к прошлой инфраструктуре
- 74. В поисках серебрянойпули ++ Хочется прозрачности ++ Простые вещи дешевле поддерживать ++ Ещё одна технологическая прослойка ++ Вероятность вернуться к прошлой инфраструктуре ++ Время, время, время…
- 75. Docker – этоже просто!
- 76. Docker – этоже просто! ++ docker build
- 77. Docker – этоже просто! ++ docker build ++ docker-compose
- 78. Docker – этоже просто! ++ docker build ++ docker-compose ++ BASH объединяет <3
- 79. Docker – этоже просто! ++ docker build ++ docker-compose ++ profit! ++ BASH объединяет <3
- 80. Dockerfile – сердцеконтейнера
- 81. Dockerfile – сердцеконтейнера ++ Простой набор команд
- 82. Dockerfile – сердцеконтейнера ++ Простой набор команд ++ RUN
- 83. Dockerfile – сердцеконтейнера ++ Простой набор команд ++ RUN ++ COPY
- 84. Dockerfile – сердцеконтейнера ++ Простой набор команд ++ RUN ++ COPY ++ ENV
- 85. Dockerfile – сердцеконтейнера ++ Простой набор команд ++ RUN ++ COPY ++ ENV ++ To be continued...
- 86.
- 87. Проблемы? Конечно! ++ Rootпо умолчанию
- 88. Проблемы? Конечно! ++ Rootпо умолчанию ++ Наследуется от одного образа
- 89. Проблемы? Конечно! ++ Rootпо умолчанию ++ Наследуется от одного образа ++ Слишком толсто – если плодить слои
- 90. Проблемы? Конечно! ++ Rootпо умолчанию ++ Наследуется от одного образа ++ Слишком толсто – если плодить слои ++ COPY всегда root
- 91. Проблемы? Конечно! ++ Rootпо умолчанию ++ Наследуется от одного образа ++ Слишком толсто – если плодить слои ++ COPY всегда root ++ COPY в конце или “прощай, кэш”
- 92.
- 93. Контейнерный root ++ Rootв контейнере = root на host-машине
- 94. ++ Создаваемые файлытоже root Контейнерный root ++ Root в контейнере = root на host-машине
- 95. ++ Создаваемые файлытоже root Контейнерный root ++ Root в контейнере = root на host-машине ++ Процесс может не встать из-под root
- 96. ++ Создаваемые файлытоже root Контейнерный root ++ Root в контейнере = root на host-машине ++ Процесс может не встать из-под root ++ Non-root – наш выбор
- 97. Linux capabilities поумолчанию
- 98. Linux capabilities поумолчанию ++ chown ++ dac_override ++ fowner ++ fsetid ++ kill ++ setgid ++ setuid ++ setpcap ++ net_bind_service ++ net_raw ++ sys_chroot ++ mknod ++ audit_write ++ setfcap ++ man capabilities(7)
- 99.
- 100. Добавляя безопасности ++ --cap-add& --cap-drop для управления
- 101. Добавляя безопасности ++ --cap-add& --cap-drop для управления ++ --cap-drop=all, когда это возможно
- 102. Добавляя безопасности ++ --cap-add& --cap-drop для управления ++ --cap-drop=all, когда это возможно ++ Никаких --privileged
- 103. А как жеstateful?
- 104. А как жеstateful? ++ Проблем нет только у stateless
- 105. А как жеstateful? ++ Проблем нет только у stateless ++ Простой путь – общие папки
- 106. А как жеstateful? ++ Проблем нет только у stateless ++ Простой путь – общие папки ++ Более сложный – etcd, consul, redis
- 107. А как жеstateful? ++ Проблем нет только у stateless ++ Простой путь – общие папки ++ Более сложный – etcd, consul, redis ++ Комбо – забираем состояние с мастер-ноды
- 108.
- 109. Разделяй и используй ++Общие папки на host-машине
- 110. Разделяй и используй ++Общие папки на host-машине ++ VOLUME внутри контейнера
- 111.
- 112. Проблема записи ++ Неразберихас правами на файлы
- 113. Проблема записи ++ Неразберихас правами на файлы ++ ARG USER_ID=1000 for the rescue
- 114. Проблема записи ++ Неразберихас правами на файлы ++ ARG USER_ID=1000 for the rescue ++ docker build --build-arg USER_ID="$(id -u)"
- 115.
- 116. User namespaces ++ Появилисьс версией 1.10
- 117. User namespaces ++ Появилисьс версией 1.10 ++ Root контейнера = non uid-0 на host-машине
- 118. User namespaces ++ Появилисьс версией 1.10 ++ Root контейнера = non uid-0 на host-машине ++ По умолчанию отключено
- 119. User namespaces ++ Появилисьс версией 1.10 ++ Root контейнера = non uid-0 на host-машине ++ По умолчанию отключено ++ --userns-remap в опциях запуска демона
- 120. А сети такиеразные
- 121. А сети такиеразные ++ Bridge
- 122. А сети такиеразные ++ Bridge ++ Host
- 123. А сети такиеразные ++ Bridge ++ Host ++ Overlay
- 124. А сети такиеразные ++ Bridge ++ Host ++ Overlay ++ Macvlan
- 125. А сети такиеразные ++ Bridge ++ Host ++ Overlay ++ Macvlan ++ None
- 126.
- 127. Network mode: bridge ++На самом деле NAT
- 128. Network mode: bridge ++На самом деле NAT ++ Отдельный локальный IP для контейнера
- 129. Network mode: bridge ++На самом деле NAT ++ Отдельный локальный IP для контейнера ++ Изоляция порта внутри контейнера
- 130. Network mode: bridge ++На самом деле NAT ++ Отдельный локальный IP для контейнера ++ Изоляция порта внутри контейнера ++ Суёт свой хвост в iptables – админы недовольны
- 131.
- 132. Network mode: host ++Сеть хост-машины как есть в контейнере
- 133. Network mode: host ++Сеть хост-машины как есть в контейнере ++ Host port = container port
- 134. Network mode: host ++Сеть хост-машины как есть в контейнере ++ Host port = container port ++ Свобода iptables от вмешательств Docker
- 135. Network mode: host ++Сеть хост-машины как есть в контейнере ++ Host port = container port ++ Свобода iptables от вмешательств Docker ++ Наш выбор!
- 136.
- 137. Network mode: overlay ++Multi-host сеть прямо из коробки
- 138. Network mode: overlay ++Multi-host сеть прямо из коробки ++ Swarm mode (1.12+) или кастомная настройка кластера
- 139. Network mode: overlay ++Multi-host сеть прямо из коробки ++ Swarm mode (1.12+) или кастомная настройка кластера ++ Пока что всё ещё сыроват
- 140.
- 141. Network mode: macvlan ++Свежачок с 1.12, kernel v3.9–3.19 and 4.0+
- 142. Network mode: macvlan ++Свежачок с 1.12, kernel v3.9–3.19 and 4.0+ ++ Только одна сеть на сетевой интерфейс
- 143. Network mode: macvlan ++Свежачок с 1.12, kernel v3.9–3.19 and 4.0+ ++ Только одна сеть на сетевой интерфейс ++ Каждому контейнеру уникальный MAC
- 144. Network mode: macvlan ++Свежачок с 1.12, kernel v3.9–3.19 and 4.0+ ++ Только одна сеть на сетевой интерфейс ++ Каждому контейнеру уникальный MAC ++ Прямой доступ к другим контейнерам, минуя gateway
- 145. Network mode: macvlan ++Свежачок с 1.12, kernel v3.9–3.19 and 4.0+ ++ Только одна сеть на сетевой интерфейс ++ Нет доступа из контейнера к хост-машине по IP ++ Каждому контейнеру уникальный MAC ++ Прямой доступ к другим контейнерам, минуя gateway
- 146.
- 147. Network mode: none ++Нет сети – нет проблем!
- 148. Network mode: none ++Нет сети – нет проблем! ++ Лучший вариант – если сеть не нужна
- 149.
- 150. Limit everything ++ CPU:--cpu-shares, --cpuset-cpus
- 151. Limit everything ++ CPU:--cpu-shares, --cpuset-cpus ++ Memory: --memory, --memory-reservation
- 152. Limit everything ++ CPU:--cpu-shares, --cpuset-cpus ++ Memory: --memory, --memory-reservation ++ Swap: --memory-swap, --memory-swappiness
- 153. Limit everything ++ CPU:--cpu-shares, --cpuset-cpus ++ Memory: --memory, --memory-reservation ++ Swap: --memory-swap, --memory-swappiness ++ Storage: --device-read-bps, --device-write-bps
- 154. Limit everything ++ CPU:--cpu-shares, --cpuset-cpus ++ Memory: --memory, --memory-reservation ++ Swap: --memory-swap, --memory-swappiness ++ Storage: --device-read-bps, --device-write-bps ++ И это далеко не всё
- 155.
- 156. Собираем всё вместе ++Динамический docker-compose.yml
- 157. Собираем всё вместе ++Динамический docker-compose.yml ++ Одна сущность контейнера – один YAML template
- 158. Собираем всё вместе ++Динамический docker-compose.yml ++ Одна сущность контейнера – один YAML template ++ Множим контейнеры через генератор конфига
- 159. Собираем всё вместе ++Динамический docker-compose.yml ++ Одна сущность контейнера – один YAML template ++ Множим контейнеры через генератор конфига ++ scale bee=10 ant=1 goqueue=1
- 160.
- 161. Шаблонизируем ++ Секция docker-composeкак шаблон
- 162. Шаблонизируем ++ Секция docker-composeкак шаблон ++ Есть %ЗАМЕНЯЕМЫЕ% значения
- 163. Шаблонизируем ++ Секция docker-composeкак шаблон ++ Есть %ЗАМЕНЯЕМЫЕ% значения ++ А ещё переменные окружения
- 164. Шаблонизируем ++ Секция docker-composeкак шаблон ++ Есть %ЗАМЕНЯЕМЫЕ% значения ++ А ещё переменные окружения ++ Все константы и настройки – env.sh
- 165. Шаблонизируем ++ Секция docker-composeкак шаблон ++ Есть %ЗАМЕНЯЕМЫЕ% значения ++ А ещё переменные окружения ++ Все константы и настройки – env.sh ++ Сборка всех шаблонов в один на чистом BASH
- 166.
- 167. Шаблон муравья ++ %SEQUENCE%– номер контейнера
- 168. Шаблон муравья ++ %SEQUENCE%– номер контейнера ++ ${VAR} – окружение из env.sh
- 169. Шаблон муравья ++ %SEQUENCE%– номер контейнера ++ ${VAR} – окружение из env.sh ++ export BEE_PORT=${BEE_PORT:-7089}
- 170.
- 171. Деплой на сервер ++Забираем свежий код из git
- 172. Деплой на сервер ++Забираем свежий код из git ++ Генерируем docker-compose.yml по окружению
- 173. Деплой на сервер ++Забираем свежий код из git ++ Генерируем docker-compose.yml по окружению ++ Собираем все образы
- 174. Деплой на сервер ++Забираем свежий код из git ++ Генерируем docker-compose.yml по окружению ++ Собираем все образы ++ Запускаем контейнеры – docker-compose --no-build up
- 175.
- 176. А если несколько? ++Сервера, окружения, scale – cluster.yml
- 177. А если несколько? ++Сервера, окружения, scale – cluster.yml
- 178.
- 179. Выкатка на ферму ++grep production cluster.yml | cut -d: -f1
- 180. Выкатка на ферму ++grep production cluster.yml | cut -d: -f1 ++ Запуск deploy-скрипта на всех выбранных нодах
- 181. Выкатка на ферму ++grep production cluster.yml | cut -d: -f1 ++ Запуск deploy-скрипта на всех выбранных нодах ++ И всё это одновременно на всех нодах
- 182. Выкатка на ферму ++grep production cluster.yml | cut -d: -f1 ++ Запуск deploy-скрипта на всех выбранных нодах ++ И всё это одновременно на всех нодах ++ Снова BASH: background processes & wait
- 183. Выкатка на ферму ++grep production cluster.yml | cut -d: -f1 ++ Запуск deploy-скрипта на всех выбранных нодах ++ И всё это одновременно на всех нодах ++ Снова BASH: background processes & wait ++ Success or fail? Шлем в slack
- 184. Выкатка на ферму ++grep production cluster.yml | cut -d: -f1 ++ Запуск deploy-скрипта на всех выбранных нодах ++ И всё это одновременно на всех нодах ++ Снова BASH: background processes & wait ++ Success or fail? Шлем в slack
- 185.
- 186. В сухом остатке ++50 человеко-часов на написание системы
- 187. В сухом остатке ++Полная миграция за 150 человеко-часов ++ 50 человеко-часов на написание системы
- 188. В сухом остатке ++Полная миграция за 150 человеко-часов ++ 500 строк BASH'а в 5-ти файлах на управление ++ 50 человеко-часов на написание системы
- 189. В сухом остатке ++Полная миграция за 150 человеко-часов ++ 500 строк BASH'а в 5-ти файлах на управление ++ Масштабирование в одном месте ++ 50 человеко-часов на написание системы
- 190. В сухом остатке ++Полная миграция за 150 человеко-часов ++ 500 строк BASH'а в 5-ти файлах на управление ++ Масштабирование в одном месте ++ Автоматизация настройки dev-окружения ++ 50 человеко-часов на написание системы
- 191.
- 192. ++ 8 мощныхсерверов ++ 24 дешевые машинки Было Стало
- 193. ++ 8 мощныхсерверов ++ 24 дешевые машинки ++ Chef, monit, Centos 6 ++ Ubuntu 16 LTS (4.4) <3 Docker Было Стало
- 194. ++ 8 мощныхсерверов ++ 24 дешевые машинки ++ Chef, monit, Centos 6 ++ Ubuntu 16 LTS (4.4) <3 Docker ++ 2 часа боли при деплое ++ 10 минут радости при деплое Было Стало
- 195. ++ 8 мощныхсерверов ++ 24 дешевые машинки ++ Chef, monit, Centos 6 ++ Ubuntu 16 LTS (4.4) <3 Docker ++ 2 часа боли при деплое ++ 10 минут радости при деплое ++ DevOps настраивают окружение ++ Developers управляют окружением Было Стало
- 196. ++ 8 мощныхсерверов ++ 24 дешевые машинки ++ Chef, monit, Centos 6 ++ Ubuntu 16 LTS (4.4) <3 Docker ++ 2 часа боли при деплое ++ 10 минут радости при деплое ++ DevOps настраивают окружение ++ Developers управляют окружением ++ Ручной scale процессов ++ Scale по необходимости деплоем Было Стало
- 197.
- 198.