РИТ++ 2017 Зал Сан-Паулу, 5 июня, 15:00 Тезисы: http://ritfest.ru/2017/abstracts/2653.html Новые микросервисы появляются, но монолит никуда не исчезает. Мы в Avito разрабатываем и деплоим сервисы с помощью связки Docker и Kubernetes. Зачастую интегрировать монолит с сервисами довольно проблематично. А что, если монолит тоже завернуть в Docker+Kubernetes и применять те же практики, что и для микросервисов? В докладе речь пойдёт о том, как изменилась Dev-среда в Avito в связи с переходом на микросервисную архитектуру. В частности, поговорим про: - подход "legacy in a box"; - то, как мы решали проблемы с базами и sphinxsearch; - то, как Docker и Kubernetes помогли нам сократить различия между окружениями; - Developer Experience. Доклад будет полезен как командам, планирующим или переживающим распил монолита, так и всем тем, кому приходится работать со сторонними legacy-системами.

1. Legacy в коробочке
Dev-среда на базе Kubernetes
Илья Сауленко
Avito

3. Как выглядит микросервисная
архитектура?

7. Суровая реальность
Монолит надо разрабатывать:
● Поддерживать старый код
● Разрабатывать новые фичи
Монолит надо тестировать:
● Тестировать новые фичи
● Интегрировать с микросервисами

8. Среды в Avito: раньше
LXC
dev:
test:

10. Нужны новые среды!

11. Что не нравится?
Vagrant-окружения слишком хрупкие
Vagrant/Chef-конфигурации сильно отличаются от продакшена
Разные решения для dev- и test-сред
Тесты используют общие хранилища данных
Общие базы/сфинксы etc

13. Микросервисы в Avito

14. Среды в Avito: сейчас

15. Kubernetes — это сложно!
Настраивать сеть
Ставить etcd
Готовить сертификаты

16. Kubernetes — это сложно!
Minikube

17. Kubernetes — это сложно!
Minikube
...или kubeadm

18. Kubernetes — это перебор!
У нас же всего одно приложение на одном локальном сервере!
Зачем оркестрация? Мы просто хотим писать код!

20. Kubernetes — это перебор!
Раздаёт IP-адреса контейнерам автоматически
kube-dns для service discovery
Ingress controller для HTTP-роутинга
Readiness probe
Heapster для мониторинга отдельных компонентов

22. Микросервис vs монолит:
найдите 10 отличий

23. Среднестатистический микросервис
Приложение
Хранилища данных
Зависимости от других сервисов
Описание сборки (Dockerfile)
Описание деплоя (Chart.yaml)
Приложение
Dockerfile Chart.yaml
Данные
Сторонний сервис

24. Монолит
Приложение
Puppet + python
+ bash
Данные
Сторонний сервис
Сторонний сервис
Сторонний сервис
Данные
Данные
Данные

26. Приложение
Puppet + python
+ bash
Данные
Сторонний сервис
Сторонний сервис
Сторонний сервис
Данные
Данные
Данные

27. Базы в Docker-контейнерах

28. Базы в Docker-контейнерах
Immutable

29. Базы в Docker-контейнерах
Immutable
Ограничены по размеру

30. Как быть с большими базами?

31. Как быть с большими базами?
1. Никак — ходить в продакшен

32. Как быть с большими базами?
1. Никак — ходить в продакшен
2. Никак — поднимать пустой сервер без данных

33. Как быть с большими базами?
1. Никак — ходить в продакшен
2. Никак — поднимать пустой сервер без данных
3. Поднимать сервер без данных и накатывать тестовые данные

34. Как быть с большими базами?
1. Никак — ходить в продакшен
2. Никак — поднимать пустой сервер без данных
3. Поднимать сервер без данных и накатывать тестовые данные
4. Семплировать часть боевых данных

35. Как быть с большими базами?
1. Никак — ходить в продакшен
2. Никак — поднимать пустой сервер без данных
3. Поднимать сервер без данных и накатывать тестовые данные
4. Семплировать часть боевых данных
5. Сделать пул серверов на снапшотах файловых систем (ZFS, etc)

36. Docker commit
Не всегда образ можно собрать с помощью docker build
Например, если нужно сделать образ SphinxSearch из базы данных,
запущенной в соседнем контейнере

37. Docker commit
$ docker run -d --name db-container db-image
$ docker run -d --name sphinx-container --link db-container
sphinxsearch
$ docker exec sphinx-container indexer -c sphinx.conf --all
$ docker stop sphinx-container
$ docker commit -m “sphinx indexes” sphinx-container
sphinx-image

38. Docker commit: альтернативы
Ansible Container
Packer

39. Приложение
Данные
Сторонний сервис
Сторонний сервис
Сторонний сервис
Данные
Данные
Данные
Puppet + python
+ bash

41. Приложение
Данные
Сторонний сервис
Сторонний сервис
Сторонний сервис
Данные
Данные
Данные
Puppet + python
+ bash

42. Сборка кода: версии софта

43. Сборка кода: версии софта
В Vagrant одна версия node.js, на тестовых серверах — другая

44. Сборка кода: версии софта
В Vagrant одна версия node.js, на тестовых серверах — другая
docker build обычно решает большую часть проблем

45. Сборка кода: когда docker build не хватает

46. Сборка кода: когда docker build не хватает
Для сборки и запуска приложений — разный набор софта

47. Сборка кода: когда docker build не хватает
Для сборки и запуска приложений — разный набор софта
Внешние зависимости (например, собрать словарь из базы данных)

48. Build container
base OS
build dependencies
build image:

49. Build container
base OS
build dependencies
sources
build image:
+

50. Build container
base OS
build dependencies
sources
build image:
app
+
=

51. Build container
app

52. Build container
base OS
runtime dependencies
app image:
app

53. Build container
base OS
runtime dependencies
app
app image:
app

54. Build container
base OS
build dependencies
base OS
runtime dependencies
sources
app
build image: app image:
app
+
=

55. Build container
Dockerfile.build:
FROM debian
RUN apt-get install php composer
nodejs npm
ENTRYPOINT [“make”, “build”]
…
$ docker build -f Dockerfile.build
-t build-image .
$ docker run -v $PWD:/app/
build-image
Dockerfile:
FROM debian
RUN apt-get install php
COPY ./build/ /app/
…
$ docker build -t run-image .

56. Build container: альтернативы
IMPORT/EXPORT в Rocker
mount в dapp
Multi-stage builds в Docker 17.05

57. Приложение
Данные
Сторонний сервис
Сторонний сервис
Сторонний сервис
Данные
Данные
Данные
Dockerfile
Puppet + python
+ bash

59. Приложение
Данные
Сторонний сервис
Сторонний сервис
Сторонний сервис
Данные
Данные
Данные
Dockerfile
Puppet + python
+ bash

60. Helm для деплоя

61. Почему Helm?
Менеджер релизов: приложение + конфигурация
Шаблонизация Kubernetes-ресурсов
Использует существующие Kubernetes-примитивы

62. Helm: альтернативы
AppController
Flux
Spinnaker

63. Helm Chart
Chart.yaml
templates/ charts/метаданные
k8s-ресурсы
рекурсия
values.yaml
значения по умолчанию,
публичный интерфейс чарта
deployment.yaml
configmap.yaml
ingress.yaml
service.yaml

64. $ helm upgrade --install --wait release-name ./
Helm Kubernetes
Pod
Container
Container
Container
...
Pod Container
Декларативный деплой
Chart

65. Readiness probe

66. Readiness probe
> GET /healthz
< 200 OK

67. Readiness probe
> GET /healthz
< 200 OK
> GET /healthz
< 500 Internal Server Error

68. $ helm upgrade --install --wait release-name ./
$ echo $?
1
Readiness probe = Smoke test
Helm Kubernetes
Pod
Container
Container
Container
...
Pod Container

69. Helm: проблемы
Молодой, быстро развивающийся
Нет фидбэка в процессе установки*
go/template внутри yaml**
* https://github.com/kubernetes/helm/pull/2386
** https://github.com/ksonnet/ksonnet-lib

70. Приложение
Данные
Сторонний сервис
Сторонний сервис
Сторонний сервис
Данные
Данные
Данные
Dockerfile Chart.yaml

72. Приложение
Данные
Сторонний сервис
Сторонний сервис
Сторонний сервис
Данные
Данные
Данные
Dockerfile Chart.yaml

73. Условные зависимости

74. “Хочу тестовую среду, у которой будет своя база, локально поднятые
сервисы A и B, а за сервисом C пусть ходит в staging”
Условные зависимости

75. “Хочу тестовую среду, у которой будет своя база, локально поднятые
сервисы A и B, а за сервисом C пусть ходит в staging”
“Мне нужно разрабатывать новый сервис D локально и интегрировать его с
монолитом. Остальные зависимости можно вообще не поднимать”
Условные зависимости

76. values.yaml, values.dev.yaml, values.test.yaml
Условные зависимости

77. values.yaml, values.dev.yaml, values.test.yaml
serviceA.location: ‘on-cluster’
Условные зависимости

78. values.yaml, values.dev.yaml, values.test.yaml
serviceA.location: ‘on-cluster’
{{- if eq .Values.location “on-cluster” -}}
…
{{- end -}}
Условные зависимости

79. values.yaml, values.dev.yaml, values.test.yaml
requirements.yaml
Условные зависимости

80. Приложение
Сторонний сервис
Данные
Dockerfile Chart.yaml

82. Developer Experience

83. vboxfs:
● Медленное чтение
● Нет поддержки смены прав внутри дерева
● inotify не работает
kubectl:
● Слишком fine-grained
● “kubectl exec” — это вам не терминал
Developer Experience: проблемы

84. Скрипт для автоматизации рутины: логи, ssh, etc
CLI-дашборд, показывающий самое важное
lsyncd вместо vboxfs
Облако вместо VirtualBox
Draft?
Developer Experience: решение

85. Что получилось?

86. Что получилось?
Docker + Kubernetes + Helm (+ VirtualBox + Minikube)
Переиспользование образов при разработке и тестировании
“Legacy в коробочке”, поднимаемое одной командой локально или в кластере

87. Спасибо!
Вопросы?
Илья Сауленко, Avito
@mynameiswhm