HighLoad++ 2017 Зал «Пекин+Шанхай», 7 ноября, 15:00 Тезисы: http://www.highload.ru/2017/abstracts/2967.html Мы в Avito уже более года используем Kubernetes в качестве платформы для микросервисов. За это время мы столкнулись с рядом проблем, с которыми может столкнуться каждый, кто использует эту платформу. В докладе поделюсь опытом решения проблем и настройки кластера для обеспечения его эффективной работы (низкий и стабильный latency для сервисов, использование ресурсов CPU, RAM): настройки аппаратного обеспечения (сеть, CPU), ОС, настройки самих инфраструктурных компонентов kubernetes и о том, что и как необходимо мониторить.

1. Настройка
Kubernetes:
tips and tricks
Михаил Прокопчук, Avito

2. Avito
Сайт №1 объявлений в России
35 миллионов пользователей ежедневно
300+ серверов
15000rps к бэкенду

3. Kubernetes в Avito
Больше года: c 3-х нод до 2-х кластеров
Все новые сервисы в k8s

4. Kubernetes в Avito
Провели workshop'ы/meetup'ы
Написали шаблоны сервисов

5. Kubernetes в Avito
Сервисов внезапно стало много
Производительность стала критичной
Нужно что-то делать!11

6. План доклада
Как работает Kubernetes
Настройки, проблемы и решения
Немного про мониторинг

7. Как работает Kubernetes
Со стороны разработчика:

8. Код
+
Kubernetes-спецификации:
deployments
services
ingresses
Облако

9. Как работает Kubernetes
На самом деле:

12. Kubernetes –
операционная система
для кластера

13. И эту операционную
систему можно и нужно
настроить

14. На что обратить внимание
Ноды: CPU, Network, RAM
Инфраструктура: apiserver, etcd, scheduler

15. Проблема
"Нехватка" ресурсов

16. kube-scheduler
Планирует размещение pod'ов, учитывая
spec.containers[].resources.requests
(deployment)
вне зависимости от фактического потребления

17. Типичная ситуация

18. Решениe
Предвалидация и установка requests
в зависимости от окружения:
prod/dev/staging

19. Как сделать
Заставить писать requests :(
Выделять и ограничивать namespace'ы
Использовать LimitRange
Написать свой linter!11

20. Проблема
Высокий и "рваный" latency

21. Latency сервиса (http)
1.5s
0s

22. Решение
cpu governor mode: perfomance

23. Как сделать
# cat
/sys/devices/system/cpu/cpu0/cpufreq/
scaling_governor
ondemand
# echo
performance
> /sys/devices/system/cpu/cpu0/cpufreq/
scaling_governor

24. Latency сервиса (http)
500ms
0ms

25. CPU worker nodes
40%
0%

26. Проблема
Сетевые потери: под удар попадает dns

27. /etc/resolv.conf
search
default.svc.cluster.local
svc.cluster.local
cluster.local
nameserver 192.168.0.1
options ndots:5

28. Как выглядит resolv: 6 обращений
AAAA? kubernetes.default.
A? kubernetes.default.
NXDomain 0/0/0 ...
AAAA? kubernetes.default.default.svc.
A? kubernetes.default.default.svc.
NXDomain 0/1/0 ...
AAAA? kubernetes.default.svc.cluster.local
0/0/0 ...
A? kubernetes.default.svc.cluster.local
1/0/0 A 192.168.0.1

29. Решение
стандартные сетевые оптимизации

30. Как сделать
Распределить прерывания NIC по ядрам
Настроить NIC coalesce
(агрегирование прерываний)
Настроить network sysctls

31. Проблема
Больше 100 pod'ов на хосте – деградация
Под удар попадает dev/staging:
множество релизов с разных веток etc.

32. Как выглядит
# kubectl get pods
...
STATUS
ContainerCreating

33. Как выглядит
Error syncing pod, skipping
...
operation timeout: context deadline
exceeded

34. Решение
"Разбивать" хосты:
запуск vms как k8s worker nodes
Мы запустили kvm-машины

35. Мониторинг

37. kube-apiserver
Рейт запросов с разбивкой по операциям
Перцентили
Рейт ошибок с разбивкой по операциям

38. kube-dns
kube-dns: основной процесс
dnsmasq: кэш перед kube-dns:
# ps uxa
...
dnsmasq --cache-size=5000 ...

39. kube-dns
kube-dns: cpu usage
dnsmasq: cache efficiency

40. kubelet
Рейт запросов с разбивкой по операциям
Перцентили
Рейт ошибок с разбивкой по операциям

41. dockerd
Рейт запросов с разбивкой по операциям
Перцентили
Рейт ошибок с разбивкой по операциям

42. Как мониторить?
prometheus

45. Prometheus
Все инфраструктурные компоненты
Kubernetes отдают location /metrics

46. Prometheus
Доступны метрики по контейнерам/pod'ам

47. Prometheus
Avito dev-cluster
Prometheus version: 2.0.0-beta.5

48. Prometheus
Avito dev-cluster:
90 worker nodes
1200 deployments
2300 pods

49. CPU usage
200%
0%

50. Time-series total
990K
976K

51. Virtual memory
27.1Gb
26.8Gb

52. Выводы

53. Kubernetes – операционная
система для кластера

54. Настройка всех компонент
по всему стеку
вплоть до железа

55. Мониторинг

56. Спасибо за внимание!

57. Вопросы?
mike.prokopchuk@gmail.com
github.com/theairkit