Krasnodar Backend: Meetup #3 https://krddevdays.timepad.ru/event/827392/

1. «Эффективный мониторинг в
агрессивной среде
Krasnodar Backend Meetup #3
Evgeniy Savchenko
Senior DevOps Engineer
@Arkadium
www.arkadium.com

2. Арена
2

3. Арена
300+ clients
900+ domains
800 000+ daily players
$$$
3

4. Арена
Game portal
ASP.Net
IIS
Microservices (+/-)
Windows Server 2016
Servers (managed hosting)
.Net
IIS
Windows
Server
Hyper-V
Rackspace
4

5. Команда ИТ
3 человека
Много задач
• Другие проекты
• Два офиса
• Dev/Test среды
Рабочий день: 10:00 – 19:00 (MSK)
Пик нагрузки: 00:00 (MSK)
Выходные
Государственные праздники РФ
Нет дежурных смен
5

6. Наш рецепт
Технологии + Процессы + Люди
6

7. | Технологии
7

8. Система мониторинга
Monitoring
server:
Collect data
Store metrics
Create alerts
Show graphs
8
Monitoring server
Rules
Alerts processing
Data sources
Data base
Notification
services
Admins Dashboards
DataAlerts
Metrics
Graphs
Notifications

9. Monitoring server
Zabbix
Opensource & free
На рынке с 2001 года
«Комбайн»
Расширяем
Тюнится под задачу
Плохо работает «из коробки»
9

10. Zabbix tips
Минимальные настройки
Зависимости триггеров
Recovery expressions
Пороги срабатываний
Без этого даже не пытайтесь использовать Zabbix
10

11. Zabbix tips
Минимальные настройки
Зависимости триггеров (dependencies)
Profit: не отображать зависимые проблемы
Webserver is not
running
Ping for gateway is
lost
Ping for server is lost
Zabbix Agent is
unavailable
11

12. Zabbix tips
Минимальные настройки
Пороги срабатываний (thresholds)
Profit: реагировать на проблемы вовремя
12

13. Zabbix tips
Минимальные настройки
Гистерезис (recovery expressions)
Profit: устранить «flapping»
13

14. Metrics
Что мы собираем
Service availability
• TCP checks
• HTTP checks
• SQL queries
Server (host) availability
• Agent ping
• ICMP ping
Application availability
• Windows services state
• IIS AppPools state
• IIS site state
Server performance
• CPU load
• Free memory
• Disk usage
• Network load
Application performance
• Current Connections
• GET/POST requests count
• …
Additional
• Hyper-V metrics
• DFS
• … 14

15. External Zabbix
Checks
DNS resolve
TCP connect
HTTP code
Keyword
ProductionZabbix Users
L2 Network
L3 Network
NLB
Firewall
CDN
DNS
Zabbix
15

16. Визуализация
Визуализация метрик
Zabbix graphs
• Latest data
• Graphs
Zabbix maps
Grafana dashboards
16

17. Визуализация
Zabbix Maps
Высокоуровневое представление
17

18. Визуализация
Zabbix Maps
Графическое представление системы
Profit: быстрее определять проблему
18

19. Визуализация
Grafana
Несколько источников метрик
Больше типов визуализации
Шаблоны
Красивее 
19

20. Оповещения
Каналы оповещений
• Email
• Microsoft Teams
• SMS
• Telegram
• PagerDuty
LeadsNY
Problem
Rackspace Azure
MetricsMetrics
Channels
Priority
Alerts Alerts
KRD
0
0
0
0
20

21. Оповещения
Email
21

22. Оповещения
Чат (MS Teams)
22

23. Оповещения
Чат (MS Teams)
• Оперативность
• Разные каналы
• Обсуждение проблемы
23

24. Оповещения
SMS
• Внешний сервис
• Задержки доставки
• Ненадёжно
• Нужно платить
• Нужно следить за балансом аккаунтов
• Мы отказались от СМС
24

25. Оповещения
Telegram
• Для телефона
• Замена СМС
• Работает всегда, когда есть связь
• Групповые чаты
Script for Zabbix: https://github.com/ableev/Zabbix-in-Telegram
25

26. Оповещения
Pager Duty
• Телефонные звонки
• Расписания
• Эскалация
26

27. | Процессы
27

28. Приоритезация
По типу
Zabbix Tags
• ENV: Testing/Staging/Production
• PROJECT: Arena/Inhabit/…
28

29. Приоритезация
По важности
Severity
• Information - информационное сообщения. Не требуют оперативной реакции.
Пример: изменилось имя хоста; сервер был перезагружен.
• Warning - потенциальная проблемы. Не влияет на доступность продуктов и сервисов, но
может стать причиной более серьёзных проблем с течением времени.
Пример: осталось меньше 20% дискового пространства; в логе обнаружены ошибки.
• Average - аналогично Warning, но требуют более оперативной реакции.
Пример: служба репликации не запущена.
• High - проблема влияет на доступность конкретного сервера/узла, но не приводит к
немедленной недоступности продукта или сервиса.
Пример: хост недоступен по ICMP, вебсервер на хосте не запущен (это не единственный хост
в кластере).
• Disaster - проблема непосредственно влияет на доступность продукта или сервиса.
Пример: сайт недоступен по URL; база данных недоступна по DNS имени. 29

30. Приоритезация
Проблема
Severity
• Information
• Warning
• Average
• High
• Disaster
Tags
• AREA
• ENV
• PROJECT
• SYSTEM
30

31. Реагирование
Решение проблем
War room
• MS Teams chat
• Все участники процесса (IT, Dev, DBA, …)
• Conference call
Разделение
• Кто смотрит логи?
• Кто смотрит базу?
• …
Postmortem
31

32. Реагирование
Список известных проблем
• Ведётся Wiki
• Название триггера в Zabbix
• Способ проверки
• Способ устранения
Profit
• Быстрое решение проблемы в 3 часа ночи
• Человек «не в теме» знает, что делать
32

33. Реагирование
Приоритезация проблем по типам
• Звонок только при «Disaster»
• Звонок только для «Production»
Profit
• Не просыпаться ночью при некритичных проблемах
33

34. Реагирование
Инструкции по восстановлению
• Восстановление бэкапа
• Редеплой предыдущего релиза
• Доступ для этих действий
Profit
• Быстро восстановить работоспособность, а потом
разбираться
34

35. | Люди
35

36. Ответственность
Отпуска и выходные (IT Team)
• Договариваемся
• Кто-то должен быть на связи
• У всех есть ноутбук (берём с собой)
• У всех настроен VPN
• Есть Jumpbox в датацентре
• Нельзя забивать на alerts
Profit
• Минимизировать пропуски проблем
36

37. Ответственность
Взаимодействие с другими командами
• Известно, кому звонить
• Dev
• DBA
• …
• Записаны номера телефонов
• Люди в курсе, что им могут позвонить в 3 часа ночи
Profit
• Собрать troubleshoot team при необходимости
37

38. Ответственность
Принятие рисков
• Возможен downtime
• Мы можем пропускать проблемы
• Проблема может решаться долго
• Мы минимизируем эти риски
• Бизнес принимает эти риски
Profit
• Баланс между стоимостью поддержки и стабильностью продукта
38

39. THE END
39
СПАСИБО ЗА ВНИМАНИЕ!
Контакты
Евгений Савченко
Senior DevOps Engineer
@EvgeniySavchenko
http://www.trueadmin.ru/