Илья Аблеев, руководитель отдела мониторинга Badoo Представьте горящий стул, горящий стол в горящем доме. Примерно так выглядит обычный день в отделе мониторинга или дежурных админов в любой IT-компании. И мы — не исключение, но мы научились справляться с температурой горения и поделимся нашим опытом. 1. Что такое Badoo: особенности архитектуры и отдела эксплуатации. 2. Зачем нужен независимый отдел мониторинга и чем он занимается. 3. Как устроен отдел: количество людей/смен; что делают люди в свободное время, чтобы не выгореть 4. Инструменты: что используется для анализа проблем, как не потеряться в потоке событий и не пропустить важные инциденты

1. Как устроен мониторинг
в
Badoo
Илья Аблеев

2. Badoo
2девел-площадки
80
data
~3Kсерверов
4
дата-центра
2релиза в день
>200
разработчиков
2
офиса
>300Mпользователей
в цифрах
(копия продакшена)

3. круглосуточный
7 человек в сменах
уведомляет о проблемах ответственных лиц
Мониторинг

4. системные ошибки (кончилось место, завис хост, …)
софтверные ошибки (выложили плохой демон / код / патч)
false positives проверок мониторинга
С какими проблемами сталкиваемся?

5. админы:
ночной и дневной дежурный, круглосуточная связь
разработчики:
1 ответственный на проблему + запасной на экстренный случай
эскалация лиду
всем:
общая рассылка и групповые чаты
Как уведомляем?

6. очевидное решение
четкая инструкция
техническая импровизация
Уведомляем или решаем сами?

7. голова
Zabbix ❤
автоматизация
дополнительные инструменты
Что используем?

8. мониторинг точно знает, с чего начать, это у него “в крови”
всегда начеку
может проанализировать, как часто случаются подобного рода проблемы
всегда знает, кому и как эскалировать
Голова?

9. Наши основные требования к софту:
• показать список проблем – ✅
• отправить уведомления – ✅
софт, который вы используете в работе – почти не влияет на
результат
P.S. https://www.meetup.com/Zabbix-Moscow-Meetup/
Zabbix ?

10. Нет, не покажем, сильно заточен под нас
Зачем свой? Нужно отображать список проблем так, как нам и удобно
И удобно с ними работать
Требования (наши):
• комментарии к алертам
• скрыть проблему на сутки/неделю/месяц/навсегда
• позвонить + связать звонок с инцидентом
• завести тикет
• быстро перейти в другие системы – ssh, grafana, …
Инструменты: дашборд?

11. Нет, не покажем, сильно заточен под нас
Инструменты: дашборд?

12. Про людей?

13. три типа смен: 9-16, 16-23, 23-9
учитываем пожелания ребят
можно меняться
в 1 день - 1 смена
на “посту” всегда кто-то есть
Смены / график / расписание?

14. раньше: 5 человек в смены, без дневного дежурного
осознание 1: нужно 6 человек
безболезненная ротация
осознание 2: днём нужны дополнительные руки / глаза
в дневной смене 2, в ночной 1
Болезни / отпуска?

15. с 11 до 20 – очень много изменений на продакшене
один человек может не справиться
ночью всё тихо / спокойно (никто ничего не ломает)
Дневной / ночной дежурный?

16. Как все устроено?
обычная смена в отделе мониторинга :)

17. Вопросы?
ableev@corp.badoo.com
https://t.me/ableev
https://habrahabr.ru/company/badoo/