Иван Круглов, senior developer Booking.com

1. monitoring when no testing
Иван Круглов|08.04.2017

2. fast reverts visibility
ownership
• 70 роллаутов
в день
• 1000+ активных
экспериментов
Booking Fast Development by Vedran Mikulic
https://2014.codefest.ru/lecture/937

3. повестка дня
• ключевые метрики
• пожар!
• инструменты оповещения
• инструменты мониторинга
• graphite stack

4. кол-во броней
ключевые метрики
бюджет на ошибки

5. пожар!
• начальные коммуникации в jabber
• конференц-связь
▸ единый номер доступный везде
• лидер
▸ координация, оповещение и привлечение нужных ресурсов
• RFO (reason for outage)
▸ В чем причина?
▸ Могли ли мы избежать данного класса ошибок?
▸ Как можно уменьшить ущерб от данного класса ошибок?
▸ Насколько эффективны алерты?
• post-mortem

6. инструменты оповещения (alerting)
• ddos_detector
▸ events -> ddos_detector
picture by Maxim Vuets

7. server
server
server
…
events
pipeline
consumer

8. инструменты оповещения (alerting)
• ddos_detector
▸ events -> ddos_detector
▸ реалтайм анализ трендов
▸ оповещение если что-то где-то идет не так
• nagios
▸ технические алерты
• bosun
picture by Maxim Vuets

9. инструменты мониторинга
• flog
▸ errors/warnings
▸ grumbles
▸ events -> flog-processor -> ES

10. flog
aggregated err/warn

11. инструменты мониторинга
• flog
▸ errors/warnings
▸ grumbles
▸ events -> flog-processor -> ES
• graphite/grafana
▸ миллионы метрик разной природы
▸ несколько источников данных
• kibana
▸ rsyslog -> kafka -> ES

12. источники данных для graphite
• diamond и др.
▸ системные метрики (/proc, mysql, nginx, uwsgi, др.)
• graphite-processor
▸ events -> graphite-processor -> graphite
▸ метрики специфичные для приложения
▸ доступен для всех
▸ строит “завершенные” графики
• ddos_detector
▸ стандартизованные метрики которым можно доверять
▸ бизнес метрики (распределение по странам, провайдерам, и др.)
▸ технические метрики (pv, error/warning, wallclock percentiles, др.)
▸ задача оставаться realtime

14. “завершённый” график

15. realtime график

16. graphite setup
frontend
• 32 сервера
• 400 RPS
• 40K метрик
backend
• 200 серверов
• 11 Gbps
• 2.5M уникальных метрик в секунду
(10M на сторадже)
• 130 TB метрик
все компоненты заменены!

17. graphite stack
• проект начат Damian Gryski и Fabian Groffen
▸ в активном развитие
• более подробно:
“Graphite@Scale or How to store millions metrics per second”
https://fosdem.org/2017/schedule/event/graphite_at_scale/

19. • carbon-relay — SPOF
• данные различаются после
ошибок записи
• время ответа растет линейно
с ростом кол-ва серверов
• сложно масштабировать
Что не так?

21. carbon-c-relay
• написан на C
• работает с 1М метрик в секунду на 2 ядрах
• L7 LB for graphite line protocol
• может выполнять роль carbon-aggregator
• буферизирует данные если upstream недоступен

22. carbon-zipper

23. carbon-zipper
• написан на Go
• carbon-zipper <->
carbon-server =
2700 RPS
• graphite-web <-> carbon-
cache
80 RPS

24. carbonapi
• можно делать больше сложных запросов
• новые тяжелые математические функции
~0.8 сек
~15 сек

25. • carbonzipper — github.com/dgryski/carbonzipper
• go-carbon — github.com/lomik/go-carbon
• carbonsearch — github.com/kanatohodets/carbonsearch
• carbonapi — github.com/dgryski/carbonapi
• carbon-c-relay — github.com/grobian/carbon-c-relay
• carbonmem — github.com/dgryski/carbonmem
все в open-source

26. трюк с graphite №1
• используйте корректные функции агрегации
▸ по умолчанию - среднее
• мы используем следующий способ именования
▸ _sum .sum _count .count
▸ _last .last
▸ max_ _max .max
▸ min_ _min .min

27. трюк с graphite №2

28. трюк с graphite №2

29. • consolidateBy(seriesList, consolidationFunc)
Takes one metric or a wildcard seriesList and a consolidation function name. Valid
function names are ‘sum’, ‘average’, ‘min’, and ‘max’.
When a graph is drawn where width of the graph size in pixels is smaller than the
number of datapoints to be graphed, Graphite consolidates the values to to prevent
line overlap. The consolidateBy() function changes the consolidation function from the
default of ‘average’ to one of ‘sum’, ‘max’, or ‘min’. This is especially useful in sales
graphs, where fractional values make no sense and a ‘sum’ of consolidated values is
appropriate.
&target=consolidateBy(Sales.widgets.largeBlue, 'sum')
&target=consolidateBy(Servers.web01.sda1.free_space, 'max')

30. Спасибо!
Иван Круглов
Senior Developer
ivan.kruglov@booking.com
https://workingatbooking.com
SRE or Software Developer

31. disclaimer
• this is my personal view on the available tools at Booking.com
• might be inaccurate and biased
• there might be better way of using them