Количество данных, серверов и приложений растёт — нужны новые способы анализа этой информации. В докладе я расскажу о сравнительно новой системе для рисования графиков под названием Graphite. Почему мы выбрали именно её, какие возможности предоставляет эта система. Также я покажу, как собраны наши инсталляции Graphite.

1. 1

2. 2
Graphite – как построить
миллион графиков
Куликовский Дмитрий

3. 3
О чем
! Почему графит?
! Архитектура
! Производительность
! Вкусности

4. 4
В чем проблема?
Проще увидеть один график, чем просмотреть
тысячу логов.

5. 5
Варианты решения
! Zabbix
! Agave
! Munin
! Collectd
! Cacti
! Graphite

6. 6
Варианты решения
! Zabbix
! Agave
! Munin
! Collectd
! Cacti
! Graphite

7. 7
Варианты решения
! Zabbix
! Agave
! Munin
! Collectd
! Cacti
! Graphite

8. 8
Варианты решения
! Zabbix
! Agave
! Munin
! Collectd
! Cacti
! Graphite

9. 9
Варианты решения
! Zabbix
! Agave
! Munin
! Collectd
! Cacti
! Graphite

10. 10
Варианты решения
! Zabbix
! Agave
! Munin
! Collectd
! Cacti
! Graphite

11. 11
А у нас в графите…
! Масштабирование
! Построение отказоустойчивого сервиса

12. 12
А у нас в графите…
! Простота работы с большими объёмами данных
! Гибкость работы с шаблонами графиков

13. 13
Тест на разладку hw балансера

14. 14
Графики сетевой активности p2p

15. 15
Немного цифр
! 61 requests ❘ 902 KB transferred ❘ 17.54 s
! 6900 метрик выбрано
! 3 преобразования: derivative, scale to seconds, sum

16. 16
Маловато будет!
! Нестрогий порядок timestamp’ов точек
! Данные в реальном времени
! Внутренняя простота

17. 17

18. 18
Маловато будет!
! Нестрогий порядок timestamp’ов точек
! Данные в реальном времени
! Внутренняя простота

19. 19
Маловато будет!
! Нестрогий порядок timestamp’ов точек
! Данные в реальном времени
! Внутренняя простота

20. 20
Архитектура графита

21. 21
Он такой же как и все
! 2 логических части – frontend и backend
! backend на twisted
! frontend на django

22. 22
Мegacarbon

23. 23
Мegacarbon

24. 24
3х слойная масштабируемая архитектура

25. 25
Многослойная безумная архитектура

26. 26
Наш вариант

27. 27
Производительность

28. 28
Конфигурация машин
! E5-2660
! 64Gb RAM
! 4 x ssd 300Gb в raid10

29. 29
Whisper
+ фиксированный размер файла
+ стабильность
- один файл для всех данных
- очень ресурсоёмкое создание новых метрик

30. 30
Ceres
+ внутренний механизм кеширования
+ мгновенное создание новых метрик
+ rollup идёт отдельным процессом
- есть баги
- rollup это дорогостоящая операция, которую надо делать

31. 31
whisper
ceres

32. 32
Решение проблем с производительностью
! Шардирование
! Распределённая отрисовка графиков

33. 33
Решение проблем с производительностью
! Шардирование
! Распределённая отрисовка графиков

34. 34
Вкусности

35. 35
Источники данных
! Collectd
! Diamond
! Collectl
! Ganglia

36. 36
Альтернативные интерфейсы
- 19 альтернативных веб-интерфейсов для графита
clck.ru/8pjLG

37. 37
Giraffe

38. 38
Graph explorer

39. 39
Graphene

40. 40
Dashboard ex. 1

41. 41
Dashboard ex. 2

42. 42
Dashboard ex. 3

43. 43
Dashboard ex. 4

44. 44
Skyline

45. 45
Наши патчи
! cacti style zoom + fullscreen
! история графика
! свои функции для обработки данных
! дополнительные горячие клавиши

46. 46
Ссылочки
Форк на гитхабе
- clck.ru/8pjLr
Инструкция для домохозяек
- clck.ru/8pjM3

47. 47
Выводы

48. 48
Спасибо за внимание

49. 49
Куликовский Дмитрий
Руководитель отдела
администрирования
рекламных технологий
dkulikovsky@yandex.ru