Тема: Как перестать бороться с графиками и начать жить Я расскажу вам про интеграцию Zabbix и Grafana, чтобы вы могли улучшить возможности визуализации данных мониторинга с помощью Grafana. 1. Зачем нужны графики? 2. Как нарисовать 100 графиков за 10 секунд? (Query Editor, Regex, Templating) 3. И что потом с этим делать? ( Max Data Points, Functions, Performance) 4. События – это тоже Time Series (Annotations) 5. Seek & Destroy (Alerting в Grafana) 6. Бонус: Heatmap

1. Zabbix + Grafana
Как перестать бороться с графиками
и начать жить

2. Давайте знакомиться
Александр Зобнин
г. Санкт-Петербург
Разработчик в
Raintank Grafana Labs
grafana.com
Плагин для Zabbix

3. Содержание
1. Зачем нужны графики?
2. Как нарисовать 100 графиков за 10 секунд?
Query Editor, Regex, Templating
3. И что потом с этим делать?
Max Data Points, Functions, Performance
4. События - это тоже Time Series
Annotations
5. Seek & Destroy (Alerting в Grafana)
6. Бонус - Heatmap (новая панель в Grafana)

4. Зачем нужны графики?

6. А что вообще такое
мониторинг?
Что такое мониторинг
Алерты Графики

8. • Действие
• Наблюдение
• Проверка
• Поведение
• Результат
• Система
• Компоненты
• Время

9. Мониторинг — это
действие по наблюдению
и проверке поведения и
вывода системы и ее
компонентов во времени.
© Greg Poirier - Monitorama PDX 2016

10. Мониторинг
В каком состоянии система?
Контроль
Что делать, чтобы избежать
проблем? Планирование
Мы всё правильно сделали?
Feedback

11. Мониторинг
Сбор данных Анализ

12. Мониторинг
Сбор данных Анализ
PROBLEM
Что делать? Куда бежать?
OK

13. OK
Мониторинг
АнализDATA
PROBLEM
Граф
ики

14. Мониторинг

15. Мониторинг

16. OK
Мониторинг
АнализDATA
PROBLEM
А
лерты

17. Мониторинг
Ложные срабатывания
Неинформативные сообщения
Сервер недоступен (почему?)
Есть проблема, нет алерта
Что-то еще?

18. АнализDATA
PROBLEM
АнализЛожные срабатыванияКорректировка
Поиск причин
OK
OK

20. Мониторинг
Сервер недоступен

21. Сервер недоступен
Мониторинг
Семь бед -
один
RESET

22. Мониторинг
Но почему он
недоступен?

23. THAT’S A DAMN GOOD
QUESTION
THAT’S A DAMN GOOD
QUESTION

24. Пришло время посмотреть
на графики!

25. Мониторинг
Поправили config
Теперь все тормозит Все ОК

26. Зачем нужны графики?
Анализ проблем и причин
Real-time контроль

27. Как нарисовать 100
графиков за 10 секунд?

29. Сделана для графиков
И не только для графиков
Open Source
Плагины + Zabbix
https://grafana.com/plugins/

30. https://grafana.com/plugins/alexanderzobnin-zabbix-app

31. Zabbix использует
itemid. Но нам нужно
больше золота
гибкости!

32. Regex
Некоторые люди, сталкиваясь с
проблемой, думают: “ОК, я буду
использовать Regex”
Теперь у них 2 проблемы.
© Jamie Zawinski, 1997

33. Regex + name
Гибко
Быстро писать запросы
Не зависит от id
Понятнее (если не увлекаться)
Медленнее, чем itemid
При смене имен можно поломать дашборд

34. /traffic on w+ eth.*/

35. /traffic on w+ eth.*/

36. /traffic on w+ eth.*/
/traffic on interface eth.*/

37. 1 запрос - 10 графиков

38. Хочу по
одному графику
на панель
Хочу
summary по
каждому
порту
Хочу
комплексный
экран для всех
хостов

39. Template Variables
Что это за зверь?

40. Grafana Zabbix
Template Variables LLD
Grafana Zabbix
Dynamic
Reusable
Interactive

41. Template Variables
$host Query
backend01
backend02
frontend01
frontend02

42. Template Variables
group host app item
Zabbix Data Source
. . .

43. Template Variables
group host app item
Zabbix Data Source
. . .
web.www.mysite.com
#254

44. Template Variables
Пример: дашборд с графиком для
каждого порта коммутатора

45. /traffic on w+ eth.*/

46. /traffic on w+ $iface/
$iface

47. /traffic on w+ $iface/
$iface
А где взять имя
интерфейса?

48. Regex

49. Regex
/Admin status of interface (.*)/

50. Regex
/Admin status of interface (.*)/
• ether1-gateway
• ether2-master-local
• ether3-slave-local
• ether4-slave-local
• ether5-slave-local
• bridge-local
• ovpn-out1
• wlan1

51. /traffic on w+ $iface/
$iface
Repeat Panel

52. /traffic on w+ $iface/
$iface
Repeat Panel
iface

53. Repeat Panel

54. Repeat Panel

55. Repeat Row

56. Tags
Способ группировки значений
Спец переменная $tag

57. Как нарисовать 100
графиков за 10 секунд?
Regex
Template variables
Template variables + Regex
Repeat Panel
Repeat Row
Tags

58. А что потом с этим делать?
Post-processing

59. Max Data Points
Или какой нужен экран, чтобы
показать график за год?

60. • 1 значение в минуту
• 365 х 24 х 60 = 525600 точек
• 400 ppi (iPhone 7)
• 525600 p / 400 ppi = 1314 дюймов =
33 метра

62. Давайте сожмем!
Да не так!

63. Давайте сожмем!
А вот так!

64. Хорошо, что у нас
есть тренды!
Но этого не всегда достаточно

65. Post-processing functions
• Transform
• Group By
Time
• scale
• delta
• Aggregate
• Avg
• Median
• Sum
• Alias
• Time Shift

66. Post-processing functions
• Transform
• Group By
Time
• scale
• delta
• Aggregate
• Avg
• Median
• Sum
• Alias
• Time Shift
Работает на клиенте!

67. Пара советов
• Используйте тренды на больших
интервалах
от нескольких дней
• Не увлекайтесь агрегацией
графиков

68. Min / Max / Avg
Не скрывают колебания

69. Time Shift
Ищешь аномалии - сравни!

70. Performance

71. Performance
Zabbix API
Query Editor
Кэш Прокси

72. Performance
Zabbix API
Query Editor
Кэш Прокси

73. Performance
Zabbix API
Query Editor
Кэш Прокси

74. Скоро…
•SQL Data Source
•Backend Plugins

75. События - это тоже Time Series
Annotations

76. Так что же
случилось перед
тем, как сервер
упал?
Смотрим логи

77. Annotations
Logs
Events

78. Alerting
Seek and Destroy

80. OKPROBLEM
OK

81. Бонус

82. Что происходит?

83. Мы потеряли пики!

84. Heatmap
Нечего терять

87. Спасибо!

88. Links
Александр Зобнин
alexanderzobnin@gmail.com
azobnin@grafana.com
github.com/
twitter.com/
telegram.me/
alexanderzobnin
https://grafana.com
https://github.com/alexanderzobnin/grafana-zabbix/
http://play.grafana-zabbix.org/