Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
Zabbix и миллионы
метрик
Алексей Владышев
Обо мне
Алексей Владышев
Автор Zabbix
CEO и Архитектор
Twitter: @avladishev
Мониторинг
Начало
История
Сбор данных
Zabbix server
История
Анализ
Сбор данных
Zabbix server
История
Анализ
Сбор данных
Оповещения
Zabbix server
Zabbix агент?
Zabbix агент?
Минусы
- Установка
Плюсы
+ Доступ к любым метрикам доступным OS
+ Гибкость на уровне коммуникаций (пассивные...
Zabbix агент?
Минусы
- Установка
Плюсы
+ Доступ к любым метрикам OS
+ Гибкость на уровне коммуникаций (пассивные и активны...
95% используют
Zabbix агента
Метрики
CPU load
Free disk space
WEB server state
Анализ в режиме
реального времени
Анализ в режиме
реального времени
Метрики
CPU load
Free disk space
WEB server state
Триггеры
CPU load > 5
Free disk space ...
100 хостов
500 хостов
1000 хостов
Как управлять
конфигурацией?
Шаблон - это набор
параметров для мониторинга
Шаблон - это набор
параметров для мониторинга
Linux сервер? Используем Template Linux
Процессор, диски, сеть, память
MySQL...
Шаблон - это набор
параметров для мониторинга
Linux сервер? Используем Template Linux
Процессор, диски, сеть, память
MySQL...
Linux серверы
Сервер 1
Сервер 2
Сервер 3
Одинаковые, но разные
Одинаковые, но разные
Linux серверы
/
/data
/tmp
/
/tmp
/
/home
/data
/tmp
Сервер 1
Сервер 2
Сервер 3
Одинаковые, но разные
Linux серверы
/
/data
/tmp
/
/tmp
/
/home
/data
/tmp
Template Linux 1
Template Linux 2
Template Linu...
Низкоуровневое
обнаружение
Один шаблон
Template Linuх
с одним правилом
обнаружения
Сервер 1
Сервер 2
Сервер 3
Низкоуровневое
обнаружение
Один шаблон
Template Linuх
с одним правилом
обнаружения
Сервер 1
Сервер 2
Сервер 3
/
/data
/tmp...
Один шаблон мониторинга для разных устройств!
Сервер
Сервер
Сервер
Сервер
Сервер
Сервер
Сервер
Сервер
Сервер
Сервер
Сервер...
Масштабирование
11 terabits на выходе
80 точек присутствия
25.000 хостов
6.000.000 метрик
3.000.000 триггеров
90 прокси
Производительность Zabbix
7.510 проверок в секунду (NVPS)
25.000 хостов
Результат проверки = 50 байт
Limelight: 26ГБ в день
2TB история, максимум 6 месяцев
Размер базы данных
Что выбрать?
Что выбрать?
VS
Более 1.000.000 метрик
и объём данных от 1TB
Более 1.000.000 метрик
и объём данных от 1TB
1 место:
2 место:
3 место: Oracle & DB2 5 %
Более 1.000.000 метрик
и объём данных от 1TB
1 место: MySQL 80 %
2 место: PostgreSQL 15 %
3 место: Oracle & DB2 5 %
Управление
Zabbix server
Управление
Zabbix server
Сентябрь
Октябрь
Ноябрь
Zabbix server
Партиционирование
А если хостов
ещё больше?
60.000 хостов
60.000 хостов
2.000.000 метрик
20.000.000 триггеров
6TB история
40 прокси
Производительность Zabbix
21.000 проверок в секу...
Автоматизация
Сетевое обнаружение
Сеть
Обнаружен DNS
Обнаружен Zabbix Agent
ZabbixОбнаружен HTTP сервер
Авторегистрация
Я - новый сервер
Metadata: Linux/MySQL
Zabbix
Сеть
Агент
Управление агентами
Управление конфигурацией
Привязка к шаблонам, добавление хостов
Распределённый
мониторинг
200.000 хостов
200.000 хостов
5.000.000 метрик
2.000.000 триггеров
Минимум 5ТB история
11.000 прокси
Производительность Zabbix
20.000 про...
Новый магазин!
Реестр
Прокси
Новый магазин!
Реестр
Zabbix
Прокси
Новый магазин!
Zabbix API
Реестр
Так, а теперь переходим
на Zabbix 3.0!
Проще, чем кажется
Обратная совместимость с агентами
Но не с прокси!
Автоматическое обновление структуры базы
Таблицы с ис...
Hosts Metrics Triggers Proxy DB
25К 6М 3М 45
60К 2М 20М 40
200К 5М 2М 11К
Итог
Итог
Не надо бояться
200.000 хостов
6.000.000 метрик, 20.000.000 триггеров
Терабайты истории
11.000 прокси
Автоматизация и...
Итог
Не надо бояться
200.000 хостов
6.000.000 метрик, 20.000.000 триггеров
Терабайты истории
11.000 прокси
Автоматизация и...
Спасибо!
Приходите на стенд!
Лотерея дважды в день!
Twitter: @avladishev
Email: alex@zabbix.com
Zabbix и миллионы метрик: наилучший опыт масштабного мониторинга / Алексей Владышев (Zabbix)
Zabbix и миллионы метрик: наилучший опыт масштабного мониторинга / Алексей Владышев (Zabbix)
Upcoming SlideShare
Loading in …5
×

Zabbix и миллионы метрик: наилучший опыт масштабного мониторинга / Алексей Владышев (Zabbix)

2,915 views

Published on

Управление миллионами метрик таит в себе множество сложностей. Это вопросы автоматизации, масштабируемости, интеграции с другими системами и многое другое. Хочется максимально всё автоматизировать — один раз настроил и забыл. Возможно ли это?

Я подробно расскажу о накопленном практическом опыте использования Zabbix в самых жестоких условиях различных сценариев, расскажу на реальных примерах о том, как справиться с мониторингом тысяч удалённых точек, как не заблудиться в десятках миллионов триггеров и осилить динамические среды. Тут и о производительности нужно серьёзно задуматься.

Zabbix обладает целым набором функциональности, которая позволяет упростить жизнь отдела мониторинга. Конечно, подробности можно найти в документации, только не всегда понятно, как это правильно использовать.

Цель доклада — поделиться практическим опытом, это бесценно!

Published in: Engineering
  • Be the first to comment

Zabbix и миллионы метрик: наилучший опыт масштабного мониторинга / Алексей Владышев (Zabbix)

  1. 1. Zabbix и миллионы метрик Алексей Владышев
  2. 2. Обо мне Алексей Владышев Автор Zabbix CEO и Архитектор Twitter: @avladishev
  3. 3. Мониторинг Начало
  4. 4. История Сбор данных Zabbix server
  5. 5. История Анализ Сбор данных Zabbix server
  6. 6. История Анализ Сбор данных Оповещения Zabbix server
  7. 7. Zabbix агент?
  8. 8. Zabbix агент? Минусы - Установка Плюсы + Доступ к любым метрикам доступным OS + Гибкость на уровне коммуникаций (пассивные и активные проверки) + Очень маленький и быстрый, нет влияния на саму систему + Легко расширить функциональность модулями и скриптами …много ещё…
  9. 9. Zabbix агент? Минусы - Установка Плюсы + Доступ к любым метрикам OS + Гибкость на уровне коммуникаций (пассивные и активные проверки) + Очень маленький и быстрый, нет влияния на саму систему + Легко расширить функциональность модулями и скриптами …много ещё…
  10. 10. 95% используют Zabbix агента
  11. 11. Метрики CPU load Free disk space WEB server state Анализ в режиме реального времени
  12. 12. Анализ в режиме реального времени Метрики CPU load Free disk space WEB server state Триггеры CPU load > 5 Free disk space < 10% WEB server state = 0 (down)
  13. 13. 100 хостов
  14. 14. 500 хостов
  15. 15. 1000 хостов
  16. 16. Как управлять конфигурацией?
  17. 17. Шаблон - это набор параметров для мониторинга
  18. 18. Шаблон - это набор параметров для мониторинга Linux сервер? Используем Template Linux Процессор, диски, сеть, память MySQL? Используем Template MySQL Доступность, TPS, статус репликации
  19. 19. Шаблон - это набор параметров для мониторинга Linux сервер? Используем Template Linux Процессор, диски, сеть, память MySQL? Используем Template MySQL Доступность, TPS, статус репликации
  20. 20. Linux серверы Сервер 1 Сервер 2 Сервер 3 Одинаковые, но разные
  21. 21. Одинаковые, но разные Linux серверы / /data /tmp / /tmp / /home /data /tmp Сервер 1 Сервер 2 Сервер 3
  22. 22. Одинаковые, но разные Linux серверы / /data /tmp / /tmp / /home /data /tmp Template Linux 1 Template Linux 2 Template Linux 3 Сервер 1 Сервер 2 Сервер 3
  23. 23. Низкоуровневое обнаружение Один шаблон Template Linuх с одним правилом обнаружения Сервер 1 Сервер 2 Сервер 3
  24. 24. Низкоуровневое обнаружение Один шаблон Template Linuх с одним правилом обнаружения Сервер 1 Сервер 2 Сервер 3 / /data /tmp / /tmp / /home /data /tmp
  25. 25. Один шаблон мониторинга для разных устройств! Сервер Сервер Сервер Сервер Сервер Сервер Сервер Сервер Сервер Сервер Сервер Сервер Сервер Сервер Сервер Сервер
  26. 26. Масштабирование
  27. 27. 11 terabits на выходе 80 точек присутствия
  28. 28. 25.000 хостов
  29. 29. 6.000.000 метрик 3.000.000 триггеров 90 прокси Производительность Zabbix 7.510 проверок в секунду (NVPS) 25.000 хостов
  30. 30. Результат проверки = 50 байт Limelight: 26ГБ в день 2TB история, максимум 6 месяцев Размер базы данных
  31. 31. Что выбрать?
  32. 32. Что выбрать? VS
  33. 33. Более 1.000.000 метрик и объём данных от 1TB
  34. 34. Более 1.000.000 метрик и объём данных от 1TB 1 место: 2 место: 3 место: Oracle & DB2 5 %
  35. 35. Более 1.000.000 метрик и объём данных от 1TB 1 место: MySQL 80 % 2 место: PostgreSQL 15 % 3 место: Oracle & DB2 5 %
  36. 36. Управление Zabbix server
  37. 37. Управление Zabbix server Сентябрь Октябрь Ноябрь Zabbix server Партиционирование
  38. 38. А если хостов ещё больше?
  39. 39. 60.000 хостов
  40. 40. 60.000 хостов 2.000.000 метрик 20.000.000 триггеров 6TB история 40 прокси Производительность Zabbix 21.000 проверок в секунду (NVPS)
  41. 41. Автоматизация
  42. 42. Сетевое обнаружение Сеть Обнаружен DNS Обнаружен Zabbix Agent ZabbixОбнаружен HTTP сервер
  43. 43. Авторегистрация Я - новый сервер Metadata: Linux/MySQL Zabbix Сеть Агент
  44. 44. Управление агентами Управление конфигурацией Привязка к шаблонам, добавление хостов
  45. 45. Распределённый мониторинг
  46. 46. 200.000 хостов
  47. 47. 200.000 хостов 5.000.000 метрик 2.000.000 триггеров Минимум 5ТB история 11.000 прокси Производительность Zabbix 20.000 проверок в секунду (NVPS)
  48. 48. Новый магазин! Реестр
  49. 49. Прокси Новый магазин! Реестр
  50. 50. Zabbix Прокси Новый магазин! Zabbix API Реестр
  51. 51. Так, а теперь переходим на Zabbix 3.0!
  52. 52. Проще, чем кажется Обратная совместимость с агентами Но не с прокси! Автоматическое обновление структуры базы Таблицы с историей не трогаем Не ломаем API
  53. 53. Hosts Metrics Triggers Proxy DB 25К 6М 3М 45 60К 2М 20М 40 200К 5М 2М 11К
  54. 54. Итог
  55. 55. Итог Не надо бояться 200.000 хостов 6.000.000 метрик, 20.000.000 триггеров Терабайты истории 11.000 прокси Автоматизация и HA Не забываем о выборе правильного железа для Zabbix
  56. 56. Итог Не надо бояться 200.000 хостов 6.000.000 метрик, 20.000.000 триггеров Терабайты истории 11.000 прокси Автоматизация и HA Не забываем о выборе правильного железа для Zabbix
  57. 57. Спасибо! Приходите на стенд! Лотерея дважды в день! Twitter: @avladishev Email: alex@zabbix.com

×