Всеволод Поляков "История одного мониторинга"
•
0 likes•639 views
«Мир изменился… Я чувствую это в воде… Я чувствую это в земле…» Галадриэль «Какой-то отсталый у неё мониторинг» Сева Поляков В этом докладе я хочу рассказать вам историю о современном мониторинге, на примере выбора для моего текущего проекта. Когда нужен prometheus, когда нужен SaaS и почему графит не умрёт. Также я постараюсь пройтись по всем новинкам и важным изменениям в современном мире мониторинга.
Recommended
More Related Content
What's hot
What's hot (20)
Similar to Всеволод Поляков "История одного мониторинга"
Similar to Всеволод Поляков "История одного мониторинга" (20)
More from Fwdays
More from Fwdays (20)
Всеволод Поляков "История одного мониторинга"
- 1. Всеволод Поляков История одного мониторинга…
- 9. Условия выбора • Ценакачество • Фичи которые нам нужны
- 11. Cabot
- 13. Стоимость в год: (1300 * 12) = 15.600$ • Стоимость серверов: 3 (m4.x2large + 1 Tb) ≈ 1300$/m
- 14. Стоимость в год: (1300 * 12) + (4500 * 12) = 69.600$ • Стоимость серверов: 3 (m4.x2large + 1 Tb) ≈ 1300$/m • Стоимость 30% времени команды: (15.000$/m * 30)/100 ≈ 4500$
- 15. Стоимость в год: (1300 * 12) + (4500 * 12) = 69.600$ • Стоимость серверов: 3 (m4.x2large + 1 Tb) ≈ 1300$/m • Стоимость 30% времени команды: (15.000$/m * 30)/100 ≈ 4500$ • Упущенная выгода на внедрение = месяц * все деньги от даунтаймов ≈ бесценно.
- 16. 15$/h * 12 * 200h = 36.000$ 69.600 - 36.000 = 33.600$ выгоды! Datadog (minimum price) per host
- 17. Расчёт стоимости Версия self hosted
- 18. Стоимость в год: (516 * 12) = 6.192$ • Стоимость серверов: 3 (m4.large + 1 Tb) ≈ 516$/m
- 19. Стоимость в год: (516 * 12) + (750 * 12) = 15.192$ • Стоимость серверов: 3 (m4.large + 1 Tb) ≈ 516$/m • Стоимость 5% времени команды: (15.000$/m * 5)/100 ≈ 750$
- 20. 15$/h * 12 * 200h = 36.000$ 23$/h * 12 * 200h = 55.200$ 55.200 - 15.192 = 40.008$ выгоды! Datadog (minimum price) per host Datadog (maximum price) per host
- 22. Как считаю я
- 23. • Есть ли люди которым интересно заниматься и поддерживать мониторинг? • Какие фичи нам нужны и в каких решениях они есть? • Сколько метрик мы собираемся собирать? • Сколько времени мы хотим хранить данные?
- 26. Чеки на хостах Плюсы: • Не нужна база данных • Простая логика Минусы: • Всё равно нужна база данных • Простой логики недостаточно • Нет предсказаний • Нет истории
- 27. Что хранить в БД? • События: • Можно делать что-угодно
- 28. Какие бывают события • Статус ответа • Время выполнения чего-то • Ошибки • Уникальные ID • Потребление какого-то ресурса
- 32. Типичная математика • Количество за фрейм времени (чтобы видеть тренд) • Гистограммы (распределения) • Среднеемаксимальноеминимальное • Перцентили
- 33. Что хранить в БД? • События: • Дорого опрашивать • Дорого хранить
- 36. Алерты Мало метрик Детализация Дебаг Профайлинг Много метрик Ещё больше метрик
- 37. /some_page
- 40. /some_page Статус ответа 10.. 20.. 30.. 40.. 50.. Время ответа Первый байт Полное время Коннект к бекенду
- 41. /some_page Статус ответа 10.. 20.. 30.. 40.. 50.. Время ответа Первый байт Полное время Коннект к бекенду Гистограммы 0..100ms 100..200ms … 1s..infinity
- 42. /some_page Статус ответа 10.. 20.. 30.. 40.. 50.. Время ответа Первый байт Полное время Коннект к бекенду Гистограммы Перцентили 0..100ms 100..200ms … 1s..infinity 99.9% 99% … 50%
- 43. /some_page Статус ответа 10.. 20.. 30.. 40.. 50.. Время ответа Первый байт Полное время Коннект к бекенду Гистограммы Перцентили 0..100ms 100..200ms … 1s..infinity 99.9% 99% … 50% Уники по IP
- 44. /some_page Статус ответа 10.. 20.. 30.. 40.. 50.. Время ответа Первый байт Полное время Коннект к бекенду Гистограммы Перцентили 0..100ms 100..200ms … 1s..infinity 99.9% 99% … 50% Уники по IP Прочие метрики
- 45. • Время и количество выполнений функций • В и К выполнений внешних запросов • Прочие штуки (количество подключений, обьем хипа)
- 46. • Системные метрики • Дисковая подсистема • Сеть • Всякая лабуда • Докеры-шмокеры
- 48. Это ещё не полное разрешение (100 000 / 200 = 500) * 23 * 12 = 138,000$/year SaaS
- 49. 6 инстансов, 8 терабайт дисков Храним сколько хотим 1700 * 12 = 20,400$/year
- 52. Инстанс 1 Приложение Prometheus API Коллектор системных метрик Prometheus API Инстанс 2 Инстанс 3 Инстанс 4 Service Discovery К О Л Л Е К Т О Р Storage PromQL Alerting WebUI
- 53. Функции • abs() • absent() • ceil() • changes() • clamp_max() • clamp_min() • count_scalar() • day_of_month() • day_of_week() • days_in_month() • delta() • deriv() • drop_common_labels() • exp() • floor() • histogram_quantile() • holt_winters() • time() • vector() • year() • <aggregation>_over_time() • hour() • idelta() • increase() • irate() • label_join() • label_replace() • ln() • log2() • log10() • minute() • month() • predict_linear() • rate() • resets() • round() • scalar() • sort() • sort_desc() • sqrt()
- 54. Prometheus • Удобно устанавливать • Алертинг из коробки • Cross-region из коробки • Поддерживает теги • Медленный и ресурсоемкий (не тестировал новую версию) • Слабая математика • Проблемы с перцентилями • Проблема с историческими данными (нет инструментов для ребалансинга)
- 56. Инстанс 1 Приложение Коллектор системных метрик Инстанс 2 Инстанс 3 Инстанс 4 influxDB Alerting WebUI
- 58. Influxdb • Поддерживает теги • Платный кластеринг • Достаточно медленный • Достаточно глючный (в прошлом) • Свой алертинг • Всё ещё мало математики
- 59. Elasticsearch • Всё в одном • Достаточно медленный • Можно записывать не много метрик • Алертинг платный • Но, отлично подходит для RAW данных
- 61. Инстанс 1 Приложение Коллектор системных метрик Инстанс 2 Инстанс 3 Инстанс 4 relay Node 1 cache1 cache2 Web Node 2 cache1 cache2 Web
- 64. Graphite • Нет алертинга • В меру проворный • Достаточно математики • Нет тегов (есть наработки) • Своеобразный ребалансинг кластера • И вообще кластер своеобразный
- 66. Инстанс 1 Приложение Коллектор системных метрик Инстанс 2 Инстанс 3 Инстанс 4 OpenTSDB HBase (Hadoop)
- 67. Функции • avg • count • Dev • ep50r3 • first • last • mimmin • mimmax • min • max • p99 • sum • zimsum
- 68. OpenTSDB • Нет алертинга • Местами неповоротливый • Отличная расширяемость кластера • Есть теги • Мало математики
- 69. Cassandra back
- 70. Инстанс 1 Приложение Коллектор системных метрик Инстанс 2 Инстанс 3 Инстанс 4 Hawkular KairosDB Cyanite M3 OpenTSDB Cassandra
- 71. Cassandra-back • Нет алертинга • Медленно читает • Отличная расширяемость кластера • Есть теги • Мало математики, хотя можно руками дописывать
- 72. Go-graphite
- 73. Инстанс 1 Приложение Коллектор системных метрик Инстанс 2 Инстанс 3 Инстанс 4 relay Node 1 Go-carbon Crabon-api Node 2 Go-carbon Crabonsearch
- 74. Функции • Всё что в графите • diffSeriesLists • multiplySeriesLists • Fast Fourier transform • Kolmogorov–Smirnov test • Low-pass filter • Pearson correlation coefficient • Polynomial regression • Tukey's range test
- 75. Go-graphite • Нет алертинга • Быстрый на чтение • Вменяемая расширяемость кластера (buckytools) • Есть теги… ну можно прикрутить • И с математикой всё отлично • Читает из всех источников
- 76. Алерты • Sensu • Bosun • Nagios • Moira • Grafana
- 77. –Выдуманный монах “ELK для логов, сын мой”
- 78. И ещё одна штука…