— Чем плохи ваши перцентили? — Почему ничего не разглядеть на хитмапах? — Правда ли гугл маркирует медленные сайты большой красной блямбой? — Аномалии и галлюцинации? — Почему вы плохо спите и что такое alert fatigue? Не про то из чего собрать мониторинг, как настроить графит или заббикс, какую выбрать вебморду для графичков или где взять правильных плагинов. А про то какие проблемы идеологии, статистики и человеческого восприятия ждут вас в любой системе мониторинга.

1. Как неправильно
замониторить
{% something %}
Pavel Trukhanov, OKmeter.io, 2015

2. План
1. Мониторинг симптомов важнее железа
2. Внешний мониторинг - почему это не тру
3. Тайминги и перцентили
4. Вопросы визуализации

3. симптомы
важнее железа

4. Чем дальше от пользователя, тем
более сложноинтерпретируемые
измерения

5. логи фронта aka reverse-proxy
vs
логи приложения
Чем дальше от пользователя, тем хуже

6. Чем дальше от пользователя, тем хуже
реальные соединения / попытки
vs
логи фронта

7. Чем дальше от пользователя, тем хуже
ситуация у пользователя
vs aka «в браузере»
соединения дошедшие вам в ДЦ

8. Значит надо мониторить снаружи!
pingdom, ...

9. Значит надо мониторить снаружи!
pingdom, ...
НЕТ

10. План
1. Мониторинг симптомов важнее железа
2. Внешний мониторинг - почему не тру
3. Тайминги и перцентили
4. Вопросы визуализации

11. Внешние чеки
Обычно
- только малый набор страниц
- только если они упали совсем
- css? js?

12. Модель “упало всё” (почти)
_ 5xx ошибки сервера

13. Модель “упало не всё”
_ 5xx ошибки сервера

14. Решение?
aka Real User Monitoring
Мониторить браузеры

15. План
1. Мониторинг симптомов важнее железа
2. Внешний мониторинг - почему это не тру
3. Тайминги и перцентили
4. Вопросы визуализации

16. Зачем тайминги?
- Оценить “Качество Сервиса” aka SLA - Service Level Agreement
Чтобы задать себе планку-цель и к ней идти
- Оперативно следить, что с SLA все впорядке
- Отследить долгосрочный тренд — деградацию или
результат планомерных оптимизаций

17. Почему перценитили?
Есть же avg! Среднее = сумма ресурса использованного
всеми запросами / количество запросов
aka “mean” aka “average”
Нужно для capacity planning: ожидаемое использование
ресурса = сумма / количество * ожидаемое количество
Не подходит для оценки SLA

18. Почему перценитили - 2 - Медиана
“50 перцентиль aka Медиана = 5 секунд” означает что 50%
ваших пользователей получат результат менее чем за 5сек
Подходит чтобы сравнить до/после релиза — “всё ли ок?”,
две версии кода — “cработала ли наша оптимизация?”
Не подходит для оценки SLA
Или ОК, если вас волнует только 50% ваших пользователей!

19. Зачем перценитили - 2 - Медиана
“50 перцентиль aka Медиана = 5 секунд” означает что 50%
ваших пользователей получат результат менее чем за 5сек
Подходит чтобы сравнить до/после релиза — “всё ли ок?”,
две версии кода — “cработала ли наша оптимизация?”
Не подходит для оценки SLA
Или ОК, если вас волнует только 50% ваших пользователей!

20. Перценитили!
“Хотим чтобы было быстро для 100% пользователей”
Нужна перцентиль p100! aka max за период
Очень шумно!

21. Может p99?
Уже лучше!

22. p95?
“Отлично!”
8ч 1д

23. Как это считать/вычислять?
You can't average percentiles. Period.
The average of 1,000 99%'lie measurement has as much to do with the 99%'lie behavior of a system as the
current temperature on the surface of mars does. Maybe less.
The simplest way to demonstrate the absurdity of this "average of percentiles" calculation is to examine it's
obvious effect on two "percentile" values that are hard to hide from: The Max (the 100%'lie value) and the
Min (the 0%'lie value).
If you had the Maximum value recorded for each 5 second interval over a 5000 second run, and want to
deduce the Maximum value for the whole run, would an average of the 1,000 max values produce anything
useful? No. You'd need to use the Maximum of the Maximums. Which will actually work, but only for the
unique edge case of 100%...
But if you had the Minimum value recorded for each 5 second interval over a 5000 second run, and want to
deduce the Minimum value for the whole run, you'd have to look for the Minimum of the Minimums. Which
also works, but only for the unique edge case of 0%.
The only thing you can deduce about the 99%'lie of a 5000 second run for which you have 1,000 5 second
summary 99%'lie values is that it falls somewhere between the Maximum and Minimum of those 1,000
99%'lie values…
© Gil Tene, latencytipoftheday.blogspot.ru

24. p95 и p99
“95% пользователей в штатной
ситуации видят сайт за 40мс, а 99% —
за 130мс”

25. p95 и p99
“95% пользователей в штатной
ситуации видят сайт за 40мс, а 99% —
за 130мс”

26. Сколько длится сеанс использования сайта?
Сколько страниц открывает пользователь за сеанс?
Сколько запросов от одной страницы?
«% сессий с откликом хуже медианы
= (1 - (0.5 ^ N)) * 100%
где N — число [запросов / ресурсов / HTTP GET’ов]
При N=42:
(1 - (0.5 ^ 42)) * 100% = 99.999 999 999 977%»
© Gil Tene, latencytipoftheday.blogspot.ru
А вот и нет!

27. План
1. Мониторинг симптомов важнее железа
2. Внешний мониторинг - почему это не тру
3. Тайминги и перцентили
4. Вопросы визуализации

28. А видно ли перцентили?

29. А видно ли перцентили?

30. На самом деле ничего не видно

31. На самом деле там внутри
распределение!

32. Много распределений!

33. Как сделать heatmap

34. Как сделать heatmap
Построим распределения

35. Как сделать heatmap

36. Heatmap!

37. Heatmap!
Одинаково?

38. Heatmap!
Одинаково?
Во сколько раз темнее?

39. Как сделать светофор

40. Как сделать светофор
Опять распределения

41. Как сделать светофор
Красим в светофор

42. Как сделать светофор
Делаем стек

43. светофор!

48. Теперь вы знаете как
неправильно!
- Далеко от пользователя
- Среднее от перцентилей
- Хитмапы отстой
Всё!
Pavel Trukhanov, OKmeter.io

49. Правда ли гугл
маркирует
медленные сайты
большой красной
блямбой?

50. ApDex ?