HighLoad++ 2017 Зал «Пекин+Шанхай», 7 ноября, 10:00 Тезисы: http://www.highload.ru/2017/abstracts/3040.html Стандартные статистические метрики не подходят для тестирования производительности приложений. Оценочные метрики, такие как средние или медианные значения, могут легко ввести в заблуждение, скрыв проблему. Данный доклад продемонстрирует, почему среднее время отклика не имеет смысла, покажет, как с этим бороться, и предложит проверенную на практике альтернативу статистическому подходу.

1. Честное
перформанс-
тестирование
Дмитрий Пивоваров

3. Как отображать результаты, чтобы:
1. Не врать
2. Имело смысл
3. Было понятно, есть ли регрессии

5. Что узнаете
1. Почему важны тенденции, а не статистика
2. Как понять тенденции и поймать регрессии

6. 3. Что на картинке

7. >75%
75% перформанс проблем ловятся в проде

8. С чего начать перформанс-тестирование?

9. С чего начать перформанс-тестирование?
1. …
2. Замеры

10. С чего начать перформанс-тестирование?
1. Цель
2. Замеры

11. Этапы перформанс-тестирования
1. Цель
2. Замеры (есть ли проблема?)
3. Анализ (в чем проблема?)
4. Исправление (как починить?)

12. Этапы перформанс-тестирования
1. Цель
2. Замеры
3. Анализ
4. Исправление
Общий подход
Частный подход
}
}

13. Цель
SLA на сервис
→ Время выполнения операции
Глазами пользователя
→ Время отклика страницы
Оценка требований к инфраструктуре
→ Пропускная способность

14. Цель
SLA на сервис
→ Время выполнения операции
Глазами пользователя
→ Время отклика страницы
Оценка требований к инфраструктуре
→ Пропускная способность

15. Пример плохой цели
Страница загружается быстро

16. Пример плохой цели
Страница загружается быстро

17. Пример плохой цели
Страница в среднем загружается за 1 секунду

18. Пример плохой цели
Страница в среднем загружается за 1 секунду

19. Пример цели получше
Страница загружается < 1 секунды в 90% случаев

20. Пример хорошей цели
Страница загружается:
< 1 секунды в 90% случаев
< 2 секунд в 99% случаев
< 3 дней в остальных случаях

21. Этапы перформанс-тестирования
1. Цель
2. Замеры
3. Анализ
4. Исправление

23. Время исполнения

24. Время исполнения
Время отклика

25. Как обсуждать
Конкретный замер — просто
— 1.33 с

26. А если много?

27. Среднее арифметическое

28. Среднее арифметическое
Avg: 14.1

29. Среднее арифметическое
Avg: 14.1
Avg: 10.6

30. Среднее арифметическое
Avg: 14.1
Max: 584.0
σ: 59.4
Avg: 10.6
Max: 905.0
σ: 57.6

31. Среднее арифметическое
Avg: 14.1
Max: 584.0
σ: 59.4
Avg: 10.6
Max: 905.0
σ: 57.6
+9.6σ
+15.5σ

32. Среднее арифметическое
Avg: 10.6
Max: 905.0
σ: 57.6
+15σ

33. Среднее арифметическое
Avg: 10.6
Max: 905.0
σ: 57.6
+15σ p ≈ 4×10→ -51

34. Среднее арифметическое
Avg: 10.6
Max: 905.0
σ: 57.6
+15σ p ≈ 4×10 ≈ 10→ -51 -50

35. Среднее арифметическое
Avg: 10.6
Max: 905.0
σ: 57.6
+15σ p ≈ 10→ -50
100 запросов/м

36. Среднее арифметическое
Avg: 10.6
Max: 905.0
σ: 57.6
+15σ p ≈ 10→ -50
100 запросов/м 100 * 60*24*365 = 52 560 000 /год→

37. Среднее арифметическое
Avg: 10.6
Max: 905.0
σ: 57.6
+15σ p ≈ 10→ -50
100 запросов/м 100 * 60*24*365 = 52 560 000 /год ≈ 10 /год→ 8

38. Среднее арифметическое
Avg: 10.6
Max: 905.0
σ: 57.6
+15σ p ≈ 10→ -50
100 запросов/м 100 * 60*24*365 = 52 560 000 /год ≈ 10 /год 10 лет→ 8 42
→

39. 1.4×10
10

40. Среднее арифметическое
Avg: 10.6
Max: 905.0
σ: 57.6
+15σ p ≈ 10→ -50
100 запросов/м 100 * 60*24*365 = 52 560 000 /год ≈ 10 /год 10 лет→ 8 42
→

42. Среднее арифметическое не подходит
1. Время отклика — не нормально распределенная величина

44. Непонятно

45. НепонятноМного чётко!

46. Среднее арифметическое
Avg: 14.1
Max: 584.0
σ: 59.4
Avg: 10.6
Max: 905.0
σ: 57.6

47. Среднее арифметическое не подходит
1. Время отклика — не нормально распределенная величина
2. Из него ничего не понятно

48. Варианты метрик
Данные Картина Тестирование
Среднее
арифметическое

49. Медиана

50. Медиана

51. Медиана
65 65

52. Медиана
65 65

53. Медиана
65 65

54. статистика
=
пиксельная собака

55. Медиана не подходит
1. Из нее ничего не понятно

56. Варианты метрик
Данные Картина Тестирование
Среднее
арифметическое
Медиана

57. Перцентили (квантили)

58. Перцентили (квантили)
50
75
95
Время (timestamp)
Времяотклика(latency)

59. Перцентили (квантили)
50
75
95

60. Перцентили (квантили)
50
75
95
99

61. Перцентили (квантили)
50
75
95
99
100

62. Перцентили (квантили)
50
75
95
99
100
140мс
800мс
2000 мс

63. Перцентили (квантили)
100
— Зачем 100-я перцентиль?

64. Перцентили (квантили)
100
— Зачем 100-я перцентиль?
— 1% тестов ≠ 1% пользователей

66. Грабли
SLA на сервис
→ Время выполнения операции
Глазами пользователя
→ Время отклика страницы

67. Грабли
SLA на сервис
→ Время выполнения операции
Глазами пользователя
→ Время отклика страницы

69. Грабли
Для какого % пользователей все сервисы попадут в 95-ю перцентиль?

70. Грабли
1 сервис 0.95
Для какого % пользователей все сервисы попадут в 95-ю перцентиль?

71. Грабли
1 сервис
32 сервиса
0.95
0.95 и 0.95 и…
Для какого % пользователей все сервисы попадут в 95-ю перцентиль?

72. Грабли
1 сервис
32 сервиса
32
0.95
0.95 и 0.95 и… → 0.95
Для какого % пользователей все сервисы попадут в 95-ю перцентиль?

73. Грабли
1 сервис
32 сервиса
32
0.95
0.95 и 0.95 и… → 0.95 ≈ 0.20
Для какого % пользователей все сервисы попадут в 95-ю перцентиль?

74. Грабли
1. Замер отдельных операций

75. Варианты метрик
Данные Картина Тестирование
Среднее
арифметическое
Медиана
Перцентили

76. Перцентили
Как использовать в тестировании?

77. Перцентили в тестировании

78. Перцентили в тестировании
2000 мс

79. Перцентили в тестировании
2000 мс Страница загружается:
< 200 мс в 95%
< 500 мс в 99%
< 1000 мс всегда

80. Перцентили в тестировании
2000 мс Страница загружается:
< 200 мс в 95%
< 500 мс в 99%
< 1000 мс всегда

81. Перцентили в тестировании
2000 мс Страница загружается:
< 200 мс в 95%
< 500 мс в 99%
< 1000 мс всегда

82. Перцентили в тестировании
2000 мс Страница загружается:
< 200 мс в 95%
< 500 мс в 99%
< 1000 мс всегда

83. Грабли
1. Замер отдельных операций
2. Тест ≠ продакшн

84. Варианты метрик
Данные Картина Тестирование
Среднее
арифметическое
Медиана
Перцентили

85. Проблема
Тест ≠ продакшн →
Абсолютные значения не важны

86. Ответ
Тест ≠ продакшн →
Абсолютные значения не важны
Как найти регрессии? →
Важен тренд

87. Как понять тренд?

88. Как понять тренд?
Тестовый прогон #2
Тестовый прогон #1

89. Как понять тренд?
Тестовый прогон #2
Тестовый прогон #1

90. Как понять тренд?
Отсортируем по времени отклика

91. Как понять тренд?

92. Как понять тренд?
~ медиана и среднее

93. Как понять тренд?

94. Если замеров много?

95. Профиль: все замеры + тренд

96. Профиль: все замеры + тренд
Перцентили
Времяотклика
0 100

97. Если очень надо сжать до одного числа
S = насколько стало хуже

98. Пример
increase scope 99%

99. Варианты метрик
Данные Картина Тестирование
Среднее
арифметическое
Медиана
Перцентили
Профиль

100. Как собрать профиль?

101. Как собрать профиль?
1. Замерить время отклика всех запросов к ресурсу

102. Как собрать профиль?
1. Замерить время отклика всех запросов к ресурсу
2. Разбить на перцентили

103. Как собрать профиль?
1. Замерить время отклика всех запросов к ресурсу
2. Разбить на перцентили (!)

104. Как собрать профиль?
1. Замерить время отклика всех запросов к ресурсу
2. Разбить на перцентили (!)
Можно сравнить разное количество запросов
Проще работать с большими объемами данных

105. Если мало данных

106. Если мало данных
Лучше так, чем никак

107. Если мало данных
Лучше так, чем никак

108. Если мало данных

109. Если мало данных
Лучше так, чем никак

110. Если важны девятки

111. Если важны девятки
99.999
99.99
99.9
99.0
95.0

113. Что обещал рассказать
1. Почему важны тенденции, а не статистика
2. Как понять тенденции и поймать регрессии
3. Что на картинке

114. Что узнали
1. Тенденции, а не статистика
, а не
2. Регрессии через профили

116. Есть вопросов?

117. Есть вопросов?
Можно сюда:
@kykypy3a