1. Киев 2017
Как вам кофе?
Как экономить время на анализе отчетов о нагрузочном тестировании

2. Киев 2017
Все рассказанное здесь является
результатом правды, полу-правды,
статистики или художественной
выдумки основанной на личном
опыте…
Все сказанное не несет в себе цели
кого-либо обидеть.
А всего лишь задуматься о том как
оптимизировать свою работу и
заниматься более приятными
делами.
Как экономить время на анализе отчетов о нагрузочном тестировании

3. Киев 2017
Первый в Украине фестиваль тестирования
Как
экономить время
на анализе отчетов
о нагрузочном
тестировании

4. Киев 2017
О себе: Кричко Никита
Как экономить время на анализе отчетов о нагрузочном тестировании
Самый большой лентяй и бездельник
В компаниях:

5. Киев 2017
О себе: Кричко Никита
Как экономить время на анализе отчетов о нагрузочном тестировании
Специалист по нагрузочному тестированию
В компаниях:
nik.krichko@gmail.com

6. Киев 2017
Классные доклады
Как экономить время на анализе отчетов о нагрузочном тестировании
Александр
Неделяев
Тестирование и мониторинг
производительности
фронтенда с помощью
sitespeed.io

7. Киев 2017
Классные доклады
Как экономить время на анализе отчетов о нагрузочном тестировании
Эффективный поиск
невоспроизводимых ошибок
Андрей
Лазарев

8. Киев 2017
Классные доклады
Как экономить время на анализе отчетов о нагрузочном тестировании
CLIENT
MS
SQL
IIS / APP
sitespeed.io
Самописный фреймворк
Core Craft, Pavlov Dogs

9. Киев 2017
Этонереклама

10. Киев 2017
Для кого этот доклад:
Для тех у кого на
анализ ошибок,
логов и графиков
уходит очень
много время
(Для тех кто ценит свое время)
<Тема доклада>

11. Киев 2017
О чём этот доклад:
О теоретическом
подходе к анализу
результатов
<Тема доклада>

12. Киев 2017
Показатели результатов:
тесты / атвотесты
Как экономить время на анализе отчетов о нагрузочном тестировании
PASSED FAILED

13. Киев 2017
Показатели результатов:
нагрузочное тестирование
Как экономить время на анализе отчетов о нагрузочном тестировании
Нагрузочное
AVG / MEDIAN / MODE
PERCENTILE / QUARTILE
MIN / MAX
MEMORY USAGE * КОЛ-ВО
СЕРВЕРОВ
CPU USAGE * КОЛ-ВО СЕРВЕРОВ
DISK I/O* КОЛ-ВО СЕРВЕРОВ
NETWORK USAGE
Много других
Корреляция между показателями

14. Киев 2017
ВИЗУАЛИЗАЦИЯ
Как экономить время на анализе отчетов о нагрузочном тестировании

15. Киев 2017
Цвета важнее
текста
Графики
важнее текста
Как экономить время на анализе отчетов о нагрузочном тестировании

16. Киев 2017Как экономить время на анализе отчетов о нагрузочном тестировании
test 1 passed
test 2 passed
test 3 passed
test 4 passed
test 5 passed
test 6 passed
test 7 passed
test 8 passed
test 9 passed
test 10 passed
test 11 passed
test 12 passed
test 13 passed
test 14 passed
test 15 passed
test 16 passed
test 17 passed
test 18 passed
test 19 passed
test 20 passed
test 21 failed
test 22 passed
test 23 passed
test 24 passed
test 25 passed
test 26 passed
test 27 passed
test 28 passed
test 29 passed
test 30 failed
test 31 passed
test 32 passed
test 33 passed

17. Киев 2017Как экономить время на анализе отчетов о нагрузочном тестировании
test 1 passed
test 2 passed
test 3 passed
test 4 passed
test 5 passed
test 6 passed
test 7 passed
test 8 passed
test 9 passed
test 10 passed
test 11 passed
test 12 passed
test 13 passed
test 14 passed
test 15 passed
test 16 passed
test 17 passed
test 18 passed
test 19 passed
test 20 passed
test 21 failed
test 22 passed
test 23 passed
test 24 passed
test 25 passed
test 26 passed
test 27 passed
test 28 passed
test 29 passed
test 30 failed
test 31 passed
test 32 passed
test 33 passed

18. Киев 2017Как экономить время на анализе отчетов о нагрузочном тестировании
test 21 failed
test 30 failed

19. Киев 2017
ВИЗУАЛИЗАЦИЯ
Если вам задают вопрос
«Сколько в среднем у нас
время ответа от сервера?»
Никогда не используйте
СРЕДНЕЕ ЗНАЧЕНИЕ
Как экономить время на анализе отчетов о нагрузочном тестировании

20. Киев 2017
Далее абстрактные примеры
не привязанные к какому
либо конкретному
показателю.
Подход возможно
применить к любому
показателю и их любому
количеству количеству
показателей
Как экономить время на анализе отчетов о нагрузочном тестировании

21. Киев 2017
ВИЗУАЛИЗАЦИЯ
Как экономить время на анализе отчетов о нагрузочном тестировании
AVG = 593
500
300

22. Киев 2017
ВИЗУАЛИЗАЦИЯ
Как экономить время на анализе отчетов о нагрузочном тестировании
AVG = 593
MEDIAN = 293
300
500

23. Киев 2017
ВИЗУАЛИЗАЦИЯ
Как экономить время на анализе отчетов о нагрузочном тестировании
AVG = 296
MEDIAN = 292
500

24. Киев 2017
ВИЗУАЛИЗАЦИЯ
Не используйте
медианны
--
Ипользуйте
ящики с усами
Как экономить время на анализе отчетов о нагрузочном тестировании

25. Киев 2017
Ящик с усами
Как экономить время на анализе отчетов о нагрузочном тестировании
Выброс

26. Киев 2017
ВИЗУАЛИЗАЦИЯ
Как экономить время на анализе отчетов о нагрузочном тестировании

27. Киев 2017
ВИЗУАЛИЗАЦИЯ
Как экономить время на анализе отчетов о нагрузочном тестировании

28. Киев 2017
ВИЗУАЛИЗАЦИЯ
Как экономить время на анализе отчетов о нагрузочном тестировании

29. Киев 2017
ВИЗУАЛИЗАЦИЯ
Что делать если
показателей много?
Как экономить время на анализе отчетов о нагрузочном тестировании

30. Киев 2017
ВИЗУАЛИЗАЦИЯ
Как экономить время на анализе отчетов о нагрузочном тестировании
Умножим на количество
снимаемых метрик

31. Киев 2017
ВИЗУАЛИЗАЦИЯ
Как экономить время на анализе отчетов о нагрузочном тестировании
Умножим на нагрузку

32. Киев 2017
ВИЗУАЛИЗАЦИЯ
Что делать если
показателей
ОЧЕНЬ много?
Как экономить время на анализе отчетов о нагрузочном тестировании

33. Киев 2017
ВИЗУАЛИЗАЦИЯ
Умножим на количество
серверов
Как экономить время на анализе отчетов о нагрузочном тестировании

34. Киев 2017
ВИЗУАЛИЗАЦИЯ
Умножим на количество
операций/сценариев
Как экономить время на анализе отчетов о нагрузочном тестировании

35. Киев 2017
ВИЗУАЛИЗАЦИЯ
Умножим на количество
операций/сценариев
Как экономить время на анализе отчетов о нагрузочном тестировании
СЛИШКОМ
МНОГО-
МНОГО-ГО
ГРАФИКОВ

36. Киев 2017
SLA для требований
Service Level
Agreement
SLA
соглашение
об уровне сервиса
Как экономить время на анализе отчетов о нагрузочном тестировании

37. Киев 2017
SLA
Без требований к
производительности
никуда не двигаться
нельзя.
Как экономить время на анализе отчетов о нагрузочном тестировании

38. Киев 2017
SLA
Не требования:
• Хотим что бы работало быстро
• Сраница должна вжух и
загрузиться
• Пользователь должен не
успеть моргнуть, а страница
уже должна быть загружена
Как экономить время на анализе отчетов о нагрузочном тестировании

39. Киев 2017
SLA
Требования:
• Система должна обрабатывать
не менее 100 запросов «такой-
то» операции не более чем за
500 мс для 95% запросов и не
более чем 750 мс для 99% все
х запросов с допустимым
количеством ошибок менее
1% на «таком-то железе»
Как экономить время на анализе отчетов о нагрузочном тестировании

40. Киев 2017
SLA
Требования:
• Система должна обрабатывать
не менее 100 запросов «такой-
то» операции не более чем за
500 мс для 95% запросов и не
более чем 750 мс для 99% все
х запросов с допустимым
количеством ошибок менее
1% на «таком-то железе»
Как экономить время на анализе отчетов о нагрузочном тестировании

41. Киев 2017Как экономить время на анализе отчетов о нагрузочном тестировании
Сцециалист по нагрузочному тестированию
узнает требования к производительности у
заказчика

42. Киев 2017
SLA
Для каждого
снимаемого показателя
для каждого условия
должны быть
требования
Как экономить время на анализе отчетов о нагрузочном тестировании

43. Киев 2017Как экономить время на анализе отчетов о нагрузочном тестировании
Таблица SLA для системы
Уровень SLA Значение (Пример)
9 Показатель ухудшен на 50%
8 Показатель ухудшен на 20%
7 Показатель ухудшен на 10%
6 Показатель ухудшен на 5 %
5 Система соответствует требованиям
4 Показатель улучшен на 5%
3 Показатель улучшен на 10%
2 Показатель улучшен на 20%
1 Показатель улучшен на 50%

44. Киев 2017
SLA
Как экономить время на анализе отчетов о нагрузочном тестировании
Абстрактный пример:
Для такого-то сценария при нагрузке 10
потоков в секунду на протяжении 1 минуты
выполнения сценария должны выполняться
следующие условия:Показатель Значение
Response time median 500
CPU Usage median (S1) 20 %
RAM Usage median (S1) 200 mb

45. Киев 2017
SLA
Как экономить время на анализе отчетов о нагрузочном тестировании
ПРИСВАЕВАЕМ этим
показателям SLA - 5
Показатель Значение
Response time median 500 5
CPU Usage median (S1) 50 % 5
RAM Usage median (S1) 20 % 5
И после каждого прохождение кто-то или что-то
должен присвоить нашим результатам
наш SLA

46. Киев 2017
Автоматизация
Как экономить время на анализе отчетов о нагрузочном тестировании

47. Киев 2017
SLA
Как экономить время на анализе отчетов о нагрузочном тестировании
SLA for response time for Month

48. Киев 2017
SLA
Как экономить время на анализе отчетов о нагрузочном тестировании

49. Киев 2017Как экономить время на анализе отчетов о нагрузочном тестировании
Объединяем SLA в одно число
по формуле
𝑅𝑇𝑀𝐸𝐷 × 103
+ 𝐶𝑃𝑈 × 102
+ 𝑅𝐴𝑀 × 101

50. Киев 2017Как экономить время на анализе отчетов о нагрузочном тестировании
Общий показатель
производительности системы
для заданых условий
𝑅𝑇𝑀𝐸𝐷 × 103
+ 𝐶𝑃𝑈 × 102
+ 𝑅𝐴𝑀 × 101
=
5550

51. Киев 2017Как экономить время на анализе отчетов о нагрузочном тестировании
И ЗАЧЕМ НАМ ЭТОТ ПОКАЗАТЕЛЬ
5550

52. Киев 2017Как экономить время на анализе отчетов о нагрузочном тестировании
История показателя за месяц
555
550
560
500
600
1000
000
558
855
955
540
400

53. Киев 2017Как экономить время на анализе отчетов о нагрузочном тестировании
История показателя за месяц

54. Киев 2017Как экономить время на анализе отчетов о нагрузочном тестировании
История показателя за месяц

55. Киев 2017Как экономить время на анализе отчетов о нагрузочном тестировании
История показателя за месяц

56. Киев 2017
Недостатки
•Много показателей
очень мелкий масштаб
•Таких графиков может
быть много
Как экономить время на анализе отчетов о нагрузочном тестировании

57. Киев 2017
SLA
По томуже принципу
сводим все к одному
графику
другая формула
Как экономить время на анализе отчетов о нагрузочном тестировании

58. Киев 2017Как экономить время на анализе отчетов о нагрузочном тестировании
Объединяем SLA в одно число
по формуле
3
𝑅𝑇𝑀𝐸𝐷
3
+ 𝐶𝑃𝑈
3
+ 𝑅𝐴𝑀
3
= 7.2112
- Идеальное состояние системы

59. Киев 2017Как экономить время на анализе отчетов о нагрузочном тестировании
История показателя за месяц

60. Киев 2017Как экономить время на анализе отчетов о нагрузочном тестировании
История показателя за период
7.2112

61. Киев 2017Как экономить время на анализе отчетов о нагрузочном тестировании
История показателя за месяц

62. Киев 2017Как экономить время на анализе отчетов о нагрузочном тестировании
История показателя за месяц

63. Киев 2017
ВИЗУАЛИЗАЦИЯ
Как экономить время на анализе отчетов о нагрузочном тестировании

64. Киев 2017
ВИЗУАЛИЗАЦИЯ
Как экономить время на анализе отчетов о нагрузочном тестировании

65. Киев 2017
ВИЗУАЛИЗАЦИЯ
Как экономить время на анализе отчетов о нагрузочном тестировании

66. Киев 2017
Автоматизируйте
Как экономить время на анализе отчетов о нагрузочном тестировании

67. Киев 2017
Автоматизируйте
Как экономить время на анализе отчетов о нагрузочном тестировании
Ubuntu server
TeamCity server
JMeter
R
Shiny
Server
Shiny
Web - Report
System
Under TEST
Jmeter
Performance
monitor
Performance
Log DB
Jmeter
Log
Resource
log

68. Киев 2017
СПАСИБО ЗА ВНИМАНИЕ!!!
ВОПРОСЫ?
Как экономить время на анализе отчетов о нагрузочном тестировании