Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
Киев 2017
Как вам кофе?
Как экономить время на анализе отчетов о нагрузочном тестировании
Киев 2017
Все рассказанное здесь является
результатом правды, полу-правды,
статистики или художественной
выдумки основанно...
Киев 2017
Первый в Украине фестиваль тестирования
Как
экономить время
на анализе отчетов
о нагрузочном
тестировании
Киев 2017
О себе: Кричко Никита
Как экономить время на анализе отчетов о нагрузочном тестировании
Самый большой лентяй и б...
Киев 2017
О себе: Кричко Никита
Как экономить время на анализе отчетов о нагрузочном тестировании
Специалист по нагрузочно...
Киев 2017
Классные доклады
Как экономить время на анализе отчетов о нагрузочном тестировании
Александр
Неделяев
Тестирован...
Киев 2017
Классные доклады
Как экономить время на анализе отчетов о нагрузочном тестировании
Эффективный поиск
невоспроизв...
Киев 2017
Классные доклады
Как экономить время на анализе отчетов о нагрузочном тестировании
CLIENT
MS
SQL
IIS / APP
sites...
Киев 2017
Этонереклама
Киев 2017
Для кого этот доклад:
Для тех у кого на
анализ ошибок,
логов и графиков
уходит очень
много время
(Для тех кто це...
Киев 2017
О чём этот доклад:
О теоретическом
подходе к анализу
результатов
<Тема доклада>
Киев 2017
Показатели результатов:
тесты / атвотесты
Как экономить время на анализе отчетов о нагрузочном тестировании
PASS...
Киев 2017
Показатели результатов:
нагрузочное тестирование
Как экономить время на анализе отчетов о нагрузочном тестирован...
Киев 2017
ВИЗУАЛИЗАЦИЯ
Как экономить время на анализе отчетов о нагрузочном тестировании
Киев 2017
Цвета важнее
текста
Графики
важнее текста
Как экономить время на анализе отчетов о нагрузочном тестировании
Киев 2017Как экономить время на анализе отчетов о нагрузочном тестировании
test 1 passed
test 2 passed
test 3 passed
test ...
Киев 2017Как экономить время на анализе отчетов о нагрузочном тестировании
test 1 passed
test 2 passed
test 3 passed
test ...
Киев 2017Как экономить время на анализе отчетов о нагрузочном тестировании
test 21 failed
test 30 failed
Киев 2017
ВИЗУАЛИЗАЦИЯ
Если вам задают вопрос
«Сколько в среднем у нас
время ответа от сервера?»
Никогда не используйте
СР...
Киев 2017
Далее абстрактные примеры
не привязанные к какому
либо конкретному
показателю.
Подход возможно
применить к любом...
Киев 2017
ВИЗУАЛИЗАЦИЯ
Как экономить время на анализе отчетов о нагрузочном тестировании
AVG = 593
500
300
Киев 2017
ВИЗУАЛИЗАЦИЯ
Как экономить время на анализе отчетов о нагрузочном тестировании
AVG = 593
MEDIAN = 293
300
500
Киев 2017
ВИЗУАЛИЗАЦИЯ
Как экономить время на анализе отчетов о нагрузочном тестировании
AVG = 296
MEDIAN = 292
500
Киев 2017
ВИЗУАЛИЗАЦИЯ
Не используйте
медианны
--
Ипользуйте
ящики с усами
Как экономить время на анализе отчетов о нагруз...
Киев 2017
Ящик с усами
Как экономить время на анализе отчетов о нагрузочном тестировании
Выброс
Киев 2017
ВИЗУАЛИЗАЦИЯ
Как экономить время на анализе отчетов о нагрузочном тестировании
Киев 2017
ВИЗУАЛИЗАЦИЯ
Как экономить время на анализе отчетов о нагрузочном тестировании
Киев 2017
ВИЗУАЛИЗАЦИЯ
Как экономить время на анализе отчетов о нагрузочном тестировании
Киев 2017
ВИЗУАЛИЗАЦИЯ
Что делать если
показателей много?
Как экономить время на анализе отчетов о нагрузочном тестировании
Киев 2017
ВИЗУАЛИЗАЦИЯ
Как экономить время на анализе отчетов о нагрузочном тестировании
Умножим на количество
снимаемых м...
Киев 2017
ВИЗУАЛИЗАЦИЯ
Как экономить время на анализе отчетов о нагрузочном тестировании
Умножим на нагрузку
Киев 2017
ВИЗУАЛИЗАЦИЯ
Что делать если
показателей
ОЧЕНЬ много?
Как экономить время на анализе отчетов о нагрузочном тести...
Киев 2017
ВИЗУАЛИЗАЦИЯ
Умножим на количество
серверов
Как экономить время на анализе отчетов о нагрузочном тестировании
Киев 2017
ВИЗУАЛИЗАЦИЯ
Умножим на количество
операций/сценариев
Как экономить время на анализе отчетов о нагрузочном тести...
Киев 2017
ВИЗУАЛИЗАЦИЯ
Умножим на количество
операций/сценариев
Как экономить время на анализе отчетов о нагрузочном тести...
Киев 2017
SLA для требований
Service Level
Agreement
SLA
соглашение
об уровне сервиса
Как экономить время на анализе отчет...
Киев 2017
SLA
Без требований к
производительности
никуда не двигаться
нельзя.
Как экономить время на анализе отчетов о наг...
Киев 2017
SLA
Не требования:
• Хотим что бы работало быстро
• Сраница должна вжух и
загрузиться
• Пользователь должен не
у...
Киев 2017
SLA
Требования:
• Система должна обрабатывать
не менее 100 запросов «такой-
то» операции не более чем за
500 мс ...
Киев 2017
SLA
Требования:
• Система должна обрабатывать
не менее 100 запросов «такой-
то» операции не более чем за
500 мс ...
Киев 2017Как экономить время на анализе отчетов о нагрузочном тестировании
Сцециалист по нагрузочному тестированию
узнает ...
Киев 2017
SLA
Для каждого
снимаемого показателя
для каждого условия
должны быть
требования
Как экономить время на анализе ...
Киев 2017Как экономить время на анализе отчетов о нагрузочном тестировании
Таблица SLA для системы
Уровень SLA Значение (П...
Киев 2017
SLA
Как экономить время на анализе отчетов о нагрузочном тестировании
Абстрактный пример:
Для такого-то сценария...
Киев 2017
SLA
Как экономить время на анализе отчетов о нагрузочном тестировании
ПРИСВАЕВАЕМ этим
показателям SLA - 5
Показ...
Киев 2017
Автоматизация
Как экономить время на анализе отчетов о нагрузочном тестировании
Киев 2017
SLA
Как экономить время на анализе отчетов о нагрузочном тестировании
SLA for response time for Month
Киев 2017
SLA
Как экономить время на анализе отчетов о нагрузочном тестировании
Киев 2017Как экономить время на анализе отчетов о нагрузочном тестировании
Объединяем SLA в одно число
по формуле
𝑅𝑇𝑀𝐸𝐷 × ...
Киев 2017Как экономить время на анализе отчетов о нагрузочном тестировании
Общий показатель
производительности системы
для...
Киев 2017Как экономить время на анализе отчетов о нагрузочном тестировании
И ЗАЧЕМ НАМ ЭТОТ ПОКАЗАТЕЛЬ
5550
Киев 2017Как экономить время на анализе отчетов о нагрузочном тестировании
История показателя за месяц
555
550
560
500
600...
Киев 2017Как экономить время на анализе отчетов о нагрузочном тестировании
История показателя за месяц
Киев 2017Как экономить время на анализе отчетов о нагрузочном тестировании
История показателя за месяц
Киев 2017Как экономить время на анализе отчетов о нагрузочном тестировании
История показателя за месяц
Киев 2017
Недостатки
•Много показателей
очень мелкий масштаб
•Таких графиков может
быть много
Как экономить время на анали...
Киев 2017
SLA
По томуже принципу
сводим все к одному
графику
другая формула
Как экономить время на анализе отчетов о нагру...
Киев 2017Как экономить время на анализе отчетов о нагрузочном тестировании
Объединяем SLA в одно число
по формуле
3
𝑅𝑇𝑀𝐸𝐷
...
Киев 2017Как экономить время на анализе отчетов о нагрузочном тестировании
История показателя за месяц
Киев 2017Как экономить время на анализе отчетов о нагрузочном тестировании
История показателя за период
7.2112
Киев 2017Как экономить время на анализе отчетов о нагрузочном тестировании
История показателя за месяц
Киев 2017Как экономить время на анализе отчетов о нагрузочном тестировании
История показателя за месяц
Киев 2017
ВИЗУАЛИЗАЦИЯ
Как экономить время на анализе отчетов о нагрузочном тестировании
Киев 2017
ВИЗУАЛИЗАЦИЯ
Как экономить время на анализе отчетов о нагрузочном тестировании
Киев 2017
ВИЗУАЛИЗАЦИЯ
Как экономить время на анализе отчетов о нагрузочном тестировании
Киев 2017
Автоматизируйте
Как экономить время на анализе отчетов о нагрузочном тестировании
Киев 2017
Автоматизируйте
Как экономить время на анализе отчетов о нагрузочном тестировании
Ubuntu server
TeamCity server
...
Киев 2017
СПАСИБО ЗА ВНИМАНИЕ!!!
ВОПРОСЫ?
Как экономить время на анализе отчетов о нагрузочном тестировании
Upcoming SlideShare
Loading in …5
×

QA Fest 2017. Никита Кричко. Как сэкономить время на анализе отчетов о нагрузочном тестировании

580 views

Published on

Каждый знаком с ситуацией когда утром необходимо прийти и проанализировать свои автотесты за чашечкой кофе. У кого-то их мало и справляются с этой задачей не допив кофе. У кого их много и одной чашки кофе для этого мало. И эти люди уже начинают строить графики и дашборды для экономии своего времени. А что делать когда ты тестируешь нефункциональность? Когда количество тестироумых функций исчисляеться сотнями? Когда у тебя на выходе не банальный TRUE/FALSE, а десятки показателей на один сценарий. А давайте теперь еще умножим это все на несколько задействованых вариантов сценариев и нагрузок. Для анализа огромного количеств результатов необходимо огромное количество времени. А как еще исключительно без перетестов определить что изменилось по сравнению с предыдущим днем и кто виноват? Вот докладчик и предложит подход к анализу результатов нагрузочного тестирования, который позволит сэкономить время.

Published in: Education
  • Be the first to comment

  • Be the first to like this

QA Fest 2017. Никита Кричко. Как сэкономить время на анализе отчетов о нагрузочном тестировании

  1. 1. Киев 2017 Как вам кофе? Как экономить время на анализе отчетов о нагрузочном тестировании
  2. 2. Киев 2017 Все рассказанное здесь является результатом правды, полу-правды, статистики или художественной выдумки основанной на личном опыте… Все сказанное не несет в себе цели кого-либо обидеть. А всего лишь задуматься о том как оптимизировать свою работу и заниматься более приятными делами. Как экономить время на анализе отчетов о нагрузочном тестировании
  3. 3. Киев 2017 Первый в Украине фестиваль тестирования Как экономить время на анализе отчетов о нагрузочном тестировании
  4. 4. Киев 2017 О себе: Кричко Никита Как экономить время на анализе отчетов о нагрузочном тестировании Самый большой лентяй и бездельник В компаниях:
  5. 5. Киев 2017 О себе: Кричко Никита Как экономить время на анализе отчетов о нагрузочном тестировании Специалист по нагрузочному тестированию В компаниях: nik.krichko@gmail.com
  6. 6. Киев 2017 Классные доклады Как экономить время на анализе отчетов о нагрузочном тестировании Александр Неделяев Тестирование и мониторинг производительности фронтенда с помощью sitespeed.io
  7. 7. Киев 2017 Классные доклады Как экономить время на анализе отчетов о нагрузочном тестировании Эффективный поиск невоспроизводимых ошибок Андрей Лазарев
  8. 8. Киев 2017 Классные доклады Как экономить время на анализе отчетов о нагрузочном тестировании CLIENT MS SQL IIS / APP sitespeed.io Самописный фреймворк Core Craft, Pavlov Dogs
  9. 9. Киев 2017 Этонереклама
  10. 10. Киев 2017 Для кого этот доклад: Для тех у кого на анализ ошибок, логов и графиков уходит очень много время (Для тех кто ценит свое время) <Тема доклада>
  11. 11. Киев 2017 О чём этот доклад: О теоретическом подходе к анализу результатов <Тема доклада>
  12. 12. Киев 2017 Показатели результатов: тесты / атвотесты Как экономить время на анализе отчетов о нагрузочном тестировании PASSED FAILED
  13. 13. Киев 2017 Показатели результатов: нагрузочное тестирование Как экономить время на анализе отчетов о нагрузочном тестировании Нагрузочное AVG / MEDIAN / MODE PERCENTILE / QUARTILE MIN / MAX MEMORY USAGE * КОЛ-ВО СЕРВЕРОВ CPU USAGE * КОЛ-ВО СЕРВЕРОВ DISK I/O* КОЛ-ВО СЕРВЕРОВ NETWORK USAGE Много других Корреляция между показателями
  14. 14. Киев 2017 ВИЗУАЛИЗАЦИЯ Как экономить время на анализе отчетов о нагрузочном тестировании
  15. 15. Киев 2017 Цвета важнее текста Графики важнее текста Как экономить время на анализе отчетов о нагрузочном тестировании
  16. 16. Киев 2017Как экономить время на анализе отчетов о нагрузочном тестировании test 1 passed test 2 passed test 3 passed test 4 passed test 5 passed test 6 passed test 7 passed test 8 passed test 9 passed test 10 passed test 11 passed test 12 passed test 13 passed test 14 passed test 15 passed test 16 passed test 17 passed test 18 passed test 19 passed test 20 passed test 21 failed test 22 passed test 23 passed test 24 passed test 25 passed test 26 passed test 27 passed test 28 passed test 29 passed test 30 failed test 31 passed test 32 passed test 33 passed
  17. 17. Киев 2017Как экономить время на анализе отчетов о нагрузочном тестировании test 1 passed test 2 passed test 3 passed test 4 passed test 5 passed test 6 passed test 7 passed test 8 passed test 9 passed test 10 passed test 11 passed test 12 passed test 13 passed test 14 passed test 15 passed test 16 passed test 17 passed test 18 passed test 19 passed test 20 passed test 21 failed test 22 passed test 23 passed test 24 passed test 25 passed test 26 passed test 27 passed test 28 passed test 29 passed test 30 failed test 31 passed test 32 passed test 33 passed
  18. 18. Киев 2017Как экономить время на анализе отчетов о нагрузочном тестировании test 21 failed test 30 failed
  19. 19. Киев 2017 ВИЗУАЛИЗАЦИЯ Если вам задают вопрос «Сколько в среднем у нас время ответа от сервера?» Никогда не используйте СРЕДНЕЕ ЗНАЧЕНИЕ Как экономить время на анализе отчетов о нагрузочном тестировании
  20. 20. Киев 2017 Далее абстрактные примеры не привязанные к какому либо конкретному показателю. Подход возможно применить к любому показателю и их любому количеству количеству показателей Как экономить время на анализе отчетов о нагрузочном тестировании
  21. 21. Киев 2017 ВИЗУАЛИЗАЦИЯ Как экономить время на анализе отчетов о нагрузочном тестировании AVG = 593 500 300
  22. 22. Киев 2017 ВИЗУАЛИЗАЦИЯ Как экономить время на анализе отчетов о нагрузочном тестировании AVG = 593 MEDIAN = 293 300 500
  23. 23. Киев 2017 ВИЗУАЛИЗАЦИЯ Как экономить время на анализе отчетов о нагрузочном тестировании AVG = 296 MEDIAN = 292 500
  24. 24. Киев 2017 ВИЗУАЛИЗАЦИЯ Не используйте медианны -- Ипользуйте ящики с усами Как экономить время на анализе отчетов о нагрузочном тестировании
  25. 25. Киев 2017 Ящик с усами Как экономить время на анализе отчетов о нагрузочном тестировании Выброс
  26. 26. Киев 2017 ВИЗУАЛИЗАЦИЯ Как экономить время на анализе отчетов о нагрузочном тестировании
  27. 27. Киев 2017 ВИЗУАЛИЗАЦИЯ Как экономить время на анализе отчетов о нагрузочном тестировании
  28. 28. Киев 2017 ВИЗУАЛИЗАЦИЯ Как экономить время на анализе отчетов о нагрузочном тестировании
  29. 29. Киев 2017 ВИЗУАЛИЗАЦИЯ Что делать если показателей много? Как экономить время на анализе отчетов о нагрузочном тестировании
  30. 30. Киев 2017 ВИЗУАЛИЗАЦИЯ Как экономить время на анализе отчетов о нагрузочном тестировании Умножим на количество снимаемых метрик
  31. 31. Киев 2017 ВИЗУАЛИЗАЦИЯ Как экономить время на анализе отчетов о нагрузочном тестировании Умножим на нагрузку
  32. 32. Киев 2017 ВИЗУАЛИЗАЦИЯ Что делать если показателей ОЧЕНЬ много? Как экономить время на анализе отчетов о нагрузочном тестировании
  33. 33. Киев 2017 ВИЗУАЛИЗАЦИЯ Умножим на количество серверов Как экономить время на анализе отчетов о нагрузочном тестировании
  34. 34. Киев 2017 ВИЗУАЛИЗАЦИЯ Умножим на количество операций/сценариев Как экономить время на анализе отчетов о нагрузочном тестировании
  35. 35. Киев 2017 ВИЗУАЛИЗАЦИЯ Умножим на количество операций/сценариев Как экономить время на анализе отчетов о нагрузочном тестировании СЛИШКОМ МНОГО- МНОГО-ГО ГРАФИКОВ
  36. 36. Киев 2017 SLA для требований Service Level Agreement SLA соглашение об уровне сервиса Как экономить время на анализе отчетов о нагрузочном тестировании
  37. 37. Киев 2017 SLA Без требований к производительности никуда не двигаться нельзя. Как экономить время на анализе отчетов о нагрузочном тестировании
  38. 38. Киев 2017 SLA Не требования: • Хотим что бы работало быстро • Сраница должна вжух и загрузиться • Пользователь должен не успеть моргнуть, а страница уже должна быть загружена Как экономить время на анализе отчетов о нагрузочном тестировании
  39. 39. Киев 2017 SLA Требования: • Система должна обрабатывать не менее 100 запросов «такой- то» операции не более чем за 500 мс для 95% запросов и не более чем 750 мс для 99% все х запросов с допустимым количеством ошибок менее 1% на «таком-то железе» Как экономить время на анализе отчетов о нагрузочном тестировании
  40. 40. Киев 2017 SLA Требования: • Система должна обрабатывать не менее 100 запросов «такой- то» операции не более чем за 500 мс для 95% запросов и не более чем 750 мс для 99% все х запросов с допустимым количеством ошибок менее 1% на «таком-то железе» Как экономить время на анализе отчетов о нагрузочном тестировании
  41. 41. Киев 2017Как экономить время на анализе отчетов о нагрузочном тестировании Сцециалист по нагрузочному тестированию узнает требования к производительности у заказчика
  42. 42. Киев 2017 SLA Для каждого снимаемого показателя для каждого условия должны быть требования Как экономить время на анализе отчетов о нагрузочном тестировании
  43. 43. Киев 2017Как экономить время на анализе отчетов о нагрузочном тестировании Таблица SLA для системы Уровень SLA Значение (Пример) 9 Показатель ухудшен на 50% 8 Показатель ухудшен на 20% 7 Показатель ухудшен на 10% 6 Показатель ухудшен на 5 % 5 Система соответствует требованиям 4 Показатель улучшен на 5% 3 Показатель улучшен на 10% 2 Показатель улучшен на 20% 1 Показатель улучшен на 50%
  44. 44. Киев 2017 SLA Как экономить время на анализе отчетов о нагрузочном тестировании Абстрактный пример: Для такого-то сценария при нагрузке 10 потоков в секунду на протяжении 1 минуты выполнения сценария должны выполняться следующие условия:Показатель Значение Response time median 500 CPU Usage median (S1) 20 % RAM Usage median (S1) 200 mb
  45. 45. Киев 2017 SLA Как экономить время на анализе отчетов о нагрузочном тестировании ПРИСВАЕВАЕМ этим показателям SLA - 5 Показатель Значение Response time median 500 5 CPU Usage median (S1) 50 % 5 RAM Usage median (S1) 20 % 5 И после каждого прохождение кто-то или что-то должен присвоить нашим результатам наш SLA
  46. 46. Киев 2017 Автоматизация Как экономить время на анализе отчетов о нагрузочном тестировании
  47. 47. Киев 2017 SLA Как экономить время на анализе отчетов о нагрузочном тестировании SLA for response time for Month
  48. 48. Киев 2017 SLA Как экономить время на анализе отчетов о нагрузочном тестировании
  49. 49. Киев 2017Как экономить время на анализе отчетов о нагрузочном тестировании Объединяем SLA в одно число по формуле 𝑅𝑇𝑀𝐸𝐷 × 103 + 𝐶𝑃𝑈 × 102 + 𝑅𝐴𝑀 × 101
  50. 50. Киев 2017Как экономить время на анализе отчетов о нагрузочном тестировании Общий показатель производительности системы для заданых условий 𝑅𝑇𝑀𝐸𝐷 × 103 + 𝐶𝑃𝑈 × 102 + 𝑅𝐴𝑀 × 101 = 5550
  51. 51. Киев 2017Как экономить время на анализе отчетов о нагрузочном тестировании И ЗАЧЕМ НАМ ЭТОТ ПОКАЗАТЕЛЬ 5550
  52. 52. Киев 2017Как экономить время на анализе отчетов о нагрузочном тестировании История показателя за месяц 555 550 560 500 600 1000 000 558 855 955 540 400
  53. 53. Киев 2017Как экономить время на анализе отчетов о нагрузочном тестировании История показателя за месяц
  54. 54. Киев 2017Как экономить время на анализе отчетов о нагрузочном тестировании История показателя за месяц
  55. 55. Киев 2017Как экономить время на анализе отчетов о нагрузочном тестировании История показателя за месяц
  56. 56. Киев 2017 Недостатки •Много показателей очень мелкий масштаб •Таких графиков может быть много Как экономить время на анализе отчетов о нагрузочном тестировании
  57. 57. Киев 2017 SLA По томуже принципу сводим все к одному графику другая формула Как экономить время на анализе отчетов о нагрузочном тестировании
  58. 58. Киев 2017Как экономить время на анализе отчетов о нагрузочном тестировании Объединяем SLA в одно число по формуле 3 𝑅𝑇𝑀𝐸𝐷 3 + 𝐶𝑃𝑈 3 + 𝑅𝐴𝑀 3 = 7.2112 - Идеальное состояние системы
  59. 59. Киев 2017Как экономить время на анализе отчетов о нагрузочном тестировании История показателя за месяц
  60. 60. Киев 2017Как экономить время на анализе отчетов о нагрузочном тестировании История показателя за период 7.2112
  61. 61. Киев 2017Как экономить время на анализе отчетов о нагрузочном тестировании История показателя за месяц
  62. 62. Киев 2017Как экономить время на анализе отчетов о нагрузочном тестировании История показателя за месяц
  63. 63. Киев 2017 ВИЗУАЛИЗАЦИЯ Как экономить время на анализе отчетов о нагрузочном тестировании
  64. 64. Киев 2017 ВИЗУАЛИЗАЦИЯ Как экономить время на анализе отчетов о нагрузочном тестировании
  65. 65. Киев 2017 ВИЗУАЛИЗАЦИЯ Как экономить время на анализе отчетов о нагрузочном тестировании
  66. 66. Киев 2017 Автоматизируйте Как экономить время на анализе отчетов о нагрузочном тестировании
  67. 67. Киев 2017 Автоматизируйте Как экономить время на анализе отчетов о нагрузочном тестировании Ubuntu server TeamCity server JMeter R Shiny Server Shiny Web - Report System Under TEST Jmeter Performance monitor Performance Log DB Jmeter Log Resource log
  68. 68. Киев 2017 СПАСИБО ЗА ВНИМАНИЕ!!! ВОПРОСЫ? Как экономить время на анализе отчетов о нагрузочном тестировании

×