Successfully reported this slideshow.
Your SlideShare is downloading. ×

QA Fest 2017. Никита Кричко. Как сэкономить время на анализе отчетов о нагрузочном тестировании

QA Fest 2017. Никита Кричко. Как сэкономить время на анализе отчетов о нагрузочном тестировании

Каждый знаком с ситуацией когда утром необходимо прийти и проанализировать свои автотесты за чашечкой кофе. У кого-то их мало и справляются с этой задачей не допив кофе. У кого их много и одной чашки кофе для этого мало. И эти люди уже начинают строить графики и дашборды для экономии своего времени. А что делать когда ты тестируешь нефункциональность? Когда количество тестироумых функций исчисляеться сотнями? Когда у тебя на выходе не банальный TRUE/FALSE, а десятки показателей на один сценарий. А давайте теперь еще умножим это все на несколько задействованых вариантов сценариев и нагрузок. Для анализа огромного количеств результатов необходимо огромное количество времени. А как еще исключительно без перетестов определить что изменилось по сравнению с предыдущим днем и кто виноват? Вот докладчик и предложит подход к анализу результатов нагрузочного тестирования, который позволит сэкономить время.

Каждый знаком с ситуацией когда утром необходимо прийти и проанализировать свои автотесты за чашечкой кофе. У кого-то их мало и справляются с этой задачей не допив кофе. У кого их много и одной чашки кофе для этого мало. И эти люди уже начинают строить графики и дашборды для экономии своего времени. А что делать когда ты тестируешь нефункциональность? Когда количество тестироумых функций исчисляеться сотнями? Когда у тебя на выходе не банальный TRUE/FALSE, а десятки показателей на один сценарий. А давайте теперь еще умножим это все на несколько задействованых вариантов сценариев и нагрузок. Для анализа огромного количеств результатов необходимо огромное количество времени. А как еще исключительно без перетестов определить что изменилось по сравнению с предыдущим днем и кто виноват? Вот докладчик и предложит подход к анализу результатов нагрузочного тестирования, который позволит сэкономить время.

More Related Content

Slideshows for you

More from QAFest

Related Books

Free with a 30 day trial from Scribd

See all

Related Audiobooks

Free with a 30 day trial from Scribd

See all

QA Fest 2017. Никита Кричко. Как сэкономить время на анализе отчетов о нагрузочном тестировании

  1. 1. Киев 2017 Как вам кофе? Как экономить время на анализе отчетов о нагрузочном тестировании
  2. 2. Киев 2017 Все рассказанное здесь является результатом правды, полу-правды, статистики или художественной выдумки основанной на личном опыте… Все сказанное не несет в себе цели кого-либо обидеть. А всего лишь задуматься о том как оптимизировать свою работу и заниматься более приятными делами. Как экономить время на анализе отчетов о нагрузочном тестировании
  3. 3. Киев 2017 Первый в Украине фестиваль тестирования Как экономить время на анализе отчетов о нагрузочном тестировании
  4. 4. Киев 2017 О себе: Кричко Никита Как экономить время на анализе отчетов о нагрузочном тестировании Самый большой лентяй и бездельник В компаниях:
  5. 5. Киев 2017 О себе: Кричко Никита Как экономить время на анализе отчетов о нагрузочном тестировании Специалист по нагрузочному тестированию В компаниях: nik.krichko@gmail.com
  6. 6. Киев 2017 Классные доклады Как экономить время на анализе отчетов о нагрузочном тестировании Александр Неделяев Тестирование и мониторинг производительности фронтенда с помощью sitespeed.io
  7. 7. Киев 2017 Классные доклады Как экономить время на анализе отчетов о нагрузочном тестировании Эффективный поиск невоспроизводимых ошибок Андрей Лазарев
  8. 8. Киев 2017 Классные доклады Как экономить время на анализе отчетов о нагрузочном тестировании CLIENT MS SQL IIS / APP sitespeed.io Самописный фреймворк Core Craft, Pavlov Dogs
  9. 9. Киев 2017 Этонереклама
  10. 10. Киев 2017 Для кого этот доклад: Для тех у кого на анализ ошибок, логов и графиков уходит очень много время (Для тех кто ценит свое время) <Тема доклада>
  11. 11. Киев 2017 О чём этот доклад: О теоретическом подходе к анализу результатов <Тема доклада>
  12. 12. Киев 2017 Показатели результатов: тесты / атвотесты Как экономить время на анализе отчетов о нагрузочном тестировании PASSED FAILED
  13. 13. Киев 2017 Показатели результатов: нагрузочное тестирование Как экономить время на анализе отчетов о нагрузочном тестировании Нагрузочное AVG / MEDIAN / MODE PERCENTILE / QUARTILE MIN / MAX MEMORY USAGE * КОЛ-ВО СЕРВЕРОВ CPU USAGE * КОЛ-ВО СЕРВЕРОВ DISK I/O* КОЛ-ВО СЕРВЕРОВ NETWORK USAGE Много других Корреляция между показателями
  14. 14. Киев 2017 ВИЗУАЛИЗАЦИЯ Как экономить время на анализе отчетов о нагрузочном тестировании
  15. 15. Киев 2017 Цвета важнее текста Графики важнее текста Как экономить время на анализе отчетов о нагрузочном тестировании
  16. 16. Киев 2017Как экономить время на анализе отчетов о нагрузочном тестировании test 1 passed test 2 passed test 3 passed test 4 passed test 5 passed test 6 passed test 7 passed test 8 passed test 9 passed test 10 passed test 11 passed test 12 passed test 13 passed test 14 passed test 15 passed test 16 passed test 17 passed test 18 passed test 19 passed test 20 passed test 21 failed test 22 passed test 23 passed test 24 passed test 25 passed test 26 passed test 27 passed test 28 passed test 29 passed test 30 failed test 31 passed test 32 passed test 33 passed
  17. 17. Киев 2017Как экономить время на анализе отчетов о нагрузочном тестировании test 1 passed test 2 passed test 3 passed test 4 passed test 5 passed test 6 passed test 7 passed test 8 passed test 9 passed test 10 passed test 11 passed test 12 passed test 13 passed test 14 passed test 15 passed test 16 passed test 17 passed test 18 passed test 19 passed test 20 passed test 21 failed test 22 passed test 23 passed test 24 passed test 25 passed test 26 passed test 27 passed test 28 passed test 29 passed test 30 failed test 31 passed test 32 passed test 33 passed
  18. 18. Киев 2017Как экономить время на анализе отчетов о нагрузочном тестировании test 21 failed test 30 failed
  19. 19. Киев 2017 ВИЗУАЛИЗАЦИЯ Если вам задают вопрос «Сколько в среднем у нас время ответа от сервера?» Никогда не используйте СРЕДНЕЕ ЗНАЧЕНИЕ Как экономить время на анализе отчетов о нагрузочном тестировании
  20. 20. Киев 2017 Далее абстрактные примеры не привязанные к какому либо конкретному показателю. Подход возможно применить к любому показателю и их любому количеству количеству показателей Как экономить время на анализе отчетов о нагрузочном тестировании
  21. 21. Киев 2017 ВИЗУАЛИЗАЦИЯ Как экономить время на анализе отчетов о нагрузочном тестировании AVG = 593 500 300
  22. 22. Киев 2017 ВИЗУАЛИЗАЦИЯ Как экономить время на анализе отчетов о нагрузочном тестировании AVG = 593 MEDIAN = 293 300 500
  23. 23. Киев 2017 ВИЗУАЛИЗАЦИЯ Как экономить время на анализе отчетов о нагрузочном тестировании AVG = 296 MEDIAN = 292 500
  24. 24. Киев 2017 ВИЗУАЛИЗАЦИЯ Не используйте медианны -- Ипользуйте ящики с усами Как экономить время на анализе отчетов о нагрузочном тестировании
  25. 25. Киев 2017 Ящик с усами Как экономить время на анализе отчетов о нагрузочном тестировании Выброс
  26. 26. Киев 2017 ВИЗУАЛИЗАЦИЯ Как экономить время на анализе отчетов о нагрузочном тестировании
  27. 27. Киев 2017 ВИЗУАЛИЗАЦИЯ Как экономить время на анализе отчетов о нагрузочном тестировании
  28. 28. Киев 2017 ВИЗУАЛИЗАЦИЯ Как экономить время на анализе отчетов о нагрузочном тестировании
  29. 29. Киев 2017 ВИЗУАЛИЗАЦИЯ Что делать если показателей много? Как экономить время на анализе отчетов о нагрузочном тестировании
  30. 30. Киев 2017 ВИЗУАЛИЗАЦИЯ Как экономить время на анализе отчетов о нагрузочном тестировании Умножим на количество снимаемых метрик
  31. 31. Киев 2017 ВИЗУАЛИЗАЦИЯ Как экономить время на анализе отчетов о нагрузочном тестировании Умножим на нагрузку
  32. 32. Киев 2017 ВИЗУАЛИЗАЦИЯ Что делать если показателей ОЧЕНЬ много? Как экономить время на анализе отчетов о нагрузочном тестировании
  33. 33. Киев 2017 ВИЗУАЛИЗАЦИЯ Умножим на количество серверов Как экономить время на анализе отчетов о нагрузочном тестировании
  34. 34. Киев 2017 ВИЗУАЛИЗАЦИЯ Умножим на количество операций/сценариев Как экономить время на анализе отчетов о нагрузочном тестировании
  35. 35. Киев 2017 ВИЗУАЛИЗАЦИЯ Умножим на количество операций/сценариев Как экономить время на анализе отчетов о нагрузочном тестировании СЛИШКОМ МНОГО- МНОГО-ГО ГРАФИКОВ
  36. 36. Киев 2017 SLA для требований Service Level Agreement SLA соглашение об уровне сервиса Как экономить время на анализе отчетов о нагрузочном тестировании
  37. 37. Киев 2017 SLA Без требований к производительности никуда не двигаться нельзя. Как экономить время на анализе отчетов о нагрузочном тестировании
  38. 38. Киев 2017 SLA Не требования: • Хотим что бы работало быстро • Сраница должна вжух и загрузиться • Пользователь должен не успеть моргнуть, а страница уже должна быть загружена Как экономить время на анализе отчетов о нагрузочном тестировании
  39. 39. Киев 2017 SLA Требования: • Система должна обрабатывать не менее 100 запросов «такой- то» операции не более чем за 500 мс для 95% запросов и не более чем 750 мс для 99% все х запросов с допустимым количеством ошибок менее 1% на «таком-то железе» Как экономить время на анализе отчетов о нагрузочном тестировании
  40. 40. Киев 2017 SLA Требования: • Система должна обрабатывать не менее 100 запросов «такой- то» операции не более чем за 500 мс для 95% запросов и не более чем 750 мс для 99% все х запросов с допустимым количеством ошибок менее 1% на «таком-то железе» Как экономить время на анализе отчетов о нагрузочном тестировании
  41. 41. Киев 2017Как экономить время на анализе отчетов о нагрузочном тестировании Сцециалист по нагрузочному тестированию узнает требования к производительности у заказчика
  42. 42. Киев 2017 SLA Для каждого снимаемого показателя для каждого условия должны быть требования Как экономить время на анализе отчетов о нагрузочном тестировании
  43. 43. Киев 2017Как экономить время на анализе отчетов о нагрузочном тестировании Таблица SLA для системы Уровень SLA Значение (Пример) 9 Показатель ухудшен на 50% 8 Показатель ухудшен на 20% 7 Показатель ухудшен на 10% 6 Показатель ухудшен на 5 % 5 Система соответствует требованиям 4 Показатель улучшен на 5% 3 Показатель улучшен на 10% 2 Показатель улучшен на 20% 1 Показатель улучшен на 50%
  44. 44. Киев 2017 SLA Как экономить время на анализе отчетов о нагрузочном тестировании Абстрактный пример: Для такого-то сценария при нагрузке 10 потоков в секунду на протяжении 1 минуты выполнения сценария должны выполняться следующие условия:Показатель Значение Response time median 500 CPU Usage median (S1) 20 % RAM Usage median (S1) 200 mb
  45. 45. Киев 2017 SLA Как экономить время на анализе отчетов о нагрузочном тестировании ПРИСВАЕВАЕМ этим показателям SLA - 5 Показатель Значение Response time median 500 5 CPU Usage median (S1) 50 % 5 RAM Usage median (S1) 20 % 5 И после каждого прохождение кто-то или что-то должен присвоить нашим результатам наш SLA
  46. 46. Киев 2017 Автоматизация Как экономить время на анализе отчетов о нагрузочном тестировании
  47. 47. Киев 2017 SLA Как экономить время на анализе отчетов о нагрузочном тестировании SLA for response time for Month
  48. 48. Киев 2017 SLA Как экономить время на анализе отчетов о нагрузочном тестировании
  49. 49. Киев 2017Как экономить время на анализе отчетов о нагрузочном тестировании Объединяем SLA в одно число по формуле 𝑅𝑇𝑀𝐸𝐷 × 103 + 𝐶𝑃𝑈 × 102 + 𝑅𝐴𝑀 × 101
  50. 50. Киев 2017Как экономить время на анализе отчетов о нагрузочном тестировании Общий показатель производительности системы для заданых условий 𝑅𝑇𝑀𝐸𝐷 × 103 + 𝐶𝑃𝑈 × 102 + 𝑅𝐴𝑀 × 101 = 5550
  51. 51. Киев 2017Как экономить время на анализе отчетов о нагрузочном тестировании И ЗАЧЕМ НАМ ЭТОТ ПОКАЗАТЕЛЬ 5550
  52. 52. Киев 2017Как экономить время на анализе отчетов о нагрузочном тестировании История показателя за месяц 555 550 560 500 600 1000 000 558 855 955 540 400
  53. 53. Киев 2017Как экономить время на анализе отчетов о нагрузочном тестировании История показателя за месяц
  54. 54. Киев 2017Как экономить время на анализе отчетов о нагрузочном тестировании История показателя за месяц
  55. 55. Киев 2017Как экономить время на анализе отчетов о нагрузочном тестировании История показателя за месяц
  56. 56. Киев 2017 Недостатки •Много показателей очень мелкий масштаб •Таких графиков может быть много Как экономить время на анализе отчетов о нагрузочном тестировании
  57. 57. Киев 2017 SLA По томуже принципу сводим все к одному графику другая формула Как экономить время на анализе отчетов о нагрузочном тестировании
  58. 58. Киев 2017Как экономить время на анализе отчетов о нагрузочном тестировании Объединяем SLA в одно число по формуле 3 𝑅𝑇𝑀𝐸𝐷 3 + 𝐶𝑃𝑈 3 + 𝑅𝐴𝑀 3 = 7.2112 - Идеальное состояние системы
  59. 59. Киев 2017Как экономить время на анализе отчетов о нагрузочном тестировании История показателя за месяц
  60. 60. Киев 2017Как экономить время на анализе отчетов о нагрузочном тестировании История показателя за период 7.2112
  61. 61. Киев 2017Как экономить время на анализе отчетов о нагрузочном тестировании История показателя за месяц
  62. 62. Киев 2017Как экономить время на анализе отчетов о нагрузочном тестировании История показателя за месяц
  63. 63. Киев 2017 ВИЗУАЛИЗАЦИЯ Как экономить время на анализе отчетов о нагрузочном тестировании
  64. 64. Киев 2017 ВИЗУАЛИЗАЦИЯ Как экономить время на анализе отчетов о нагрузочном тестировании
  65. 65. Киев 2017 ВИЗУАЛИЗАЦИЯ Как экономить время на анализе отчетов о нагрузочном тестировании
  66. 66. Киев 2017 Автоматизируйте Как экономить время на анализе отчетов о нагрузочном тестировании
  67. 67. Киев 2017 Автоматизируйте Как экономить время на анализе отчетов о нагрузочном тестировании Ubuntu server TeamCity server JMeter R Shiny Server Shiny Web - Report System Under TEST Jmeter Performance monitor Performance Log DB Jmeter Log Resource log
  68. 68. Киев 2017 СПАСИБО ЗА ВНИМАНИЕ!!! ВОПРОСЫ? Как экономить время на анализе отчетов о нагрузочном тестировании

×