Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Performance test results analysis

1,957 views

Published on

  • Be the first to comment

  • Be the first to like this

Performance test results analysis

  1. 1. или Что со всем этим делать?
  2. 2. It-Jam 2010 SQA Days 7 QAConf 1.0 It-Jam 2011 Team Leader PO ZoralLabs QA Kharkov QA Club BA PMhttp://myqanotes.blogspot.com lysenko_i@mail.ru
  3. 3.  О нагрузочном тестировании Обсудим этапы Цели Какие данные собирать при тестах Поподробнее анализ результатов ◦ Основные шаги ◦ Метрики, графики, картинки Рассмотрим пример
  4. 4.  Узнать нефункциональные требования (часть касающуюся перфоманса) ◦ желаемое максимальное время отклика ◦ Сколько людей планируется для использования системы ◦ Хранимые и обрабатываемые объемы данных Узнать систему получше ◦ Что она и как делает ◦ Архитектуру системы Определиться с инфраструктурой ◦ купить копию production сервера Развернуть ее Иметь приложение, которое можно грузить или какие-то его компоненты (сервисы, отдельные модули)
  5. 5.  Проработка и проектирование сценариев- от пары минут до пары дней Создание и отладка дня три, может четыре - Организация проведения и запуск- один-три дня и 10-120-500 минут Анализ и отладка системы- от получаса до пары человеконедель
  6. 6.  Дописываем-обновляем тесты Дорабатываем скрипты Запускаем, Анализируем …… и т.д.
  7. 7.  Архитектурные риски ◦ Спрашиваем у архитекторов и разработчиков самые «стремные» места по их мнению Функциональные риски ◦ Спрашиваем в продуктового менеджмента самые важные функции системы Сопоставляем и создаем тестовые приоритеты
  8. 8.  Запустили Получили результаты И начинаем их анализировать
  9. 9.  Анализируем количественно ошибки. Смотрим на ◦ Количество, общий процент ◦ И для каждой операции, шага в тесте Разбиваем на типы ошибок Анализируем причины их возникновения ◦ Сбой сервера приложения  500е  400е и остальные  assertion errors ◦ Сбой клиента (нагрузочного инструмента)
  10. 10.  определить пропускную способность сервера системы; определить места системы, где пропускная способность ниже;
  11. 11.  пропускную способоность Среднее время отклика и самое главное - процент ошибочных транзакций также посланную нагрузку в каждый момент времени теста ◦ и если тут проблемы, то использование памяти, процессора и логи инструмента на нагрузочном окружении
  12. 12.  время отсылки запроса Время отклика сервера Время обработки сервером запроса Время задержки сети Ресуры сервера с тестовым приложением и его базы данных Данные о сервере приложения (потоки) маркировать каждую транзакцию: каким потоком (вирт узверем) она была отослана
  13. 13.  само собой ◦ средние: времени отклика, ◦ использования процессора ◦ и памяти, ◦ пропускной способности; ◦ а также минимальное или максимальное. во времени: ◦ время отклика; ◦ Использование памяти, процессора; ◦ процессора и ввод-вывод БД; ◦ количество транзакций отосланных, полученых; распределение времени отклика как случайной величины и кумулятивное распределение
  14. 14.  Собирайте максимум данных (но помните, что это может влиять на результат) Анализируйте не только сами результаты теста –но и все доступные логи, данные в ХД Лучший источник реальных данных – production server (но не грузите его в prime time или если аккуратно ) Копайте как можно глубже (но не забывайте, что результаты могут лежать и на поверхности и не требовать тестов)
  15. 15. Вопросы? http://myqanotes.blogspot.com lysenko_i@mail.ru
  16. 16.  http://goo.gl/0P3yZ http://myqanotes.blogspot.com/2012/03/jm eter-plugins.html

×