5.12.15 QA Lab: тестирование программного обеспечения Upcoming events: goo.gl/I2gJ4H Нагрузочное тестирование. Интерфейс JMeter. Требования. Сценарии. Запуск тестов. Анализ результатов.

1. JMeter
Knockin' on Heaven's Door

2. ISO 9126 – ISO 25010
Эффективность — Набор атрибутов,
относящихся к соотношению между уровнем
качества функционирования ПО и объемом
используемых ресурсов при установленных
условиях.
Надежность — Набор атрибутов, относящихся к
способности ПО сохранять свой уровень
качества функционирования при
установленных условиях за установленный
период времени

3. Эффективность
Характер изменения во времени (Time behavior)
Атрибуты программного обеспечения,
относящиеся к временам отклика и обработки и к
скоростям выполнения его функций.
Характер изменения ресурсов (Resource
behavior) Атрибуты программного обеспечения,
относящиеся к объему используемых ресурсов и
продолжительности такого использования при
выполнении функции.

4. Надежность:
Стабильность (Maturity) Атрибуты ПО, относящиеся к частоте
отказов при ошибках в ПО.
Устойчивость к ошибке (Fault tolerance) Атрибуты ПО,
относящиеся к его способности поддерживать определенный
уровень качества функционирования в случаях программных
ошибок или нарушения определенного интерфейса.
Восстанавливаемость (Recoverability) Атрибуты ПО,
относящиеся к его возможности восстанавливать уровень
качества функционирования и восстанавливать данные,
непосредственно поврежденные в случае отказа, а также к
времени и усилиям, необходимым для этого.

5. Пример требований
При нагрузке до 100 транзакций в секунду типа «ping» и 10
транзакций в секунду типа «action»:
•среднее время отклика для транзакций типа «action» должно
составлять не более 2,5 секунд
•количество отказов не должно превышать 1%
•дисперсия не должна превышать 5%
•сервер приложений должен потреблять не более 50% CPU и не
более 1,2 гигабайта ОЗУ
•система должна расходовать не более трёх соединений с СУБД

6. Тестирование производительности
Генерация нагрузки
Мониторинг
Анализ результатов

7. Цели тестирования
Получение информации для:
Проверки соответствия требований
Сравнение версий и конфигураций системы
Выявление узких мест

17. Значения
Черные точки – конкретные значения времени отклика
Синий график – среднее арифметическое значение
Фиолетовый график – медиана
Зеленый график – пропускная способность, количество запросов
в единицу времени
Красный график – отклонение от среднего

20. Воздействие на систему:
Hit-oriented
Сценарии

22. Модели нагрузки
Непрерывно возрастающая нагрузка
Цель: поиск точки насыщения
Постоянная нагрузка
Цель: проверка стабильности

26. Контакты:
Ed Izotov
ed.izotov@gmail.com
skype: corneliusseo