Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
Организация тестированияпроизводительности по SWEAT   Константин Пермяков. Exigen Services
Немного о себе
Немного о себе•   4 года связан с тестированием производительности на разных    программно – аппаратных платформах:    – W...
Цели тестирования               производительности• Насколько быстро работают основные функции  приложения• Насколько усто...
SWEAT подход STEPS     WORKLOAD         Equipment            Performance            testing goalsANALYSIS                 ...
Критерии приемки         результатов тестирования• Четко определены и согласованы все метрики  тестирования (время отклика...
Steps• Шаги обеспечивают снятие необходимых метрик• Меняя шаги мы можем влиять на значения  измеряемых параметров• Шаги не...
Workload•   Должны быть подготовлены и согласованы наборы тестовых    данных•   Для каждой из метрик возможны свои тестовы...
Compare apples with apples•
Пример разных тестовых            данных•
Not apples with oranges•
Workload• Для «пикового» тестирования загрузка не должна  превышать загрузку в спецификации более чем на  20%-50%• Выбранн...
Equipment•   Среда для нагрузочного тестирования максимально    приближена к эксплуатационной•   Тестовая среда не должна ...
Equipment• В случае использования ORM, Hibernate,  персистентных хранилищ данных возможно  понадобиться «прогрев» среды• Т...
Определение узких местРазличные значения порогового значения взависимости от выбранной модели загрузки иокружения
Analysis• Выбраны и согласованы метрики тестирования• Результаты тестирования не содержат данных от  неудавшихся тестов• С...
Нормальное и линейное               распределение• Результаты нагрузочного тестирования должны  соответствовать нормальном...
Что включать в отчет?• Практика разделения отчета для технических  специалистов и для менеджеров• Технические метрики – дл...
Отчет для технических                   специалистов•   Распределение времени отклика
Отчет для менеджеров•   Деградация времени отклика и превышение SLA
Отчет о преимуществах                  системы• Избегайте использования процентов• Сфокусируйтесь на основных преимущества...
Tools•   Инструменты должны уметь измерять выбранные метрики•   Границы метрик должны находиться в диапазоне работы    инс...
Критерии выбора                  инструментов•   Техническое соответствие•   Наличие специалистов владеющих инструментом• ...
Вопросы?•
Контакты для связи•   LinkedIn
Upcoming SlideShare
Loading in …5
×

Организация тестирования производительности по SWEAT

SQA Days 11. День 1. Секция А
Константин Пермяков
Exigen Services
Казань, Россия

  • Login to see the comments

  • Be the first to like this

Организация тестирования производительности по SWEAT

  1. 1. Организация тестированияпроизводительности по SWEAT Константин Пермяков. Exigen Services
  2. 2. Немного о себе
  3. 3. Немного о себе• 4 года связан с тестированием производительности на разных программно – аппаратных платформах: – Web приложения – Desktop приложения – Приложения для мейнфреймов (z/OS, z/VM)
  4. 4. Цели тестирования производительности• Насколько быстро работают основные функции приложения• Насколько устойчиво мое приложение• В каком месте моей системы «бутылочные горлышки»• С какими пиковыми загрузками может справиться моя система• Сколько пользователей может одновременно работать в системе• Насколько выполняется SLA (Соглашение об уровне обслуживания)• Насколько масштабируема моя система
  5. 5. SWEAT подход STEPS WORKLOAD Equipment Performance testing goalsANALYSIS TOOLS
  6. 6. Критерии приемки результатов тестирования• Четко определены и согласованы все метрики тестирования (время отклика, время генерации, % запросов превышающих SLA)• Метрики видимые конечным пользователям• Метрики видимые владельцам системы• Соглашение об уровне обслуживания (SLA) выполнено
  7. 7. Steps• Шаги обеспечивают снятие необходимых метрик• Меняя шаги мы можем влиять на значения измеряемых параметров• Шаги не вызывают ошибок функционала
  8. 8. Workload• Должны быть подготовлены и согласованы наборы тестовых данных• Для каждой из метрик возможны свои тестовые данные• Тестовые данные должны быть максимально приближены к эксплуатационным• Для сравнения двух версий программ тестовые данные должны идентичными
  9. 9. Compare apples with apples•
  10. 10. Пример разных тестовых данных•
  11. 11. Not apples with oranges•
  12. 12. Workload• Для «пикового» тестирования загрузка не должна превышать загрузку в спецификации более чем на 20%-50%• Выбранная модель загрузки при необходимости должна выявлять узкие места в производительности• В случае маркетингового тестирования должна быть выбрана модель загрузки наиболее ярко демонстрирующая преимущества продукта
  13. 13. Equipment• Среда для нагрузочного тестирования максимально приближена к эксплуатационной• Тестовая среда не должна содержать ошибок (отсутствие необходимых компонентов, нехватка дискового пространства, отладочные версии программ или компонентов)
  14. 14. Equipment• В случае использования ORM, Hibernate, персистентных хранилищ данных возможно понадобиться «прогрев» среды• Тестовая среда не должна вносить девиацию в результаты измерений• Тестовая среда должна обеспечивать консистентность тестовых данных (данные в БД, индексы БД, файлы в ФС)
  15. 15. Определение узких местРазличные значения порогового значения взависимости от выбранной модели загрузки иокружения
  16. 16. Analysis• Выбраны и согласованы метрики тестирования• Результаты тестирования не содержат данных от неудавшихся тестов• Сравниваем «яблоки с яблоками»
  17. 17. Нормальное и линейное распределение• Результаты нагрузочного тестирования должны соответствовать нормальному распределению
  18. 18. Что включать в отчет?• Практика разделения отчета для технических специалистов и для менеджеров• Технические метрики – для технических специалистов (утилизация ресурсов, распределение времени отклика)• Бизнес метрики – для менеджеров (надежность, масштабируемость, соблюдение SLA)• Количественно измеримые преимущества продукта для заказчиков и службы маркетинга
  19. 19. Отчет для технических специалистов• Распределение времени отклика
  20. 20. Отчет для менеджеров• Деградация времени отклика и превышение SLA
  21. 21. Отчет о преимуществах системы• Избегайте использования процентов• Сфокусируйтесь на основных преимуществах системы
  22. 22. Tools• Инструменты должны уметь измерять выбранные метрики• Границы метрик должны находиться в диапазоне работы инструментов• Инструменты не должны вносить девиацию в измерения
  23. 23. Критерии выбора инструментов• Техническое соответствие• Наличие специалистов владеющих инструментом• Полная стоимость владения инструментом• Интегрируемость с другими продуктами используемыми в компании
  24. 24. Вопросы?•
  25. 25. Контакты для связи• LinkedIn

×