Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Определение pass/fail критериев при тестировании и анализе производительности

472 views

Published on

Доклад Александра Шинкарева на конференции SQA Days-20. 24-26 ноября 2016. Минск
www.sqadays.com

Published in: Education
  • Be the first to comment

  • Be the first to like this

Определение pass/fail критериев при тестировании и анализе производительности

  1. 1. ОПРЕДЕЛЕНИЕ PASS/FAIL КРИТЕРИЕВ ПРИ ТЕСТИРОВАНИЕ И АНАЛИЗЕ ПРОИЗВОДИТЕЛЬНОСТИ АЛЕКСАНДР ШИНКАРЕВ, PERFORMANCE QA TEAM LEAD
  2. 2. 2 WORLD OF WARSHIPS КТО Я? Skype: alexbljack mail: a_shinkarev@wargaming.net • Уже почти 3 года борюсь за производительность игры «World of Warships» в Wargaming Saint Petersburg • До геймдева занимался тестирование производительности платформ для online-trading’а
  3. 3. 3 WORLD OF WARSHIPS ЗАЧЕМ НУЖНЫ КРИТЕРИИ? OR
  4. 4. 4 ВИДЫ КРИТЕРИЕВ Ограничения платформы или окружения «Использовать не больше 2 ГБ виртуальной памяти на Windows x86» WORLD OF WARSHIPS Требования к производительности «Время обработки запроса не больше 10 мс при расчетной нагрузке» Допустимая потеря производительности «Увеличение времени загрузки приложения не более, чем на 5 секунд»
  5. 5. 5 ПРОБЛЕМЫ НА РАЗЛИЧНЫХ ЭТАПАХ ЖИЗНЕННОГО ЦИКЛА Начало разработки WORLD OF WARSHIPS Активная фаза разработки • Критерии определяются на этапе формирования требований • Продукт разрабатывается, удовлетворяя заданным критериям • В текущем состоянии система может не удовлетворять каким-либо критериям • Оптимизация может затянуться, но интегрировать новое все равно необходимо • Фиксированные значения критериев слабо применимы – always failed
  6. 6. 6 CРАВНИТЕЛЬНЫЙ АНАЛИЗ WORLD OF WARSHIPS • Какую потерю производительности считать «допустимой»? • Сколько производительности мы можем пожертвовать на новую функциональность? Не всегда рост потребления ресурсов ведет к ухудшению пользовательского опыта
  7. 7. «ИНДИКАТОРЫ» ПРОИЗВОДИТЕЛЬНОСТИ
  8. 8. 8 WORLD OF WARSHIPS ЗАЧЕМ? • Критерии PASS / FAIL в основном базировались на опыте инженера по тестированию • Трудно было доказать правильность своего решения команде разработки • Не было понимания, с какими потерями производительности мы готовы мириться • Значений критериев были привязаны к конкретной тестовой конфигурации
  9. 9. 9 ЦЕЛИ WORLD OF WARSHIPS • Система принятия решений при интеграции новой функциональности • «Не делать хуже то, что и так плохо» • Фокус на комфорте пользователя
  10. 10. 10 МЕТРИКИ WORLD OF WARSHIPS •CPU •Память •IO •Сеть •…. Потребление ресурсов •Время отклика •Время загрузки •Стабильность •… Комфорт пользователя
  11. 11. ИНДИКАТОРЫ WORLD OF WARSHIPS • Для всех метрик определяются допустимые диапазоны значений • Весь диапазон значений для метрики делится на фиксированные интервалы • Каждый интервал характеризует то, насколько удовлетворительно состояние метрики • Границы интервалов постоянны и не зависят от конфигурации
  12. 12. 12 ПРИМЕР ИНДИКАТОРА WORLD OF WARSHIPS «ВРЕМЯ ОТКЛИКА ДЛЯ ЭЛЕМЕНТА UI» Very bad Needs attention Acceptable Good Текущее значение
  13. 13. 13 И ЧТО ЭТО ДАЕТ? WORLD OF WARSHIPS
  14. 14. 14 1. ВИЗУАЛИЗАЦИЯ СОСТОЯНИЯ ПРОИЗВОДИТЕЛЬНОСТИ WORLD OF WARSHIPS CPU USAGE MEMORY USAGE IO NETWORK LOGIN TIME UI RESPONSE TIME LOADING TIME STABILITY
  15. 15. 15 2. PASS / FAIL WORLD OF WARSHIPS
  16. 16. НА ПРИМЕРЕ ТЕСТИРОВАНИЯ WOWS
  17. 17. 17 МЕТРИКИ WORLD OF WARSHIPS
  18. 18. 18 ВИЗУАЛИЗАЦИЯ ИНДИКАТОРОВ WORLD OF WARSHIPS
  19. 19. 19 ДЕТАЛИЗАЦИЯ ПО КОНФИГУРАЦИЯМ WORLD OF WARSHIPS
  20. 20. 20 СРАВНЕНИЕ ВЕРСИЙ WORLD OF WARSHIPS
  21. 21. В ИТОГЕ
  22. 22. 22 ЧТО ДАЮТ «ИНДИКАТОРЫ»? WORLD OF WARSHIPS • Наглядная визуализация прироста / потери производительности • Понимание «запаса» по производительности по каждой из метрик • Гибкость при составлении PASS / FAIL критериев • Возможность составить snapshot производительности в любой момент • Быстрота принятия решений при высоком темпе разработки • Отсутствие привязки к тестовой конфигурации
  23. 23. ВОПРОСЫ?
  24. 24. СПАСИБО ЗА ВНИМАНИЕ!

×