SlideShare a Scribd company logo
ОПРЕДЕЛЕНИЕ PASS/FAIL
КРИТЕРИЕВ ПРИ
ТЕСТИРОВАНИЕ И АНАЛИЗЕ
ПРОИЗВОДИТЕЛЬНОСТИ
АЛЕКСАНДР ШИНКАРЕВ,
PERFORMANCE QA TEAM LEAD
2
WORLD OF WARSHIPS
КТО Я?
Skype: alexbljack
mail: a_shinkarev@wargaming.net
• Уже почти 3 года борюсь за производительность игры «World of Warships» в
Wargaming Saint Petersburg
• До геймдева занимался тестирование производительности платформ для
online-trading’а
3
WORLD OF WARSHIPS
ЗАЧЕМ НУЖНЫ КРИТЕРИИ?
OR
4
ВИДЫ КРИТЕРИЕВ
Ограничения платформы или окружения
«Использовать не больше 2 ГБ виртуальной памяти на Windows x86»
WORLD OF WARSHIPS
Требования к производительности
«Время обработки запроса не больше 10 мс при расчетной нагрузке»
Допустимая потеря производительности
«Увеличение времени загрузки приложения не более, чем на 5 секунд»
5
ПРОБЛЕМЫ НА РАЗЛИЧНЫХ ЭТАПАХ ЖИЗНЕННОГО ЦИКЛА
Начало разработки
WORLD OF WARSHIPS
Активная фаза разработки
• Критерии определяются на этапе формирования требований
• Продукт разрабатывается, удовлетворяя заданным критериям
• В текущем состоянии система может не удовлетворять каким-либо критериям
• Оптимизация может затянуться, но интегрировать новое все равно необходимо
• Фиксированные значения критериев слабо применимы – always failed
6
CРАВНИТЕЛЬНЫЙ АНАЛИЗ
WORLD OF WARSHIPS
• Какую потерю производительности считать «допустимой»?
• Сколько производительности мы можем пожертвовать на новую
функциональность?
Не всегда рост потребления ресурсов ведет
к ухудшению пользовательского опыта
«ИНДИКАТОРЫ» ПРОИЗВОДИТЕЛЬНОСТИ
8
WORLD OF WARSHIPS
ЗАЧЕМ?
• Критерии PASS / FAIL в основном базировались на опыте инженера по
тестированию
• Трудно было доказать правильность своего решения команде разработки
• Не было понимания, с какими потерями производительности мы готовы
мириться
• Значений критериев были привязаны к конкретной тестовой конфигурации
9
ЦЕЛИ
WORLD OF WARSHIPS
• Система принятия решений при интеграции новой функциональности
• «Не делать хуже то, что и так плохо»
• Фокус на комфорте пользователя
10
МЕТРИКИ
WORLD OF WARSHIPS
•CPU
•Память
•IO
•Сеть
•….
Потребление ресурсов
•Время отклика
•Время загрузки
•Стабильность
•…
Комфорт пользователя
ИНДИКАТОРЫ
WORLD OF WARSHIPS
• Для всех метрик определяются допустимые диапазоны значений
• Весь диапазон значений для метрики делится на фиксированные интервалы
• Каждый интервал характеризует то, насколько удовлетворительно
состояние метрики
• Границы интервалов постоянны и не зависят от конфигурации
12
ПРИМЕР ИНДИКАТОРА
WORLD OF WARSHIPS
«ВРЕМЯ ОТКЛИКА ДЛЯ ЭЛЕМЕНТА UI»
Very bad Needs attention Acceptable Good
Текущее значение
13
И ЧТО ЭТО ДАЕТ?
WORLD OF WARSHIPS
14
1. ВИЗУАЛИЗАЦИЯ СОСТОЯНИЯ ПРОИЗВОДИТЕЛЬНОСТИ
WORLD OF WARSHIPS
CPU USAGE
MEMORY USAGE
IO
NETWORK
LOGIN TIME
UI RESPONSE TIME
LOADING TIME
STABILITY
15
2. PASS / FAIL
WORLD OF WARSHIPS
НА ПРИМЕРЕ ТЕСТИРОВАНИЯ WOWS
17
МЕТРИКИ
WORLD OF WARSHIPS
18
ВИЗУАЛИЗАЦИЯ ИНДИКАТОРОВ
WORLD OF WARSHIPS
19
ДЕТАЛИЗАЦИЯ ПО КОНФИГУРАЦИЯМ
WORLD OF WARSHIPS
20
СРАВНЕНИЕ ВЕРСИЙ
WORLD OF WARSHIPS
В ИТОГЕ
22
ЧТО ДАЮТ «ИНДИКАТОРЫ»?
WORLD OF WARSHIPS
• Наглядная визуализация прироста / потери производительности
• Понимание «запаса» по производительности по каждой из метрик
• Гибкость при составлении PASS / FAIL критериев
• Возможность составить snapshot производительности в любой момент
• Быстрота принятия решений при высоком темпе разработки
• Отсутствие привязки к тестовой конфигурации
ВОПРОСЫ?
СПАСИБО ЗА
ВНИМАНИЕ!

More Related Content

What's hot

СКБ-Банк. Игорь Клопотов. "Apache ServiceMix: опыт внедрения и эксплуатации"
СКБ-Банк. Игорь Клопотов. "Apache ServiceMix: опыт внедрения и эксплуатации"СКБ-Банк. Игорь Клопотов. "Apache ServiceMix: опыт внедрения и эксплуатации"
СКБ-Банк. Игорь Клопотов. "Apache ServiceMix: опыт внедрения и эксплуатации"
Expolink
 
Алексей Алексеев ”Blitz-доклад”/ Wargaming
Алексей Алексеев ”Blitz-доклад”/ WargamingАлексей Алексеев ”Blitz-доклад”/ Wargaming
Алексей Алексеев ”Blitz-доклад”/ Wargaming
WG_ Events
 
КГТУ Лекция 7: Обеспечение Качества Программного Обеспечения
КГТУ Лекция 7: Обеспечение Качества Программного Обеспечения КГТУ Лекция 7: Обеспечение Качества Программного Обеспечения
КГТУ Лекция 7: Обеспечение Качества Программного Обеспечения
Iosif Itkin
 
Veeam современная защита данных на предприятии
Veeam современная защита данных на предприятииVeeam современная защита данных на предприятии
Veeam современная защита данных на предприятии
SletSysadminov
 
Veeam Software. Облачная инфраструктуру. Контроль ее работы и сохранности данных
Veeam Software. Облачная инфраструктуру. Контроль ее работы и сохранности данныхVeeam Software. Облачная инфраструктуру. Контроль ее работы и сохранности данных
Veeam Software. Облачная инфраструктуру. Контроль ее работы и сохранности данных
MUK
 
Облако с доставкой VCE Vblock
Облако с доставкой VCE VblockОблако с доставкой VCE Vblock
Облако с доставкой VCE Vblock
КРОК
 
Непрерывность работы критичных сервисов
Непрерывность работы критичных сервисовНепрерывность работы критичных сервисов
Непрерывность работы критичных сервисов
КРОК
 
Выбор оптимального отказоустойчивого решения
Выбор оптимального отказоустойчивого решенияВыбор оптимального отказоустойчивого решения
Выбор оптимального отказоустойчивого решения
КРОК
 
Облачные технологии, которые упрощают жизнь разработчикам - Игорь Лукянов
Облачные технологии, которые упрощают жизнь разработчикам - Игорь ЛукяновОблачные технологии, которые упрощают жизнь разработчикам - Игорь Лукянов
Облачные технологии, которые упрощают жизнь разработчикам - Игорь Лукянов
DrupalCamp MSK
 
Гиперконвергентные решения SimpliVity
Гиперконвергентные решения SimpliVityГиперконвергентные решения SimpliVity
Гиперконвергентные решения SimpliVity
КРОК
 
Cравнение изданий и лицензирование VMware vSphere 5
Cравнение изданий и лицензирование VMware vSphere 5Cравнение изданий и лицензирование VMware vSphere 5
Cравнение изданий и лицензирование VMware vSphere 5
areconster
 

What's hot (11)

СКБ-Банк. Игорь Клопотов. "Apache ServiceMix: опыт внедрения и эксплуатации"
СКБ-Банк. Игорь Клопотов. "Apache ServiceMix: опыт внедрения и эксплуатации"СКБ-Банк. Игорь Клопотов. "Apache ServiceMix: опыт внедрения и эксплуатации"
СКБ-Банк. Игорь Клопотов. "Apache ServiceMix: опыт внедрения и эксплуатации"
 
Алексей Алексеев ”Blitz-доклад”/ Wargaming
Алексей Алексеев ”Blitz-доклад”/ WargamingАлексей Алексеев ”Blitz-доклад”/ Wargaming
Алексей Алексеев ”Blitz-доклад”/ Wargaming
 
КГТУ Лекция 7: Обеспечение Качества Программного Обеспечения
КГТУ Лекция 7: Обеспечение Качества Программного Обеспечения КГТУ Лекция 7: Обеспечение Качества Программного Обеспечения
КГТУ Лекция 7: Обеспечение Качества Программного Обеспечения
 
Veeam современная защита данных на предприятии
Veeam современная защита данных на предприятииVeeam современная защита данных на предприятии
Veeam современная защита данных на предприятии
 
Veeam Software. Облачная инфраструктуру. Контроль ее работы и сохранности данных
Veeam Software. Облачная инфраструктуру. Контроль ее работы и сохранности данныхVeeam Software. Облачная инфраструктуру. Контроль ее работы и сохранности данных
Veeam Software. Облачная инфраструктуру. Контроль ее работы и сохранности данных
 
Облако с доставкой VCE Vblock
Облако с доставкой VCE VblockОблако с доставкой VCE Vblock
Облако с доставкой VCE Vblock
 
Непрерывность работы критичных сервисов
Непрерывность работы критичных сервисовНепрерывность работы критичных сервисов
Непрерывность работы критичных сервисов
 
Выбор оптимального отказоустойчивого решения
Выбор оптимального отказоустойчивого решенияВыбор оптимального отказоустойчивого решения
Выбор оптимального отказоустойчивого решения
 
Облачные технологии, которые упрощают жизнь разработчикам - Игорь Лукянов
Облачные технологии, которые упрощают жизнь разработчикам - Игорь ЛукяновОблачные технологии, которые упрощают жизнь разработчикам - Игорь Лукянов
Облачные технологии, которые упрощают жизнь разработчикам - Игорь Лукянов
 
Гиперконвергентные решения SimpliVity
Гиперконвергентные решения SimpliVityГиперконвергентные решения SimpliVity
Гиперконвергентные решения SimpliVity
 
Cравнение изданий и лицензирование VMware vSphere 5
Cравнение изданий и лицензирование VMware vSphere 5Cравнение изданий и лицензирование VMware vSphere 5
Cравнение изданий и лицензирование VMware vSphere 5
 

Viewers also liked

Отряд тест-аналитиков
Отряд тест-аналитиковОтряд тест-аналитиков
Отряд тест-аналитиков
SQALab
 
Что было, что есть, что будет: Current State vs. Common Sense
Что было, что есть, что будет: Current State vs. Common SenseЧто было, что есть, что будет: Current State vs. Common Sense
Что было, что есть, что будет: Current State vs. Common Sense
SQALab
 
Обратная связь и целеполагание, как маяки надежды тестировщика
Обратная связь и целеполагание, как маяки надежды тестировщикаОбратная связь и целеполагание, как маяки надежды тестировщика
Обратная связь и целеполагание, как маяки надежды тестировщика
SQALab
 
Ответственность за качество в разных ИТ-проектах
Ответственность за качество в разных ИТ-проектахОтветственность за качество в разных ИТ-проектах
Ответственность за качество в разных ИТ-проектах
SQALab
 
Управление хаосом, или как жить когда число тестов перевалило за десятки тысяч
Управление хаосом, или как жить когда число тестов перевалило за десятки тысячУправление хаосом, или как жить когда число тестов перевалило за десятки тысяч
Управление хаосом, или как жить когда число тестов перевалило за десятки тысяч
SQALab
 
Пользовательские требования в жизни тестировщика
Пользовательские требования в жизни тестировщикаПользовательские требования в жизни тестировщика
Пользовательские требования в жизни тестировщика
SQALab
 
Процесс тестирования в условиях неявных требований
Процесс тестирования в условиях неявных требованийПроцесс тестирования в условиях неявных требований
Процесс тестирования в условиях неявных требований
SQALab
 
Пирамида Тестирования через призму ROI калькулятора и прочая геометрия
Пирамида Тестирования через призму ROI калькулятора и прочая геометрияПирамида Тестирования через призму ROI калькулятора и прочая геометрия
Пирамида Тестирования через призму ROI калькулятора и прочая геометрия
SQALab
 
Работа с бизнес-требованиями на стадии выхода продукта
Работа с бизнес-требованиями на стадии выхода продуктаРабота с бизнес-требованиями на стадии выхода продукта
Работа с бизнес-требованиями на стадии выхода продукта
SQALab
 
Psychology and testing
Psychology and testingPsychology and testing
Psychology and testing
SQALab
 
How to reduce your test cases... magically!
How to reduce your test cases... magically!How to reduce your test cases... magically!
How to reduce your test cases... magically!
SQALab
 
Advancing Testing Using Axioms
Advancing Testing Using AxiomsAdvancing Testing Using Axioms
Advancing Testing Using Axioms
SQALab
 
Тестирование отклика Web-интерфейса с JMeter и Selenium
Тестирование отклика Web-интерфейса с JMeter и SeleniumТестирование отклика Web-интерфейса с JMeter и Selenium
Тестирование отклика Web-интерфейса с JMeter и Selenium
SQALab
 
Examples how to move towards Zero Defects
Examples how to move towards Zero DefectsExamples how to move towards Zero Defects
Examples how to move towards Zero Defects
SQALab
 
Провокации автоматического тестирования
Провокации автоматического тестированияПровокации автоматического тестирования
Провокации автоматического тестирования
SQALab
 
Test Cases are dead, long live Checklists!
Test Cases are dead, long live Checklists!Test Cases are dead, long live Checklists!
Test Cases are dead, long live Checklists!
SQALab
 
Тестирование слоёного пирога
Тестирование слоёного пирогаТестирование слоёного пирога
Тестирование слоёного пирога
SQALab
 
I got 99 problems, but ReST ain't one
I got 99 problems, but ReST ain't oneI got 99 problems, but ReST ain't one
I got 99 problems, but ReST ain't one
Adrian Cole
 
Промышленные подходы к организации нагрузочного тестирования
Промышленные подходы к организации нагрузочного тестированияПромышленные подходы к организации нагрузочного тестирования
Промышленные подходы к организации нагрузочного тестирования
SQALab
 
Между молотом и наковальней. Production Quality
Между молотом и наковальней. Production QualityМежду молотом и наковальней. Production Quality
Между молотом и наковальней. Production Quality
SQALab
 

Viewers also liked (20)

Отряд тест-аналитиков
Отряд тест-аналитиковОтряд тест-аналитиков
Отряд тест-аналитиков
 
Что было, что есть, что будет: Current State vs. Common Sense
Что было, что есть, что будет: Current State vs. Common SenseЧто было, что есть, что будет: Current State vs. Common Sense
Что было, что есть, что будет: Current State vs. Common Sense
 
Обратная связь и целеполагание, как маяки надежды тестировщика
Обратная связь и целеполагание, как маяки надежды тестировщикаОбратная связь и целеполагание, как маяки надежды тестировщика
Обратная связь и целеполагание, как маяки надежды тестировщика
 
Ответственность за качество в разных ИТ-проектах
Ответственность за качество в разных ИТ-проектахОтветственность за качество в разных ИТ-проектах
Ответственность за качество в разных ИТ-проектах
 
Управление хаосом, или как жить когда число тестов перевалило за десятки тысяч
Управление хаосом, или как жить когда число тестов перевалило за десятки тысячУправление хаосом, или как жить когда число тестов перевалило за десятки тысяч
Управление хаосом, или как жить когда число тестов перевалило за десятки тысяч
 
Пользовательские требования в жизни тестировщика
Пользовательские требования в жизни тестировщикаПользовательские требования в жизни тестировщика
Пользовательские требования в жизни тестировщика
 
Процесс тестирования в условиях неявных требований
Процесс тестирования в условиях неявных требованийПроцесс тестирования в условиях неявных требований
Процесс тестирования в условиях неявных требований
 
Пирамида Тестирования через призму ROI калькулятора и прочая геометрия
Пирамида Тестирования через призму ROI калькулятора и прочая геометрияПирамида Тестирования через призму ROI калькулятора и прочая геометрия
Пирамида Тестирования через призму ROI калькулятора и прочая геометрия
 
Работа с бизнес-требованиями на стадии выхода продукта
Работа с бизнес-требованиями на стадии выхода продуктаРабота с бизнес-требованиями на стадии выхода продукта
Работа с бизнес-требованиями на стадии выхода продукта
 
Psychology and testing
Psychology and testingPsychology and testing
Psychology and testing
 
How to reduce your test cases... magically!
How to reduce your test cases... magically!How to reduce your test cases... magically!
How to reduce your test cases... magically!
 
Advancing Testing Using Axioms
Advancing Testing Using AxiomsAdvancing Testing Using Axioms
Advancing Testing Using Axioms
 
Тестирование отклика Web-интерфейса с JMeter и Selenium
Тестирование отклика Web-интерфейса с JMeter и SeleniumТестирование отклика Web-интерфейса с JMeter и Selenium
Тестирование отклика Web-интерфейса с JMeter и Selenium
 
Examples how to move towards Zero Defects
Examples how to move towards Zero DefectsExamples how to move towards Zero Defects
Examples how to move towards Zero Defects
 
Провокации автоматического тестирования
Провокации автоматического тестированияПровокации автоматического тестирования
Провокации автоматического тестирования
 
Test Cases are dead, long live Checklists!
Test Cases are dead, long live Checklists!Test Cases are dead, long live Checklists!
Test Cases are dead, long live Checklists!
 
Тестирование слоёного пирога
Тестирование слоёного пирогаТестирование слоёного пирога
Тестирование слоёного пирога
 
I got 99 problems, but ReST ain't one
I got 99 problems, but ReST ain't oneI got 99 problems, but ReST ain't one
I got 99 problems, but ReST ain't one
 
Промышленные подходы к организации нагрузочного тестирования
Промышленные подходы к организации нагрузочного тестированияПромышленные подходы к организации нагрузочного тестирования
Промышленные подходы к организации нагрузочного тестирования
 
Между молотом и наковальней. Production Quality
Между молотом и наковальней. Production QualityМежду молотом и наковальней. Production Quality
Между молотом и наковальней. Production Quality
 

Similar to Определение pass/fail критериев при тестировании и анализе производительности

Дизайн небольшого ЦОД часть 2
Дизайн небольшого ЦОД часть 2Дизайн небольшого ЦОД часть 2
Дизайн небольшого ЦОД часть 2
Cisco Russia
 
Безопасность ЦОД-часть 1
Безопасность ЦОД-часть 1Безопасность ЦОД-часть 1
Безопасность ЦОД-часть 1
Cisco Russia
 
VMware on IBM Cloud - Webinar (russian)
VMware on IBM Cloud - Webinar (russian)VMware on IBM Cloud - Webinar (russian)
VMware on IBM Cloud - Webinar (russian)
Artem Medvedev
 
Построение процесса тестирования производительности игрового клиента
Построение процесса тестирования производительности игрового клиентаПостроение процесса тестирования производительности игрового клиента
Построение процесса тестирования производительности игрового клиента
SQALab
 
КРИ-2013. "Нагрузочное тестирование или Боты - санитары сервера"
КРИ-2013. "Нагрузочное тестирование или Боты - санитары сервера"КРИ-2013. "Нагрузочное тестирование или Боты - санитары сервера"
КРИ-2013. "Нагрузочное тестирование или Боты - санитары сервера"
Alexander Akbashev
 
Windows Azure Internals
Windows Azure InternalsWindows Azure Internals
Windows Azure Internals
Alexander Feschenko
 
владивосток форум производительность_ha
владивосток форум производительность_haвладивосток форум производительность_ha
владивосток форум производительность_ha
Elena Ometova
 
Максим Щепелин - Доставляя веб-контент в игру
Максим Щепелин - Доставляя веб-контент в игруМаксим Щепелин - Доставляя веб-контент в игру
Максим Щепелин - Доставляя веб-контент в игру
FDConf
 
SuperNovo: примеры размещения 1С
SuperNovo: примеры размещения 1СSuperNovo: примеры размещения 1С
SuperNovo: примеры размещения 1С
SuperNovo
 
Борис Павлович - Производительность и масштабируемость OpenStack
Борис Павлович - Производительность и масштабируемость OpenStack Борис Павлович - Производительность и масштабируемость OpenStack
Борис Павлович - Производительность и масштабируемость OpenStack
Yandex
 
Надежность World of Tanks Server
Надежность World of Tanks ServerНадежность World of Tanks Server
Надежность World of Tanks Server
Levon Avakyan
 
С. Перроте (Q Logic) Ускорение работы приложений
С. Перроте (Q Logic) Ускорение работы приложенийС. Перроте (Q Logic) Ускорение работы приложений
С. Перроте (Q Logic) Ускорение работы приложений
Expolink
 
Процессоры Intel® Xeon® E5-2600 v3
Процессоры Intel® Xeon® E5-2600 v3Процессоры Intel® Xeon® E5-2600 v3
Процессоры Intel® Xeon® E5-2600 v3
Cisco Russia
 
Практический опыт использования некоторых современных решений репликации MySQL
Практический опыт использования некоторых современных решений репликации MySQLПрактический опыт использования некоторых современных решений репликации MySQL
Практический опыт использования некоторых современных решений репликации MySQL
Alex Chistyakov
 
Узкие места производительности веб-приложений, или куда смотреть, чтобы ничег...
Узкие места производительности веб-приложений, или куда смотреть, чтобы ничег...Узкие места производительности веб-приложений, или куда смотреть, чтобы ничег...
Узкие места производительности веб-приложений, или куда смотреть, чтобы ничег...
SQALab
 
Вычислительная система Cisco UCS. Архитектура и преимущества
Вычислительная система Cisco UCS. Архитектура и преимущества Вычислительная система Cisco UCS. Архитектура и преимущества
Вычислительная система Cisco UCS. Архитектура и преимущества
Cisco Russia
 
Как запустить виртуализированный ЦОД за час?
Как запустить виртуализированный ЦОД за час?Как запустить виртуализированный ЦОД за час?
Как запустить виртуализированный ЦОД за час?
Cisco Russia
 
Флеш в серверах: работа со скоростью вспышки
Флеш в серверах: работа со скоростью вспышкиФлеш в серверах: работа со скоростью вспышки
Флеш в серверах: работа со скоростью вспышки
КРОК
 
Mysql replication DevConf 2012
Mysql replication DevConf 2012Mysql replication DevConf 2012
Mysql replication DevConf 2012
Alex Chistyakov
 
Сервисные контейнеры для OC IOS XE
Сервисные контейнеры для OC IOS XEСервисные контейнеры для OC IOS XE
Сервисные контейнеры для OC IOS XE
Cisco Russia
 

Similar to Определение pass/fail критериев при тестировании и анализе производительности (20)

Дизайн небольшого ЦОД часть 2
Дизайн небольшого ЦОД часть 2Дизайн небольшого ЦОД часть 2
Дизайн небольшого ЦОД часть 2
 
Безопасность ЦОД-часть 1
Безопасность ЦОД-часть 1Безопасность ЦОД-часть 1
Безопасность ЦОД-часть 1
 
VMware on IBM Cloud - Webinar (russian)
VMware on IBM Cloud - Webinar (russian)VMware on IBM Cloud - Webinar (russian)
VMware on IBM Cloud - Webinar (russian)
 
Построение процесса тестирования производительности игрового клиента
Построение процесса тестирования производительности игрового клиентаПостроение процесса тестирования производительности игрового клиента
Построение процесса тестирования производительности игрового клиента
 
КРИ-2013. "Нагрузочное тестирование или Боты - санитары сервера"
КРИ-2013. "Нагрузочное тестирование или Боты - санитары сервера"КРИ-2013. "Нагрузочное тестирование или Боты - санитары сервера"
КРИ-2013. "Нагрузочное тестирование или Боты - санитары сервера"
 
Windows Azure Internals
Windows Azure InternalsWindows Azure Internals
Windows Azure Internals
 
владивосток форум производительность_ha
владивосток форум производительность_haвладивосток форум производительность_ha
владивосток форум производительность_ha
 
Максим Щепелин - Доставляя веб-контент в игру
Максим Щепелин - Доставляя веб-контент в игруМаксим Щепелин - Доставляя веб-контент в игру
Максим Щепелин - Доставляя веб-контент в игру
 
SuperNovo: примеры размещения 1С
SuperNovo: примеры размещения 1СSuperNovo: примеры размещения 1С
SuperNovo: примеры размещения 1С
 
Борис Павлович - Производительность и масштабируемость OpenStack
Борис Павлович - Производительность и масштабируемость OpenStack Борис Павлович - Производительность и масштабируемость OpenStack
Борис Павлович - Производительность и масштабируемость OpenStack
 
Надежность World of Tanks Server
Надежность World of Tanks ServerНадежность World of Tanks Server
Надежность World of Tanks Server
 
С. Перроте (Q Logic) Ускорение работы приложений
С. Перроте (Q Logic) Ускорение работы приложенийС. Перроте (Q Logic) Ускорение работы приложений
С. Перроте (Q Logic) Ускорение работы приложений
 
Процессоры Intel® Xeon® E5-2600 v3
Процессоры Intel® Xeon® E5-2600 v3Процессоры Intel® Xeon® E5-2600 v3
Процессоры Intel® Xeon® E5-2600 v3
 
Практический опыт использования некоторых современных решений репликации MySQL
Практический опыт использования некоторых современных решений репликации MySQLПрактический опыт использования некоторых современных решений репликации MySQL
Практический опыт использования некоторых современных решений репликации MySQL
 
Узкие места производительности веб-приложений, или куда смотреть, чтобы ничег...
Узкие места производительности веб-приложений, или куда смотреть, чтобы ничег...Узкие места производительности веб-приложений, или куда смотреть, чтобы ничег...
Узкие места производительности веб-приложений, или куда смотреть, чтобы ничег...
 
Вычислительная система Cisco UCS. Архитектура и преимущества
Вычислительная система Cisco UCS. Архитектура и преимущества Вычислительная система Cisco UCS. Архитектура и преимущества
Вычислительная система Cisco UCS. Архитектура и преимущества
 
Как запустить виртуализированный ЦОД за час?
Как запустить виртуализированный ЦОД за час?Как запустить виртуализированный ЦОД за час?
Как запустить виртуализированный ЦОД за час?
 
Флеш в серверах: работа со скоростью вспышки
Флеш в серверах: работа со скоростью вспышкиФлеш в серверах: работа со скоростью вспышки
Флеш в серверах: работа со скоростью вспышки
 
Mysql replication DevConf 2012
Mysql replication DevConf 2012Mysql replication DevConf 2012
Mysql replication DevConf 2012
 
Сервисные контейнеры для OC IOS XE
Сервисные контейнеры для OC IOS XEСервисные контейнеры для OC IOS XE
Сервисные контейнеры для OC IOS XE
 

More from SQALab

Готовим стажировку
Готовим стажировкуГотовим стажировку
Готовим стажировку
SQALab
 
Куда приводят мечты? или Искусство развития тестировщика
Куда приводят мечты? или Искусство развития тестировщикаКуда приводят мечты? или Искусство развития тестировщика
Куда приводят мечты? или Искусство развития тестировщика
SQALab
 
Оптимизация Selenium тестов и ускорение их поддержки
Оптимизация Selenium тестов и ускорение их поддержкиОптимизация Selenium тестов и ускорение их поддержки
Оптимизация Selenium тестов и ускорение их поддержки
SQALab
 
Автоматизация 0.0: 0 - бюджет, 0 - опыт программирования
Автоматизация 0.0: 0 - бюджет, 0 - опыт программированияАвтоматизация 0.0: 0 - бюджет, 0 - опыт программирования
Автоматизация 0.0: 0 - бюджет, 0 - опыт программирования
SQALab
 
Нагрузочное тестирование нестандартных протоколов с использованием Citrix и J...
Нагрузочное тестирование нестандартных протоколов с использованием Citrix и J...Нагрузочное тестирование нестандартных протоколов с использованием Citrix и J...
Нагрузочное тестирование нестандартных протоколов с использованием Citrix и J...
SQALab
 
Continuous performance testing
Continuous performance testingContinuous performance testing
Continuous performance testing
SQALab
 
Конфиги вместо костылей. Pytestconfig и зачем он нужен
Конфиги вместо костылей. Pytestconfig и зачем он нуженКонфиги вместо костылей. Pytestconfig и зачем он нужен
Конфиги вместо костылей. Pytestconfig и зачем он нужен
SQALab
 
Команда чемпионов в ИТ стихии
Команда чемпионов в ИТ стихииКоманда чемпионов в ИТ стихии
Команда чемпионов в ИТ стихии
SQALab
 
API. Серебряная пуля в магазине советов
API. Серебряная пуля в магазине советовAPI. Серебряная пуля в магазине советов
API. Серебряная пуля в магазине советов
SQALab
 
Добиваемся эффективности каждого из 9000+ UI-тестов
Добиваемся эффективности каждого из 9000+ UI-тестовДобиваемся эффективности каждого из 9000+ UI-тестов
Добиваемся эффективности каждого из 9000+ UI-тестов
SQALab
 
Делаем автоматизацию проектных KPIs
Делаем автоматизацию проектных KPIsДелаем автоматизацию проектных KPIs
Делаем автоматизацию проектных KPIs
SQALab
 
Вредные привычки в тест-менеджменте
Вредные привычки в тест-менеджментеВредные привычки в тест-менеджменте
Вредные привычки в тест-менеджменте
SQALab
 
Мощь переполняет с JDI 2.0 - новая эра UI автоматизации
Мощь переполняет с JDI 2.0 - новая эра UI автоматизацииМощь переполняет с JDI 2.0 - новая эра UI автоматизации
Мощь переполняет с JDI 2.0 - новая эра UI автоматизации
SQALab
 
Как hh.ru дошли до 500 релизов в квартал без потери в качестве
Как hh.ru дошли до 500 релизов в квартал без потери в качествеКак hh.ru дошли до 500 релизов в квартал без потери в качестве
Как hh.ru дошли до 500 релизов в квартал без потери в качестве
SQALab
 
Стили лидерства и тестирование
Стили лидерства и тестированиеСтили лидерства и тестирование
Стили лидерства и тестирование
SQALab
 
"Давайте не будем про качество"
"Давайте не будем про качество""Давайте не будем про качество"
"Давайте не будем про качество"
SQALab
 
Apache.JMeter для .NET-проектов
Apache.JMeter для .NET-проектовApache.JMeter для .NET-проектов
Apache.JMeter для .NET-проектов
SQALab
 
Тестирование геолокационных систем
Тестирование геолокационных системТестирование геолокационных систем
Тестирование геолокационных систем
SQALab
 
Лидер или босс? Вот в чем вопрос
Лидер или босс? Вот в чем вопросЛидер или босс? Вот в чем вопрос
Лидер или босс? Вот в чем вопрос
SQALab
 
От Зефира в коробке к Structure Zephyr или как тест-менеджеру перекроить внут...
От Зефира в коробке к Structure Zephyr или как тест-менеджеру перекроить внут...От Зефира в коробке к Structure Zephyr или как тест-менеджеру перекроить внут...
От Зефира в коробке к Structure Zephyr или как тест-менеджеру перекроить внут...
SQALab
 

More from SQALab (20)

Готовим стажировку
Готовим стажировкуГотовим стажировку
Готовим стажировку
 
Куда приводят мечты? или Искусство развития тестировщика
Куда приводят мечты? или Искусство развития тестировщикаКуда приводят мечты? или Искусство развития тестировщика
Куда приводят мечты? или Искусство развития тестировщика
 
Оптимизация Selenium тестов и ускорение их поддержки
Оптимизация Selenium тестов и ускорение их поддержкиОптимизация Selenium тестов и ускорение их поддержки
Оптимизация Selenium тестов и ускорение их поддержки
 
Автоматизация 0.0: 0 - бюджет, 0 - опыт программирования
Автоматизация 0.0: 0 - бюджет, 0 - опыт программированияАвтоматизация 0.0: 0 - бюджет, 0 - опыт программирования
Автоматизация 0.0: 0 - бюджет, 0 - опыт программирования
 
Нагрузочное тестирование нестандартных протоколов с использованием Citrix и J...
Нагрузочное тестирование нестандартных протоколов с использованием Citrix и J...Нагрузочное тестирование нестандартных протоколов с использованием Citrix и J...
Нагрузочное тестирование нестандартных протоколов с использованием Citrix и J...
 
Continuous performance testing
Continuous performance testingContinuous performance testing
Continuous performance testing
 
Конфиги вместо костылей. Pytestconfig и зачем он нужен
Конфиги вместо костылей. Pytestconfig и зачем он нуженКонфиги вместо костылей. Pytestconfig и зачем он нужен
Конфиги вместо костылей. Pytestconfig и зачем он нужен
 
Команда чемпионов в ИТ стихии
Команда чемпионов в ИТ стихииКоманда чемпионов в ИТ стихии
Команда чемпионов в ИТ стихии
 
API. Серебряная пуля в магазине советов
API. Серебряная пуля в магазине советовAPI. Серебряная пуля в магазине советов
API. Серебряная пуля в магазине советов
 
Добиваемся эффективности каждого из 9000+ UI-тестов
Добиваемся эффективности каждого из 9000+ UI-тестовДобиваемся эффективности каждого из 9000+ UI-тестов
Добиваемся эффективности каждого из 9000+ UI-тестов
 
Делаем автоматизацию проектных KPIs
Делаем автоматизацию проектных KPIsДелаем автоматизацию проектных KPIs
Делаем автоматизацию проектных KPIs
 
Вредные привычки в тест-менеджменте
Вредные привычки в тест-менеджментеВредные привычки в тест-менеджменте
Вредные привычки в тест-менеджменте
 
Мощь переполняет с JDI 2.0 - новая эра UI автоматизации
Мощь переполняет с JDI 2.0 - новая эра UI автоматизацииМощь переполняет с JDI 2.0 - новая эра UI автоматизации
Мощь переполняет с JDI 2.0 - новая эра UI автоматизации
 
Как hh.ru дошли до 500 релизов в квартал без потери в качестве
Как hh.ru дошли до 500 релизов в квартал без потери в качествеКак hh.ru дошли до 500 релизов в квартал без потери в качестве
Как hh.ru дошли до 500 релизов в квартал без потери в качестве
 
Стили лидерства и тестирование
Стили лидерства и тестированиеСтили лидерства и тестирование
Стили лидерства и тестирование
 
"Давайте не будем про качество"
"Давайте не будем про качество""Давайте не будем про качество"
"Давайте не будем про качество"
 
Apache.JMeter для .NET-проектов
Apache.JMeter для .NET-проектовApache.JMeter для .NET-проектов
Apache.JMeter для .NET-проектов
 
Тестирование геолокационных систем
Тестирование геолокационных системТестирование геолокационных систем
Тестирование геолокационных систем
 
Лидер или босс? Вот в чем вопрос
Лидер или босс? Вот в чем вопросЛидер или босс? Вот в чем вопрос
Лидер или босс? Вот в чем вопрос
 
От Зефира в коробке к Structure Zephyr или как тест-менеджеру перекроить внут...
От Зефира в коробке к Structure Zephyr или как тест-менеджеру перекроить внут...От Зефира в коробке к Structure Zephyr или как тест-менеджеру перекроить внут...
От Зефира в коробке к Structure Zephyr или как тест-менеджеру перекроить внут...
 

Определение pass/fail критериев при тестировании и анализе производительности

  • 1. ОПРЕДЕЛЕНИЕ PASS/FAIL КРИТЕРИЕВ ПРИ ТЕСТИРОВАНИЕ И АНАЛИЗЕ ПРОИЗВОДИТЕЛЬНОСТИ АЛЕКСАНДР ШИНКАРЕВ, PERFORMANCE QA TEAM LEAD
  • 2. 2 WORLD OF WARSHIPS КТО Я? Skype: alexbljack mail: a_shinkarev@wargaming.net • Уже почти 3 года борюсь за производительность игры «World of Warships» в Wargaming Saint Petersburg • До геймдева занимался тестирование производительности платформ для online-trading’а
  • 3. 3 WORLD OF WARSHIPS ЗАЧЕМ НУЖНЫ КРИТЕРИИ? OR
  • 4. 4 ВИДЫ КРИТЕРИЕВ Ограничения платформы или окружения «Использовать не больше 2 ГБ виртуальной памяти на Windows x86» WORLD OF WARSHIPS Требования к производительности «Время обработки запроса не больше 10 мс при расчетной нагрузке» Допустимая потеря производительности «Увеличение времени загрузки приложения не более, чем на 5 секунд»
  • 5. 5 ПРОБЛЕМЫ НА РАЗЛИЧНЫХ ЭТАПАХ ЖИЗНЕННОГО ЦИКЛА Начало разработки WORLD OF WARSHIPS Активная фаза разработки • Критерии определяются на этапе формирования требований • Продукт разрабатывается, удовлетворяя заданным критериям • В текущем состоянии система может не удовлетворять каким-либо критериям • Оптимизация может затянуться, но интегрировать новое все равно необходимо • Фиксированные значения критериев слабо применимы – always failed
  • 6. 6 CРАВНИТЕЛЬНЫЙ АНАЛИЗ WORLD OF WARSHIPS • Какую потерю производительности считать «допустимой»? • Сколько производительности мы можем пожертвовать на новую функциональность? Не всегда рост потребления ресурсов ведет к ухудшению пользовательского опыта
  • 8. 8 WORLD OF WARSHIPS ЗАЧЕМ? • Критерии PASS / FAIL в основном базировались на опыте инженера по тестированию • Трудно было доказать правильность своего решения команде разработки • Не было понимания, с какими потерями производительности мы готовы мириться • Значений критериев были привязаны к конкретной тестовой конфигурации
  • 9. 9 ЦЕЛИ WORLD OF WARSHIPS • Система принятия решений при интеграции новой функциональности • «Не делать хуже то, что и так плохо» • Фокус на комфорте пользователя
  • 10. 10 МЕТРИКИ WORLD OF WARSHIPS •CPU •Память •IO •Сеть •…. Потребление ресурсов •Время отклика •Время загрузки •Стабильность •… Комфорт пользователя
  • 11. ИНДИКАТОРЫ WORLD OF WARSHIPS • Для всех метрик определяются допустимые диапазоны значений • Весь диапазон значений для метрики делится на фиксированные интервалы • Каждый интервал характеризует то, насколько удовлетворительно состояние метрики • Границы интервалов постоянны и не зависят от конфигурации
  • 12. 12 ПРИМЕР ИНДИКАТОРА WORLD OF WARSHIPS «ВРЕМЯ ОТКЛИКА ДЛЯ ЭЛЕМЕНТА UI» Very bad Needs attention Acceptable Good Текущее значение
  • 13. 13 И ЧТО ЭТО ДАЕТ? WORLD OF WARSHIPS
  • 14. 14 1. ВИЗУАЛИЗАЦИЯ СОСТОЯНИЯ ПРОИЗВОДИТЕЛЬНОСТИ WORLD OF WARSHIPS CPU USAGE MEMORY USAGE IO NETWORK LOGIN TIME UI RESPONSE TIME LOADING TIME STABILITY
  • 15. 15 2. PASS / FAIL WORLD OF WARSHIPS
  • 22. 22 ЧТО ДАЮТ «ИНДИКАТОРЫ»? WORLD OF WARSHIPS • Наглядная визуализация прироста / потери производительности • Понимание «запаса» по производительности по каждой из метрик • Гибкость при составлении PASS / FAIL критериев • Возможность составить snapshot производительности в любой момент • Быстрота принятия решений при высоком темпе разработки • Отсутствие привязки к тестовой конфигурации