SQALab, profile picture
Uploaded bySQALab
PDF, PPTX1,706 views

Как «сварить» Pairwise и не пуститься во все тяжкие

Документ описывает методику тестирования pairwise, включая постановку задачи и методические рекомендации. Рассматриваются три основные стратегии 'варки' тестов и предоставляется сравнение результатов, которые показывают эффективность метода в сокращении количества тестов. Также приведены примеры и таблицы для визуализации тестового покрытия и условий тестирования.

Embed presentation

Download as PDF, PPTX
Л 42 абораторная работа: Как “сварить” P 30.974 -3 +3 +5 15 2-8-6 airwise Te 127.60 -2 +4 +6 52 2-8-18-18-6 sting и не пуститься во все тяжкие анташянM К атерина лаборант-тестировщик: старший
3 лан выполнения: • Постановка задачи • Методические рекомендации (pairwise testing) • Три способа «Варки»: - Рецепт Уолтера Уайта - Метод Брэндана Мэйхью - Творческий подход Джесси Пинкмана • Сравнение результатов • Заключение П 12 Как «сварить» Pairwise и не пуститься во все тяжкие
4 остановка задачи • Тестирование модуля по открытию банковского счёта Как «сварить» Pairwise и не пуститься во все тяжкие П 56
5 абораторный интерфейсЛ 27 Как «сварить» Pairwise и не пуститься во все тяжкие
6 абораторный интерфейсЛ 27 Как «сварить» Pairwise и не пуститься во все тяжкие
7 ачальные условия:Н 84 Как «сварить» Pairwise и не пуститься во все тяжкие Передача в UATПересборка всей системы Рефакторинг кода без изменений БЛ
8 звестно Функциональное тестирование модуля – минимум 4 дня ! И 72 Как «сварить» Pairwise и не пуститься во все тяжкие И 72 з опыта Функциональное тестирование такого модуля – минимум 4 дня !
9 граничения 1 день! О 7 Как «сварить» Pairwise и не пуститься во все тяжкие 1 день! 1 день! 1 день! 1 день! 1 день! 1 день! 1 день! 1 день! 1 день! 1 день! 1 день! 1 день! 1 день! 1 день! 1 день! 1 день! 1 день! 1 день! 1 день! 1 день! 1 день! 1 день! 1 день! 1 день! 1 день! 1 день! 1 день! 1 день! 1 день! 1 день! 1 день! 1 день! 1 день! 1 день! 1 день! 1 день! 1 день! 1 день! 1 день!
10 редварительный анализ Как «сварить» Pairwise и не пуститься во все тяжкие П 4 - от 18 до 60 + программа лояльности для клиентов до 30 лет П 4 редварительный анализ 18 - 60 + программа лояльности для клиентов до 30 лет Всевозможных комбинаций: 6 × 4 × 2 × 2 =
11 редварительный анализ Как «сварить» Pairwise и не пуститься во все тяжкие П 4 96 позитивных + N негативных + валидация…
12 редварительный анализ Необходимо: успеть в сжатые сроки сохранить тестовое покрытие Как «сварить» Pairwise и не пуститься во все тяжкие П 4
13  Выбираем Pairwise Testing Как «сварить» Pairwise и не пуститься во все тяжкие 4 М етодические рекомендации
14 етодические рекомендации  Pairwise Testing – специальный метод оптимизации составления тест-кейсов. Как «сварить» Pairwise и не пуститься во все тяжкие М 13
15 етодические рекомендации Цель Pairwise Testing :  Убрать избыточные проверки  Выявить много багов Как «сварить» Pairwise и не пуститься во все тяжкие М 13
16 о такое Pairwise Testing Если применить Pairwise Testing к нашей задаче, то вместо 96 положительных тест-кейсов мы получим 24, что в 4 раза меньше!!! Как «сварить» Pairwise и не пуститься во все тяжкие Чт 13 Pairwise Testing 96 => 24
17 ри способа «варки» • Рецепт Уолтера Уайта (математический) • Метод Брэндана Мэйхью (метод “лентяя”) • Подход Джесси Пинкмана (творческий) Как «сварить» Pairwise и не пуститься во все тяжкие Т 29
18 ецепт Уолтера Уайта Ингредиенты: o Комбинаторика o Линейная алгебра o Немного магии Как «сварить» Pairwise и не пуститься во все тяжкие Р 42
19 ецепт Уолтера Уайта Как «сварить» Pairwise и не пуститься во все тяжкие Р 42
20 аблица сущностейТ 63 Признак РОС Sms - увед. Возраст Тип счёта true yes 18 T false no 23 N - - 30 R - - 31 S - - 42 - - - 60 - Как «сварить» Pairwise и не пуститься во все тяжкие
21 аблица тест-дизайна Как «сварить» Pairwise и не пуститься во все тяжкие T 63 Тесты Признак РОС Sms - увед. Возраст Тип счёта Результат тест 1 true yes 18 T send тест 2 false yes 18 T send тест 3 true no 18 T send тест 4 false no 18 T send … тест 96 false no 60 S S 96
22 ецепт Уолтера Уайта Как «сварить» Pairwise и не пуститься во все тяжкие Р 42
23 ецепт Уолтера Уайта Как «сварить» Pairwise и не пуститься во все тяжкие Р 42
24 ыбор парыВ 70 Как «сварить» Pairwise и не пуститься во все тяжкие Возраст Тип счёта Признак РОС Sms - увед. 18 T true yes 23 N false no 30 R - - 31 S - - 42 - - - 60 - - -
25 ртогональный массив Как «сварить» Pairwise и не пуститься во все тяжкие О 19
26 ртогональная матрица? Как «сварить» Pairwise и не пуститься во все тяжкие О 19
27 ртогональный массив Как «сварить» Pairwise и не пуститься во все тяжкие О 19
28 ртогональный массив Как «сварить» Pairwise и не пуститься во все тяжкие О 19
29 Тесты Возраст Тип счёта Признак РОС Sms - увед. тест 1 18 T true yes тест 2 18 N false yes тест 3 18 R true no тест 4 18 S false no тест 5 23 T false no тест 6 23 N true no тест 7 23 R false yes тест 8 23 S true yes тест 9 30 T true yes тест 10 30 N false yes тест 11 30 R true no тест 12 30 S false no тест 13 31 T false no тест 14 31 N true no тест 15 31 R false yes тест 16 31 S true yes тест 17 42 T true yes тест 18 42 N false yes тест 19 42 R true no тест 20 42 S false no тест 21 60 T false no тест 22 60 N true no тест 23 60 R false yes тест 24 60 S true yes
30 Тесты Возраст Тип счёта Признак РОС Sms - увед. тест 1 18 T true yes тест 2 18 N false yes тест 3 18 R true no тест 4 18 S false no тест 5 23 T false no тест 6 23 N true no тест 7 23 R false yes тест 8 23 S true yes тест 9 30 T true yes тест 10 30 N false yes тест 11 30 R true no тест 12 30 S false no тест 13 31 T false no тест 14 31 N true no тест 15 31 R false yes тест 16 31 S true yes тест 17 42 T true yes тест 18 42 N false yes тест 19 42 R true no тест 20 42 S false no тест 21 60 T false no тест 22 60 N true no тест 23 60 R false yes тест 24 60 S true yes
31 Тесты Возраст Тип счёта Признак РОС Sms - увед. тест 1 18 T true yes тест 2 18 N false yes тест 3 18 R true no тест 4 18 S false no тест 5 23 T false no тест 6 23 N true no тест 7 23 R false yes тест 8 23 S true yes тест 9 30 T true yes тест 10 30 N false yes тест 11 30 R true no тест 12 30 S false no тест 13 31 T false no тест 14 31 N true no тест 15 31 R false yes тест 16 31 S true yes тест 17 42 T true yes тест 18 42 N false yes тест 19 42 R true no тест 20 42 S false no тест 21 60 T false no тест 22 60 N true no тест 23 60 R false yes тест 24 60 S true yes
32 Тесты Возраст Тип счёта Признак РОС Sms - увед. тест 1 18 T true yes тест 2 18 N false yes тест 3 18 R true no тест 4 18 S false no тест 5 23 T false no тест 6 23 N true no тест 7 23 R false yes тест 8 23 S true yes тест 9 30 T true yes тест 10 30 N false yes тест 11 30 R true no тест 12 30 S false no тест 13 31 T false no тест 14 31 N true no тест 15 31 R false yes тест 16 31 S true yes тест 17 42 T true yes тест 18 42 N false yes тест 19 42 R true no тест 20 42 S false no тест 21 60 T false no тест 22 60 N true no тест 23 60 R false yes тест 24 60 S true yes
33 Тесты Возраст Тип счёта Признак РОС Sms - увед. тест 1 18 T true yes тест 2 18 N false yes тест 3 18 R true no тест 4 18 S false no тест 5 23 T false no тест 6 23 N true no тест 7 23 R false yes тест 8 23 S true yes тест 9 30 T true yes тест 10 30 N false yes тест 11 30 R true no тест 12 30 S false no тест 13 31 T false no тест 14 31 N true no тест 15 31 R false yes тест 16 31 S true yes тест 17 42 T true yes тест 18 42 N false yes тест 19 42 R true no тест 20 42 S false no тест 21 60 T false no тест 22 60 N true no тест 23 60 R false yes тест 24 60 S true yes
34 Тесты Возраст Тип счёта Признак РОС Sms - увед. тест 1 18 T true yes тест 2 18 N false yes тест 3 18 R true no тест 4 18 S false no тест 5 23 T false no тест 6 23 N true no тест 7 23 R false yes тест 8 23 S true yes тест 9 30 T true yes тест 10 30 N false yes тест 11 30 R true no тест 12 30 S false no тест 13 31 T false no тест 14 31 N true no тест 15 31 R false yes тест 16 31 S true yes тест 17 42 T true yes тест 18 42 N false yes тест 19 42 R true no тест 20 42 S false no тест 21 60 T false no тест 22 60 N true no тест 23 60 R false yes тест 24 60 S true yes
35 Тесты Возраст Тип счёта Признак РОС Sms - увед. тест 1 18 T true yes тест 2 18 N false yes тест 3 18 R true no тест 4 18 S false no тест 5 23 T false no тест 6 23 N true no тест 7 23 R false yes тест 8 23 S true yes тест 9 30 T true yes тест 10 30 N false yes тест 11 30 R true no тест 12 30 S false no тест 13 31 T false no тест 14 31 N true no тест 15 31 R false yes тест 16 31 S true yes тест 17 42 T true yes тест 18 42 N false yes тест 19 42 R true no тест 20 42 S false no тест 21 60 T false no тест 22 60 N true no тест 23 60 R false yes тест 24 60 S true yes
36 Тесты Возраст Тип счёта Признак РОС Sms - увед. тест 1 18 T true yes тест 2 18 N false yes тест 3 18 R true no тест 4 18 S false no тест 5 23 T false no тест 6 23 N true no тест 7 23 R false yes тест 8 23 S true yes тест 9 30 T true yes тест 10 30 N false yes тест 11 30 R true no тест 12 30 S false no тест 13 31 T false no тест 14 31 N true no тест 15 31 R false yes тест 16 31 S true yes тест 17 42 T true yes тест 18 42 N false yes тест 19 42 R true no тест 20 42 S false no тест 21 60 T false no тест 22 60 N true no тест 23 60 R false yes тест 24 60 S true yes
37 Тесты Возраст Тип счёта Признак РОС Sms - увед. тест 1 18 T true yes тест 2 18 N true yes тест 3 18 R true yes тест 4 18 S true yes тест 5 18 T false yes тест 6 18 N false yes тест 7 18 R false yes тест 8 18 S false yes тест 9 18 T true no тест 10 18 N true no тест 11 18 R true no тест 12 18 S true no тест 13 18 T false no тест 14 18 N false no тест 15 18 R false no тест 16 18 S false no тест 17 23 T true yes тест 18 23 N true yes тест 19 23 R true yes тест 20 23 S true yes тест 21 23 T false yes тест 22 23 N false yes тест 23 23 R false yes тест 24 23 S false yes тест 25 23 T true no тест 26 23 N true no тест 27 23 R true no тест 28 23 S true no тест 29 23 T false no тест 30 23 N false no тест 31 23 R false no тест 32 23 S false no тест 33 30 T true yes тест 34 30 N true yes тест 35 30 R true yes тест 36 30 S true yes тест 37 30 T false yes тест 38 30 N false yes тест 39 30 R false yes тест 40 30 S false yes тест 41 30 T true no тест 42 30 N true no тест 43 30 R true no тест 44 30 S true no тест 45 30 T false no тест 46 30 N false no тест 47 30 R false no тест 48 30 S false no тест 49 31 T true yes тест 50 31 N true yes тест 51 31 R true yes тест 52 31 S true yes тест 53 31 T false yes тест 54 31 N false yes тест 55 31 R false yes тест 56 31 S false yes тест 57 31 T true no тест 58 31 N true no тест 59 31 R true no тест 60 31 S true no тест 61 31 T false no тест 62 31 N false no тест 63 31 R false no тест 64 31 S false no тест 65 42 T true yes тест 66 42 N true yes тест 67 42 R true yes тест 68 42 S true yes тест 69 42 T false yes тест 70 42 N false yes тест 71 42 R false yes тест 72 42 S false yes тест 73 42 T true no тест 74 42 N true no тест 75 42 R true no тест 76 42 S true no тест 77 42 T false no тест 78 42 N false no тест 79 42 R false no тест 80 42 S false no тест 81 60 T true yes тест 82 60 N true yes тест 83 60 R true yes тест 84 60 S true yes тест 85 60 T false yes тест 86 60 N false yes тест 87 60 R false yes тест 88 60 S false yes тест 89 60 T true no тест 90 60 N true no тест 91 60 R true no тест 92 60 S true no тест 93 60 T false no тест 94 60 N false no тест 95 60 R false no тест 96 60 S false no Тесты Возраст Тип счёта Признак РОС Sms - увед. тест 1 18 T true yes тест 2 18 N false yes тест 3 18 R true no тест 4 18 S false no тест 5 23 T false no тест 6 23 N true no тест 7 23 R false yes тест 8 23 S true yes тест 9 30 T true yes тест 10 30 N false yes тест 11 30 R true no тест 12 30 S false no тест 13 31 T false no тест 14 31 N true no тест 15 31 R false yes тест 16 31 S true yes тест 17 42 T true yes тест 18 42 N false yes тест 19 42 R true no тест 20 42 S false no тест 21 60 T false no тест 22 60 N true no тест 23 60 R false yes тест 24 60 S true yes 24
38 етод Брэндона Мэйхью Как «сварить» Pairwise и не пуститься во все тяжкие М 78 Понадобятся: утилита + “руки”
39 нструменты: Как «сварить» Pairwise и не пуститься во все тяжкие И 55
40 нструменты: Как «сварить» Pairwise и не пуститься во все тяжкие И 55
41 етод Брэндона Мэйхью Как «сварить» Pairwise и не пуститься во все тяжкие М 78 М 78
42 етод Брэндона Мэйхью Как «сварить» Pairwise и не пуститься во все тяжкие М 78
43 одход Джесси Пикмана Нужно:  общие представления о Pairwise Testing  мозг  не заморачиваться Как «сварить» Pairwise и не пуститься во все тяжкие П 23
44 одход Джесси Пикмана Как «сварить» Pairwise и не пуститься во все тяжкие П 23 «Полуслучайная» генерация тестов на основе здравого смысла
45 Тесты Возраст Тип счёта Признак РОС Sms - увед. тест 1 18 T тест 2 18 N тест 3 18 R тест 4 18 S тест 5 23 T тест 6 23 N тест 7 23 R тест 8 23 S тест 9 30 T тест 10 30 N тест 11 30 R тест 12 30 S тест 13 31 T тест 14 31 N тест 15 31 R тест 16 31 S тест 17 42 T тест 18 42 N тест 19 42 R тест 20 42 S тест 21 60 T тест 22 60 N тест 23 60 R тест 24 60 S
46 Тесты Возраст Тип счёта Признак РОС Sms - увед. тест 1 18 T false yes тест 2 18 N false yes тест 3 18 R false yes тест 4 18 S false yes тест 5 23 T false yes тест 6 23 N true no тест 7 23 R false yes тест 8 23 S true no тест 9 30 T true no тест 10 30 N true yes тест 11 30 R true no тест 12 30 S true yes тест 13 31 T false no тест 14 31 N true no тест 15 31 R false yes тест 16 31 S true yes тест 17 42 T true yes тест 18 42 N true yes тест 19 42 R true no тест 20 42 S true no тест 21 60 T false no тест 22 60 N true no тест 23 60 R false no тест 24 60 S true no
47 Тесты Возраст Тип счёта Признак РОС Sms - увед. тест 1 18 T false yes тест 2 18 R false yes тест 3 23 T false yes тест 4 23 N true no тест 5 23 R false yes тест 6 23 S true no тест 7 30 T true no тест 8 30 N true yes тест 9 30 R true no тест 10 30 S true yes тест 11 31 T false no тест 12 31 N true no тест 13 31 R false yes тест 14 31 S true yes тест 15 42 T true yes тест 16 42 N true yes тест 17 42 R true no тест 18 42 S true no тест 19 60 T false no тест 20 60 N true no тест 21 60 R false no тест 22 60 S true no
48 авнение 3-х методов • Рецепт Уолтера Уайта • Плюсы: хорошая отчётность, строгий математический подход • Минусы: более трудозатратный, сложен в реализации для большого числа данных • Метод Брэндана Мэйхью • Плюсы: не требует глубокого понимания, быстрый и лёгкий в исполнении, хорош для большого числа данных • Минусы: утилита может составить абсурдные тест-кейсы, не подходит для зависимых переменных • Творческий подход Джесси Пинкмана • Плюсы: золотая середина по трудозатратам, позволяет составить наиболее осознанные для бизнес-требований тест-кейсы, позволяет приоретизировать тестовые сценарии • Минусы: сложен в реализации для большого числа данных, не подходит для строгой отчётности Как «сварить» Pairwise и не пуститься во все тяжкие Ср 40 Ср авнение
49 авнение 3-х методов Рецепт м. Уайта:  наукоёмкий × трудоёмкий × много входных данных × приоритезация × осмысленные кейсы Как «сварить» Pairwise и не пуститься во все тяжкие Ср 40 Метод Мэйхью:  быстрый/лёгкий  много входных данных × приоритезация × осмысленные кейсы Подход Пинкмана:  средней трудоёмкости  приоритезация  осмысленные кейсы × много входных данных × наукоёмкий
50 итоге Применение Pairwise Testing :  Существенно сокращает количество тест-кейсов  Обеспечивает хорошее тестовое покрытие  Позволяет на минимальном наборе тестов выявить наибольшее количество багов Как «сварить» Pairwise и не пуститься во все тяжкие В 13
51 аключение Как «сварить» Pairwise и не пуститься во все тяжкие З 96  Изучили Pairwise Testing  Исследовали 3 метода применения  Убедились в эффективности
52 uestions? mantashyan@mail.ru Как «сварить» Pairwise и не пуститься во все тяжкие Q 41 Q 41 uestions?
53 mail: emantashyan@aplana.com skype: katya.mantashyan К атерина M анташян
54 Как «сварить» Pairwise и не пуститься во все тяжкие К 4

More Related Content

PPTX
Continuous performance testing
bySQALab
 
PPTX
Разработка тест кейсов по методике pair wise
bySQALab
 
PPT
Парное тестирование для "чайников"
bySQALab
 
PDF
Готовим стажировку
bySQALab
 
PPTX
Куда приводят мечты? или Искусство развития тестировщика
bySQALab
 
PPT
Автоматизация 0.0: 0 - бюджет, 0 - опыт программирования
bySQALab
 
PPTX
Нагрузочное тестирование нестандартных протоколов с использованием Citrix и J...
bySQALab
 
PPT
Оптимизация Selenium тестов и ускорение их поддержки
bySQALab
 
Continuous performance testing
bySQALab
 
Разработка тест кейсов по методике pair wise
bySQALab
 
Парное тестирование для "чайников"
bySQALab
 
Готовим стажировку
bySQALab
 
Куда приводят мечты? или Искусство развития тестировщика
bySQALab
 
Автоматизация 0.0: 0 - бюджет, 0 - опыт программирования
bySQALab
 
Нагрузочное тестирование нестандартных протоколов с использованием Citrix и J...
bySQALab
 
Оптимизация Selenium тестов и ускорение их поддержки
bySQALab
 

More from SQALab

PDF
Конфиги вместо костылей. Pytestconfig и зачем он нужен
bySQALab
 
PDF
Sustainable Test Automation: Collaborate within Team
bySQALab
 
PPTX
9 кругов Ада: антипаттерны UI-Автоматизации
bySQALab
 
PPTX
Правильный подход к составлению профиля нагрузочного тестирования
bySQALab
 
PPT
Автоматизация тестирования встроенного ПО
bySQALab
 
PPTX
Лидер или босс? Вот в чем вопрос
bySQALab
 
PPTX
От Зефира в коробке к Structure Zephyr или как тест-менеджеру перекроить внут...
bySQALab
 
PDF
Вредные привычки в тест-менеджменте
bySQALab
 
PPT
"Давайте не будем про качество"
bySQALab
 
PPTX
Истинная сила тестировщика - информация
bySQALab
 
PDF
Test Data Preparation: Tips and Tricks
bySQALab
 
PPT
Делаем автоматизацию проектных KPIs
bySQALab
 
PPTX
Тестирование геолокационных систем
bySQALab
 
PPT
Команда чемпионов в ИТ стихии
bySQALab
 
PPT
Как hh.ru дошли до 500 релизов в квартал без потери в качестве
bySQALab
 
PDF
Apache.JMeter для .NET-проектов
bySQALab
 
PPTX
Добиваемся эффективности каждого из 9000+ UI-тестов
bySQALab
 
PPTX
Стили лидерства и тестирование
bySQALab
 
PPTX
API. Серебряная пуля в магазине советов
bySQALab
 
PPTX
Мощь переполняет с JDI 2.0 - новая эра UI автоматизации
bySQALab
 
Конфиги вместо костылей. Pytestconfig и зачем он нужен
bySQALab
 
Sustainable Test Automation: Collaborate within Team
bySQALab
 
9 кругов Ада: антипаттерны UI-Автоматизации
bySQALab
 
Правильный подход к составлению профиля нагрузочного тестирования
bySQALab
 
Автоматизация тестирования встроенного ПО
bySQALab
 
Лидер или босс? Вот в чем вопрос
bySQALab
 
От Зефира в коробке к Structure Zephyr или как тест-менеджеру перекроить внут...
bySQALab
 
Вредные привычки в тест-менеджменте
bySQALab
 
"Давайте не будем про качество"
bySQALab
 
Истинная сила тестировщика - информация
bySQALab
 
Test Data Preparation: Tips and Tricks
bySQALab
 
Делаем автоматизацию проектных KPIs
bySQALab
 
Тестирование геолокационных систем
bySQALab
 
Команда чемпионов в ИТ стихии
bySQALab
 
Как hh.ru дошли до 500 релизов в квартал без потери в качестве
bySQALab
 
Apache.JMeter для .NET-проектов
bySQALab
 
Добиваемся эффективности каждого из 9000+ UI-тестов
bySQALab
 
Стили лидерства и тестирование
bySQALab
 
API. Серебряная пуля в магазине советов
bySQALab
 
Мощь переполняет с JDI 2.0 - новая эра UI автоматизации
bySQALab
 

Как «сварить» Pairwise и не пуститься во все тяжкие

  • 2.
    Л 42 абораторная работа: Как “сварить” P 30.974-3 +3 +5 15 2-8-6 airwise Te 127.60 -2 +4 +6 52 2-8-18-18-6 sting и не пуститься во все тяжкие анташянM К атерина лаборант-тестировщик: старший
  • 3.
    3 лан выполнения: • Постановказадачи • Методические рекомендации (pairwise testing) • Три способа «Варки»: - Рецепт Уолтера Уайта - Метод Брэндана Мэйхью - Творческий подход Джесси Пинкмана • Сравнение результатов • Заключение П 12 Как «сварить» Pairwise и не пуститься во все тяжкие
  • 4.
    4 остановка задачи • Тестированиемодуля по открытию банковского счёта Как «сварить» Pairwise и не пуститься во все тяжкие П 56
  • 5.
    5 абораторный интерфейсЛ 27 Как «сварить»Pairwise и не пуститься во все тяжкие
  • 6.
    6 абораторный интерфейсЛ 27 Как «сварить»Pairwise и не пуститься во все тяжкие
  • 7.
    7 ачальные условия:Н 84 Как «сварить»Pairwise и не пуститься во все тяжкие Передача в UATПересборка всей системы Рефакторинг кода без изменений БЛ
  • 8.
    8 звестно Функциональное тестирование модуля– минимум 4 дня ! И 72 Как «сварить» Pairwise и не пуститься во все тяжкие И 72 з опыта Функциональное тестирование такого модуля – минимум 4 дня !
  • 9.
    9 граничения 1 день! О 7 Как «сварить»Pairwise и не пуститься во все тяжкие 1 день! 1 день! 1 день! 1 день! 1 день! 1 день! 1 день! 1 день! 1 день! 1 день! 1 день! 1 день! 1 день! 1 день! 1 день! 1 день! 1 день! 1 день! 1 день! 1 день! 1 день! 1 день! 1 день! 1 день! 1 день! 1 день! 1 день! 1 день! 1 день! 1 день! 1 день! 1 день! 1 день! 1 день! 1 день! 1 день! 1 день! 1 день! 1 день!
  • 10.
    10 редварительный анализ Как «сварить»Pairwise и не пуститься во все тяжкие П 4 - от 18 до 60 + программа лояльности для клиентов до 30 лет П 4 редварительный анализ 18 - 60 + программа лояльности для клиентов до 30 лет Всевозможных комбинаций: 6 × 4 × 2 × 2 =
  • 11.
    11 редварительный анализ Как «сварить»Pairwise и не пуститься во все тяжкие П 4 96 позитивных + N негативных + валидация…
  • 12.
    12 редварительный анализ Необходимо: успеть всжатые сроки сохранить тестовое покрытие Как «сварить» Pairwise и не пуститься во все тяжкие П 4
  • 13.
    13  Выбираем PairwiseTesting Как «сварить» Pairwise и не пуститься во все тяжкие 4 М етодические рекомендации
  • 14.
    14 етодические рекомендации  PairwiseTesting – специальный метод оптимизации составления тест-кейсов. Как «сварить» Pairwise и не пуститься во все тяжкие М 13
  • 15.
    15 етодические рекомендации Цель PairwiseTesting :  Убрать избыточные проверки  Выявить много багов Как «сварить» Pairwise и не пуститься во все тяжкие М 13
  • 16.
    16 о такое PairwiseTesting Если применить Pairwise Testing к нашей задаче, то вместо 96 положительных тест-кейсов мы получим 24, что в 4 раза меньше!!! Как «сварить» Pairwise и не пуститься во все тяжкие Чт 13 Pairwise Testing 96 => 24
  • 17.
    17 ри способа «варки» •Рецепт Уолтера Уайта (математический) • Метод Брэндана Мэйхью (метод “лентяя”) • Подход Джесси Пинкмана (творческий) Как «сварить» Pairwise и не пуститься во все тяжкие Т 29
  • 18.
    18 ецепт Уолтера Уайта Ингредиенты: oКомбинаторика o Линейная алгебра o Немного магии Как «сварить» Pairwise и не пуститься во все тяжкие Р 42
  • 19.
    19 ецепт Уолтера Уайта Как«сварить» Pairwise и не пуститься во все тяжкие Р 42
  • 20.
    20 аблица сущностейТ 63 Признак РОСSms - увед. Возраст Тип счёта true yes 18 T false no 23 N - - 30 R - - 31 S - - 42 - - - 60 - Как «сварить» Pairwise и не пуститься во все тяжкие
  • 21.
    21 аблица тест-дизайна Как «сварить»Pairwise и не пуститься во все тяжкие T 63 Тесты Признак РОС Sms - увед. Возраст Тип счёта Результат тест 1 true yes 18 T send тест 2 false yes 18 T send тест 3 true no 18 T send тест 4 false no 18 T send … тест 96 false no 60 S S 96
  • 22.
    22 ецепт Уолтера Уайта Как«сварить» Pairwise и не пуститься во все тяжкие Р 42
  • 23.
    23 ецепт Уолтера Уайта Как«сварить» Pairwise и не пуститься во все тяжкие Р 42
  • 24.
    24 ыбор парыВ 70 Как «сварить»Pairwise и не пуститься во все тяжкие Возраст Тип счёта Признак РОС Sms - увед. 18 T true yes 23 N false no 30 R - - 31 S - - 42 - - - 60 - - -
  • 25.
    25 ртогональный массив Как «сварить»Pairwise и не пуститься во все тяжкие О 19
  • 26.
    26 ртогональная матрица? Как «сварить»Pairwise и не пуститься во все тяжкие О 19
  • 27.
    27 ртогональный массив Как «сварить»Pairwise и не пуститься во все тяжкие О 19
  • 28.
    28 ртогональный массив Как «сварить»Pairwise и не пуститься во все тяжкие О 19
  • 29.
    29 Тесты Возраст Типсчёта Признак РОС Sms - увед. тест 1 18 T true yes тест 2 18 N false yes тест 3 18 R true no тест 4 18 S false no тест 5 23 T false no тест 6 23 N true no тест 7 23 R false yes тест 8 23 S true yes тест 9 30 T true yes тест 10 30 N false yes тест 11 30 R true no тест 12 30 S false no тест 13 31 T false no тест 14 31 N true no тест 15 31 R false yes тест 16 31 S true yes тест 17 42 T true yes тест 18 42 N false yes тест 19 42 R true no тест 20 42 S false no тест 21 60 T false no тест 22 60 N true no тест 23 60 R false yes тест 24 60 S true yes
  • 30.
    30 Тесты Возраст Типсчёта Признак РОС Sms - увед. тест 1 18 T true yes тест 2 18 N false yes тест 3 18 R true no тест 4 18 S false no тест 5 23 T false no тест 6 23 N true no тест 7 23 R false yes тест 8 23 S true yes тест 9 30 T true yes тест 10 30 N false yes тест 11 30 R true no тест 12 30 S false no тест 13 31 T false no тест 14 31 N true no тест 15 31 R false yes тест 16 31 S true yes тест 17 42 T true yes тест 18 42 N false yes тест 19 42 R true no тест 20 42 S false no тест 21 60 T false no тест 22 60 N true no тест 23 60 R false yes тест 24 60 S true yes
  • 31.
    31 Тесты Возраст Типсчёта Признак РОС Sms - увед. тест 1 18 T true yes тест 2 18 N false yes тест 3 18 R true no тест 4 18 S false no тест 5 23 T false no тест 6 23 N true no тест 7 23 R false yes тест 8 23 S true yes тест 9 30 T true yes тест 10 30 N false yes тест 11 30 R true no тест 12 30 S false no тест 13 31 T false no тест 14 31 N true no тест 15 31 R false yes тест 16 31 S true yes тест 17 42 T true yes тест 18 42 N false yes тест 19 42 R true no тест 20 42 S false no тест 21 60 T false no тест 22 60 N true no тест 23 60 R false yes тест 24 60 S true yes
  • 32.
    32 Тесты Возраст Типсчёта Признак РОС Sms - увед. тест 1 18 T true yes тест 2 18 N false yes тест 3 18 R true no тест 4 18 S false no тест 5 23 T false no тест 6 23 N true no тест 7 23 R false yes тест 8 23 S true yes тест 9 30 T true yes тест 10 30 N false yes тест 11 30 R true no тест 12 30 S false no тест 13 31 T false no тест 14 31 N true no тест 15 31 R false yes тест 16 31 S true yes тест 17 42 T true yes тест 18 42 N false yes тест 19 42 R true no тест 20 42 S false no тест 21 60 T false no тест 22 60 N true no тест 23 60 R false yes тест 24 60 S true yes
  • 33.
    33 Тесты Возраст Типсчёта Признак РОС Sms - увед. тест 1 18 T true yes тест 2 18 N false yes тест 3 18 R true no тест 4 18 S false no тест 5 23 T false no тест 6 23 N true no тест 7 23 R false yes тест 8 23 S true yes тест 9 30 T true yes тест 10 30 N false yes тест 11 30 R true no тест 12 30 S false no тест 13 31 T false no тест 14 31 N true no тест 15 31 R false yes тест 16 31 S true yes тест 17 42 T true yes тест 18 42 N false yes тест 19 42 R true no тест 20 42 S false no тест 21 60 T false no тест 22 60 N true no тест 23 60 R false yes тест 24 60 S true yes
  • 34.
    34 Тесты Возраст Типсчёта Признак РОС Sms - увед. тест 1 18 T true yes тест 2 18 N false yes тест 3 18 R true no тест 4 18 S false no тест 5 23 T false no тест 6 23 N true no тест 7 23 R false yes тест 8 23 S true yes тест 9 30 T true yes тест 10 30 N false yes тест 11 30 R true no тест 12 30 S false no тест 13 31 T false no тест 14 31 N true no тест 15 31 R false yes тест 16 31 S true yes тест 17 42 T true yes тест 18 42 N false yes тест 19 42 R true no тест 20 42 S false no тест 21 60 T false no тест 22 60 N true no тест 23 60 R false yes тест 24 60 S true yes
  • 35.
    35 Тесты Возраст Типсчёта Признак РОС Sms - увед. тест 1 18 T true yes тест 2 18 N false yes тест 3 18 R true no тест 4 18 S false no тест 5 23 T false no тест 6 23 N true no тест 7 23 R false yes тест 8 23 S true yes тест 9 30 T true yes тест 10 30 N false yes тест 11 30 R true no тест 12 30 S false no тест 13 31 T false no тест 14 31 N true no тест 15 31 R false yes тест 16 31 S true yes тест 17 42 T true yes тест 18 42 N false yes тест 19 42 R true no тест 20 42 S false no тест 21 60 T false no тест 22 60 N true no тест 23 60 R false yes тест 24 60 S true yes
  • 36.
    36 Тесты Возраст Типсчёта Признак РОС Sms - увед. тест 1 18 T true yes тест 2 18 N false yes тест 3 18 R true no тест 4 18 S false no тест 5 23 T false no тест 6 23 N true no тест 7 23 R false yes тест 8 23 S true yes тест 9 30 T true yes тест 10 30 N false yes тест 11 30 R true no тест 12 30 S false no тест 13 31 T false no тест 14 31 N true no тест 15 31 R false yes тест 16 31 S true yes тест 17 42 T true yes тест 18 42 N false yes тест 19 42 R true no тест 20 42 S false no тест 21 60 T false no тест 22 60 N true no тест 23 60 R false yes тест 24 60 S true yes
  • 37.
    37 Тесты Возраст Типсчёта Признак РОС Sms - увед. тест 1 18 T true yes тест 2 18 N true yes тест 3 18 R true yes тест 4 18 S true yes тест 5 18 T false yes тест 6 18 N false yes тест 7 18 R false yes тест 8 18 S false yes тест 9 18 T true no тест 10 18 N true no тест 11 18 R true no тест 12 18 S true no тест 13 18 T false no тест 14 18 N false no тест 15 18 R false no тест 16 18 S false no тест 17 23 T true yes тест 18 23 N true yes тест 19 23 R true yes тест 20 23 S true yes тест 21 23 T false yes тест 22 23 N false yes тест 23 23 R false yes тест 24 23 S false yes тест 25 23 T true no тест 26 23 N true no тест 27 23 R true no тест 28 23 S true no тест 29 23 T false no тест 30 23 N false no тест 31 23 R false no тест 32 23 S false no тест 33 30 T true yes тест 34 30 N true yes тест 35 30 R true yes тест 36 30 S true yes тест 37 30 T false yes тест 38 30 N false yes тест 39 30 R false yes тест 40 30 S false yes тест 41 30 T true no тест 42 30 N true no тест 43 30 R true no тест 44 30 S true no тест 45 30 T false no тест 46 30 N false no тест 47 30 R false no тест 48 30 S false no тест 49 31 T true yes тест 50 31 N true yes тест 51 31 R true yes тест 52 31 S true yes тест 53 31 T false yes тест 54 31 N false yes тест 55 31 R false yes тест 56 31 S false yes тест 57 31 T true no тест 58 31 N true no тест 59 31 R true no тест 60 31 S true no тест 61 31 T false no тест 62 31 N false no тест 63 31 R false no тест 64 31 S false no тест 65 42 T true yes тест 66 42 N true yes тест 67 42 R true yes тест 68 42 S true yes тест 69 42 T false yes тест 70 42 N false yes тест 71 42 R false yes тест 72 42 S false yes тест 73 42 T true no тест 74 42 N true no тест 75 42 R true no тест 76 42 S true no тест 77 42 T false no тест 78 42 N false no тест 79 42 R false no тест 80 42 S false no тест 81 60 T true yes тест 82 60 N true yes тест 83 60 R true yes тест 84 60 S true yes тест 85 60 T false yes тест 86 60 N false yes тест 87 60 R false yes тест 88 60 S false yes тест 89 60 T true no тест 90 60 N true no тест 91 60 R true no тест 92 60 S true no тест 93 60 T false no тест 94 60 N false no тест 95 60 R false no тест 96 60 S false no Тесты Возраст Тип счёта Признак РОС Sms - увед. тест 1 18 T true yes тест 2 18 N false yes тест 3 18 R true no тест 4 18 S false no тест 5 23 T false no тест 6 23 N true no тест 7 23 R false yes тест 8 23 S true yes тест 9 30 T true yes тест 10 30 N false yes тест 11 30 R true no тест 12 30 S false no тест 13 31 T false no тест 14 31 N true no тест 15 31 R false yes тест 16 31 S true yes тест 17 42 T true yes тест 18 42 N false yes тест 19 42 R true no тест 20 42 S false no тест 21 60 T false no тест 22 60 N true no тест 23 60 R false yes тест 24 60 S true yes 24
  • 38.
    38 етод Брэндона Мэйхью Как«сварить» Pairwise и не пуститься во все тяжкие М 78 Понадобятся: утилита + “руки”
  • 39.
    39 нструменты: Как «сварить» Pairwiseи не пуститься во все тяжкие И 55
  • 40.
    40 нструменты: Как «сварить» Pairwiseи не пуститься во все тяжкие И 55
  • 41.
    41 етод Брэндона Мэйхью Как«сварить» Pairwise и не пуститься во все тяжкие М 78 М 78
  • 42.
    42 етод Брэндона Мэйхью Как«сварить» Pairwise и не пуститься во все тяжкие М 78
  • 43.
    43 одход Джесси Пикмана Нужно: общие представления о Pairwise Testing  мозг  не заморачиваться Как «сварить» Pairwise и не пуститься во все тяжкие П 23
  • 44.
    44 одход Джесси Пикмана Как«сварить» Pairwise и не пуститься во все тяжкие П 23 «Полуслучайная» генерация тестов на основе здравого смысла
  • 45.
    45 Тесты Возраст Типсчёта Признак РОС Sms - увед. тест 1 18 T тест 2 18 N тест 3 18 R тест 4 18 S тест 5 23 T тест 6 23 N тест 7 23 R тест 8 23 S тест 9 30 T тест 10 30 N тест 11 30 R тест 12 30 S тест 13 31 T тест 14 31 N тест 15 31 R тест 16 31 S тест 17 42 T тест 18 42 N тест 19 42 R тест 20 42 S тест 21 60 T тест 22 60 N тест 23 60 R тест 24 60 S
  • 46.
    46 Тесты Возраст Типсчёта Признак РОС Sms - увед. тест 1 18 T false yes тест 2 18 N false yes тест 3 18 R false yes тест 4 18 S false yes тест 5 23 T false yes тест 6 23 N true no тест 7 23 R false yes тест 8 23 S true no тест 9 30 T true no тест 10 30 N true yes тест 11 30 R true no тест 12 30 S true yes тест 13 31 T false no тест 14 31 N true no тест 15 31 R false yes тест 16 31 S true yes тест 17 42 T true yes тест 18 42 N true yes тест 19 42 R true no тест 20 42 S true no тест 21 60 T false no тест 22 60 N true no тест 23 60 R false no тест 24 60 S true no
  • 47.
    47 Тесты Возраст Типсчёта Признак РОС Sms - увед. тест 1 18 T false yes тест 2 18 R false yes тест 3 23 T false yes тест 4 23 N true no тест 5 23 R false yes тест 6 23 S true no тест 7 30 T true no тест 8 30 N true yes тест 9 30 R true no тест 10 30 S true yes тест 11 31 T false no тест 12 31 N true no тест 13 31 R false yes тест 14 31 S true yes тест 15 42 T true yes тест 16 42 N true yes тест 17 42 R true no тест 18 42 S true no тест 19 60 T false no тест 20 60 N true no тест 21 60 R false no тест 22 60 S true no
  • 48.
    48 авнение 3-х методов •Рецепт Уолтера Уайта • Плюсы: хорошая отчётность, строгий математический подход • Минусы: более трудозатратный, сложен в реализации для большого числа данных • Метод Брэндана Мэйхью • Плюсы: не требует глубокого понимания, быстрый и лёгкий в исполнении, хорош для большого числа данных • Минусы: утилита может составить абсурдные тест-кейсы, не подходит для зависимых переменных • Творческий подход Джесси Пинкмана • Плюсы: золотая середина по трудозатратам, позволяет составить наиболее осознанные для бизнес-требований тест-кейсы, позволяет приоретизировать тестовые сценарии • Минусы: сложен в реализации для большого числа данных, не подходит для строгой отчётности Как «сварить» Pairwise и не пуститься во все тяжкие Ср 40 Ср авнение
  • 49.
    49 авнение 3-х методов Рецептм. Уайта:  наукоёмкий × трудоёмкий × много входных данных × приоритезация × осмысленные кейсы Как «сварить» Pairwise и не пуститься во все тяжкие Ср 40 Метод Мэйхью:  быстрый/лёгкий  много входных данных × приоритезация × осмысленные кейсы Подход Пинкмана:  средней трудоёмкости  приоритезация  осмысленные кейсы × много входных данных × наукоёмкий
  • 50.
    50 итоге Применение Pairwise Testing:  Существенно сокращает количество тест-кейсов  Обеспечивает хорошее тестовое покрытие  Позволяет на минимальном наборе тестов выявить наибольшее количество багов Как «сварить» Pairwise и не пуститься во все тяжкие В 13
  • 51.
    51 аключение Как «сварить» Pairwiseи не пуститься во все тяжкие З 96  Изучили Pairwise Testing  Исследовали 3 метода применения  Убедились в эффективности
  • 52.
    52 uestions? mantashyan@mail.ru Как «сварить» Pairwiseи не пуститься во все тяжкие Q 41 Q 41 uestions?
  • 53.
  • 54.
    54 Как «сварить»Pairwise и не пуститься во все тяжкие К 4