Документ представляет собой вебинар о нарушениях лучших практик тестирования, озвученных экспертом Григорием Сениным. Основное внимание уделяется рискам и методам управления ими, включая необходимость независимой группы тестирования, оценку трудозатрат и управление требованиями. Приведены аксиомы тестирования и альтернативные подходы к тестированию, особенно в контексте Agile.

1. 1
©LuxoftTraining2012
Григорий Сенин
Нарушение
лучших практик
тестирования
Webinar Sep 24, 2016

2. 2
©LuxoftTraining2012
 1969-1977 – МГУ, ВМК, к.ф.-м.н.
 1977-1990 – ВЦ АН СССР
 1996-2005 – IBS, Luxoft,
руководитель отдела подготовки
документации, отдела тестирования
 2006-2008 – Auriga, CDO
 2009-2014 –
менеджер/директор по качеству, начальник отдела тестирования
(Ritzio Entertainment Group, AnywayAnyday, Luxoft)
 C 2011 – Учебный Центр Luxoft, тренер/эксперт
О себе
GSenin@Luxoft.com
GregSenin@Gmail.com

3. 4
©LuxoftTraining2012
 Иметь независимую группу
тестирования
 Оценивать трудозатраты
 Управлять требованиями:
 трассировка, изменения
 Рецензировать артефакты
Некоторые практики тестирования

4. 5
©LuxoftTraining2012
«Схема убеждения»
практика
хорошая вещь 1
хорошая вещь 2
хорошая вещь 3
раннее
вовлечение
тестировщиков
• Требования более ясные и точные
• … анализируются и рецензируются
• … лучше понимаются тестерами
• … одинаково понимаются всеми
• Раньше начинается тест-дизайн
• …

5. 6
©LuxoftTraining2012
Пол Джеррард. Аксиомы тестирования

6. 7
©LuxoftTraining2012
 Знать, против чего тестировать (наличие требований)
 Аксиома #2: Testers need sources of knowledge to select things to test (база
тестирования)
 Знать, какое поведение системы «правильное» (ожидаемые
результаты тестирования)
 Аксиома #3: Testers need sources of knowledge to evaluate actual out-comes or
behaviours (оракул)
 Источники нашего знания небезупречны
 Аксиома #4: Our sources of knowledge are fallible and incomplete (изъяны в
артефактах)
 Уметь оценить полноту/тщательность тестирования
 Аксиома #7: Testing needs a coverage model or models (покрытие)
 Понимать, что момент завершения тестирования - компромисс
 Аксиома #13: The scope of testing and acceptance are always compromises (Good
Enough)
 Аксиома #14: Testing never finishes; it stops (неисчерпаемость)
Аксиомы универсальнее, чем практики

7. 8
©LuxoftTraining2012
оценка
рисков
«Схема убеждения» (альтернатива)
практика риск
это мои текущие
проблемы? 
или для меня
не актуально?
На шаг дальше в оценке
данной практики

8. 9
©LuxoftTraining2012
 Контекст (источники рисков):
1. Тестирование субъективно
2. Отсутствует «установка на разрушение»
3. У тех, кто тестирует, отсутствует представление о системе в
целом
4. Методики тест-проектирования не применяются
систематическим образом
5. Тесты не опираются непосредственно на требования
 Риски нарушения:
1. Недостоверны результаты тестирования
2. Многие функциональные области не протестированы
3. Многие дефекты не обнаружены
Практика: Независимая группа тестирования

9. 10
©LuxoftTraining2012
 Контекст (источники рисков):
1. Тестеров не оценивают свои трудозатраты
2. Группа независимого тестирования отсутствует
 Риски нарушения:
1. Бюджет тестирования недооценен
2. Ресурсов тестирования (число тестировщиков)
недостаточно
3. Цели тестирования не достигнуты (не получена
достоверная информация о качестве продукта)
Практика: Оценка трудозатрат на тестирование

10. 11
©LuxoftTraining2012
 Контекст (источник риска)
1. Только динамическое тестирование
 Риски нарушения:
1. Некоторые типы дефектов не обнаружены
2. Многие дефекты обнаружены слишком поздно
3. Не достигнуты цели разработки:
 Низкое качество продукта
 Поздний выпуск продукта
 Превышение бюджета
Практика: Рецензирование артефактов

11. 12
©LuxoftTraining2012
 Установить процедуры выявления и анализа
требований
 Документировать требования
 Проводить рецензирование требований (ясность,
непротиворечивость, полнота, …)
 Управлять изменениями
 Утвердить требования у заказчика
Практика: Управление требованиями 1/2

12. 13
©LuxoftTraining2012
 Риски нарушения:
1. Часть функций не реализована,
тем более не проверена
2. Найденные дефекты отклонены (время и труд
тестировщиков потеряны)
3. Ошибочное (с т.зр. Заказчика) поведение системы не
признано тестировщиками за дефект
4. Качество продукта низкое или сроки сорваны или бюджет
превышен
5. Продукт не принят в эксплуатацию
6. …
Практика: Управление требованиями 2/2

13. 14
©LuxoftTraining2012
оценка
рисков
Можно по-разному реагировать на риски
практика риск
• Насколько они актуальны в моей организации?
• Можно ли ими пренебречь?
• Какова моя стратегия воздействия на риски?

14. 15
©LuxoftTraining2012
Источник риска: запросы на изменение
 Риск: расширение рамок, сдвиг сроков, недооценка
трудозатрат
1. Смягчение: формальное управление изменениями
2. Устранение: мораторий на изменения в течение итерации
Варианты воздействия на риск 1

15. 16
©LuxoftTraining2012
Источник риска: документы требований
 Риск: разная трактовка требований внутри команды
1. Смягчение: рецензирование
2. Устранение: эффективная коммуникация внутри команды
Варианты воздействия на риск 2

16. 17
©LuxoftTraining2012
Источник риска: документы требований
 Риск: разная трактовка требований с заказчиком
1. Смягчение: утверждение у заказчика
2. Устранение: отсутствие документов; вовлечение заказчика в
разработку, постоянное присутствие его в команде
Варианты воздействия на риск 3

17. 18
©LuxoftTraining2012
Источник риска: неявные требования
 Риск: ожидания заказчика не удовлетворяются на
приёмке
1. Смягчение: дополнительное время на процедуру приёмки
2. Передача: короткие итерации, регулярные демонстрации
продукта
Варианты воздействия на риск 4

18. 19
©LuxoftTraining2012
Источник риска: слабая база оценки (или нет
процедуры!)
 Риск: неверная оценка трудозатрат
1. Смягчение: методики оценки (или ввести процедуру)
2. Принятие: ошибки не страшны - их становится меньше при
большом числе итераций
3. Принятие пассивное: заказчика не волнуют сроки (риск
ничтожен)
Варианты воздействия на риск 5

19. 21
©LuxoftTraining2012
 Альтернативная работа с рисками вам
ничего не напоминает?
Agile?

20. 22
©LuxoftTraining2012
 Эффективная устная коммуникация, встречи для обмена
информацией по требованиям и др.
-- а не документы требований
 Валидация требований путём вовлечения заказчика
– а не формальное утверждение
 Прототипирование – демо для заказчика в каждом спринте – а не
рецензирование
 Мораторий на изменения в ходе спринта
-- а не формальные запросы на изменение
 Постепенное наращивание функционала – итеративный выпуск
релизов
-- рефакторинг продукта, а не документации
Альтернативное нивелирование рисков в Agile

21. 23
©LuxoftTraining2012
Позволяет:
 Оценить приемлемость или неприемлемость подхода к
тестированию
 Получить ясное представление об угрозах, связанных с
пренебрежением к тестированию
 «Лучшие практики» -- не аксиомы: можно нарушать при
понимании последствий
 Побудить к альтернативному реагированию на риски;
Вообще – применять аппарат управления рисками в целом
 Адекватно выстроить аудит процесса тестирования
 Использовать как инструмент для обучения
Прикладная ценность подхода

22. 24
©LuxoftTraining2012
Благодарю за внимание!
Вопросы?