1. Анна Кербель,
ведущий тестировщик
http://vkontakte.ru/id8140823
akerbel@mail.ru
Risk Driven Testing

2. Не хватает времени?
Нужно найти важные ошибки
как можно быстрее?
Нужен критерий эффективности
тест кейсов или тестовых
сценариев?

3. Помните! Есть всего 1 час!
Не бьются?
Влагоустойчивые?
Подзаводятся?
Протестируем часы

4. Определения
Риск – это возможное событие, влекущее за собой
материальные или иные затраты.
Подверженность Рискам (Risk Exposure) – оценка
возможности фейла конкретной
функциональности.
Тестирование – основная защита от рисков.
Risk Driven Testing – метод, при котором в первую
очередь и/или более подробно тестируются те
части функционала, которые более подвержены
рискам.

5. Основные действия :
• определить риски отдельных
функциональных частей;
• создать список функциональных частей,
распределенных по подверженности
рискам;
• написать тест кейсы;
• проходить максимальный набор тест
кейсов за отведенное время.

6. Источники рисков:
• Продукт (реализована
неправильная логика,
ошибки);
• Проект (плохой процесс,
сложность проекта);
• Пользователи (могут
использовать продукт
«неправильно»);

7. Кто несёт потери?
• Заказчик (потеря денег, потеря своего
сегмента рынка );
• Разработчик (затраты ресурсов и
времени на исправление проблем,
затраты на поддержку продукта);

8. Вероятность
возникновения проблемы?
Оценка вероятность фейла по:
• сложности функциональности,
• опытности команды разработчиков,
• опыту предыдущих релизов,
• зная, был ли рефакторинг кода.

9. Вероятность
использования функциональности?
Задача
Система создаёт отчёты. Отчёт критично
необходим аналитику раз в неделю.
Вероятность использования отчета: ?

10. Кладовщик и товар
Какова вероятность использования списка товаров?
Куда мог
деться весь
товар?

11. Risk Exposure:
– подверженность риску (risk exposure)
функциональности F;
– вероятность использования F;
– вероятность фейла F;
– цена/последствия фейла функциональности F (на
продакшн);

12. Курьерская служба
Система со справочником медицинских
препаратов.
Справочник используется при 1/3 заказов.
Нерабочий справочник – служба теряет заказ –
500т.р.
Неверно работает – служба выплатит неустойку
– 1 млн. р.
Раз в месяц справочник проверяет фармацевт.
Время фармацевта – 5 т.р.

13. Полная
подверженность риску:
• недоступность справочника – вероятность 10%
• неверная работа – вероятность 20%.
Полная подверженность риску : 83401,5

14. Стоимость потерь
Стоимость можно разделить на два типа:
– потери заказчика;
– потери разработчика продукта;

15. Risk Driven подход:
• оцениваются потери каждого тест кейса;
• оценивается вероятность риска для
каждого тест кейса;
• рассчитывается Risk Exposure каждого
тест кейса;

16. • оцениваются потери каждого тест кейса;
• оценивается вероятность риска для каждого тест кейса;
• рассчитывается Risk Exposure каждого тест кейса;
• из тест кейсов составляются тестовые
сценарии ориентированные на бизнес-
процесс заказчика;
Risk Driven подход:

17. • оцениваются потери каждого тест кейса;
• оценивается вероятность риска для каждого кейса;
• рассчитывается Risk Exposure каждого тест кейса;
• из тест кейсов составляются тестовые сценарии
ориентированные на бизнес-процесс заказчика;
• оценивается Risk Exposure для каждого
тестового сценария;
Risk Driven подход:

18. оцениваются потери каждого тест кейса;
• оценивается вероятность риска для каждого кейса;
• рассчитывается Risk Exposure каждого тест кейса;
• из тест кейсов составляются тестовые сценарии
ориентированные на бизнес-процесс заказчика;
• оценивается Risk Exposure каждого тестового сценария;
• выбираются сценарии с наибольшей
подверженностью рискам;
Risk Driven подход:

19. Потери тест кейса
• по шкале от 1 до 10 (самые малые – самые
большие);
• веса одинаковые;

20. Подверженность риску
тест кейса
• подсчитать количество найденных багов и
средний показатель Severity багов;
• вероятность фейла – произведение
количества багов на средний Severity;
• нормализовать вероятности фейла.

21. Тестовые сценарии:
• должны моделировать обычное
использование системы пользователем;
• должны быть направлены на бизнес-
процессы заказчика;
• набор тестовых сценариев должен включать
в себя весь набор тест кейсов;

22. Risk Exposure
тестового сценария

23. Выбор тестовых сценариев
Traceability Matrix
тест кейсов и сценариев
Выбираем тестовый
сценарий
Вычеркиваем лишнее
из Traceability Matrix
Есть
время?
Завершение
Рассчитываем
Risk Exposure

24. Смешная система
Существует система отображения анекдотов.
Как только приходит анекдот, срабатывает
оповещение.
Пользователь может прочитать анекдот и
оценить.
Появилась новая функциональность –
пользователь может отправить свой анекдот.

25. Основные сценарии:
оповещение
отображение анекдота
оценка анекдота
закрытие
оповещение
отображение анекдота
закрытие

26. оповещение
закрытие
создание анекдота
закрытие
отправка
Основные сценарии:
идея

27. Traceability Matrix
TS1 TS2 TS3 TS4
1 1
1 1 1
1
1 1 1 1
1
1

28. Risk Exposure тест кейсов
10 0,02 0,2
8 0,2 1,6
5 0,3 1,5
3 0,1 0,3
5 0,5 2,5
5 1 5

29. Risk Exposure сценариев
Scenarios
TS1 3,6
TS2 2,1
TS3 1,8
TS4 7,8

30. Вычеркивание пройденного
TS1 TS2 TS3 TS4
1 1
1 1 1
1
1 1 1 1
1
1

31. Risk Exposure сценариев
Scenarios
TS1 3,3
TS2 1,8
TS3 1,6

32. Почему Risk Driven
тестирование?
• Тестирование мотивировано рисками. Мы
ищем высокоприоритетные баги.
• Тестировщики постоянно используют Risk
Driven тестирование, но в динамическом
режиме, основываясь на субъективных
оценках. Сделаем оценку объективной.
• Нет ограничений для использования.
• При Risk Driven подходе используются только
непосредственные вычисления => можно
автоматизировать.

33. Спасибо за Внимание!
Анна Кербель,
ведущий тестировщик
http://vkontakte.ru/id81408238
akerbel@mail.ru