Чтобы управлять, надо измерять. · Что надо измерять, управляя функциональным тестированием? · Если «качество», то из чего оно складывается? · Какие показатели важны для тест-менеджера в начале, середине, конце тестирования? Для ответов на эти вопросы тест-менеджеру предлагаются количественные показатели («метрики»), которые метафорически представляются тремя стаканами, наполняемыми в ходе проекта. Что характерно для этого набора: · Прямая связь с задачами тестирования (тест-проектирование, прогон тестов, верификация дефектов) · Наглядное представление хода тестирования · Широкая применимость для разных компаний, независимость от инструментария · Унификация: разные проекты отслеживаются единым образом Приводятся примеры: · расчёты по различным первичным измерениям; · иллюстрации структуры метрик; · симптоматика проблем в ходе тестирования по динамике показателей; · добавочные «стаканы».

1. Waterfall revisited: практические
метрики тестирования
Григорий Сенин. Anywayanyday.com, Luxoft Training

2. «Что у нас с качеством?»

3. Closed
P3 =
All Found
Проще всего -- так
• График
незакрытых
дефектов
100%
P3
Q = … P3

4. 1. …
2. …
3. дефекты исправлены;
исправления дефектов
подтверждены
Критерий качества #3

5. Прогнали не все тесты…
P3
P2
Тестов
выполнено
Тестов
создано Q= … P2
x P3

6. Критерий качества #2
1. …
2. Прогнать тесты и найти дефекты
• test run
3. Подтвердить исправления дефектов

7. Написали не все тесты…
P3
P2
Тестов
создано
P1
Тестов
задумано
Q = P1
x P2
x P3

8. Критерий качества #1
1. Создать тесты на базе требований
• test design
2. Прогнать тесты и найти дефекты
3. Подтвердить исправления дефектов

9. Зависимости и ограничения
поправка на:
Проектирование
тестов, P1
Выполнение
тестов, P2
Верификация
дефектов, P3
--
Closed
----------- = 25%
Found
Невыполненные
тесты
Executed
------------- = 80%
Designed
20% = 25% * 80%
Ненаписанные
тесты
Designed
------------- = 50%
Planned 40% = 80% * 50% 10% = 25%*80%*50%

10. «Старшинство» процессов
P3
P2
P1

11. Достижение цели тестирования
P3
P2
P1

12. Работа,
которую
нужно
сделать

13. • Тесты пишутся, написаны не все
• Тесты частично прогоняются
• Найденные дефекты не исправляются
Вариации:
Разработка в разгаре

14. • Тесты разработаны полностью
• Почти все тесты выполнены
• Большая часть найденных дефектов
исправлена и закрыта
Вариации:
Разработка на финише

15. Вариации:
Шлифовка подсистем
• Тесты разработаны полностью
• Протестирована половина функционала
• Все найденные дефекты исправлены и
закрыты

16. Вариации: Разработчики
задерживают тестирование
• Требования определены, тесты написаны
• Разработка отстаёт => тесты не прогоняются
• Дефекты не выявляются

17. Вариации: Требования
задерживают разработку
• Требования к части продукта неизвестны (не
утверждены, не изучены)
• Оставшаяся часть продукта полностью
протестирована, все дефекты закрыты

18. Последствия изменений
CR

19. Показатели в динамике
Успеем ли к
сроку?

20. Пример с реальными данными

21. Взгляд через «диаграмму
сгорания»

22. Проектирование и прогон
тестов: P1, P2

23. Прогноз скорости исправлений

24. Индикация отставания

25. Зазор качества

26. Откуда первичные данные?

27. P3: данные из баг-трекера
• Статус дефектов

28. P2: данные из таблицы Excel
• завершённость
прогона тестов

29. P2: данные из инструментария
• завершённость
прогона тестов

30. P1: данные из Excel
• Готовность тестов
P1 = 38%

31. P1: ‘осталось’ против ‘сделано’
• Трудозатраты на тест-
проектирование
P1 = 13,75 / (2,25+13,75) = 86%

32. P1: данные из статуса задачи
• завершённость тест-проектирования
Статус P1 =
Open 10%
In Progress 50%
Resolved 90%
Closed 100%

33. P1: данные из статусов задач
• завершённость тест-проектирования
P1 = (5*100% + 4*50%)/9 = 78%

34. P1: данные покрытия
завершённость тест-проектирования
не есть
полнота тестового покрытия ?

35. P1: данные покрытия
T1 T2 T3 T4 T5 T6 T7 Да/нет
R1     +
R2    +
R3     +
R4   +
R5 -
P1 = 80%

36. Если есть инструментарий…

37. Ещё «стакан»: тест-идеиТребованийвсего
Q = P0
x P1
x P2
x …
P2
Тестов
разработано
P1
Тестовзадумано-
идеи
Тестов
выполнено
P0

38. Что у нас с качеством?
− Пока 18%.
Ждали 25% ...

39. GregSenin@Gmail.com
Вопросы?