Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Waterfall revisited: практические метрики тестирования

3,083 views

Published on

Доклад Григория Сенина на SQA Days-15. 18-19 апреля, 2014, Москва.
www.sqadays.com

Published in: Education
  • Be the first to comment

  • Be the first to like this

Waterfall revisited: практические метрики тестирования

  1. 1. Waterfall revisited: практические метрики тестирования Григорий Сенин. Anywayanyday.com, Luxoft Training
  2. 2. «Что у нас с качеством?»
  3. 3. Closed P3 = All Found Проще всего -- так • График незакрытых дефектов P3 Q = … P3
  4. 4. 1. … 2. … 3. дефекты исправлены; исправления дефектов подтверждены Критерий качества #3
  5. 5. Прогнали не все тесты… P3 P2
  6. 6. Критерий качества #2 1. … 2. Прогнать тесты и найти дефекты • test run 3. Подтвердить исправления дефектов
  7. 7. Написали не все тесты… P3 P2 P1
  8. 8. Критерий качества #1 1. Создать тесты на базе требований • test design 2. Прогнать тесты и найти дефекты 3. Подтвердить исправления дефектов
  9. 9. Зависимости и ограничения поправка на: Проектирование тестов, P1 Выполнение тестов, P2 Верификация дефектов, P3 -- Closed ----------- = 25% Found Невыполненные тесты Executed ------------- = 80% Designed 20% = 25% * 80% Ненаписанные тесты Designed ------------- = 50% Planned 40% = 80% * 50% 10% = 25%*80%*50%
  10. 10. «Старшинство» процессов P3 P2 P1
  11. 11. Достижение цели тестирования P3 P2 P1
  12. 12. • Тесты пишутся, написаны не все • Тесты частично прогоняются • Найденные дефекты не исправляются Вариации: Разработка в разгаре
  13. 13. • Тесты разработаны полностью • Почти все тесты выполнены • Большая часть найденных дефектов исправлена и закрыта Вариации: Разработка на финише
  14. 14. Вариации: Шлифовка подсистем • Тесты разработаны полностью • Протестирована половина функционала • Все найденные дефекты исправлены и закрыты
  15. 15. Вариации: Разработчики задерживают тестирование • Требования определены, тесты написаны • Разработка отстаѐт => тесты не прогоняются • Дефекты не выявляются
  16. 16. Вариации: Требования задерживают разработку • Требования к части продукта неизвестны (не утверждены, не изучены) • Оставшаяся часть продукта полностью протестирована, все дефекты закрыты
  17. 17. Последствия изменений
  18. 18. Показатели в динамике Успеем ли к сроку?
  19. 19. Пример с реальными данными
  20. 20. Взгляд через «диаграмму сгорания»
  21. 21. Проектирование и прогон тестов: P1, P2
  22. 22. Прогноз скорости исправлений
  23. 23. Индикация отставания
  24. 24. Зазор качества
  25. 25. Откуда первичные данные?
  26. 26. P3: данные из баг-трекера • Статус дефектов
  27. 27. P2: данные из таблицы Excel • завершѐнность прогона тестов
  28. 28. P2: данные из инструментария • завершѐнность прогона тестов
  29. 29. P1: данные из Excel • Готовность тестов
  30. 30. P1: ‘осталось’ против ‘сделано’ • Трудозатраты на тест- проектирование
  31. 31. P1: данные из статуса задачи • завершѐнность тест-проектирования Статус P1 = Open 10% In Progress 50% Resolved 90% Closed 100%
  32. 32. P1: данные из статусов задач • завершѐнность тест-проектирования
  33. 33. P1: данные покрытия завершѐнность тест-проектирования не есть полнота тестового покрытия ?
  34. 34. P1: данные покрытия T1 T2 T3 T4 T5 T6 T7 Да/нет R1     + R2    + R3     + R4   + R5 -
  35. 35. Если есть инструментарий…
  36. 36. Ещѐ «стакан»: тест-идеи P2 Тестов разработано P1 Тестовзадумано- идеи Тестов выполнено P0
  37. 37. Что у нас с качеством? − Пока 18%. Ждали 25% ...
  38. 38. GregSenin@Gmail.com Вопросы?

×