Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Оценки тестирования - полезные и условные метрики

2,327 views

Published on

Доклад Таисии Толстуновой на конференции SQA Days-18, 27-28 ноября 2015 г., Москва
www.sqadays.com

Published in: Education
  • Be the first to comment

Оценки тестирования - полезные и условные метрики

  1. 1. Software quality assurance days 18 Международная конференция по вопросам качества ПО sqadays.com Москва. 27–28 ноября 2015 Таисия Толстунова НИЦ СПб ЭТУ, Санкт-Петербург, Россия Оценки тестирования полезные и условные метрики
  2. 2. Толстунова Таисия В тестировании - 9 лет В тест-менеджменте - 6 лет Коммерческие, гос.проекты Последние 5 лет в основном гос.проекты Оценки тестирования полезные и условные метрики Кто я?
  3. 3. Что такое метрики? Оценки тестирования полезные и условные метрики
  4. 4. Необходимы для: •оценки процесса •оценки результата тестирования Оценки тестирования полезные и условные метрики Что такое метрики?
  5. 5. Метрики, навязанные сверху • Количество дефектов / единица времени • Количество найденных дефектов / количество пофикшенных дефектов • Количество дефектов / тысяча строк кода Оценки тестирования полезные и условные метрики
  6. 6. Что может демотивировать? • % покрытия • таблица по функциям плотность дефектов / количество переоткрытых дефектов • время на настройку / время на тестирование в целом • время на ожидание версии / время на тестирование в целом Оценки тестирования полезные и условные метрики
  7. 7. Соревновательные “ноты” Важно: одинаковые условия (схожие продукты, похожие итерации, примерно одинаковый уровень групп разработки) Оценки тестирования полезные и условные метрики
  8. 8. Соревновательные “ноты” Важно: одинаковые условия (схожие продукты, похожие итерации, примерно одинаковый уровень групп разработки) Например: -время до первого дефекта -критичность найденных дефектов Оценки тестирования полезные и условные метрики
  9. 9. Зачем нужен свой набор метрик? Оценки тестирования полезные и условные метрики
  10. 10. Зачем нужен свой набор метрик? Определение цели ввода метрик -для корректировки процесса -для корректировки временных оценок -для анализа результата -для ответов на вопросы начальства в своем формате Оценки тестирования полезные и условные метрики
  11. 11. Примеры метрик для процессов тестирование требований Оценки тестирования полезные и условные метрики
  12. 12. Примеры метрик для процессов тестирование требований • соотношение дефектов в % с приоритетами; • соотношения временных затрат по итерациям, либо наборам требований; • соотношение запросов пользователей к требованиям по результатам разработки прототипа и самого программного продукта Оценки тестирования полезные и условные метрики
  13. 13. • разработка тестовой документации Оценки тестирования полезные и условные метрики
  14. 14. • разработка тестовой документации • % покрытия функций, юзкейсов, требований; • % согласованной архитектором / разработчиком тестовой документации Оценки тестирования полезные и условные метрики
  15. 15. • разработка тестовой документации • % покрытия функций, юзкейсов, требований; • % согласованной архитектором / разработчиком тестовой документации • тестирование ПО Оценки тестирования полезные и условные метрики
  16. 16. • разработка тестовой документации • % покрытия функций, юзкейсов, требований; • % согласованной архитектором / разработчиком тестовой документации • тестирование ПО • % покрытия функций, юзкейсов, требований; • затраченные фактические временные ресурсы в сравнении с плановыми Оценки тестирования полезные и условные метрики
  17. 17. • разработка тестовой документации • % покрытия функций, юзкейсов, требований; • % согласованной архитектором / разработчиком тестовой документации • тестирование ПО • % покрытия функций, юзкейсов, требований; • затраченные фактические временные ресурсы в сравнении с плановыми • тестирование пользовательской документации Оценки тестирования полезные и условные метрики
  18. 18. • разработка тестовой документации • % покрытия функций, юзкейсов, требований; • % согласованной архитектором / разработчиком тестовой документации • тестирование ПО • % покрытия функций, юзкейсов, требований; • затраченные фактические временные ресурсы в сравнении с плановыми • тестирование пользовательской документации • таблица приоритеты / % найденных вне отдела дефектов документации Оценки тестирования полезные и условные метрики
  19. 19. Оценки тестирования полезные и условные метрики • метрики в процессе тестирования • метрика личной эффективности (план / факт) • метрика количества параллельных задач или процессов (в том числе для расстановки приоритетов) • метрики для временных оценок (как правило считаются по отделам, от которых мы зависим)
  20. 20. • метрики в процессе тестирования • метрика личной эффективности (план / факт) • метрика количества параллельных задач или процессов (в том числе для расстановки приоритетов) • метрики для временных оценок (как правило считаются по отделам, от которых мы зависим) • для разных групп разработки: количество итераций с блокерами и инициативой к итерации от разработчиков (не в случае agile :) • для разных групп разработки отличие планируемых дат от фактической выдачи Оценки тестирования полезные и условные метрики
  21. 21. Коммерческие и гос.проекты Что такое коммерческий проект? - потребитель - заказчик - обратная связь от пользователей - что важно? - что можно менять? Оценки тестирования полезные и условные метрики
  22. 22. Коммерческие и гос.проекты Что такое коммерческий проект? - потребитель - заказчик - обратная связь от пользователей - что важно? - что можно менять? Что такое гос.проект? - ТЗ - приёмка госзаказа (заказчиком / ОТК / ВП) Оценки тестирования полезные и условные метрики
  23. 23. • что можно измерять в коммерческих проектах? Коммерческие и гос.проекты Оценки тестирования полезные и условные метрики
  24. 24. • что можно измерять в коммерческих проектах? • что можно измерять в гос.проектах? Коммерческие и гос.проекты Оценки тестирования полезные и условные метрики
  25. 25. • Обратная связь от пользователей и от ОТК+ВП. В чем сходство? Оценки тестирования полезные и условные метрики Могут быть одинаковые метрики?
  26. 26. • Обратная связь от пользователей и от ОТК+ВП. В чем сходство? • Почему же на самом деле это разные метрики? Оценки тестирования полезные и условные метрики Могут быть одинаковые метрики?
  27. 27. • Обратная связь от пользователей и от ОТК+ВП. В чем сходство? • Почему же на самом деле это разные метрики? Выбор метрик: • Коммерческий проект – критичность / используемость в обратной связи от пользователей; • Гос.заказ - % соотношение типов и приоритетов дефектов от ОТК+ВП Оценки тестирования полезные и условные метрики Могут быть одинаковые метрики?
  28. 28. Работающие и неработающие метрики. Оценки тестирования полезные и условные метрики
  29. 29. Важные вопросы: • Соответствуют ли ваши метрики целям? • А спущенные сверху метрики? Оценки тестирования полезные и условные метрики Работающие и неработающие метрики.
  30. 30. Спущенные сверху метрики Выбранные в соответствии с целями метрики Количество дефектов в единицу времени Качественные соотношения приоритетов дефектов от ОТК Найденные / пофикшенные дефекты Соотношение типов пропущенных дефектов от ОТК Количество дефектов на тысячу строк кода % покрытия функционала Оценки тестирования полезные и условные метрики Работающие и неработающие метрики. Сравнение наборов метрик.
  31. 31. Посмотреть, какие еще бывают метрики: • Доклады с предыдущих SQA • SQA Days #17 – Monthly Operations Review • SQA Days #16 – Использование метрик в процессе обеспечения качества сложных систем • SQA Days #15 – Waterfall revisited: практические метрики тестирования • Доклад на BBST Testing Course Оценки тестирования полезные и условные метрики Нужны свои метрики
  32. 32. Skype: thaya.tt mailto: i@thaya.pro Оценки тестирования полезные и условные метрики

×