Слайды к рассказу про тёмную сторону метрик на встрече московского клуба тестировщиков.

1. Темная сторона метрик
Роман ИВЛИЕВ

2. 2002-....
• Тестировщик
• Разработчик
• Руководитель
разработчиков
• Руководитель
тестировщиков
• Руководитель проектов
• CTO
• CIO
О СЕБЕ

3. • 10 лет в Интернете
• 570КК выручки за 2014 год
• 0,5КК уников в сутки
• 30+ сотрудников департамента
информационных технологий
• 70Тб трафика в месяц
• А ещё мы покупаем конкурентов ;)
О BANKI.RU

4. • Метрики, что это и что с ними делать
• Метрики - примеры
• Темная сторона метрик, как не надо
• Темная сторона метрик, как избежать
ПРО ЧТО Я БУДУ РАССКАЗЫВАТЬ

5. БУДЬТЕ БДИТЕЛЬНЫ

6. Просто весёлая картинка в субботу

7. Метрики, что это?
• Метрика по ISO 14598 - это
количественный масштаб и метод,
который может использоваться для
измерения.
• Метрика - это мера, позволяющая получить
численное значение некоторого свойства
объекта

8. Метрики, что это?

9. Метрики, зачем?

10. • Найденные дефекты/ исправленные
дефекты
Метрики, примеры (простые)

11. • Найденные дефекты/ исправленные
дефекты
• Процент выполненных тестов /процент
успешных тестов
Метрики, примеры (простые)

12. • Найденные дефекты/ исправленные
дефекты
• Процент выполненных тестов /процент
успешных тестов
• Метрика стилистики и понятности
(например, плотность комментариев)
Метрики, примеры (простые и один не простой)

13. Иллюстрация, как можно сломать мозг
• Major Defects Per Test Case Review
• Minor Defects Per Test Case Review
• Total Defects Per Test Case Review
• Ratio of Major to Minor Defects Per Test Case Review
• Total Defects Per Test Case Review Hour
• Major Defects Per Test Case Review Hour
• Ratio of Major to Minor Defects Per Test Case Review Hour
• Number of Open Defects Per Test Review
• Number of Closed Defects Per Test Case Review
• Ratio of Closed to Open Defects Per Test Case Review
• Number of Major Open Defects Per Test Case Review
• Number of Major Closed Defects Per Test Case Review
• Ratio of Major Closed to Open Defects Per Test Case
Review
• Number of Minor Open Defects Per Test Case Review
• Number of Minor Closed Defects Per Test Case Review
• Ratio of Minor Closed to Open Defects Per Test Case
Review
• Percent of Total Defects Captured Per Test Case Review
• Percent of Major Defects Captured Per Test Case Review
• Percent of Minor Defects Captured Per Test Case Review
• Ratio of Percent Major to Minor Defects Captured Per Test
Case Review
• Percent of Total Defects Captured Per Test Case Review
Hour
• Percent of Major Defects Captured Per Test Case Review
Hour
• Percent of Minor Defects Captured Per Test Case Review
Hour
• Ratio of Percent Major to Minor Defects Captured Per Test
Case Review Hour
• Percent of Total Defect Residual Per Test Case Review
• Percent of Major Defect Residual Per Test Case Review
• Percent of Minor Defect Residual Per Test Case Review
• Ratio of Percent Major to Minor Defect Residual Per Test
Case Review
• Percent of Total Defect Residual Per Test Case Review
Hour
• Percent of Major Defect Residual Per Test Case Review
Hour
• Percent of Minor Defect Residual Per Test Case Review
Hour
• Ratio of Percent Major to Minor Defect Residual Per Test
Case Review Hour
• Number of Planned Test Case Reviews
• Number of Held Test Case Reviews
• Ratio of Planned to Held Test Case Reviews
• Number of Reviewed Test Cases
• Number of Unreviewed Test Cases
• Ratio of Reviewed to Unreviewed Test Cases
• Number of Compliant Test Case Reviews
• Number of Non-Compliant Test Case Reviews
• Ratio of Compliant to Non-Compliant Test Case Reviews
• Compliance of Test Case Reviews
• Non-Compliance of Test Case Reviews
• Ratio of Compliance to Non-Compliance of Test Case
Reviews

14. Иллюстрация, как можно сломать мозг
• Major Defects Per Test Case Review
• Minor Defects Per Test Case Review
• Total Defects Per Test Case Review
• Ratio of Major to Minor Defects Per Test Case Review
• Total Defects Per Test Case Review Hour
• Major Defects Per Test Case Review Hour
• Ratio of Major to Minor Defects Per Test Case Review Hour
• Number of Open Defects Per Test Review
• Number of Closed Defects Per Test Case Review
• Ratio of Closed to Open Defects Per Test Case Review
• Number of Major Open Defects Per Test Case Review
• Number of Major Closed Defects Per Test Case Review
• Ratio of Major Closed to Open Defects Per Test Case
Review
• Number of Minor Open Defects Per Test Case Review
• Number of Minor Closed Defects Per Test Case Review
• Ratio of Minor Closed to Open Defects Per Test Case
Review
• Percent of Total Defects Captured Per Test Case Review
• Percent of Major Defects Captured Per Test Case Review
• Percent of Minor Defects Captured Per Test Case Review
• Ratio of Percent Major to Minor Defects Captured Per Test
Case Review
• Percent of Total Defects Captured Per Test Case
Review Hour
• Percent of Major Defects Captured Per Test Case Review
Hour
• Percent of Minor Defects Captured Per Test Case Review
Hour
• Ratio of Percent Major to Minor Defects Captured Per Test
Case Review Hour
• Percent of Total Defect Residual Per Test Case Review
• Percent of Major Defect Residual Per Test Case Review
• Percent of Minor Defect Residual Per Test Case Review
• Ratio of Percent Major to Minor Defect Residual Per Test
Case Review
• Percent of Total Defect Residual Per Test Case Review
Hour
• Percent of Major Defect Residual Per Test Case Review
Hour
• Percent of Minor Defect Residual Per Test Case Review
Hour
• Ratio of Percent Major to Minor Defect Residual Per Test
Case Review Hour
• Number of Planned Test Case Reviews
• Number of Held Test Case Reviews
• Ratio of Planned to Held Test Case Reviews
• Number of Reviewed Test Cases
• Number of Unreviewed Test Cases
• Ratio of Reviewed to Unreviewed Test Cases
• Number of Compliant Test Case Reviews
• Number of Non-Compliant Test Case Reviews
• Ratio of Compliant to Non-Compliant Test Case Reviews
• Compliance of Test Case Reviews
• Number Non-Compliance of Test Case Reviews
• Ratio of Compliance to Non-Compliance of Test Case
Reviews

15. Вернёмся к…

16. • Счетчик новых и исправленных дефектов
• Счетчик удачных и неудачных тестов
• Число строк кода и число комментариев
Чем их мерять?

17. • Все дефекты найдены и
задокументированы
• Есть цель исправить все дефекты
• Если все известные дефекты исправлены
– продукт готов
• Есть разумное объяснение для всех
исправленных дефектов
Смеркалось  Счетчики, предположения

18. Смеркалось  Проценты, предположения
• Перед выполнением точно знаю,
сколько тестов будет выполнено
• Все четко понимают, что такое «тест»
• Все четко понимают, что такое
«выполненный»
• Выходом теста является либо
«Прошел», либо «Не прошел»

19. Смеркалось  Стилистика
Тот, кто считает, точно знает что делает

20. ВЫГЛЯДИТ НЕПЛОХО

21. ЧТО С ЭТИМ не нужно ДЕЛАТЬ?

22. КЛАССИЧЕСКИЙ ЗАГОН УПРАВЛЕНЦА

23. КЛАССИЧЕСКИЙ ЗАГОН УПРАВЛЕНЦА
• Взять цифры

24. КЛАССИЧЕСКИЙ ЗАГОН УПРАВЛЕНЦА
• Взять цифры (их кто-то написал)

25. КЛАССИЧЕСКИЙ ЗАГОН УПРАВЛЕНЦА
• Взять цифры (их кто-то написал)
• Изучить внимательно

26. КЛАССИЧЕСКИЙ ЗАГОН УПРАВЛЕНЦА
• Взять цифры (их кто-то написал)
• Изучить внимательно (это важно!)

27. КЛАССИЧЕСКИЙ ЗАГОН УПРАВЛЕНЦА
• Взять цифры (их кто-то написал)
• Изучить внимательно (это важно!)
• Сделать выводы

28. КЛАССИЧЕСКИЙ ЗАГОН УПРАВЛЕНЦА
• Взять цифры (их кто-то написал)
• Изучить внимательно (это важно!)
• Сделать выводы (ТОЛЬКО верные)

29. КЛАССИЧЕСКИЙ ЗАГОН УПРАВЛЕНЦА
• Взять цифры (их кто-то написал)
• Изучить внимательно (это важно!)
• Сделать выводы (ТОЛЬКО верные)
• Наказать виновных

30. КЛАССИЧЕСКИЙ ЗАГОН УПРАВЛЕНЦА
• Взять цифры (их кто-то написал)
• Изучить внимательно (это важно!)
• Сделать выводы (ТОЛЬКО верные)
• Наказать виновных (и остальных)

31. КЛАССИЧЕСКИЙ ЗАГОН УПРАВЛЕНЦА
• Взять цифры (их кто-то написал)
• Изучить внимательно (это важно!)
• Сделать выводы (ТОЛЬКО верные)
• Наказать виновных (и остальных)
• Внести «коррективы»

32. КЛАССИЧЕСКИЙ ЗАГОН УПРАВЛЕНЦА
• Взять цифры (их кто-то написал)
• Изучить внимательно (это важно!)
• Сделать выводы (ТОЛЬКО верные)
• Наказать виновных (и остальных)
• Внести «коррективы» (а как иначе?)

33. КЛАССИЧЕСКИЙ ЗАГОН УПРАВЛЕНЦА
• Взять цифры (их кто-то написал)
• Изучить внимательно (это важно!)
• Сделать выводы (ТОЛЬКО верные)
• Наказать виновных (и остальных)
• Внести «коррективы» (а как иначе?)
• ПРОФИТ!

35. Методы «управления»  Счетчики
• Объединение дефектов в один
• «Альтернативный» коллектор
дефектов
• Добавление дефекта, только после
того, как он был исправлен
• Самостоятельный поиск и
исправление дефектов разработчиком

36. Следствие  Счетчики
• А как корректно учитывать дефекты?
• Как заставить отказаться от
альтернативных путей?
• Как считать сложные дефекты?
• И т.д.

37. Методы «управления»  Проценты
• «Исправление» термина «тест» в
сторону увеличения гибкости
• Прогон только «хороших» тестов
• Исправление тестов по поведению
софта

38. Следствие  Проценты
• Падает ли тест дважды, если он
находит два дефекта?
• Надо ли прогонять тест, который
наверняка упадет?
• Надо ли включать в отчет такой
дефект?
• Если функционал работает частично,
все тесты отклонять, или только те, что
реально упали?

39. Методы управления  Стилистика
• Комплексное

40. Следствие  Стилистика
• Комплексное

41. НИЧОСИ…

42. ПОПРОБУЕМ РАЗОБРАТЬСЯ

43. ВАЖНО! Стратегия должна быть

44. Стратегия выбора метрик: измерения
• Понять назначение измерения. Какое
измерение для чего будет
использоваться
• Понять цель измерения. Как широко
будут использоваться измерения
• Найти объект измерения
• Определиться с масштабом
измерения.

45. Просто пример измерения

46. Просто пример масштаба

47. Стратегия выбора метрик: инструмент
• Найти описание естественного
изменения объекта измерений, т.е.
некоторый алгоритм, по которому
изменяется объект измерения.
• Найти инструмент для измерения
свойств объекта. Например, счетчик
новых дефектов.
• Важно, чтобы инструмент был
исправен!

48. Стратегия выбора метрик: инструмент
• Понять как изменяются измерения,
сделанные с использованием
выбранного инструмента.
• Определиться с масштабом
инструмента для измерений.

49. Стратегия выбора метрик: инструмент
• Понять каким образом объект
измерения соотносится с
инструментом.
• Выяснить побочные эффекты, которые
могут возникнуть при измерениях
объекта выбранным инструментом.

50. СТАБИЛЬНОСТЬ И РЕГУЛЯРНОСТЬ

51. ЕДИНАЯ ТОЧКА ЗРЕНИЯ

52. ПРИМЕР
• Команда А: тех.долг - 11 задач .
• Команда Б: тех.долг - 110 задач .
• Команда В: тех.долг - 0 задач .
• Команда Д: тех.долг - 35 задач .

53. ПРИМЕР
• Команда А: тех.долг - 11 задач .
• Команда Б: тех.долг - 110 задач .
• Команда В: тех.долг - 0 задач .
• Команда Д: тех.долг - 35 задач .
• О чём нам говорят эти цифры?

54. КАЖДОМУ СВОЕ
«Слова вы услышали, поиск пути
за вами»
Уильям Деминг

55. СПАСИБО
С удовольствием отвечу на
Ваши вопросы
@dumtest
roman.ivliev@mail.ru
roman.ivliyev