SlideShare a Scribd company logo
Темная сторона метрик
Роман ИВЛИЕВ
2002-....
• Тестировщик
• Разработчик
• Руководитель
разработчиков
• Руководитель
тестировщиков
• Руководитель проектов
• CTO
• CIO
О СЕБЕ
• 10 лет в Интернете
• 570КК выручки за 2014 год
• 0,5КК уников в сутки
• 30+ сотрудников департамента
информационных технологий
• 70Тб трафика в месяц
• А ещё мы покупаем конкурентов ;)
О BANKI.RU
• Метрики, что это и что с ними делать
• Метрики - примеры
• Темная сторона метрик, как не надо
• Темная сторона метрик, как избежать
ПРО ЧТО Я БУДУ РАССКАЗЫВАТЬ
БУДЬТЕ БДИТЕЛЬНЫ
Просто весёлая картинка в субботу
Метрики, что это?
• Метрика по ISO 14598 - это
количественный масштаб и метод,
который может использоваться для
измерения.
• Метрика - это мера, позволяющая получить
численное значение некоторого свойства
объекта
Метрики, что это?
Метрики, зачем?
• Найденные дефекты/ исправленные
дефекты
Метрики, примеры (простые)
• Найденные дефекты/ исправленные
дефекты
• Процент выполненных тестов /процент
успешных тестов
Метрики, примеры (простые)
• Найденные дефекты/ исправленные
дефекты
• Процент выполненных тестов /процент
успешных тестов
• Метрика стилистики и понятности
(например, плотность комментариев)
Метрики, примеры (простые и один не простой)
Иллюстрация, как можно сломать мозг
• Major Defects Per Test Case Review
• Minor Defects Per Test Case Review
• Total Defects Per Test Case Review
• Ratio of Major to Minor Defects Per Test Case Review
• Total Defects Per Test Case Review Hour
• Major Defects Per Test Case Review Hour
• Ratio of Major to Minor Defects Per Test Case Review Hour
• Number of Open Defects Per Test Review
• Number of Closed Defects Per Test Case Review
• Ratio of Closed to Open Defects Per Test Case Review
• Number of Major Open Defects Per Test Case Review
• Number of Major Closed Defects Per Test Case Review
• Ratio of Major Closed to Open Defects Per Test Case
Review
• Number of Minor Open Defects Per Test Case Review
• Number of Minor Closed Defects Per Test Case Review
• Ratio of Minor Closed to Open Defects Per Test Case
Review
• Percent of Total Defects Captured Per Test Case Review
• Percent of Major Defects Captured Per Test Case Review
• Percent of Minor Defects Captured Per Test Case Review
• Ratio of Percent Major to Minor Defects Captured Per Test
Case Review
• Percent of Total Defects Captured Per Test Case Review
Hour
• Percent of Major Defects Captured Per Test Case Review
Hour
• Percent of Minor Defects Captured Per Test Case Review
Hour
• Ratio of Percent Major to Minor Defects Captured Per Test
Case Review Hour
• Percent of Total Defect Residual Per Test Case Review
• Percent of Major Defect Residual Per Test Case Review
• Percent of Minor Defect Residual Per Test Case Review
• Ratio of Percent Major to Minor Defect Residual Per Test
Case Review
• Percent of Total Defect Residual Per Test Case Review
Hour
• Percent of Major Defect Residual Per Test Case Review
Hour
• Percent of Minor Defect Residual Per Test Case Review
Hour
• Ratio of Percent Major to Minor Defect Residual Per Test
Case Review Hour
• Number of Planned Test Case Reviews
• Number of Held Test Case Reviews
• Ratio of Planned to Held Test Case Reviews
• Number of Reviewed Test Cases
• Number of Unreviewed Test Cases
• Ratio of Reviewed to Unreviewed Test Cases
• Number of Compliant Test Case Reviews
• Number of Non-Compliant Test Case Reviews
• Ratio of Compliant to Non-Compliant Test Case Reviews
• Compliance of Test Case Reviews
• Non-Compliance of Test Case Reviews
• Ratio of Compliance to Non-Compliance of Test Case
Reviews
Иллюстрация, как можно сломать мозг
• Major Defects Per Test Case Review
• Minor Defects Per Test Case Review
• Total Defects Per Test Case Review
• Ratio of Major to Minor Defects Per Test Case Review
• Total Defects Per Test Case Review Hour
• Major Defects Per Test Case Review Hour
• Ratio of Major to Minor Defects Per Test Case Review Hour
• Number of Open Defects Per Test Review
• Number of Closed Defects Per Test Case Review
• Ratio of Closed to Open Defects Per Test Case Review
• Number of Major Open Defects Per Test Case Review
• Number of Major Closed Defects Per Test Case Review
• Ratio of Major Closed to Open Defects Per Test Case
Review
• Number of Minor Open Defects Per Test Case Review
• Number of Minor Closed Defects Per Test Case Review
• Ratio of Minor Closed to Open Defects Per Test Case
Review
• Percent of Total Defects Captured Per Test Case Review
• Percent of Major Defects Captured Per Test Case Review
• Percent of Minor Defects Captured Per Test Case Review
• Ratio of Percent Major to Minor Defects Captured Per Test
Case Review
• Percent of Total Defects Captured Per Test Case
Review Hour
• Percent of Major Defects Captured Per Test Case Review
Hour
• Percent of Minor Defects Captured Per Test Case Review
Hour
• Ratio of Percent Major to Minor Defects Captured Per Test
Case Review Hour
• Percent of Total Defect Residual Per Test Case Review
• Percent of Major Defect Residual Per Test Case Review
• Percent of Minor Defect Residual Per Test Case Review
• Ratio of Percent Major to Minor Defect Residual Per Test
Case Review
• Percent of Total Defect Residual Per Test Case Review
Hour
• Percent of Major Defect Residual Per Test Case Review
Hour
• Percent of Minor Defect Residual Per Test Case Review
Hour
• Ratio of Percent Major to Minor Defect Residual Per Test
Case Review Hour
• Number of Planned Test Case Reviews
• Number of Held Test Case Reviews
• Ratio of Planned to Held Test Case Reviews
• Number of Reviewed Test Cases
• Number of Unreviewed Test Cases
• Ratio of Reviewed to Unreviewed Test Cases
• Number of Compliant Test Case Reviews
• Number of Non-Compliant Test Case Reviews
• Ratio of Compliant to Non-Compliant Test Case Reviews
• Compliance of Test Case Reviews
• Number Non-Compliance of Test Case Reviews
• Ratio of Compliance to Non-Compliance of Test Case
Reviews
Вернёмся к…
• Счетчик новых и исправленных дефектов
• Счетчик удачных и неудачных тестов
• Число строк кода и число комментариев
Чем их мерять?
• Все дефекты найдены и
задокументированы
• Есть цель исправить все дефекты
• Если все известные дефекты исправлены
– продукт готов
• Есть разумное объяснение для всех
исправленных дефектов
Смеркалось  Счетчики, предположения
Смеркалось  Проценты, предположения
• Перед выполнением точно знаю,
сколько тестов будет выполнено
• Все четко понимают, что такое «тест»
• Все четко понимают, что такое
«выполненный»
• Выходом теста является либо
«Прошел», либо «Не прошел»
Смеркалось  Стилистика
Тот, кто считает, точно знает что делает
ВЫГЛЯДИТ НЕПЛОХО
ЧТО С ЭТИМ не нужно ДЕЛАТЬ?
КЛАССИЧЕСКИЙ ЗАГОН УПРАВЛЕНЦА
КЛАССИЧЕСКИЙ ЗАГОН УПРАВЛЕНЦА
• Взять цифры
КЛАССИЧЕСКИЙ ЗАГОН УПРАВЛЕНЦА
• Взять цифры (их кто-то написал)
КЛАССИЧЕСКИЙ ЗАГОН УПРАВЛЕНЦА
• Взять цифры (их кто-то написал)
• Изучить внимательно
КЛАССИЧЕСКИЙ ЗАГОН УПРАВЛЕНЦА
• Взять цифры (их кто-то написал)
• Изучить внимательно (это важно!)
КЛАССИЧЕСКИЙ ЗАГОН УПРАВЛЕНЦА
• Взять цифры (их кто-то написал)
• Изучить внимательно (это важно!)
• Сделать выводы
КЛАССИЧЕСКИЙ ЗАГОН УПРАВЛЕНЦА
• Взять цифры (их кто-то написал)
• Изучить внимательно (это важно!)
• Сделать выводы (ТОЛЬКО верные)
КЛАССИЧЕСКИЙ ЗАГОН УПРАВЛЕНЦА
• Взять цифры (их кто-то написал)
• Изучить внимательно (это важно!)
• Сделать выводы (ТОЛЬКО верные)
• Наказать виновных
КЛАССИЧЕСКИЙ ЗАГОН УПРАВЛЕНЦА
• Взять цифры (их кто-то написал)
• Изучить внимательно (это важно!)
• Сделать выводы (ТОЛЬКО верные)
• Наказать виновных (и остальных)
КЛАССИЧЕСКИЙ ЗАГОН УПРАВЛЕНЦА
• Взять цифры (их кто-то написал)
• Изучить внимательно (это важно!)
• Сделать выводы (ТОЛЬКО верные)
• Наказать виновных (и остальных)
• Внести «коррективы»
КЛАССИЧЕСКИЙ ЗАГОН УПРАВЛЕНЦА
• Взять цифры (их кто-то написал)
• Изучить внимательно (это важно!)
• Сделать выводы (ТОЛЬКО верные)
• Наказать виновных (и остальных)
• Внести «коррективы» (а как иначе?)
КЛАССИЧЕСКИЙ ЗАГОН УПРАВЛЕНЦА
• Взять цифры (их кто-то написал)
• Изучить внимательно (это важно!)
• Сделать выводы (ТОЛЬКО верные)
• Наказать виновных (и остальных)
• Внести «коррективы» (а как иначе?)
• ПРОФИТ!
Методы «управления»  Счетчики
• Объединение дефектов в один
• «Альтернативный» коллектор
дефектов
• Добавление дефекта, только после
того, как он был исправлен
• Самостоятельный поиск и
исправление дефектов разработчиком
Следствие  Счетчики
• А как корректно учитывать дефекты?
• Как заставить отказаться от
альтернативных путей?
• Как считать сложные дефекты?
• И т.д.
Методы «управления»  Проценты
• «Исправление» термина «тест» в
сторону увеличения гибкости
• Прогон только «хороших» тестов
• Исправление тестов по поведению
софта
Следствие  Проценты
• Падает ли тест дважды, если он
находит два дефекта?
• Надо ли прогонять тест, который
наверняка упадет?
• Надо ли включать в отчет такой
дефект?
• Если функционал работает частично,
все тесты отклонять, или только те, что
реально упали?
Методы управления  Стилистика
• Комплексное
Следствие  Стилистика
• Комплексное
НИЧОСИ…
ПОПРОБУЕМ РАЗОБРАТЬСЯ
ВАЖНО! Стратегия должна быть
Стратегия выбора метрик: измерения
• Понять назначение измерения. Какое
измерение для чего будет
использоваться
• Понять цель измерения. Как широко
будут использоваться измерения
• Найти объект измерения
• Определиться с масштабом
измерения.
Просто пример измерения
Просто пример масштаба
Стратегия выбора метрик: инструмент
• Найти описание естественного
изменения объекта измерений, т.е.
некоторый алгоритм, по которому
изменяется объект измерения.
• Найти инструмент для измерения
свойств объекта. Например, счетчик
новых дефектов.
• Важно, чтобы инструмент был
исправен!
Стратегия выбора метрик: инструмент
• Понять как изменяются измерения,
сделанные с использованием
выбранного инструмента.
• Определиться с масштабом
инструмента для измерений.
Стратегия выбора метрик: инструмент
• Понять каким образом объект
измерения соотносится с
инструментом.
• Выяснить побочные эффекты, которые
могут возникнуть при измерениях
объекта выбранным инструментом.
СТАБИЛЬНОСТЬ И РЕГУЛЯРНОСТЬ
ЕДИНАЯ ТОЧКА ЗРЕНИЯ
ПРИМЕР
• Команда А: тех.долг - 11 задач .
• Команда Б: тех.долг - 110 задач .
• Команда В: тех.долг - 0 задач .
• Команда Д: тех.долг - 35 задач .
ПРИМЕР
• Команда А: тех.долг - 11 задач .
• Команда Б: тех.долг - 110 задач .
• Команда В: тех.долг - 0 задач .
• Команда Д: тех.долг - 35 задач .
• О чём нам говорят эти цифры?
КАЖДОМУ СВОЕ
«Слова вы услышали, поиск пути
за вами»
Уильям Деминг
СПАСИБО
С удовольствием отвечу на
Ваши вопросы
@dumtest
roman.ivliev@mail.ru
roman.ivliyev

More Related Content

What's hot

QA Fest 2016. Алексей Виноградов. Цель тестирования. А на самом деле?
QA Fest 2016. Алексей Виноградов. Цель тестирования. А на самом деле?QA Fest 2016. Алексей Виноградов. Цель тестирования. А на самом деле?
QA Fest 2016. Алексей Виноградов. Цель тестирования. А на самом деле?
QAFest
 
Оптимизируем тест кейсы
Оптимизируем тест кейсыОптимизируем тест кейсы
Оптимизируем тест кейсы
SQALab
 
Тестируем развитие тестировщика
Тестируем развитие тестировщикаТестируем развитие тестировщика
Тестируем развитие тестировщика
SQALab
 
QA Fest 2015. Aлександр Кузняк. Тестовая документация. How-To и типичные ошибки
QA Fest 2015. Aлександр Кузняк. Тестовая документация. How-To и типичные ошибкиQA Fest 2015. Aлександр Кузняк. Тестовая документация. How-To и типичные ошибки
QA Fest 2015. Aлександр Кузняк. Тестовая документация. How-To и типичные ошибки
QAFest
 
Внедрение измениений. Рефакторинг Vs реинжиниринг
Внедрение измениений. Рефакторинг Vs реинжинирингВнедрение измениений. Рефакторинг Vs реинжиниринг
Внедрение измениений. Рефакторинг Vs реинжиниринг
Rina Uzhevko
 
Тестирование инсталляторов
Тестирование инсталляторовТестирование инсталляторов
Тестирование инсталляторов
SQALab
 
Оценка методологии автоматизации - MBT
Оценка методологии автоматизации - MBTОценка методологии автоматизации - MBT
Оценка методологии автоматизации - MBT
SQALab
 
Grammarly Test Club#2. Выступление Алексея Лупана (SysIQ, Inc.): "Без тест-ке...
Grammarly Test Club#2. Выступление Алексея Лупана (SysIQ, Inc.): "Без тест-ке...Grammarly Test Club#2. Выступление Алексея Лупана (SysIQ, Inc.): "Без тест-ке...
Grammarly Test Club#2. Выступление Алексея Лупана (SysIQ, Inc.): "Без тест-ке...GTestClub
 
Пополняем арсенал тестировщика. Учимся применять новые техники
Пополняем арсенал тестировщика. Учимся применять новые техникиПополняем арсенал тестировщика. Учимся применять новые техники
Пополняем арсенал тестировщика. Учимся применять новые техники
SQALab
 
QA Fest 2015. Александра Волкова. 10 принципов автоматизации, которые я не пр...
QA Fest 2015. Александра Волкова. 10 принципов автоматизации, которые я не пр...QA Fest 2015. Александра Волкова. 10 принципов автоматизации, которые я не пр...
QA Fest 2015. Александра Волкова. 10 принципов автоматизации, которые я не пр...
QAFest
 
Илья Кудинов «Развитие процессов тестирования в Badoo за три года, или как мы...
Илья Кудинов «Развитие процессов тестирования в Badoo за три года, или как мы...Илья Кудинов «Развитие процессов тестирования в Badoo за три года, или как мы...
Илья Кудинов «Развитие процессов тестирования в Badoo за три года, или как мы...
WrikeTechClub
 
Виталий Стрелюк
Виталий СтрелюкВиталий Стрелюк
Виталий Стрелюк
SQALab
 
Sq adays 2010_balashenko
Sq adays 2010_balashenkoSq adays 2010_balashenko
Sq adays 2010_balashenkoAlexei Lupan
 
Метод No-Tests-Cases: избавьтесь от тест-кейсов в тестировании
Метод No-Tests-Cases: избавьтесь от тест-кейсов в тестированииМетод No-Tests-Cases: избавьтесь от тест-кейсов в тестировании
Метод No-Tests-Cases: избавьтесь от тест-кейсов в тестировании
Deutsche Post
 
евгения фирсова нерелизное тестирование
евгения фирсова   нерелизное тестированиеевгения фирсова   нерелизное тестирование
евгения фирсова нерелизное тестированиеAlexei Lupan
 
Автоматизация тестирования как сервис
Автоматизация тестирования как сервисАвтоматизация тестирования как сервис
Автоматизация тестирования как сервис
automated-testing.info
 
Serious+performance+testing
Serious+performance+testingSerious+performance+testing
Serious+performance+testingAlexei Lupan
 
Пользователи в помощь тестировщику
Пользователи в помощь тестировщикуПользователи в помощь тестировщику
Пользователи в помощь тестировщику
Rina Uzhevko
 
Доклад Очира Абушинова на встрече клубе MSTC (17/05/2014)
Доклад Очира Абушинова на встрече клубе MSTC (17/05/2014)Доклад Очира Абушинова на встрече клубе MSTC (17/05/2014)
Доклад Очира Абушинова на встрече клубе MSTC (17/05/2014)
Rina Uzhevko
 
QA Fest 2015. Виктор Гожий. SCRUM в QA команде и как с этим жить.
QA Fest 2015. Виктор Гожий. SCRUM в QA команде и как с этим жить.QA Fest 2015. Виктор Гожий. SCRUM в QA команде и как с этим жить.
QA Fest 2015. Виктор Гожий. SCRUM в QA команде и как с этим жить.
QAFest
 

What's hot (20)

QA Fest 2016. Алексей Виноградов. Цель тестирования. А на самом деле?
QA Fest 2016. Алексей Виноградов. Цель тестирования. А на самом деле?QA Fest 2016. Алексей Виноградов. Цель тестирования. А на самом деле?
QA Fest 2016. Алексей Виноградов. Цель тестирования. А на самом деле?
 
Оптимизируем тест кейсы
Оптимизируем тест кейсыОптимизируем тест кейсы
Оптимизируем тест кейсы
 
Тестируем развитие тестировщика
Тестируем развитие тестировщикаТестируем развитие тестировщика
Тестируем развитие тестировщика
 
QA Fest 2015. Aлександр Кузняк. Тестовая документация. How-To и типичные ошибки
QA Fest 2015. Aлександр Кузняк. Тестовая документация. How-To и типичные ошибкиQA Fest 2015. Aлександр Кузняк. Тестовая документация. How-To и типичные ошибки
QA Fest 2015. Aлександр Кузняк. Тестовая документация. How-To и типичные ошибки
 
Внедрение измениений. Рефакторинг Vs реинжиниринг
Внедрение измениений. Рефакторинг Vs реинжинирингВнедрение измениений. Рефакторинг Vs реинжиниринг
Внедрение измениений. Рефакторинг Vs реинжиниринг
 
Тестирование инсталляторов
Тестирование инсталляторовТестирование инсталляторов
Тестирование инсталляторов
 
Оценка методологии автоматизации - MBT
Оценка методологии автоматизации - MBTОценка методологии автоматизации - MBT
Оценка методологии автоматизации - MBT
 
Grammarly Test Club#2. Выступление Алексея Лупана (SysIQ, Inc.): "Без тест-ке...
Grammarly Test Club#2. Выступление Алексея Лупана (SysIQ, Inc.): "Без тест-ке...Grammarly Test Club#2. Выступление Алексея Лупана (SysIQ, Inc.): "Без тест-ке...
Grammarly Test Club#2. Выступление Алексея Лупана (SysIQ, Inc.): "Без тест-ке...
 
Пополняем арсенал тестировщика. Учимся применять новые техники
Пополняем арсенал тестировщика. Учимся применять новые техникиПополняем арсенал тестировщика. Учимся применять новые техники
Пополняем арсенал тестировщика. Учимся применять новые техники
 
QA Fest 2015. Александра Волкова. 10 принципов автоматизации, которые я не пр...
QA Fest 2015. Александра Волкова. 10 принципов автоматизации, которые я не пр...QA Fest 2015. Александра Волкова. 10 принципов автоматизации, которые я не пр...
QA Fest 2015. Александра Волкова. 10 принципов автоматизации, которые я не пр...
 
Илья Кудинов «Развитие процессов тестирования в Badoo за три года, или как мы...
Илья Кудинов «Развитие процессов тестирования в Badoo за три года, или как мы...Илья Кудинов «Развитие процессов тестирования в Badoo за три года, или как мы...
Илья Кудинов «Развитие процессов тестирования в Badoo за три года, или как мы...
 
Виталий Стрелюк
Виталий СтрелюкВиталий Стрелюк
Виталий Стрелюк
 
Sq adays 2010_balashenko
Sq adays 2010_balashenkoSq adays 2010_balashenko
Sq adays 2010_balashenko
 
Метод No-Tests-Cases: избавьтесь от тест-кейсов в тестировании
Метод No-Tests-Cases: избавьтесь от тест-кейсов в тестированииМетод No-Tests-Cases: избавьтесь от тест-кейсов в тестировании
Метод No-Tests-Cases: избавьтесь от тест-кейсов в тестировании
 
евгения фирсова нерелизное тестирование
евгения фирсова   нерелизное тестированиеевгения фирсова   нерелизное тестирование
евгения фирсова нерелизное тестирование
 
Автоматизация тестирования как сервис
Автоматизация тестирования как сервисАвтоматизация тестирования как сервис
Автоматизация тестирования как сервис
 
Serious+performance+testing
Serious+performance+testingSerious+performance+testing
Serious+performance+testing
 
Пользователи в помощь тестировщику
Пользователи в помощь тестировщикуПользователи в помощь тестировщику
Пользователи в помощь тестировщику
 
Доклад Очира Абушинова на встрече клубе MSTC (17/05/2014)
Доклад Очира Абушинова на встрече клубе MSTC (17/05/2014)Доклад Очира Абушинова на встрече клубе MSTC (17/05/2014)
Доклад Очира Абушинова на встрече клубе MSTC (17/05/2014)
 
QA Fest 2015. Виктор Гожий. SCRUM в QA команде и как с этим жить.
QA Fest 2015. Виктор Гожий. SCRUM в QA команде и как с этим жить.QA Fest 2015. Виктор Гожий. SCRUM в QA команде и как с этим жить.
QA Fest 2015. Виктор Гожий. SCRUM в QA команде и как с этим жить.
 

Viewers also liked

Правила хорошего тона для тестировщиков
Правила хорошего тона для тестировщиковПравила хорошего тона для тестировщиков
Правила хорошего тона для тестировщиков
Rina Uzhevko
 
Мир тестирования глазами джуниора
Мир тестирования глазами джуниораМир тестирования глазами джуниора
Мир тестирования глазами джуниора
Rina Uzhevko
 
Мама, я работаю в банке!
Мама, я работаю в банке!Мама, я работаю в банке!
Мама, я работаю в банке!
Rina Uzhevko
 
Автоматизация тестирования в highload проекте: практический опыт
Автоматизация тестирования в highload проекте: практический опытАвтоматизация тестирования в highload проекте: практический опыт
Автоматизация тестирования в highload проекте: практический опыт
Rina Uzhevko
 
Цели и их cвязь с KPI
Цели и их cвязь с KPIЦели и их cвязь с KPI
Цели и их cвязь с KPI
Rina Uzhevko
 
Эволюция тестирования в QA
Эволюция тестирования в QAЭволюция тестирования в QA
Эволюция тестирования в QA
Rina Uzhevko
 
Есть фича. Помогите протестировать
Есть фича. Помогите протестировать Есть фича. Помогите протестировать
Есть фича. Помогите протестировать
Rina Uzhevko
 
Как выращивать автотесты? (MSTC, июнь 2015)
Как выращивать автотесты? (MSTC, июнь 2015)Как выращивать автотесты? (MSTC, июнь 2015)
Как выращивать автотесты? (MSTC, июнь 2015)
Alexei Barantsev
 
Всему своё время / Роман Ивлиев (Банки.ру)
Всему своё время / Роман Ивлиев (Банки.ру)Всему своё время / Роман Ивлиев (Банки.ру)
Всему своё время / Роман Ивлиев (Банки.ру)
Ontico
 
Визуализация покрытия автоматизированными UI тестами
Визуализация покрытия автоматизированными UI тестамиВизуализация покрытия автоматизированными UI тестами
Визуализация покрытия автоматизированными UI тестами
SQALab
 
Как перестать бояться и начать автоматизировать
Как перестать бояться и начать автоматизироватьКак перестать бояться и начать автоматизировать
Как перестать бояться и начать автоматизировать
SQALab
 
Автоматизированное тестирование и СМС
Автоматизированное тестирование и СМС Автоматизированное тестирование и СМС
Автоматизированное тестирование и СМС
SQALab
 
Grail - CodeFest'2015
Grail - CodeFest'2015Grail - CodeFest'2015
Grail - CodeFest'2015
Igor Khrol
 
Data Pools - средство управления тестовыми данными
Data Pools - средство управления тестовыми даннымиData Pools - средство управления тестовыми данными
Data Pools - средство управления тестовыми данными
SQALab
 
Test Automation Wargaming SQA Days 17
Test Automation Wargaming SQA Days 17Test Automation Wargaming SQA Days 17
Test Automation Wargaming SQA Days 17
Igor Khrol
 
1rk mat-bashmakov-ch2
1rk mat-bashmakov-ch21rk mat-bashmakov-ch2
1rk mat-bashmakov-ch2
Webmaster76
 
Atlassian Jira - не только тасктрекер / Анна Котова (Mail.Ru)
Atlassian Jira - не только тасктрекер / Анна Котова (Mail.Ru)Atlassian Jira - не только тасктрекер / Анна Котова (Mail.Ru)
Atlassian Jira - не только тасктрекер / Анна Котова (Mail.Ru)
Ontico
 
Webium: Page Objects in Python
Webium: Page Objects in PythonWebium: Page Objects in Python
Webium: Page Objects in Python
Igor Khrol
 
DaKiRY_BAQ2016_QADay_Круглий стіл: "Чи помре ручне тестування з часом" Учасни...
DaKiRY_BAQ2016_QADay_Круглий стіл: "Чи помре ручне тестування з часом" Учасни...DaKiRY_BAQ2016_QADay_Круглий стіл: "Чи помре ручне тестування з часом" Учасни...
DaKiRY_BAQ2016_QADay_Круглий стіл: "Чи помре ручне тестування з часом" Учасни...
Dakiry
 

Viewers also liked (19)

Правила хорошего тона для тестировщиков
Правила хорошего тона для тестировщиковПравила хорошего тона для тестировщиков
Правила хорошего тона для тестировщиков
 
Мир тестирования глазами джуниора
Мир тестирования глазами джуниораМир тестирования глазами джуниора
Мир тестирования глазами джуниора
 
Мама, я работаю в банке!
Мама, я работаю в банке!Мама, я работаю в банке!
Мама, я работаю в банке!
 
Автоматизация тестирования в highload проекте: практический опыт
Автоматизация тестирования в highload проекте: практический опытАвтоматизация тестирования в highload проекте: практический опыт
Автоматизация тестирования в highload проекте: практический опыт
 
Цели и их cвязь с KPI
Цели и их cвязь с KPIЦели и их cвязь с KPI
Цели и их cвязь с KPI
 
Эволюция тестирования в QA
Эволюция тестирования в QAЭволюция тестирования в QA
Эволюция тестирования в QA
 
Есть фича. Помогите протестировать
Есть фича. Помогите протестировать Есть фича. Помогите протестировать
Есть фича. Помогите протестировать
 
Как выращивать автотесты? (MSTC, июнь 2015)
Как выращивать автотесты? (MSTC, июнь 2015)Как выращивать автотесты? (MSTC, июнь 2015)
Как выращивать автотесты? (MSTC, июнь 2015)
 
Всему своё время / Роман Ивлиев (Банки.ру)
Всему своё время / Роман Ивлиев (Банки.ру)Всему своё время / Роман Ивлиев (Банки.ру)
Всему своё время / Роман Ивлиев (Банки.ру)
 
Визуализация покрытия автоматизированными UI тестами
Визуализация покрытия автоматизированными UI тестамиВизуализация покрытия автоматизированными UI тестами
Визуализация покрытия автоматизированными UI тестами
 
Как перестать бояться и начать автоматизировать
Как перестать бояться и начать автоматизироватьКак перестать бояться и начать автоматизировать
Как перестать бояться и начать автоматизировать
 
Автоматизированное тестирование и СМС
Автоматизированное тестирование и СМС Автоматизированное тестирование и СМС
Автоматизированное тестирование и СМС
 
Grail - CodeFest'2015
Grail - CodeFest'2015Grail - CodeFest'2015
Grail - CodeFest'2015
 
Data Pools - средство управления тестовыми данными
Data Pools - средство управления тестовыми даннымиData Pools - средство управления тестовыми данными
Data Pools - средство управления тестовыми данными
 
Test Automation Wargaming SQA Days 17
Test Automation Wargaming SQA Days 17Test Automation Wargaming SQA Days 17
Test Automation Wargaming SQA Days 17
 
1rk mat-bashmakov-ch2
1rk mat-bashmakov-ch21rk mat-bashmakov-ch2
1rk mat-bashmakov-ch2
 
Atlassian Jira - не только тасктрекер / Анна Котова (Mail.Ru)
Atlassian Jira - не только тасктрекер / Анна Котова (Mail.Ru)Atlassian Jira - не только тасктрекер / Анна Котова (Mail.Ru)
Atlassian Jira - не только тасктрекер / Анна Котова (Mail.Ru)
 
Webium: Page Objects in Python
Webium: Page Objects in PythonWebium: Page Objects in Python
Webium: Page Objects in Python
 
DaKiRY_BAQ2016_QADay_Круглий стіл: "Чи помре ручне тестування з часом" Учасни...
DaKiRY_BAQ2016_QADay_Круглий стіл: "Чи помре ручне тестування з часом" Учасни...DaKiRY_BAQ2016_QADay_Круглий стіл: "Чи помре ручне тестування з часом" Учасни...
DaKiRY_BAQ2016_QADay_Круглий стіл: "Чи помре ручне тестування з часом" Учасни...
 

Similar to Темная сторона метрик

Функциональное тестирование высоконагруженных проектов / Илья Пастушков (2ГИС)
Функциональное тестирование высоконагруженных проектов / Илья Пастушков (2ГИС)Функциональное тестирование высоконагруженных проектов / Илья Пастушков (2ГИС)
Функциональное тестирование высоконагруженных проектов / Илья Пастушков (2ГИС)
Ontico
 
Делимся опытом: как мы оптимизировали тестирование крупного проекта за 3 месяца
Делимся опытом: как мы оптимизировали тестирование крупного проекта за 3 месяцаДелимся опытом: как мы оптимизировали тестирование крупного проекта за 3 месяца
Делимся опытом: как мы оптимизировали тестирование крупного проекта за 3 месяца
SQALab
 
Ольга Лужецька - Exploratory testing: Love it or Leave it?
Ольга Лужецька - Exploratory testing: Love it or Leave it?Ольга Лужецька - Exploratory testing: Love it or Leave it?
Ольга Лужецька - Exploratory testing: Love it or Leave it?
DataArt
 
Как мы тестировали ситуационный центр Центральной ППК
Как мы тестировали ситуационный центр Центральной ППККак мы тестировали ситуационный центр Центральной ППК
Как мы тестировали ситуационный центр Центральной ППК
Rina Uzhevko
 
Heavy metal testing Part 3
Heavy metal testing Part 3Heavy metal testing Part 3
Heavy metal testing Part 3Roman Ivliev
 
Опыт выстраивания процесса Product Discovery
Опыт выстраивания процесса Product DiscoveryОпыт выстраивания процесса Product Discovery
Опыт выстраивания процесса Product Discovery
Nikita Efimov
 
Виталий Стрелюк, Постановка процесса тестирования в Agile
Виталий Стрелюк, Постановка процесса тестирования в AgileВиталий Стрелюк, Постановка процесса тестирования в Agile
Виталий Стрелюк, Постановка процесса тестирования в Agile
SQADays_2009_Piter
 
Автоматизация сборки и тестирования в разрезе эффективного производства
Автоматизация сборки и тестирования в разрезе эффективного производстваАвтоматизация сборки и тестирования в разрезе эффективного производства
Автоматизация сборки и тестирования в разрезе эффективного производства
SQALab
 
16 HappyDev-lite'14 Серик Бейсенов. Введение в тестирование ПО
16 HappyDev-lite'14 Серик Бейсенов. Введение в тестирование ПО16 HappyDev-lite'14 Серик Бейсенов. Введение в тестирование ПО
16 HappyDev-lite'14 Серик Бейсенов. Введение в тестирование ПО
HappyDev
 
Agile testing
Agile testingAgile testing
Agile testing
Anton Stoliar
 
Антон Столяр - Agile Testing
Антон Столяр - Agile TestingАнтон Столяр - Agile Testing
Антон Столяр - Agile Testing
QA Club Minsk
 
Марина Широчкина - Тестирование
Марина Широчкина - ТестированиеМарина Широчкина - Тестирование
Марина Широчкина - Тестирование
Yandex
 
Марина Широчкина — «Тестирование»
Марина Широчкина — «Тестирование»Марина Широчкина — «Тестирование»
Марина Широчкина — «Тестирование»Yandex
 
Олексій Брошков "Мистецтво Дослідницького Тестування"
Олексій Брошков "Мистецтво Дослідницького Тестування"Олексій Брошков "Мистецтво Дослідницького Тестування"
Олексій Брошков "Мистецтво Дослідницького Тестування"
Dakiry
 
Наталья Руколь (Лаборатория Качества)
Наталья Руколь (Лаборатория Качества)Наталья Руколь (Лаборатория Качества)
Наталья Руколь (Лаборатория Качества)Ontico
 
Марина Широчкина: Тестирование
Марина Широчкина: ТестированиеМарина Широчкина: Тестирование
Марина Широчкина: ТестированиеYandex
 
Особенности быстрого тестирования
Особенности быстрого тестированияОсобенности быстрого тестирования
Особенности быстрого тестированияUIDesign Group
 
Особенности быстрого тестирования мобильных интерфейсов - Антон Алябьев, UI D...
Особенности быстрого тестирования мобильных интерфейсов - Антон Алябьев, UI D...Особенности быстрого тестирования мобильных интерфейсов - Антон Алябьев, UI D...
Особенности быстрого тестирования мобильных интерфейсов - Антон Алябьев, UI D...Procontent.Ru Magazine
 
Оценки тестирования - полезные и условные метрики
Оценки тестирования - полезные и условные метрикиОценки тестирования - полезные и условные метрики
Оценки тестирования - полезные и условные метрики
SQALab
 

Similar to Темная сторона метрик (20)

Функциональное тестирование высоконагруженных проектов / Илья Пастушков (2ГИС)
Функциональное тестирование высоконагруженных проектов / Илья Пастушков (2ГИС)Функциональное тестирование высоконагруженных проектов / Илья Пастушков (2ГИС)
Функциональное тестирование высоконагруженных проектов / Илья Пастушков (2ГИС)
 
Делимся опытом: как мы оптимизировали тестирование крупного проекта за 3 месяца
Делимся опытом: как мы оптимизировали тестирование крупного проекта за 3 месяцаДелимся опытом: как мы оптимизировали тестирование крупного проекта за 3 месяца
Делимся опытом: как мы оптимизировали тестирование крупного проекта за 3 месяца
 
Ольга Лужецька - Exploratory testing: Love it or Leave it?
Ольга Лужецька - Exploratory testing: Love it or Leave it?Ольга Лужецька - Exploratory testing: Love it or Leave it?
Ольга Лужецька - Exploratory testing: Love it or Leave it?
 
Как мы тестировали ситуационный центр Центральной ППК
Как мы тестировали ситуационный центр Центральной ППККак мы тестировали ситуационный центр Центральной ППК
Как мы тестировали ситуационный центр Центральной ППК
 
Heavy metal testing Part 3
Heavy metal testing Part 3Heavy metal testing Part 3
Heavy metal testing Part 3
 
Опыт выстраивания процесса Product Discovery
Опыт выстраивания процесса Product DiscoveryОпыт выстраивания процесса Product Discovery
Опыт выстраивания процесса Product Discovery
 
Виталий Стрелюк, Постановка процесса тестирования в Agile
Виталий Стрелюк, Постановка процесса тестирования в AgileВиталий Стрелюк, Постановка процесса тестирования в Agile
Виталий Стрелюк, Постановка процесса тестирования в Agile
 
Testing schools overview
Testing schools overviewTesting schools overview
Testing schools overview
 
Автоматизация сборки и тестирования в разрезе эффективного производства
Автоматизация сборки и тестирования в разрезе эффективного производстваАвтоматизация сборки и тестирования в разрезе эффективного производства
Автоматизация сборки и тестирования в разрезе эффективного производства
 
16 HappyDev-lite'14 Серик Бейсенов. Введение в тестирование ПО
16 HappyDev-lite'14 Серик Бейсенов. Введение в тестирование ПО16 HappyDev-lite'14 Серик Бейсенов. Введение в тестирование ПО
16 HappyDev-lite'14 Серик Бейсенов. Введение в тестирование ПО
 
Agile testing
Agile testingAgile testing
Agile testing
 
Антон Столяр - Agile Testing
Антон Столяр - Agile TestingАнтон Столяр - Agile Testing
Антон Столяр - Agile Testing
 
Марина Широчкина - Тестирование
Марина Широчкина - ТестированиеМарина Широчкина - Тестирование
Марина Широчкина - Тестирование
 
Марина Широчкина — «Тестирование»
Марина Широчкина — «Тестирование»Марина Широчкина — «Тестирование»
Марина Широчкина — «Тестирование»
 
Олексій Брошков "Мистецтво Дослідницького Тестування"
Олексій Брошков "Мистецтво Дослідницького Тестування"Олексій Брошков "Мистецтво Дослідницького Тестування"
Олексій Брошков "Мистецтво Дослідницького Тестування"
 
Наталья Руколь (Лаборатория Качества)
Наталья Руколь (Лаборатория Качества)Наталья Руколь (Лаборатория Качества)
Наталья Руколь (Лаборатория Качества)
 
Марина Широчкина: Тестирование
Марина Широчкина: ТестированиеМарина Широчкина: Тестирование
Марина Широчкина: Тестирование
 
Особенности быстрого тестирования
Особенности быстрого тестированияОсобенности быстрого тестирования
Особенности быстрого тестирования
 
Особенности быстрого тестирования мобильных интерфейсов - Антон Алябьев, UI D...
Особенности быстрого тестирования мобильных интерфейсов - Антон Алябьев, UI D...Особенности быстрого тестирования мобильных интерфейсов - Антон Алябьев, UI D...
Особенности быстрого тестирования мобильных интерфейсов - Антон Алябьев, UI D...
 
Оценки тестирования - полезные и условные метрики
Оценки тестирования - полезные и условные метрикиОценки тестирования - полезные и условные метрики
Оценки тестирования - полезные и условные метрики
 

More from Roman Ivliev

Точка кипения: проектирование крупных веб-систем
Точка кипения:  проектирование крупных веб-системТочка кипения:  проектирование крупных веб-систем
Точка кипения: проектирование крупных веб-систем
Roman Ivliev
 
Как мы делаем Banki.ru
Как мы делаем Banki.ruКак мы делаем Banki.ru
Как мы делаем Banki.ru
Roman Ivliev
 
О фреймворках Backend conf 2016
О фреймворках Backend conf 2016О фреймворках Backend conf 2016
О фреймворках Backend conf 2016
Roman Ivliev
 
Всему своё время Highload Junior 2016
Всему своё время   Highload Junior  2016Всему своё время   Highload Junior  2016
Всему своё время Highload Junior 2016
Roman Ivliev
 
Как мы помогаем тестировщикам делать их работу лучше
Как мы помогаем тестировщикам делать их работу лучшеКак мы помогаем тестировщикам делать их работу лучше
Как мы помогаем тестировщикам делать их работу лучше
Roman Ivliev
 
Мой рассказ на Codefest 2015 о том, как мы пережили рост нагрузки
Мой рассказ на Codefest 2015 о том, как мы пережили рост нагрузкиМой рассказ на Codefest 2015 о том, как мы пережили рост нагрузки
Мой рассказ на Codefest 2015 о том, как мы пережили рост нагрузки
Roman Ivliev
 
Внедрение изменений: рефакторинг Vs реинжиниринг
Внедрение изменений: рефакторинг Vs реинжинирингВнедрение изменений: рефакторинг Vs реинжиниринг
Внедрение изменений: рефакторинг Vs реинжиниринг
Roman Ivliev
 
Почему почта плохо работает
Почему почта плохо работаетПочему почта плохо работает
Почему почта плохо работает
Roman Ivliev
 
Soa tester view
Soa tester viewSoa tester view
Soa tester view
Roman Ivliev
 
Тренеры и тренинги.
Тренеры и тренинги.Тренеры и тренинги.
Тренеры и тренинги.
Roman Ivliev
 
Про построение нагруженных систем
Про построение нагруженных системПро построение нагруженных систем
Про построение нагруженных систем
Roman Ivliev
 
Аквариум своими руками
Аквариум своими рукамиАквариум своими руками
Аквариум своими руками
Roman Ivliev
 
Про тестирование миграций
Про тестирование миграцийПро тестирование миграций
Про тестирование миграций
Roman Ivliev
 
Тестирование для программистов
Тестирование для программистовТестирование для программистов
Тестирование для программистов
Roman Ivliev
 
Бывает так, что вас нет рядом
Бывает так, что вас нет рядомБывает так, что вас нет рядом
Бывает так, что вас нет рядом
Roman Ivliev
 
Qualitative battle for the quantity final
Qualitative battle for the quantity finalQualitative battle for the quantity final
Qualitative battle for the quantity finalRoman Ivliev
 
Heavy metal testing Part 1 and 2
Heavy metal testing Part 1 and 2Heavy metal testing Part 1 and 2
Heavy metal testing Part 1 and 2Roman Ivliev
 

More from Roman Ivliev (17)

Точка кипения: проектирование крупных веб-систем
Точка кипения:  проектирование крупных веб-системТочка кипения:  проектирование крупных веб-систем
Точка кипения: проектирование крупных веб-систем
 
Как мы делаем Banki.ru
Как мы делаем Banki.ruКак мы делаем Banki.ru
Как мы делаем Banki.ru
 
О фреймворках Backend conf 2016
О фреймворках Backend conf 2016О фреймворках Backend conf 2016
О фреймворках Backend conf 2016
 
Всему своё время Highload Junior 2016
Всему своё время   Highload Junior  2016Всему своё время   Highload Junior  2016
Всему своё время Highload Junior 2016
 
Как мы помогаем тестировщикам делать их работу лучше
Как мы помогаем тестировщикам делать их работу лучшеКак мы помогаем тестировщикам делать их работу лучше
Как мы помогаем тестировщикам делать их работу лучше
 
Мой рассказ на Codefest 2015 о том, как мы пережили рост нагрузки
Мой рассказ на Codefest 2015 о том, как мы пережили рост нагрузкиМой рассказ на Codefest 2015 о том, как мы пережили рост нагрузки
Мой рассказ на Codefest 2015 о том, как мы пережили рост нагрузки
 
Внедрение изменений: рефакторинг Vs реинжиниринг
Внедрение изменений: рефакторинг Vs реинжинирингВнедрение изменений: рефакторинг Vs реинжиниринг
Внедрение изменений: рефакторинг Vs реинжиниринг
 
Почему почта плохо работает
Почему почта плохо работаетПочему почта плохо работает
Почему почта плохо работает
 
Soa tester view
Soa tester viewSoa tester view
Soa tester view
 
Тренеры и тренинги.
Тренеры и тренинги.Тренеры и тренинги.
Тренеры и тренинги.
 
Про построение нагруженных систем
Про построение нагруженных системПро построение нагруженных систем
Про построение нагруженных систем
 
Аквариум своими руками
Аквариум своими рукамиАквариум своими руками
Аквариум своими руками
 
Про тестирование миграций
Про тестирование миграцийПро тестирование миграций
Про тестирование миграций
 
Тестирование для программистов
Тестирование для программистовТестирование для программистов
Тестирование для программистов
 
Бывает так, что вас нет рядом
Бывает так, что вас нет рядомБывает так, что вас нет рядом
Бывает так, что вас нет рядом
 
Qualitative battle for the quantity final
Qualitative battle for the quantity finalQualitative battle for the quantity final
Qualitative battle for the quantity final
 
Heavy metal testing Part 1 and 2
Heavy metal testing Part 1 and 2Heavy metal testing Part 1 and 2
Heavy metal testing Part 1 and 2
 

Темная сторона метрик

  • 2. 2002-.... • Тестировщик • Разработчик • Руководитель разработчиков • Руководитель тестировщиков • Руководитель проектов • CTO • CIO О СЕБЕ
  • 3. • 10 лет в Интернете • 570КК выручки за 2014 год • 0,5КК уников в сутки • 30+ сотрудников департамента информационных технологий • 70Тб трафика в месяц • А ещё мы покупаем конкурентов ;) О BANKI.RU
  • 4. • Метрики, что это и что с ними делать • Метрики - примеры • Темная сторона метрик, как не надо • Темная сторона метрик, как избежать ПРО ЧТО Я БУДУ РАССКАЗЫВАТЬ
  • 7. Метрики, что это? • Метрика по ISO 14598 - это количественный масштаб и метод, который может использоваться для измерения. • Метрика - это мера, позволяющая получить численное значение некоторого свойства объекта
  • 10. • Найденные дефекты/ исправленные дефекты Метрики, примеры (простые)
  • 11. • Найденные дефекты/ исправленные дефекты • Процент выполненных тестов /процент успешных тестов Метрики, примеры (простые)
  • 12. • Найденные дефекты/ исправленные дефекты • Процент выполненных тестов /процент успешных тестов • Метрика стилистики и понятности (например, плотность комментариев) Метрики, примеры (простые и один не простой)
  • 13. Иллюстрация, как можно сломать мозг • Major Defects Per Test Case Review • Minor Defects Per Test Case Review • Total Defects Per Test Case Review • Ratio of Major to Minor Defects Per Test Case Review • Total Defects Per Test Case Review Hour • Major Defects Per Test Case Review Hour • Ratio of Major to Minor Defects Per Test Case Review Hour • Number of Open Defects Per Test Review • Number of Closed Defects Per Test Case Review • Ratio of Closed to Open Defects Per Test Case Review • Number of Major Open Defects Per Test Case Review • Number of Major Closed Defects Per Test Case Review • Ratio of Major Closed to Open Defects Per Test Case Review • Number of Minor Open Defects Per Test Case Review • Number of Minor Closed Defects Per Test Case Review • Ratio of Minor Closed to Open Defects Per Test Case Review • Percent of Total Defects Captured Per Test Case Review • Percent of Major Defects Captured Per Test Case Review • Percent of Minor Defects Captured Per Test Case Review • Ratio of Percent Major to Minor Defects Captured Per Test Case Review • Percent of Total Defects Captured Per Test Case Review Hour • Percent of Major Defects Captured Per Test Case Review Hour • Percent of Minor Defects Captured Per Test Case Review Hour • Ratio of Percent Major to Minor Defects Captured Per Test Case Review Hour • Percent of Total Defect Residual Per Test Case Review • Percent of Major Defect Residual Per Test Case Review • Percent of Minor Defect Residual Per Test Case Review • Ratio of Percent Major to Minor Defect Residual Per Test Case Review • Percent of Total Defect Residual Per Test Case Review Hour • Percent of Major Defect Residual Per Test Case Review Hour • Percent of Minor Defect Residual Per Test Case Review Hour • Ratio of Percent Major to Minor Defect Residual Per Test Case Review Hour • Number of Planned Test Case Reviews • Number of Held Test Case Reviews • Ratio of Planned to Held Test Case Reviews • Number of Reviewed Test Cases • Number of Unreviewed Test Cases • Ratio of Reviewed to Unreviewed Test Cases • Number of Compliant Test Case Reviews • Number of Non-Compliant Test Case Reviews • Ratio of Compliant to Non-Compliant Test Case Reviews • Compliance of Test Case Reviews • Non-Compliance of Test Case Reviews • Ratio of Compliance to Non-Compliance of Test Case Reviews
  • 14. Иллюстрация, как можно сломать мозг • Major Defects Per Test Case Review • Minor Defects Per Test Case Review • Total Defects Per Test Case Review • Ratio of Major to Minor Defects Per Test Case Review • Total Defects Per Test Case Review Hour • Major Defects Per Test Case Review Hour • Ratio of Major to Minor Defects Per Test Case Review Hour • Number of Open Defects Per Test Review • Number of Closed Defects Per Test Case Review • Ratio of Closed to Open Defects Per Test Case Review • Number of Major Open Defects Per Test Case Review • Number of Major Closed Defects Per Test Case Review • Ratio of Major Closed to Open Defects Per Test Case Review • Number of Minor Open Defects Per Test Case Review • Number of Minor Closed Defects Per Test Case Review • Ratio of Minor Closed to Open Defects Per Test Case Review • Percent of Total Defects Captured Per Test Case Review • Percent of Major Defects Captured Per Test Case Review • Percent of Minor Defects Captured Per Test Case Review • Ratio of Percent Major to Minor Defects Captured Per Test Case Review • Percent of Total Defects Captured Per Test Case Review Hour • Percent of Major Defects Captured Per Test Case Review Hour • Percent of Minor Defects Captured Per Test Case Review Hour • Ratio of Percent Major to Minor Defects Captured Per Test Case Review Hour • Percent of Total Defect Residual Per Test Case Review • Percent of Major Defect Residual Per Test Case Review • Percent of Minor Defect Residual Per Test Case Review • Ratio of Percent Major to Minor Defect Residual Per Test Case Review • Percent of Total Defect Residual Per Test Case Review Hour • Percent of Major Defect Residual Per Test Case Review Hour • Percent of Minor Defect Residual Per Test Case Review Hour • Ratio of Percent Major to Minor Defect Residual Per Test Case Review Hour • Number of Planned Test Case Reviews • Number of Held Test Case Reviews • Ratio of Planned to Held Test Case Reviews • Number of Reviewed Test Cases • Number of Unreviewed Test Cases • Ratio of Reviewed to Unreviewed Test Cases • Number of Compliant Test Case Reviews • Number of Non-Compliant Test Case Reviews • Ratio of Compliant to Non-Compliant Test Case Reviews • Compliance of Test Case Reviews • Number Non-Compliance of Test Case Reviews • Ratio of Compliance to Non-Compliance of Test Case Reviews
  • 16. • Счетчик новых и исправленных дефектов • Счетчик удачных и неудачных тестов • Число строк кода и число комментариев Чем их мерять?
  • 17. • Все дефекты найдены и задокументированы • Есть цель исправить все дефекты • Если все известные дефекты исправлены – продукт готов • Есть разумное объяснение для всех исправленных дефектов Смеркалось  Счетчики, предположения
  • 18. Смеркалось  Проценты, предположения • Перед выполнением точно знаю, сколько тестов будет выполнено • Все четко понимают, что такое «тест» • Все четко понимают, что такое «выполненный» • Выходом теста является либо «Прошел», либо «Не прошел»
  • 19. Смеркалось  Стилистика Тот, кто считает, точно знает что делает
  • 21. ЧТО С ЭТИМ не нужно ДЕЛАТЬ?
  • 24. КЛАССИЧЕСКИЙ ЗАГОН УПРАВЛЕНЦА • Взять цифры (их кто-то написал)
  • 25. КЛАССИЧЕСКИЙ ЗАГОН УПРАВЛЕНЦА • Взять цифры (их кто-то написал) • Изучить внимательно
  • 26. КЛАССИЧЕСКИЙ ЗАГОН УПРАВЛЕНЦА • Взять цифры (их кто-то написал) • Изучить внимательно (это важно!)
  • 27. КЛАССИЧЕСКИЙ ЗАГОН УПРАВЛЕНЦА • Взять цифры (их кто-то написал) • Изучить внимательно (это важно!) • Сделать выводы
  • 28. КЛАССИЧЕСКИЙ ЗАГОН УПРАВЛЕНЦА • Взять цифры (их кто-то написал) • Изучить внимательно (это важно!) • Сделать выводы (ТОЛЬКО верные)
  • 29. КЛАССИЧЕСКИЙ ЗАГОН УПРАВЛЕНЦА • Взять цифры (их кто-то написал) • Изучить внимательно (это важно!) • Сделать выводы (ТОЛЬКО верные) • Наказать виновных
  • 30. КЛАССИЧЕСКИЙ ЗАГОН УПРАВЛЕНЦА • Взять цифры (их кто-то написал) • Изучить внимательно (это важно!) • Сделать выводы (ТОЛЬКО верные) • Наказать виновных (и остальных)
  • 31. КЛАССИЧЕСКИЙ ЗАГОН УПРАВЛЕНЦА • Взять цифры (их кто-то написал) • Изучить внимательно (это важно!) • Сделать выводы (ТОЛЬКО верные) • Наказать виновных (и остальных) • Внести «коррективы»
  • 32. КЛАССИЧЕСКИЙ ЗАГОН УПРАВЛЕНЦА • Взять цифры (их кто-то написал) • Изучить внимательно (это важно!) • Сделать выводы (ТОЛЬКО верные) • Наказать виновных (и остальных) • Внести «коррективы» (а как иначе?)
  • 33. КЛАССИЧЕСКИЙ ЗАГОН УПРАВЛЕНЦА • Взять цифры (их кто-то написал) • Изучить внимательно (это важно!) • Сделать выводы (ТОЛЬКО верные) • Наказать виновных (и остальных) • Внести «коррективы» (а как иначе?) • ПРОФИТ!
  • 34.
  • 35. Методы «управления»  Счетчики • Объединение дефектов в один • «Альтернативный» коллектор дефектов • Добавление дефекта, только после того, как он был исправлен • Самостоятельный поиск и исправление дефектов разработчиком
  • 36. Следствие  Счетчики • А как корректно учитывать дефекты? • Как заставить отказаться от альтернативных путей? • Как считать сложные дефекты? • И т.д.
  • 37. Методы «управления»  Проценты • «Исправление» термина «тест» в сторону увеличения гибкости • Прогон только «хороших» тестов • Исправление тестов по поведению софта
  • 38. Следствие  Проценты • Падает ли тест дважды, если он находит два дефекта? • Надо ли прогонять тест, который наверняка упадет? • Надо ли включать в отчет такой дефект? • Если функционал работает частично, все тесты отклонять, или только те, что реально упали?
  • 39. Методы управления  Стилистика • Комплексное
  • 44. Стратегия выбора метрик: измерения • Понять назначение измерения. Какое измерение для чего будет использоваться • Понять цель измерения. Как широко будут использоваться измерения • Найти объект измерения • Определиться с масштабом измерения.
  • 47. Стратегия выбора метрик: инструмент • Найти описание естественного изменения объекта измерений, т.е. некоторый алгоритм, по которому изменяется объект измерения. • Найти инструмент для измерения свойств объекта. Например, счетчик новых дефектов. • Важно, чтобы инструмент был исправен!
  • 48. Стратегия выбора метрик: инструмент • Понять как изменяются измерения, сделанные с использованием выбранного инструмента. • Определиться с масштабом инструмента для измерений.
  • 49. Стратегия выбора метрик: инструмент • Понять каким образом объект измерения соотносится с инструментом. • Выяснить побочные эффекты, которые могут возникнуть при измерениях объекта выбранным инструментом.
  • 52. ПРИМЕР • Команда А: тех.долг - 11 задач . • Команда Б: тех.долг - 110 задач . • Команда В: тех.долг - 0 задач . • Команда Д: тех.долг - 35 задач .
  • 53. ПРИМЕР • Команда А: тех.долг - 11 задач . • Команда Б: тех.долг - 110 задач . • Команда В: тех.долг - 0 задач . • Команда Д: тех.долг - 35 задач . • О чём нам говорят эти цифры?
  • 54. КАЖДОМУ СВОЕ «Слова вы услышали, поиск пути за вами» Уильям Деминг
  • 55. СПАСИБО С удовольствием отвечу на Ваши вопросы @dumtest roman.ivliev@mail.ru roman.ivliyev