SlideShare a Scribd company logo
1 of 36
Software quality assurance days
18 Международная конференция
по вопросам качества ПО
sqadays.com
Москва. 27–28 ноября 2015
Мешков Александр
Performance Lab. Москва, Россия
Процесс тестирования. Измерение и Оценка.
Краткая информация
• Мешков Александр
Руководитель направления QA консалтинга
Performance Lab
Skype: alekslynx
Email: a.Meshkov@pflb.ru
15 проектов по тестированию и консалтингу
Процесс тестирования. Измерение и Оценка.
• Введение
• Об оценке и измерении
• Оценка зрелости процесса тестирования
• Основные принципы оценки
• Оперативная оценка процесса тестирования
• Практика использования
• Итоги
Процесс тестирования. Измерение и Оценка.
План доклада
Делегирование
Подотчетность
Задачи
Мониторинг
Инструкции
Отчетность
Процесс тестирования. Измерение и Оценка.
Введение
Процесс тестирования. Измерение и Оценка.
Оценка процесса тестирования:
кому и зачем это нужно?
• Целесообразность
• Своевременность
• Соответствует ожиданиям
руководителя
• Точность
• Соответствует назначению
• Возможность сравнить с
эталоном и/или прошлыми
результатами
Процесс тестирования. Измерение и Оценка.
Требования
Аудит Обследование Самооценка
Процесс тестирования. Измерение и Оценка.
Как можно проводить оценку?
Руководитель отдела тестирования (управляя процессом) должен
отвечать за:
Результативность
Целесообразность
Продуктивность
Соответствие
Процесс тестирования. Измерение и Оценка.
Что и зачем оценивать?
Процесс тестирования. Измерение и Оценка.
Для чего применять оценку?
• Обеспечение стабильности результатов
(Аудит, обследование,
самообследование)
• Целесообразность (Обследование,
самооценка)
• Продуктивность (Обследование,
самооценка)
• Результативность (Обследование,
самооценка)
• Соответствие (Аудит, обследование,
самообследование)
1. Используется для сравнения с эталонами
2. Используется для отчетности.
3. Используется для проверки и оценки процессов на предмет
полученных выгод от совершенствования.
Процесс тестирования. Измерение и Оценка.
Классы оценки (ISO 15504)
Процесс тестирования. Измерение и Оценка.
Принцип оценки зрелости
Планируй:
- Что делать?
- Как делать?
- Кто будет делать?
- Какие ресурсы
потребуются?
Корректируй:
- Что улучшить в
дальнейшем?
Делай:
- Выполнение
запланированных
работ
Контролируй:
- Результативно?
- Эффективно?
Процесс тестирования. Измерение и Оценка.
Принцип оценки зрелости
Процесс тестирования. Измерение и Оценка.
Оценка зрелости процесса тестирования.
Модели.
Thomas C. Staab. Using SW-TMM to Improve the Testing Process. Crosstalk The
Journal of Defense Software Engineering. November 2002.
Уровни Зрелости
Процесс тестирования. Измерение и Оценка.
Модель SW-TMM
http://www.tmmi.org/pdf/TMMi.Framework.pdf
Где взять?
Процесс тестирования. Измерение и Оценка.
Модель TMMI
Классы
Ключевые области
Группы ключевых
областей
Процесс тестирования. Измерение и Оценка.
Модель TPI
Контролируемый Эффективный Оптимизируемый
Уровни зрелости
Приоритезация ключевых областей
Процесс тестирования. Измерение и Оценка.
Модель TPI
Отличия моделей:
- Шкалы (уровни) зрелости
- Процессные модели и способы их применения
Процесс тестирования. Измерение и Оценка.
Выбор модели
1. Наблюдение
- Понимание, на что нужно обратить
внимание
- Как выполняются различные действия
Процесс тестирования. Измерение и Оценка.
Основные принципы методик
1. Наблюдения
- Подтверждение своим
наблюдениям
- Понимание, как правильно
проверять
2. Факты
Процесс тестирования. Измерение и Оценка.
Основные принципы методик
1. Наблюдения
- Правильность организации
работ
- Критерии оценки
2. Факты
3. Оценка
Процесс тестирования. Измерение и Оценка.
Основные принципы методик
1. Наблюдения
- Выбор целевого состояния
- Что необходимо
предпринять?
2. Факты
3. Оценка
4. Рекомендации
Процесс тестирования. Измерение и Оценка.
Основные принципы методик
а) Правильная постановка задачи
б) Четкое обозначение границ
в) Обоснование необходимости в проведении оценки
г) Аргументированность замечаний
д) Практика, примеры
Процесс тестирования. Измерение и Оценка.
Важно
Контроль зрелости процесса – оперативная
оценка
Оценка зрелости
Оперативная оценка
Цель
Результат
Процесс тестирования. Измерение и Оценка.
Процесс тестирования. Измерение и Оценка.
Оперативная оценка процесса тестирования
• Кто заинтересован?
• Что измерять?
• Как оценивать
результаты измерений?
• Как получить общую
оценку?
• Метрика – технически
или процедурно
измеримая величина,
характеризующая
состояние объекта
управления.
• KPI – метрика, которая
служит индикатором
состояния объекта
управления. Обязательное
условие – наличие целевого
значения и установленные
допустимые отклонения.
Процесс тестирования. Измерение и Оценка.
Показатели
• Метрика – технически
или процедурно
измеримая величина,
характеризующая
состояние объекта
управления.
• KPI – метрика, которая
служит индикатором
состояния объекта
управления. Обязательное
условие – наличие целевого
значения и установленные
допустимые отклонения.
У нас есть KPI.
Мы измеряем
производительность
нашей команды!
Процесс тестирования. Измерение и Оценка.
Показатели
Мы знаем значения метрик
процесса тестирования, но как нам
получить их оценку?
Процесс тестирования. Измерение и Оценка.
Показатели
• Разный цели метрик
• Разные единицы
измерения
• Неидентичные метрики
Использование единой оценки,
но как?
Процесс тестирования. Измерение и Оценка.
Показатели
Мы знаем значения метрик
процесса тестирования, но как нам
получить их оценку?
• Разный цели метрик
• Разные единицы
измерения
• Неидентичные метрики
R=
1,
𝐾−𝑀
𝑇−𝑀
0,
,
𝐾 ≥ 𝑇 100%
𝑀 ≤ 𝐾 < 𝑇 от 1% до 99%
𝐾 < 𝑀 0%
R=
1,
𝐾−𝑀
𝑇−𝑀
0,
,
𝐾 ≤ 𝑇 100%
𝑀 ≥ 𝐾 > 𝑇 от 1% до 99%
𝐾 > 𝑀 0%
Как прийти к общей оценке?
Какова эффективность процесса в
целом?
Как считать показатель, если один
из KPI = 0? Перемножение?
Процесс тестирования. Измерение и Оценка.
Показатели
T – целевое значение
К – факт
М – граничное значение
Вводим коэффициент
допустимого значения (ДЗ) для
каждого KPI.
ДЗ – значение итогового
показателя при условии, что
определенные KPI = 0%, а прочие
= 100%
Важность (вес) KPI определяет
значение ДЗ.
Получаем итоговый показатель:
ИП = В𝑖 × ОЦ𝑖 / В𝑖
В𝑖 = (1 - В 𝑚𝑎𝑥) × ОЦ𝑖+В 𝑚𝑎𝑥 , 0 ≤ ОЦ𝑖 ≤ 1
В 𝑚𝑎𝑥 =
1 − ДЗ
ДЗ
× 𝑁 − 1 , 0 < ДЗ < 1
Процесс тестирования. Измерение и Оценка.
Показатели
• Цель
• Метрики
• Критерии
• Оценка
• Действия
Процесс тестирования. Измерение и Оценка.
Что нужно, чтобы это работало
Процесс тестирования. Измерение и Оценка.
Комплексная оценка
• Учитывайте мотивацию
• Дайте возможность быть самостоятельными
• Контролируйте результаты
• Сделайте все, что процесс сбора был прозрачен
Типичные ошибки (с ними цели не достигнуть):
Мы используем готовый набор метрик, зачем
придумывать что то новое…
Мы измеряем ради измерения…
Получили статистику, показали руководству и
забыли…
Если мы решили собирать метрики, то все должны это
делать…
Зачем нам метрики, мы используем модели
зрелости…
Процесс тестирования. Измерение и Оценка.
Практика использования
• При измерении и оценки нужно понимать назначение той оценки, которую
Вы выполняете
• Модели и инструменты оценки должны периодически проверяться на
соответствие решаемым задачам в ходе процесса тестирования:
 Модели оценки зрелости должны соответствовать принятым в
компании стандартам и практикам
 Метрики и показатели эффективности должны пересматриваться и
обновляться в соответствии с целями и задачами, которые ставят перед
тестированием.
• Оценка – это не цель, а инструмент, который помогает:
 Планировать
 Управлять
 Совершенствовать
Процесс тестирования. Измерение и Оценка.
Итоги
Вопросы?
alekslynx
a.meshkov@pflb.ru
Процесс тестирования. Измерение и Оценка.
Спасибо за внимание

More Related Content

What's hot

QA Fest 2015. Алена Черненко-Дыба и Алексей Лупан. Секреты успешного проекта...
QA Fest 2015. Алена Черненко-Дыба и Алексей Лупан. Секреты успешного проекта...QA Fest 2015. Алена Черненко-Дыба и Алексей Лупан. Секреты успешного проекта...
QA Fest 2015. Алена Черненко-Дыба и Алексей Лупан. Секреты успешного проекта...QAFest
 
Оценка трудозатрат на тестирование в проектах сопровождения
Оценка трудозатрат на тестирование в проектах сопровожденияОценка трудозатрат на тестирование в проектах сопровождения
Оценка трудозатрат на тестирование в проектах сопровожденияSQALab
 
Badger — инструмент для мониторинга качества продуктов
Badger — инструмент для мониторинга качества продуктовBadger — инструмент для мониторинга качества продуктов
Badger — инструмент для мониторинга качества продуктовSQALab
 
Новый процесс тестирования на "старом" проекте
Новый процесс тестирования на "старом" проектеНовый процесс тестирования на "старом" проекте
Новый процесс тестирования на "старом" проектеSQALab
 
Человеко-дни на тестирование или как не ошибиться с оценкой
Человеко-дни на тестирование или как не ошибиться с оценкойЧеловеко-дни на тестирование или как не ошибиться с оценкой
Человеко-дни на тестирование или как не ошибиться с оценкойSQALab
 
Как заслужить доверие заказчика при передаче проекта новой команде тестирования?
Как заслужить доверие заказчика при передаче проекта новой команде тестирования?Как заслужить доверие заказчика при передаче проекта новой команде тестирования?
Как заслужить доверие заказчика при передаче проекта новой команде тестирования?SQALab
 
Качества хорошего тест-лида
Качества хорошего тест-лидаКачества хорошего тест-лида
Качества хорошего тест-лидаSQALab
 
Нагрузка и автоматизация в большой организации. Движение к DevOps
Нагрузка и автоматизация в большой организации. Движение к DevOpsНагрузка и автоматизация в большой организации. Движение к DevOps
Нагрузка и автоматизация в большой организации. Движение к DevOpsSQALab
 
Метод No-Test-Cases: избавьтесь от тест-кейсов в тестировании
Метод No-Test-Cases: избавьтесь от тест-кейсов в тестированииМетод No-Test-Cases: избавьтесь от тест-кейсов в тестировании
Метод No-Test-Cases: избавьтесь от тест-кейсов в тестированииSQALab
 
Serious+performance+testing
Serious+performance+testingSerious+performance+testing
Serious+performance+testingAlexei Lupan
 
андрей дмитриев взгляд со стороны разработчика
андрей дмитриев взгляд со стороны разработчикаандрей дмитриев взгляд со стороны разработчика
андрей дмитриев взгляд со стороны разработчикаAlexei Lupan
 
Waterfall revisited: практические метрики тестирования
Waterfall revisited: практические метрики тестированияWaterfall revisited: практические метрики тестирования
Waterfall revisited: практические метрики тестированияSQALab
 
Обеспечение качества: Практические советы
Обеспечение качества: Практические советыОбеспечение качества: Практические советы
Обеспечение качества: Практические советыSQALab
 
Sq adays 2010_balashenko
Sq adays 2010_balashenkoSq adays 2010_balashenko
Sq adays 2010_balashenkoAlexei Lupan
 
Метрики автоматизированного тестирования на пальцах
Метрики автоматизированного тестирования на пальцахМетрики автоматизированного тестирования на пальцах
Метрики автоматизированного тестирования на пальцахSQALab
 
Как оценить время на тестирование. Александр Зиновьев, Test Lead Softengi
Как оценить время на тестирование. Александр Зиновьев, Test Lead SoftengiКак оценить время на тестирование. Александр Зиновьев, Test Lead Softengi
Как оценить время на тестирование. Александр Зиновьев, Test Lead SoftengiSoftengi
 
Планирование трудозатрат на тестирование
Планирование трудозатрат на тестированиеПланирование трудозатрат на тестирование
Планирование трудозатрат на тестированиеSQALab
 
ACC - конструируем тест-план методом Google
ACC - конструируем тест-план методом GoogleACC - конструируем тест-план методом Google
ACC - конструируем тест-план методом GoogleSQALab
 
Оптимизируем тест кейсы
Оптимизируем тест кейсыОптимизируем тест кейсы
Оптимизируем тест кейсыSQALab
 

What's hot (20)

QA Fest 2015. Алена Черненко-Дыба и Алексей Лупан. Секреты успешного проекта...
QA Fest 2015. Алена Черненко-Дыба и Алексей Лупан. Секреты успешного проекта...QA Fest 2015. Алена Черненко-Дыба и Алексей Лупан. Секреты успешного проекта...
QA Fest 2015. Алена Черненко-Дыба и Алексей Лупан. Секреты успешного проекта...
 
Оценка трудозатрат на тестирование в проектах сопровождения
Оценка трудозатрат на тестирование в проектах сопровожденияОценка трудозатрат на тестирование в проектах сопровождения
Оценка трудозатрат на тестирование в проектах сопровождения
 
Badger — инструмент для мониторинга качества продуктов
Badger — инструмент для мониторинга качества продуктовBadger — инструмент для мониторинга качества продуктов
Badger — инструмент для мониторинга качества продуктов
 
Estimates & estimating - Наташа Новотная
Estimates & estimating - Наташа НовотнаяEstimates & estimating - Наташа Новотная
Estimates & estimating - Наташа Новотная
 
Новый процесс тестирования на "старом" проекте
Новый процесс тестирования на "старом" проектеНовый процесс тестирования на "старом" проекте
Новый процесс тестирования на "старом" проекте
 
Человеко-дни на тестирование или как не ошибиться с оценкой
Человеко-дни на тестирование или как не ошибиться с оценкойЧеловеко-дни на тестирование или как не ошибиться с оценкой
Человеко-дни на тестирование или как не ошибиться с оценкой
 
Как заслужить доверие заказчика при передаче проекта новой команде тестирования?
Как заслужить доверие заказчика при передаче проекта новой команде тестирования?Как заслужить доверие заказчика при передаче проекта новой команде тестирования?
Как заслужить доверие заказчика при передаче проекта новой команде тестирования?
 
Качества хорошего тест-лида
Качества хорошего тест-лидаКачества хорошего тест-лида
Качества хорошего тест-лида
 
Нагрузка и автоматизация в большой организации. Движение к DevOps
Нагрузка и автоматизация в большой организации. Движение к DevOpsНагрузка и автоматизация в большой организации. Движение к DevOps
Нагрузка и автоматизация в большой организации. Движение к DevOps
 
Метод No-Test-Cases: избавьтесь от тест-кейсов в тестировании
Метод No-Test-Cases: избавьтесь от тест-кейсов в тестированииМетод No-Test-Cases: избавьтесь от тест-кейсов в тестировании
Метод No-Test-Cases: избавьтесь от тест-кейсов в тестировании
 
Serious+performance+testing
Serious+performance+testingSerious+performance+testing
Serious+performance+testing
 
андрей дмитриев взгляд со стороны разработчика
андрей дмитриев взгляд со стороны разработчикаандрей дмитриев взгляд со стороны разработчика
андрей дмитриев взгляд со стороны разработчика
 
Waterfall revisited: практические метрики тестирования
Waterfall revisited: практические метрики тестированияWaterfall revisited: практические метрики тестирования
Waterfall revisited: практические метрики тестирования
 
Обеспечение качества: Практические советы
Обеспечение качества: Практические советыОбеспечение качества: Практические советы
Обеспечение качества: Практические советы
 
Sq adays 2010_balashenko
Sq adays 2010_balashenkoSq adays 2010_balashenko
Sq adays 2010_balashenko
 
Метрики автоматизированного тестирования на пальцах
Метрики автоматизированного тестирования на пальцахМетрики автоматизированного тестирования на пальцах
Метрики автоматизированного тестирования на пальцах
 
Как оценить время на тестирование. Александр Зиновьев, Test Lead Softengi
Как оценить время на тестирование. Александр Зиновьев, Test Lead SoftengiКак оценить время на тестирование. Александр Зиновьев, Test Lead Softengi
Как оценить время на тестирование. Александр Зиновьев, Test Lead Softengi
 
Планирование трудозатрат на тестирование
Планирование трудозатрат на тестированиеПланирование трудозатрат на тестирование
Планирование трудозатрат на тестирование
 
ACC - конструируем тест-план методом Google
ACC - конструируем тест-план методом GoogleACC - конструируем тест-план методом Google
ACC - конструируем тест-план методом Google
 
Оптимизируем тест кейсы
Оптимизируем тест кейсыОптимизируем тест кейсы
Оптимизируем тест кейсы
 

Viewers also liked

Построение процессов тестирования на новом проекте: как выбрать правильный путь
Построение процессов тестирования на новом проекте: как выбрать правильный путьПостроение процессов тестирования на новом проекте: как выбрать правильный путь
Построение процессов тестирования на новом проекте: как выбрать правильный путьSQALab
 
Концепция построения процесса тестирования в Agile проектах: 3+1
Концепция построения процесса тестирования в Agile проектах: 3+1Концепция построения процесса тестирования в Agile проектах: 3+1
Концепция построения процесса тестирования в Agile проектах: 3+1LuxoftTraining
 
Аналитик в Agile (SEF-09)
Аналитик в Agile (SEF-09)Аналитик в Agile (SEF-09)
Аналитик в Agile (SEF-09)Andrey Bibichev
 
01. Аналитик. Введение в профессию
01. Аналитик. Введение в профессию01. Аналитик. Введение в профессию
01. Аналитик. Введение в профессиюAlexander Baikin
 
Юлия Закс. Аналитик - кто это?
Юлия Закс. Аналитик - кто это? Юлия Закс. Аналитик - кто это?
Юлия Закс. Аналитик - кто это? Darya Zubova
 
Оптимизация процесса тестирования с использованием аналитических подходов RCA...
Оптимизация процесса тестирования с использованием аналитических подходов RCA...Оптимизация процесса тестирования с использованием аналитических подходов RCA...
Оптимизация процесса тестирования с использованием аналитических подходов RCA...SQALab
 
Построение процесса тестирования
Построение процесса тестированияПостроение процесса тестирования
Построение процесса тестированияAlexander Byndyu
 
10 способов как не надо тестировать высоконагруженный веб-сервис
10 способов как не надо тестировать высоконагруженный веб-сервис10 способов как не надо тестировать высоконагруженный веб-сервис
10 способов как не надо тестировать высоконагруженный веб-сервисSQALab
 
Концепция QaAPI: взгляд на тестирование с другой стороны баррикад
Концепция QaAPI: взгляд на тестирование с другой стороны баррикадКонцепция QaAPI: взгляд на тестирование с другой стороны баррикад
Концепция QaAPI: взгляд на тестирование с другой стороны баррикадSQALab
 
Практика тестирования web сервисов
Практика тестирования web сервисовПрактика тестирования web сервисов
Практика тестирования web сервисовSQALab
 
Автоматизация функционального тестирования REST API: секреты, тонкости и подв...
Автоматизация функционального тестирования REST API: секреты, тонкости и подв...Автоматизация функционального тестирования REST API: секреты, тонкости и подв...
Автоматизация функционального тестирования REST API: секреты, тонкости и подв...SQALab
 
Инструменты и лайфхаки тестирования REST API
Инструменты и лайфхаки тестирования REST APIИнструменты и лайфхаки тестирования REST API
Инструменты и лайфхаки тестирования REST APISQALab
 
Тестирование мобильных API: Behind The Scenes
Тестирование мобильных API: Behind The ScenesТестирование мобильных API: Behind The Scenes
Тестирование мобильных API: Behind The ScenesSQALab
 
Управление тестированием в Agile
Управление тестированием в AgileУправление тестированием в Agile
Управление тестированием в AgileAskhat Urazbaev
 
Организация процесса ручного тестирования
Организация процесса ручного тестированияОрганизация процесса ручного тестирования
Организация процесса ручного тестированияIT61
 

Viewers also liked (15)

Построение процессов тестирования на новом проекте: как выбрать правильный путь
Построение процессов тестирования на новом проекте: как выбрать правильный путьПостроение процессов тестирования на новом проекте: как выбрать правильный путь
Построение процессов тестирования на новом проекте: как выбрать правильный путь
 
Концепция построения процесса тестирования в Agile проектах: 3+1
Концепция построения процесса тестирования в Agile проектах: 3+1Концепция построения процесса тестирования в Agile проектах: 3+1
Концепция построения процесса тестирования в Agile проектах: 3+1
 
Аналитик в Agile (SEF-09)
Аналитик в Agile (SEF-09)Аналитик в Agile (SEF-09)
Аналитик в Agile (SEF-09)
 
01. Аналитик. Введение в профессию
01. Аналитик. Введение в профессию01. Аналитик. Введение в профессию
01. Аналитик. Введение в профессию
 
Юлия Закс. Аналитик - кто это?
Юлия Закс. Аналитик - кто это? Юлия Закс. Аналитик - кто это?
Юлия Закс. Аналитик - кто это?
 
Оптимизация процесса тестирования с использованием аналитических подходов RCA...
Оптимизация процесса тестирования с использованием аналитических подходов RCA...Оптимизация процесса тестирования с использованием аналитических подходов RCA...
Оптимизация процесса тестирования с использованием аналитических подходов RCA...
 
Построение процесса тестирования
Построение процесса тестированияПостроение процесса тестирования
Построение процесса тестирования
 
10 способов как не надо тестировать высоконагруженный веб-сервис
10 способов как не надо тестировать высоконагруженный веб-сервис10 способов как не надо тестировать высоконагруженный веб-сервис
10 способов как не надо тестировать высоконагруженный веб-сервис
 
Концепция QaAPI: взгляд на тестирование с другой стороны баррикад
Концепция QaAPI: взгляд на тестирование с другой стороны баррикадКонцепция QaAPI: взгляд на тестирование с другой стороны баррикад
Концепция QaAPI: взгляд на тестирование с другой стороны баррикад
 
Практика тестирования web сервисов
Практика тестирования web сервисовПрактика тестирования web сервисов
Практика тестирования web сервисов
 
Автоматизация функционального тестирования REST API: секреты, тонкости и подв...
Автоматизация функционального тестирования REST API: секреты, тонкости и подв...Автоматизация функционального тестирования REST API: секреты, тонкости и подв...
Автоматизация функционального тестирования REST API: секреты, тонкости и подв...
 
Инструменты и лайфхаки тестирования REST API
Инструменты и лайфхаки тестирования REST APIИнструменты и лайфхаки тестирования REST API
Инструменты и лайфхаки тестирования REST API
 
Тестирование мобильных API: Behind The Scenes
Тестирование мобильных API: Behind The ScenesТестирование мобильных API: Behind The Scenes
Тестирование мобильных API: Behind The Scenes
 
Управление тестированием в Agile
Управление тестированием в AgileУправление тестированием в Agile
Управление тестированием в Agile
 
Организация процесса ручного тестирования
Организация процесса ручного тестированияОрганизация процесса ручного тестирования
Организация процесса ручного тестирования
 

Similar to Процесс тестирования. Измерение и оценка

Слайдкаст. Измерения в ИТ и ПО. Часть I
Слайдкаст. Измерения в ИТ и ПО. Часть IСлайдкаст. Измерения в ИТ и ПО. Часть I
Слайдкаст. Измерения в ИТ и ПО. Часть ISergiy Povolyashko
 
Александр Александров: Процессный консалтинг - как и зачем это делается и ког...
Александр Александров: Процессный консалтинг - как и зачем это делается и ког...Александр Александров: Процессный консалтинг - как и зачем это делается и ког...
Александр Александров: Процессный консалтинг - как и зачем это делается и ког...Luxoft Education Center
 
Software Measurements Training Overview
Software Measurements Training OverviewSoftware Measurements Training Overview
Software Measurements Training OverviewSergiy Povolyashko
 
Становление программы внутренних аудитов.
Становление программы внутренних аудитов.Становление программы внутренних аудитов.
Становление программы внутренних аудитов.Elena Petrova
 
Управление качеством
Управление качествомУправление качеством
Управление качествомLocalStorm
 
презентация сураевой н.а
презентация сураевой н.апрезентация сураевой н.а
презентация сураевой н.аsuraeva_na
 
Становление программы внутренних аудитов: от требований сертификации до обесп...
Становление программы внутренних аудитов: от требований сертификации до обесп...Становление программы внутренних аудитов: от требований сертификации до обесп...
Становление программы внутренних аудитов: от требований сертификации до обесп...SQALab
 
Управление и руководство в процессном подходе. Тренинг-семинар.
Управление и руководство в процессном подходе. Тренинг-семинар.Управление и руководство в процессном подходе. Тренинг-семинар.
Управление и руководство в процессном подходе. Тренинг-семинар.Ратнер Александр
 
Управление качеством 2
Управление качеством 2Управление качеством 2
Управление качеством 2LocalStorm
 
Методы оценки качества требований и работы аналитика
Методы оценки качества требований и работы аналитикаМетоды оценки качества требований и работы аналитика
Методы оценки качества требований и работы аналитикаAlexander Novichkov
 
Test management
Test managementTest management
Test managementQA Guards
 
Слайдкаст. Измерения в ИТ и ПО. Часть II
Слайдкаст. Измерения в ИТ и ПО. Часть IIСлайдкаст. Измерения в ИТ и ПО. Часть II
Слайдкаст. Измерения в ИТ и ПО. Часть IISergiy Povolyashko
 
Модуль 8. Лекция 37-38. Управление качеством проекта
Модуль 8. Лекция 37-38. Управление качеством проектаМодуль 8. Лекция 37-38. Управление качеством проекта
Модуль 8. Лекция 37-38. Управление качеством проектаYana Brodetski
 
Process Quality, QA and QC. QA Club. Kharkov. Ukraine
Process Quality, QA and QC. QA Club. Kharkov. UkraineProcess Quality, QA and QC. QA Club. Kharkov. Ukraine
Process Quality, QA and QC. QA Club. Kharkov. UkraineSergiy Povolyashko, PMP
 
Мастер-класс с Юлией Ужакиной
Мастер-класс с Юлией УжакинойМастер-класс с Юлией Ужакиной
Мастер-класс с Юлией УжакинойAmplua Broker
 

Similar to Процесс тестирования. Измерение и оценка (20)

Слайдкаст. Измерения в ИТ и ПО. Часть I
Слайдкаст. Измерения в ИТ и ПО. Часть IСлайдкаст. Измерения в ИТ и ПО. Часть I
Слайдкаст. Измерения в ИТ и ПО. Часть I
 
Александр Александров: Процессный консалтинг - как и зачем это делается и ког...
Александр Александров: Процессный консалтинг - как и зачем это делается и ког...Александр Александров: Процессный консалтинг - как и зачем это делается и ког...
Александр Александров: Процессный консалтинг - как и зачем это делается и ког...
 
Software Measurements Training Overview
Software Measurements Training OverviewSoftware Measurements Training Overview
Software Measurements Training Overview
 
Software Measurements Training Overview
Software Measurements Training OverviewSoftware Measurements Training Overview
Software Measurements Training Overview
 
Становление программы внутренних аудитов.
Становление программы внутренних аудитов.Становление программы внутренних аудитов.
Становление программы внутренних аудитов.
 
Управление качеством
Управление качествомУправление качеством
Управление качеством
 
презентация сураевой н.а
презентация сураевой н.апрезентация сураевой н.а
презентация сураевой н.а
 
Становление программы внутренних аудитов: от требований сертификации до обесп...
Становление программы внутренних аудитов: от требований сертификации до обесп...Становление программы внутренних аудитов: от требований сертификации до обесп...
Становление программы внутренних аудитов: от требований сертификации до обесп...
 
Управление и руководство в процессном подходе. Тренинг-семинар.
Управление и руководство в процессном подходе. Тренинг-семинар.Управление и руководство в процессном подходе. Тренинг-семинар.
Управление и руководство в процессном подходе. Тренинг-семинар.
 
Управление качеством 2
Управление качеством 2Управление качеством 2
Управление качеством 2
 
Методы оценки качества требований и работы аналитика
Методы оценки качества требований и работы аналитикаМетоды оценки качества требований и работы аналитика
Методы оценки качества требований и работы аналитика
 
Testing
TestingTesting
Testing
 
коучинг в Qa
коучинг в Qaкоучинг в Qa
коучинг в Qa
 
Coaching in QA
Coaching in QACoaching in QA
Coaching in QA
 
Тест-дизайнер в "попугаях"
Тест-дизайнер в "попугаях"Тест-дизайнер в "попугаях"
Тест-дизайнер в "попугаях"
 
Test management
Test managementTest management
Test management
 
Слайдкаст. Измерения в ИТ и ПО. Часть II
Слайдкаст. Измерения в ИТ и ПО. Часть IIСлайдкаст. Измерения в ИТ и ПО. Часть II
Слайдкаст. Измерения в ИТ и ПО. Часть II
 
Модуль 8. Лекция 37-38. Управление качеством проекта
Модуль 8. Лекция 37-38. Управление качеством проектаМодуль 8. Лекция 37-38. Управление качеством проекта
Модуль 8. Лекция 37-38. Управление качеством проекта
 
Process Quality, QA and QC. QA Club. Kharkov. Ukraine
Process Quality, QA and QC. QA Club. Kharkov. UkraineProcess Quality, QA and QC. QA Club. Kharkov. Ukraine
Process Quality, QA and QC. QA Club. Kharkov. Ukraine
 
Мастер-класс с Юлией Ужакиной
Мастер-класс с Юлией УжакинойМастер-класс с Юлией Ужакиной
Мастер-класс с Юлией Ужакиной
 

More from SQALab

Готовим стажировку
Готовим стажировкуГотовим стажировку
Готовим стажировкуSQALab
 
Куда приводят мечты? или Искусство развития тестировщика
Куда приводят мечты? или Искусство развития тестировщикаКуда приводят мечты? или Искусство развития тестировщика
Куда приводят мечты? или Искусство развития тестировщикаSQALab
 
Оптимизация Selenium тестов и ускорение их поддержки
Оптимизация Selenium тестов и ускорение их поддержкиОптимизация Selenium тестов и ускорение их поддержки
Оптимизация Selenium тестов и ускорение их поддержкиSQALab
 
Автоматизация 0.0: 0 - бюджет, 0 - опыт программирования
Автоматизация 0.0: 0 - бюджет, 0 - опыт программированияАвтоматизация 0.0: 0 - бюджет, 0 - опыт программирования
Автоматизация 0.0: 0 - бюджет, 0 - опыт программированияSQALab
 
Нагрузочное тестирование нестандартных протоколов с использованием Citrix и J...
Нагрузочное тестирование нестандартных протоколов с использованием Citrix и J...Нагрузочное тестирование нестандартных протоколов с использованием Citrix и J...
Нагрузочное тестирование нестандартных протоколов с использованием Citrix и J...SQALab
 
Continuous performance testing
Continuous performance testingContinuous performance testing
Continuous performance testingSQALab
 
Конфиги вместо костылей. Pytestconfig и зачем он нужен
Конфиги вместо костылей. Pytestconfig и зачем он нуженКонфиги вместо костылей. Pytestconfig и зачем он нужен
Конфиги вместо костылей. Pytestconfig и зачем он нуженSQALab
 
Команда чемпионов в ИТ стихии
Команда чемпионов в ИТ стихииКоманда чемпионов в ИТ стихии
Команда чемпионов в ИТ стихииSQALab
 
API. Серебряная пуля в магазине советов
API. Серебряная пуля в магазине советовAPI. Серебряная пуля в магазине советов
API. Серебряная пуля в магазине советовSQALab
 
Добиваемся эффективности каждого из 9000+ UI-тестов
Добиваемся эффективности каждого из 9000+ UI-тестовДобиваемся эффективности каждого из 9000+ UI-тестов
Добиваемся эффективности каждого из 9000+ UI-тестовSQALab
 
Делаем автоматизацию проектных KPIs
Делаем автоматизацию проектных KPIsДелаем автоматизацию проектных KPIs
Делаем автоматизацию проектных KPIsSQALab
 
Вредные привычки в тест-менеджменте
Вредные привычки в тест-менеджментеВредные привычки в тест-менеджменте
Вредные привычки в тест-менеджментеSQALab
 
Мощь переполняет с JDI 2.0 - новая эра UI автоматизации
Мощь переполняет с JDI 2.0 - новая эра UI автоматизацииМощь переполняет с JDI 2.0 - новая эра UI автоматизации
Мощь переполняет с JDI 2.0 - новая эра UI автоматизацииSQALab
 
Как hh.ru дошли до 500 релизов в квартал без потери в качестве
Как hh.ru дошли до 500 релизов в квартал без потери в качествеКак hh.ru дошли до 500 релизов в квартал без потери в качестве
Как hh.ru дошли до 500 релизов в квартал без потери в качествеSQALab
 
Стили лидерства и тестирование
Стили лидерства и тестированиеСтили лидерства и тестирование
Стили лидерства и тестированиеSQALab
 
"Давайте не будем про качество"
"Давайте не будем про качество""Давайте не будем про качество"
"Давайте не будем про качество"SQALab
 
Apache.JMeter для .NET-проектов
Apache.JMeter для .NET-проектовApache.JMeter для .NET-проектов
Apache.JMeter для .NET-проектовSQALab
 
Тестирование геолокационных систем
Тестирование геолокационных системТестирование геолокационных систем
Тестирование геолокационных системSQALab
 
Лидер или босс? Вот в чем вопрос
Лидер или босс? Вот в чем вопросЛидер или босс? Вот в чем вопрос
Лидер или босс? Вот в чем вопросSQALab
 
От Зефира в коробке к Structure Zephyr или как тест-менеджеру перекроить внут...
От Зефира в коробке к Structure Zephyr или как тест-менеджеру перекроить внут...От Зефира в коробке к Structure Zephyr или как тест-менеджеру перекроить внут...
От Зефира в коробке к Structure Zephyr или как тест-менеджеру перекроить внут...SQALab
 

More from SQALab (20)

Готовим стажировку
Готовим стажировкуГотовим стажировку
Готовим стажировку
 
Куда приводят мечты? или Искусство развития тестировщика
Куда приводят мечты? или Искусство развития тестировщикаКуда приводят мечты? или Искусство развития тестировщика
Куда приводят мечты? или Искусство развития тестировщика
 
Оптимизация Selenium тестов и ускорение их поддержки
Оптимизация Selenium тестов и ускорение их поддержкиОптимизация Selenium тестов и ускорение их поддержки
Оптимизация Selenium тестов и ускорение их поддержки
 
Автоматизация 0.0: 0 - бюджет, 0 - опыт программирования
Автоматизация 0.0: 0 - бюджет, 0 - опыт программированияАвтоматизация 0.0: 0 - бюджет, 0 - опыт программирования
Автоматизация 0.0: 0 - бюджет, 0 - опыт программирования
 
Нагрузочное тестирование нестандартных протоколов с использованием Citrix и J...
Нагрузочное тестирование нестандартных протоколов с использованием Citrix и J...Нагрузочное тестирование нестандартных протоколов с использованием Citrix и J...
Нагрузочное тестирование нестандартных протоколов с использованием Citrix и J...
 
Continuous performance testing
Continuous performance testingContinuous performance testing
Continuous performance testing
 
Конфиги вместо костылей. Pytestconfig и зачем он нужен
Конфиги вместо костылей. Pytestconfig и зачем он нуженКонфиги вместо костылей. Pytestconfig и зачем он нужен
Конфиги вместо костылей. Pytestconfig и зачем он нужен
 
Команда чемпионов в ИТ стихии
Команда чемпионов в ИТ стихииКоманда чемпионов в ИТ стихии
Команда чемпионов в ИТ стихии
 
API. Серебряная пуля в магазине советов
API. Серебряная пуля в магазине советовAPI. Серебряная пуля в магазине советов
API. Серебряная пуля в магазине советов
 
Добиваемся эффективности каждого из 9000+ UI-тестов
Добиваемся эффективности каждого из 9000+ UI-тестовДобиваемся эффективности каждого из 9000+ UI-тестов
Добиваемся эффективности каждого из 9000+ UI-тестов
 
Делаем автоматизацию проектных KPIs
Делаем автоматизацию проектных KPIsДелаем автоматизацию проектных KPIs
Делаем автоматизацию проектных KPIs
 
Вредные привычки в тест-менеджменте
Вредные привычки в тест-менеджментеВредные привычки в тест-менеджменте
Вредные привычки в тест-менеджменте
 
Мощь переполняет с JDI 2.0 - новая эра UI автоматизации
Мощь переполняет с JDI 2.0 - новая эра UI автоматизацииМощь переполняет с JDI 2.0 - новая эра UI автоматизации
Мощь переполняет с JDI 2.0 - новая эра UI автоматизации
 
Как hh.ru дошли до 500 релизов в квартал без потери в качестве
Как hh.ru дошли до 500 релизов в квартал без потери в качествеКак hh.ru дошли до 500 релизов в квартал без потери в качестве
Как hh.ru дошли до 500 релизов в квартал без потери в качестве
 
Стили лидерства и тестирование
Стили лидерства и тестированиеСтили лидерства и тестирование
Стили лидерства и тестирование
 
"Давайте не будем про качество"
"Давайте не будем про качество""Давайте не будем про качество"
"Давайте не будем про качество"
 
Apache.JMeter для .NET-проектов
Apache.JMeter для .NET-проектовApache.JMeter для .NET-проектов
Apache.JMeter для .NET-проектов
 
Тестирование геолокационных систем
Тестирование геолокационных системТестирование геолокационных систем
Тестирование геолокационных систем
 
Лидер или босс? Вот в чем вопрос
Лидер или босс? Вот в чем вопросЛидер или босс? Вот в чем вопрос
Лидер или босс? Вот в чем вопрос
 
От Зефира в коробке к Structure Zephyr или как тест-менеджеру перекроить внут...
От Зефира в коробке к Structure Zephyr или как тест-менеджеру перекроить внут...От Зефира в коробке к Structure Zephyr или как тест-менеджеру перекроить внут...
От Зефира в коробке к Structure Zephyr или как тест-менеджеру перекроить внут...
 

Процесс тестирования. Измерение и оценка

  • 1. Software quality assurance days 18 Международная конференция по вопросам качества ПО sqadays.com Москва. 27–28 ноября 2015 Мешков Александр Performance Lab. Москва, Россия Процесс тестирования. Измерение и Оценка.
  • 2. Краткая информация • Мешков Александр Руководитель направления QA консалтинга Performance Lab Skype: alekslynx Email: a.Meshkov@pflb.ru 15 проектов по тестированию и консалтингу Процесс тестирования. Измерение и Оценка.
  • 3. • Введение • Об оценке и измерении • Оценка зрелости процесса тестирования • Основные принципы оценки • Оперативная оценка процесса тестирования • Практика использования • Итоги Процесс тестирования. Измерение и Оценка. План доклада
  • 5. Процесс тестирования. Измерение и Оценка. Оценка процесса тестирования: кому и зачем это нужно?
  • 6. • Целесообразность • Своевременность • Соответствует ожиданиям руководителя • Точность • Соответствует назначению • Возможность сравнить с эталоном и/или прошлыми результатами Процесс тестирования. Измерение и Оценка. Требования
  • 7. Аудит Обследование Самооценка Процесс тестирования. Измерение и Оценка. Как можно проводить оценку?
  • 8. Руководитель отдела тестирования (управляя процессом) должен отвечать за: Результативность Целесообразность Продуктивность Соответствие Процесс тестирования. Измерение и Оценка. Что и зачем оценивать?
  • 9. Процесс тестирования. Измерение и Оценка. Для чего применять оценку? • Обеспечение стабильности результатов (Аудит, обследование, самообследование) • Целесообразность (Обследование, самооценка) • Продуктивность (Обследование, самооценка) • Результативность (Обследование, самооценка) • Соответствие (Аудит, обследование, самообследование)
  • 10. 1. Используется для сравнения с эталонами 2. Используется для отчетности. 3. Используется для проверки и оценки процессов на предмет полученных выгод от совершенствования. Процесс тестирования. Измерение и Оценка. Классы оценки (ISO 15504)
  • 11. Процесс тестирования. Измерение и Оценка. Принцип оценки зрелости
  • 12. Планируй: - Что делать? - Как делать? - Кто будет делать? - Какие ресурсы потребуются? Корректируй: - Что улучшить в дальнейшем? Делай: - Выполнение запланированных работ Контролируй: - Результативно? - Эффективно? Процесс тестирования. Измерение и Оценка. Принцип оценки зрелости
  • 13. Процесс тестирования. Измерение и Оценка. Оценка зрелости процесса тестирования. Модели.
  • 14. Thomas C. Staab. Using SW-TMM to Improve the Testing Process. Crosstalk The Journal of Defense Software Engineering. November 2002. Уровни Зрелости Процесс тестирования. Измерение и Оценка. Модель SW-TMM
  • 16. Классы Ключевые области Группы ключевых областей Процесс тестирования. Измерение и Оценка. Модель TPI
  • 17. Контролируемый Эффективный Оптимизируемый Уровни зрелости Приоритезация ключевых областей Процесс тестирования. Измерение и Оценка. Модель TPI
  • 18. Отличия моделей: - Шкалы (уровни) зрелости - Процессные модели и способы их применения Процесс тестирования. Измерение и Оценка. Выбор модели
  • 19. 1. Наблюдение - Понимание, на что нужно обратить внимание - Как выполняются различные действия Процесс тестирования. Измерение и Оценка. Основные принципы методик
  • 20. 1. Наблюдения - Подтверждение своим наблюдениям - Понимание, как правильно проверять 2. Факты Процесс тестирования. Измерение и Оценка. Основные принципы методик
  • 21. 1. Наблюдения - Правильность организации работ - Критерии оценки 2. Факты 3. Оценка Процесс тестирования. Измерение и Оценка. Основные принципы методик
  • 22. 1. Наблюдения - Выбор целевого состояния - Что необходимо предпринять? 2. Факты 3. Оценка 4. Рекомендации Процесс тестирования. Измерение и Оценка. Основные принципы методик
  • 23. а) Правильная постановка задачи б) Четкое обозначение границ в) Обоснование необходимости в проведении оценки г) Аргументированность замечаний д) Практика, примеры Процесс тестирования. Измерение и Оценка. Важно
  • 24. Контроль зрелости процесса – оперативная оценка Оценка зрелости Оперативная оценка Цель Результат Процесс тестирования. Измерение и Оценка.
  • 25. Процесс тестирования. Измерение и Оценка. Оперативная оценка процесса тестирования • Кто заинтересован? • Что измерять? • Как оценивать результаты измерений? • Как получить общую оценку?
  • 26. • Метрика – технически или процедурно измеримая величина, характеризующая состояние объекта управления. • KPI – метрика, которая служит индикатором состояния объекта управления. Обязательное условие – наличие целевого значения и установленные допустимые отклонения. Процесс тестирования. Измерение и Оценка. Показатели
  • 27. • Метрика – технически или процедурно измеримая величина, характеризующая состояние объекта управления. • KPI – метрика, которая служит индикатором состояния объекта управления. Обязательное условие – наличие целевого значения и установленные допустимые отклонения. У нас есть KPI. Мы измеряем производительность нашей команды! Процесс тестирования. Измерение и Оценка. Показатели
  • 28. Мы знаем значения метрик процесса тестирования, но как нам получить их оценку? Процесс тестирования. Измерение и Оценка. Показатели • Разный цели метрик • Разные единицы измерения • Неидентичные метрики
  • 29. Использование единой оценки, но как? Процесс тестирования. Измерение и Оценка. Показатели Мы знаем значения метрик процесса тестирования, но как нам получить их оценку? • Разный цели метрик • Разные единицы измерения • Неидентичные метрики
  • 30. R= 1, 𝐾−𝑀 𝑇−𝑀 0, , 𝐾 ≥ 𝑇 100% 𝑀 ≤ 𝐾 < 𝑇 от 1% до 99% 𝐾 < 𝑀 0% R= 1, 𝐾−𝑀 𝑇−𝑀 0, , 𝐾 ≤ 𝑇 100% 𝑀 ≥ 𝐾 > 𝑇 от 1% до 99% 𝐾 > 𝑀 0% Как прийти к общей оценке? Какова эффективность процесса в целом? Как считать показатель, если один из KPI = 0? Перемножение? Процесс тестирования. Измерение и Оценка. Показатели T – целевое значение К – факт М – граничное значение
  • 31. Вводим коэффициент допустимого значения (ДЗ) для каждого KPI. ДЗ – значение итогового показателя при условии, что определенные KPI = 0%, а прочие = 100% Важность (вес) KPI определяет значение ДЗ. Получаем итоговый показатель: ИП = В𝑖 × ОЦ𝑖 / В𝑖 В𝑖 = (1 - В 𝑚𝑎𝑥) × ОЦ𝑖+В 𝑚𝑎𝑥 , 0 ≤ ОЦ𝑖 ≤ 1 В 𝑚𝑎𝑥 = 1 − ДЗ ДЗ × 𝑁 − 1 , 0 < ДЗ < 1 Процесс тестирования. Измерение и Оценка. Показатели
  • 32. • Цель • Метрики • Критерии • Оценка • Действия Процесс тестирования. Измерение и Оценка. Что нужно, чтобы это работало
  • 33. Процесс тестирования. Измерение и Оценка. Комплексная оценка
  • 34. • Учитывайте мотивацию • Дайте возможность быть самостоятельными • Контролируйте результаты • Сделайте все, что процесс сбора был прозрачен Типичные ошибки (с ними цели не достигнуть): Мы используем готовый набор метрик, зачем придумывать что то новое… Мы измеряем ради измерения… Получили статистику, показали руководству и забыли… Если мы решили собирать метрики, то все должны это делать… Зачем нам метрики, мы используем модели зрелости… Процесс тестирования. Измерение и Оценка. Практика использования
  • 35. • При измерении и оценки нужно понимать назначение той оценки, которую Вы выполняете • Модели и инструменты оценки должны периодически проверяться на соответствие решаемым задачам в ходе процесса тестирования:  Модели оценки зрелости должны соответствовать принятым в компании стандартам и практикам  Метрики и показатели эффективности должны пересматриваться и обновляться в соответствии с целями и задачами, которые ставят перед тестированием. • Оценка – это не цель, а инструмент, который помогает:  Планировать  Управлять  Совершенствовать Процесс тестирования. Измерение и Оценка. Итоги

Editor's Notes

  1. Подвинуть заголовки
  2. Можно добавить фотку
  3. Посадить ключевую идею
  4. буллиты
  5. Подумать картинку, подумать
  6. Рассказать короче
  7. Рассказать короче
  8. Под одним столбцом сделать
  9. Подписать К Т М
  10. Выделить шрифты, увеличить