Аудит процесса тестирования бывает как всесторонний с привлечением внешних экспертов, так и самостоятельный, своими силами. В своем докладе я расскажу про самостоятельный мини-аудит процесса тестирования, с чего начать, как правильно поставить цели, выбрать улучшения и отследить прогресс.

1. Самостоятельная оценка процессов
тестирования на проекте – с чего начать?
Андрей Ладутько
Май 20, 2016

2. АНДРЕЙ ЛАДУТЬКО
Минск, Беларусь
Тест-лид, Эксперт ЦКТ
8+ лет опыта
Процессы, аудиты, тест-дизайн, личная эффективность
SQA Days-12,13,15,16,17 докладчик
SQA Days-18,19 – куратор ПК
ISTQB Full Advanced Level
ladutko_andrey@tut.by, andrey_ladutko@epam.com
ladutko_andrey
sof_minsk
http://qastugama.blogspot.comp://qastugama.blog
spot.com

3. 3CONFIDENTIAL
ШАГ 0. ПРИНЯТИЕ
В ЛЮБОЙ КОДЕ ВСЕГДА МОЖНО НАЙТИ ОШИБКИ.
ЛЮБУЮ ТЕСТОВУЮ СТРАТЕГИЮ МОЖНО ЕЩЕ ЧУТЬ-ЧУТЬ УЛУЧШИТЬ

4. 4CONFIDENTIAL
ШАГ 1. ОПРЕДЕЛЕНИЕ

5. 5CONFIDENTIAL
ШАГ 1. ОПРЕДЕЛЕНИЕ
•Цель тестирования
•Вопросы, на которые хотим получить ответ

6. 6CONFIDENTIAL
ЦЕЛИ ТЕСТИРОВАНИЯ
Time
Costs
Quality
Visibility
Automation

7. 7CONFIDENTIAL
1 2 3
ПОЧЕМУ МЕТРИКИ
Четкий Измеряемый Реалистичный

8. 8CONFIDENTIAL
ОТВЕЧАЕМ НА ВОПРОС:
КАКОЕ КАЧЕСТВО ТЕСТИРОВАНИЯ?
• % ошибок, пропущенных в релиз (Defect Containment )
• % отклоненных дефектов (Decline Rate)
• Число дефектов по типам и приоритетам (Total number of
issues by types of testing VS priority)
• Дэшборд (Testing Dashboard)
• Количество открытых дефектов (Open Defects)
• % рабочего времени по категориям (Total working time by
categories)

9. 9CONFIDENTIAL
ОТВЕЧАЕМ НА ВОПРОС:
УСПЕВАЕМ ЛИ МЫ ПРОТЕСТИРОВАТЬ ВОВРЕМЯ?
• Дэшборд (Testing dashboard)
• Диаграмма выгорания (Burn Down Chart)
• Число рабочих дней VS запланированное время на
тестирование (Test team work Days remaining vs testing effort
remaining)
• Закрытые VS все дефекты (Total vs Closed)
• Изменение количества дефектов по статусу (Defect
progression by status and quality)
• Количество дефектов на верификацию (# of defects to be
verified)

10. 10CONFIDENTIAL
ШАГ 2. ИЗМЕРЕНИЕ И АНАЛИЗ

11. 11CONFIDENTIAL
ПРИМЕР ИЗМЕРЕНИЯ. DEFECT CONTAINMENT
• Показывает % дефектов найденных до
релиза VS общее количество дефектов
• Считается после определенного периода
после релиза
• Невалидные баги не учитываются
𝑫𝒆𝒇𝒆𝒄𝒕 𝑪𝒐𝒏𝒕𝒂𝒊𝒏𝒎𝒆𝒏𝒕 =
𝒂𝒍𝒍 𝒅𝒆𝒇𝒆𝒄𝒕𝒔 − 𝒑𝒓𝒐𝒅𝒖𝒄𝒕𝒊𝒐𝒏 𝒅𝒆𝒇𝒆𝒄𝒕𝒔
𝒂𝒍𝒍 𝒅𝒆𝒇𝒆𝒄𝒕𝒔
∗ 𝟏𝟎𝟎%
Целевое значение – 95%
NOTES

12. 12CONFIDENTIAL
ПРИМЕР АНАЛИЗА ПРОПУЩЕННЫХ ДЕФЕКТОВ
• Конфигурации и окружения
• Вид тестирования (функциональный – нефункциональный)
• Сценарий или ad-hoc
• Компонента или модуль системы
• Причина пропуска (регрессия, неясное требование, недостаток времени, апгрейд
версии)

13. 13CONFIDENTIAL
ШАГ 3. ДЕЙСТВИЕ

14. 14CONFIDENTIAL
ШАГ 4. КОРРЕКЦИЯ

15. 15CONFIDENTIAL
САМОСТОЯТЕЛЬНЫЙ АУДИТ – ИТОГОВАЯ СХЕМА
Определение
Коррекция
Измерение
ианализ
Действие
 Цель тестирования
 Вопросы
 Метрики и KPI
 Сравниваем метрики до и
после внедрения
 Улучшение – продолжаем
 Застой или ухудшение –
ищем другие способы
 Метрики и KPI
 Шаги по улучшению
 Just do it!

16. 16CONFIDENTIAL
ladutko_andrey@tut.by, andrey_ladutko@epam.com
ladutko_andrey
sof_minsk
http://qastugama.blogspot.com
СПАСИБО!