Достаточно часто многие организации проводят аудиты или оценки зрелости своего процесса тестирования с целью повышения его эффективности. Такие модели, как TMMI, TPI Next и другие, позволяют оптимизировать процесс тестирования, но насколько эффективно будет ваше решение, основанное на общих практиках? Поможет ли оно именно вашему процессу тестирования? Многие сталкивались с проблемами того, что мировые практики не всегда подходят для решения именно ваших проблем в процессе тестирования. Поэтому, я расскажу вам об абсолютно другом подходе к оптимизации процесса тестирования, основанного на аналитических моделях RCA и GQM, которые на самом низком уровне определяют причины ваших проблем, что позволяет "точечно" решать конкретные задачи, тем самым повышая эффективность принимаемых вами решений для совершенствования процесса тестирования.

1. Software quality assurance
days
20 Международная конференция
по вопросам качества ПО
sqadays.com
Минск. 24–26 ноября 2016
Мешков Александр
Performance Lab. Москва, Россия
Оптимизация процесса тестирования с
использованием аналитических подходов
RCA и GQM

2. Оптимизация процесса тестирования с использованием аналитических подходов RCA и
GQM
Мешков Александр
Performance Lab
Skype: alekslynx
Email: a.meshkov@pflb.ru
Пишу статьи в блоге: http://www.performance-lab.ru/blog
Докладчик:
SQA Days - 18
SQA Days - 19
SQA Days - 20
Краткая информация

3. Улучшение процесса тестирования
PDCA
IDEAL
EFQM
DMAIC Model
Модель
оптимизации
процесса
тестирования
Оптимизация процесса тестирования с использованием аналитических подходов RCA и
GQM

4. Подходы к оптимизации процесса
тестирования
Подход на
основе моделей
Гибридный
подход
Подход на основе
аналитики
Другие
ITSW
совершенствование
Совершенствование
процесса
тестирования
CMMI,
ISO 15504
Process models Content models
TMMi,
TPI-Next
CTP, STEP
Анализ
причин
GQM
Люди,
навыки
Стандарты
Инфраструкту
ра и ПО
Обучение
Оптимизация процесса тестирования с использованием аналитических подходов RCA и
GQM

5. Отличие MBI и ABI
Аналитические подходы к оптимизации процесса тестирования используются для
выявления проблем в рамках нашего процесса или продукта и установления
дальнейших целей для его совершенствования.
Подход на основе
моделей
Подход на основе
аналитики
Детализация
Оптимизация процесса тестирования с использованием аналитических подходов RCA и
GQM

6. Почему аналитический подход
• Подход на основе модели не решает
точечных проблем
• Аудит и оценка зрелости это не одно и
тоже
• Все хотят детальных рекомендаций, а
не общих практик
• Аналитический подход позволяет
целенаправленно решать конкретные
проблемы
Оптимизация процесса тестирования с использованием аналитических подходов RCA и
GQM

7. Root Cause Analysis– сбор
информации
Оптимизация процесса тестирования с использованием аналитических подходов RCA и
GQM
Cause Analysis (Root Cause Analysis Method) – подход для выявление
скрытых (внутренних) причин, которые позволяют определить, почему
произошел тот или иной инцидент (проблема).
Проблема
Первопричины
(не может быть
одна причина)

8. Работа с дефектами
Оптимизация процесса тестирования с использованием аналитических подходов RCA и
GQM
Тестировщик
Разработчик
Заказчик

9. Шаги анализа
Оптимизация процесса тестирования с использованием аналитических подходов RCA и
GQM
1. Определить проблему и ее влияние на общие цели
2. Поиск вероятных причин
3. Сбор информации и анализ вероятных причин
4. Причинно-следственный анализ
5. Предотвращение или минимизация любых
негативных последствий для поставленных целей
путем выбора наиболее эффективных решений
Способы определения
проблем для анализа:
• PDCA
• Анализ статистики
• Ретроспективы

10. Сбор информации и анализ
Оптимизация процесса тестирования с использованием аналитических подходов RCA и
GQM
Причины сдвига сроков внедрения
Потеря времени в
ч/д на команду
Всего потеряно
времени
Тестовый контур предоставили не своевременно 12; 0,5, 0,2 12,7
Длительный процесс подбора тестовых данных 10; 4;3 17
Большое количество открытых дефектов 1;1;0,5;3;5;3 12,5
Не соблюдение стратегии тестирования 0,2;0,4 0,6
Необходимость внесения изменений в тестовые
сценарии 1,2;3;2 6,2

11. Причинно-следственный анализ
Оптимизация процесса тестирования с использованием аналитических подходов RCA и
GQM
Проблема
Группа Группа Группа
Группа Группа Группа
Причина
Причина
Причина
Причина
Причина
Причина
Причина
Причина

12. Оптимизация процесса тестирования с использованием аналитических подходов RCA и
GQM
Сдвиг сроков
внедрения
продукта
Специалисты Стандарты Оборудование
Менеджент
Отпуска
Взаимодействие
Координация
подразделений
Мощности
КонфигурацияИнтеграция с
эквайрингом
Требования
ЦБ
Соблюдение
SLA
Программное
обеспечение
Конфигурация
Тестовое покрытие
Тестирование
Результат
Причинно-следственный анализ

13. Наличие
дефектов
Низкоуровневый анализ
Оптимизация процесса тестирования с использованием аналитических подходов RCA и
GQM
Сдвиг
сроков
внедрения
продукта
Программное
обеспечение
Тестирование
Тестовые среды
Стратегия Тестовое покрытие
Результаты
Пригодность
Тестовые данные
Обновление
тестового контура
Доступность
СогласованиеСоблюдение
стандартов
Критерии
Измерение
Инструменты
Подходы
Точность
Т4
Т1, Т2
Т3
Высокое
влияние
Низкое
влияние

14. Наличие
дефектов
Низкоуровневый анализ
Оптимизация процесса тестирования с использованием аналитических подходов RCA и
GQM
Сдвиг
сроков
внедрения
продукта
Программное
обеспечение
Тестирование
Тестовые среды
Стратегия Тестовое покрытие
Результаты
Пригодность
Тестовые данные
Доступность
СогласованиеСоблюдение
стандартов
Критерии
Измерение
Инструменты
Подходы
Точность
Т1, Т2
Т3
Высокое
влияние
Низкое
влияние
Обновление
тестового контура

15. Метод «Пять почему?»
Оптимизация процесса тестирования с использованием аналитических подходов RCA и
GQM
Проблема

16. Выработка решения
Оптимизация процесса тестирования с использованием аналитических подходов RCA и
GQM
1. Определить действия для решения первопричин:
• действие должно решать проблему, а не минимизировать или
иметь временных эффект
• действие должно быть выполнимо для команды
2. Оценить решение каждой первопричины

17. GQM -подход
Оптимизация процесса тестирования с использованием аналитических подходов RCA и
GQM
GQM (Goals Question Metric) - системный подход, позволяющий на основе
определения измеримых целей процесса, продукта повышать эффективность
процессов в соответствии с потребностями проекта или организации.
Цель
Вопрос Вопрос Вопрос
Метрика Метрика Метрика
Метрика Метрика
Метрика Метрика Метрика

18. GQM -подход
Оптимизация процесса тестирования с использованием аналитических подходов RCA и
GQM
Цели
определены
Выберитепроцесс
Определение
структуры, вопросов
и метрик
Сбор метрик
Получение
обратной связи
Ретроспектива
Выработка
рекомендаций
Определение
задач
организации
или проекта

19. Фазы GQM
Оптимизация процесса тестирования с использованием аналитических подходов RCA и
GQM
Планирование
Формализация
Выполнение
Представление
результатов
Планпроекта
Цели
Вопросы
Метрики Измерение
Ответы
Достижение
целей
Сбор и обработка данных

20. GQM Планирование
Оптимизация процесса тестирования с использованием аналитических подходов RCA и
GQM

21. GQM Определение
Оптимизация процесса тестирования с использованием аналитических подходов RCA и
GQM
Объект Что исследуется?
Цель Почему объект исследуется?
Направление Какой атрибут исследуется?
Выгода В чем перспектива исследования?
Среда В каком окружение выполняется исследование?
Активности:
Определение организации, процесса или
проекта, их проблем и целей
Определение измеримых целей
Создание GQM плана
Создание плана измерения
Создания плана анализа и начало работ

22. GQM Обработка информации
Оптимизация процесса тестирования с использованием аналитических подходов RCA и
GQM
Система поддержки измерений обеспечивает поддержку всех активностей по
измерению процесса:
• Сбор данных по измерениям
• Хранение данных
• Поддержание данных в актуальном состоянии
• Обработка данных по измерениям
• Презентация
• Переиспользование данных по измерениям в последующих циклах
Формы
сбора
данных
База метрик
Результаты
анализа
Формализация

23. GQM Интерпретация
Оптимизация процесса тестирования с использованием аналитических подходов RCA и
GQM
Подготовка обратной связи
Обсуждение и ревью
полученных результатов
Формализация и фиксация
полученных результатов
Выработка решений по
оптимизации
Подготовка отчета по
результатам измерения
Презентация результатов
руководству

24. Метрики и измерения
Оптимизация процесса тестирования с использованием аналитических подходов RCA и
GQM
Цель Вопрос Метрика
Достаточность
ресурсов
Сколько задач команда
тестирования не берет в
работу?
Кол-во задач, взятых в работу от общего
скоупа задач
Процент трудозатрат взятых задач в работу
от общего числа задач
Насколько планируемое время
соответствует фактическому?
Соотношение фактических и планируемых
трудозатрат на тестирование релиза
На сколько
увеличивается/уменьшаются
объемы тестирования?
Объем задач по тестированию
Насколько часто
закладываемое время на риски
срабатывает?
Соотношение фактических и планируемых
трудозатрат на тестирование релиза
Кол-во выявленных дефектов
Какова загрузка специалистов
текущими задачами по
тестированию?
Загрузка специалистов по тестированию
Эффективность работы команды
тестирования
Время на работу с дефектами

25. Получение данных
Оптимизация процесса тестирования с использованием аналитических подходов RCA и
GQM
Перфоманс Лаб
План. Оценка Номер
заявки
Направлени
еТС Корр ТС ∑ ТС ФТ ретест ∑ ФТ
Сотрудник 1 1,5 0 1,5
4,5
0 0 0
5
50448 Кредиты
Сотрудник 1 2 1 3 2,5 2 4,5 51054
Счета,
вклады, РКО
Сотрудник 1 0,5 0,5 0,5 0,5 51762 ИБ
Сотрудник 2 3 2 5
9,5
4 2 6
14,5
50810
Счета,
вклады, РКО
Сотрудник 2 1,5 1 2,5 3 2 5 51422 Карты
Сотрудник 2 1 1 2 2 1,5 3,5 51424 Карты
Сотрудник 3 0 0 0
6
1 1 2
9
50416 iBanking
Сотрудник 3 2 1 3 2 1 3 50703 iBanking
Сотрудник 3 0 0 0 0 1 1 50589
Сотрудник 3 2 1 3 2 1 3 51580
Счета,
вклады, РКО
Сотрудник 4 2 1 3
11
2 1 3
12
50030 Карты
Сотрудник 4 3 2 5 3 2 5 50303 Кредиты
Сотрудник 4 2 1 3 3 1 4 51337
Счета,
вклады, РКО
Сотрудник 4 4 2 6 6 5 3 8 8 50002 Карты
итого требуется: 24,5 13 37,5 30 18,5 48,5
доступно ресурсов при 1 срезе 05/05 55 11д-5чел 27,5 5д-5,5чел
AS IS: при 1 срезе 27/04 43 7д-5ч+4д-2ч 41,5 5д-5,5ч+4д-3,5ч
4 "наших" заявки в 1 срезе 39 7д-5ч+4д-1ч 45,5 5д-5,5ч+4д-4,5ч
Если бы список был согласован 13/04 50 10д-5чел 49,5 9д-5,5чел

26. Получение данных
Оптимизация процесса тестирования с использованием аналитических подходов RCA и
GQM
0
10
20
30
40
50
60
70
80
90
Март Апрель Май
Команда
тестирования
73 88.5 86
Технологи 47.5 75.5 78
61% 54% 52%
39% 46% 48%
Трудозатраты,ч.д.
Соотношение трудозатрат
0
5
10
15
20
25
Март Апрель Май
Команда
тестирования
16 13 13
Технологи 15 16 23
16
13 13
15 16
23
Количествозаявок,шт.
Соотношение количества заявок
73
88.5 86
47.5
75.5
78
16 13 13
15 16
23
Март Апрель Май
Соотношение
трудозатрат и количества заявок
Команда тестирования - Трудозатраты
Технологи - Трудозатраты
Команда тестирования - Число заявок
Технология - Число заявок

27. Какой эффект?
Оптимизация процесса тестирования с использованием аналитических подходов RCA и
GQM
GQM позволяет:
• принимать наиболее
эффективные и точные
решения на основе
статистики
• учитывать все факторы,
влияющие на принятие
решения
• изменять процесс
тестирования только для
решения конкретных задач
или проблем

28. Полезные ссылки для аналитических
подходов
Оптимизация процесса тестирования с использованием аналитических подходов RCA и
GQM
http://www-ivs.cs.uni-magdeburg.de/sw-
eng/us/java/GQM/link4.shtml
Андерсон Бьерн — «Анализ основной
причины. Упрощенные инструменты и
методы»
Improving the Test
Process:
Implementing
Improvement and
Change - A Study
Guide for the ISTQB
Expert Level Module

29. Итоги
Оптимизация процесса тестирования с использованием аналитических подходов RCA и
GQM
• Применение аналитических
подходов целесообразно при
решении текущих проблем
• Аналитические подходы
позволяют точечно решать
проблемы в отличии от
модельных подходов
• Любое ваше действие или
решение будет исключительно
для вашего проекта

30. Оптимизация процесса тестирования с использованием аналитических подходов RCA и
GQM
Вопросы?
alekslynx
a.meshkov@pflb.ru