Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
Software quality assurance
days
20 Международная конференция
по вопросам качества ПО
sqadays.com
Минск. 24–26 ноября 2016
...
Оптимизация процесса тестирования с использованием аналитических подходов RCA и
GQM
Мешков Александр
Performance Lab
Skype...
Улучшение процесса тестирования
PDCA
IDEAL
EFQM
DMAIC Model
Модель
оптимизации
процесса
тестирования
Оптимизация процесса ...
Подходы к оптимизации процесса
тестирования
Подход на
основе моделей
Гибридный
подход
Подход на основе
аналитики
Другие
IT...
Отличие MBI и ABI
Аналитические подходы к оптимизации процесса тестирования используются для
выявления проблем в рамках на...
Почему аналитический подход
• Подход на основе модели не решает
точечных проблем
• Аудит и оценка зрелости это не одно и
т...
Root Cause Analysis– сбор
информации
Оптимизация процесса тестирования с использованием аналитических подходов RCA и
GQM
C...
Работа с дефектами
Оптимизация процесса тестирования с использованием аналитических подходов RCA и
GQM
Тестировщик
Разрабо...
Шаги анализа
Оптимизация процесса тестирования с использованием аналитических подходов RCA и
GQM
1. Определить проблему и ...
Сбор информации и анализ
Оптимизация процесса тестирования с использованием аналитических подходов RCA и
GQM
Причины сдвиг...
Причинно-следственный анализ
Оптимизация процесса тестирования с использованием аналитических подходов RCA и
GQM
Проблема
...
Оптимизация процесса тестирования с использованием аналитических подходов RCA и
GQM
Сдвиг сроков
внедрения
продукта
Специа...
Наличие
дефектов
Низкоуровневый анализ
Оптимизация процесса тестирования с использованием аналитических подходов RCA и
GQM...
Наличие
дефектов
Низкоуровневый анализ
Оптимизация процесса тестирования с использованием аналитических подходов RCA и
GQM...
Метод «Пять почему?»
Оптимизация процесса тестирования с использованием аналитических подходов RCA и
GQM
Проблема
Выработка решения
Оптимизация процесса тестирования с использованием аналитических подходов RCA и
GQM
1. Определить действ...
GQM -подход
Оптимизация процесса тестирования с использованием аналитических подходов RCA и
GQM
GQM (Goals Question Metric...
GQM -подход
Оптимизация процесса тестирования с использованием аналитических подходов RCA и
GQM
Цели
определены
Выберитепр...
Фазы GQM
Оптимизация процесса тестирования с использованием аналитических подходов RCA и
GQM
Планирование
Формализация
Вып...
GQM Планирование
Оптимизация процесса тестирования с использованием аналитических подходов RCA и
GQM
GQM Определение
Оптимизация процесса тестирования с использованием аналитических подходов RCA и
GQM
Объект Что исследуется...
GQM Обработка информации
Оптимизация процесса тестирования с использованием аналитических подходов RCA и
GQM
Система подде...
GQM Интерпретация
Оптимизация процесса тестирования с использованием аналитических подходов RCA и
GQM
Подготовка обратной ...
Метрики и измерения
Оптимизация процесса тестирования с использованием аналитических подходов RCA и
GQM
Цель Вопрос Метрик...
Получение данных
Оптимизация процесса тестирования с использованием аналитических подходов RCA и
GQM
Перфоманс Лаб
План. О...
Получение данных
Оптимизация процесса тестирования с использованием аналитических подходов RCA и
GQM
0
10
20
30
40
50
60
7...
Какой эффект?
Оптимизация процесса тестирования с использованием аналитических подходов RCA и
GQM
GQM позволяет:
• принима...
Полезные ссылки для аналитических
подходов
Оптимизация процесса тестирования с использованием аналитических подходов RCA и...
Итоги
Оптимизация процесса тестирования с использованием аналитических подходов RCA и
GQM
• Применение аналитических
подхо...
Оптимизация процесса тестирования с использованием аналитических подходов RCA и
GQM
Вопросы?
alekslynx
a.meshkov@pflb.ru
Upcoming SlideShare
Loading in …5
×

Оптимизация процесса тестирования с использованием аналитических подходов RCA и GQM

787 views

Published on

Доклад Александра Мешкова на конференции SQA Days-20. 24-26 ноября 2016. Минск
www.sqadays.com

Published in: Education
  • Be the first to comment

  • Be the first to like this

Оптимизация процесса тестирования с использованием аналитических подходов RCA и GQM

  1. 1. Software quality assurance days 20 Международная конференция по вопросам качества ПО sqadays.com Минск. 24–26 ноября 2016 Мешков Александр Performance Lab. Москва, Россия Оптимизация процесса тестирования с использованием аналитических подходов RCA и GQM
  2. 2. Оптимизация процесса тестирования с использованием аналитических подходов RCA и GQM Мешков Александр Performance Lab Skype: alekslynx Email: a.meshkov@pflb.ru Пишу статьи в блоге: http://www.performance-lab.ru/blog Докладчик: SQA Days - 18 SQA Days - 19 SQA Days - 20 Краткая информация
  3. 3. Улучшение процесса тестирования PDCA IDEAL EFQM DMAIC Model Модель оптимизации процесса тестирования Оптимизация процесса тестирования с использованием аналитических подходов RCA и GQM
  4. 4. Подходы к оптимизации процесса тестирования Подход на основе моделей Гибридный подход Подход на основе аналитики Другие ITSW совершенствование Совершенствование процесса тестирования CMMI, ISO 15504 Process models Content models TMMi, TPI-Next CTP, STEP Анализ причин GQM Люди, навыки Стандарты Инфраструкту ра и ПО Обучение Оптимизация процесса тестирования с использованием аналитических подходов RCA и GQM
  5. 5. Отличие MBI и ABI Аналитические подходы к оптимизации процесса тестирования используются для выявления проблем в рамках нашего процесса или продукта и установления дальнейших целей для его совершенствования. Подход на основе моделей Подход на основе аналитики Детализация Оптимизация процесса тестирования с использованием аналитических подходов RCA и GQM
  6. 6. Почему аналитический подход • Подход на основе модели не решает точечных проблем • Аудит и оценка зрелости это не одно и тоже • Все хотят детальных рекомендаций, а не общих практик • Аналитический подход позволяет целенаправленно решать конкретные проблемы Оптимизация процесса тестирования с использованием аналитических подходов RCA и GQM
  7. 7. Root Cause Analysis– сбор информации Оптимизация процесса тестирования с использованием аналитических подходов RCA и GQM Cause Analysis (Root Cause Analysis Method) – подход для выявление скрытых (внутренних) причин, которые позволяют определить, почему произошел тот или иной инцидент (проблема). Проблема Первопричины (не может быть одна причина)
  8. 8. Работа с дефектами Оптимизация процесса тестирования с использованием аналитических подходов RCA и GQM Тестировщик Разработчик Заказчик
  9. 9. Шаги анализа Оптимизация процесса тестирования с использованием аналитических подходов RCA и GQM 1. Определить проблему и ее влияние на общие цели 2. Поиск вероятных причин 3. Сбор информации и анализ вероятных причин 4. Причинно-следственный анализ 5. Предотвращение или минимизация любых негативных последствий для поставленных целей путем выбора наиболее эффективных решений Способы определения проблем для анализа: • PDCA • Анализ статистики • Ретроспективы
  10. 10. Сбор информации и анализ Оптимизация процесса тестирования с использованием аналитических подходов RCA и GQM Причины сдвига сроков внедрения Потеря времени в ч/д на команду Всего потеряно времени Тестовый контур предоставили не своевременно 12; 0,5, 0,2 12,7 Длительный процесс подбора тестовых данных 10; 4;3 17 Большое количество открытых дефектов 1;1;0,5;3;5;3 12,5 Не соблюдение стратегии тестирования 0,2;0,4 0,6 Необходимость внесения изменений в тестовые сценарии 1,2;3;2 6,2
  11. 11. Причинно-следственный анализ Оптимизация процесса тестирования с использованием аналитических подходов RCA и GQM Проблема Группа Группа Группа Группа Группа Группа Причина Причина Причина Причина Причина Причина Причина Причина
  12. 12. Оптимизация процесса тестирования с использованием аналитических подходов RCA и GQM Сдвиг сроков внедрения продукта Специалисты Стандарты Оборудование Менеджент Отпуска Взаимодействие Координация подразделений Мощности КонфигурацияИнтеграция с эквайрингом Требования ЦБ Соблюдение SLA Программное обеспечение Конфигурация Тестовое покрытие Тестирование Результат Причинно-следственный анализ
  13. 13. Наличие дефектов Низкоуровневый анализ Оптимизация процесса тестирования с использованием аналитических подходов RCA и GQM Сдвиг сроков внедрения продукта Программное обеспечение Тестирование Тестовые среды Стратегия Тестовое покрытие Результаты Пригодность Тестовые данные Обновление тестового контура Доступность СогласованиеСоблюдение стандартов Критерии Измерение Инструменты Подходы Точность Т4 Т1, Т2 Т3 Высокое влияние Низкое влияние
  14. 14. Наличие дефектов Низкоуровневый анализ Оптимизация процесса тестирования с использованием аналитических подходов RCA и GQM Сдвиг сроков внедрения продукта Программное обеспечение Тестирование Тестовые среды Стратегия Тестовое покрытие Результаты Пригодность Тестовые данные Доступность СогласованиеСоблюдение стандартов Критерии Измерение Инструменты Подходы Точность Т1, Т2 Т3 Высокое влияние Низкое влияние Обновление тестового контура
  15. 15. Метод «Пять почему?» Оптимизация процесса тестирования с использованием аналитических подходов RCA и GQM Проблема
  16. 16. Выработка решения Оптимизация процесса тестирования с использованием аналитических подходов RCA и GQM 1. Определить действия для решения первопричин: • действие должно решать проблему, а не минимизировать или иметь временных эффект • действие должно быть выполнимо для команды 2. Оценить решение каждой первопричины
  17. 17. GQM -подход Оптимизация процесса тестирования с использованием аналитических подходов RCA и GQM GQM (Goals Question Metric) - системный подход, позволяющий на основе определения измеримых целей процесса, продукта повышать эффективность процессов в соответствии с потребностями проекта или организации. Цель Вопрос Вопрос Вопрос Метрика Метрика Метрика Метрика Метрика Метрика Метрика Метрика
  18. 18. GQM -подход Оптимизация процесса тестирования с использованием аналитических подходов RCA и GQM Цели определены Выберитепроцесс Определение структуры, вопросов и метрик Сбор метрик Получение обратной связи Ретроспектива Выработка рекомендаций Определение задач организации или проекта
  19. 19. Фазы GQM Оптимизация процесса тестирования с использованием аналитических подходов RCA и GQM Планирование Формализация Выполнение Представление результатов Планпроекта Цели Вопросы Метрики Измерение Ответы Достижение целей Сбор и обработка данных
  20. 20. GQM Планирование Оптимизация процесса тестирования с использованием аналитических подходов RCA и GQM
  21. 21. GQM Определение Оптимизация процесса тестирования с использованием аналитических подходов RCA и GQM Объект Что исследуется? Цель Почему объект исследуется? Направление Какой атрибут исследуется? Выгода В чем перспектива исследования? Среда В каком окружение выполняется исследование? Активности: Определение организации, процесса или проекта, их проблем и целей Определение измеримых целей Создание GQM плана Создание плана измерения Создания плана анализа и начало работ
  22. 22. GQM Обработка информации Оптимизация процесса тестирования с использованием аналитических подходов RCA и GQM Система поддержки измерений обеспечивает поддержку всех активностей по измерению процесса: • Сбор данных по измерениям • Хранение данных • Поддержание данных в актуальном состоянии • Обработка данных по измерениям • Презентация • Переиспользование данных по измерениям в последующих циклах Формы сбора данных База метрик Результаты анализа Формализация
  23. 23. GQM Интерпретация Оптимизация процесса тестирования с использованием аналитических подходов RCA и GQM Подготовка обратной связи Обсуждение и ревью полученных результатов Формализация и фиксация полученных результатов Выработка решений по оптимизации Подготовка отчета по результатам измерения Презентация результатов руководству
  24. 24. Метрики и измерения Оптимизация процесса тестирования с использованием аналитических подходов RCA и GQM Цель Вопрос Метрика Достаточность ресурсов Сколько задач команда тестирования не берет в работу? Кол-во задач, взятых в работу от общего скоупа задач Процент трудозатрат взятых задач в работу от общего числа задач Насколько планируемое время соответствует фактическому? Соотношение фактических и планируемых трудозатрат на тестирование релиза На сколько увеличивается/уменьшаются объемы тестирования? Объем задач по тестированию Насколько часто закладываемое время на риски срабатывает? Соотношение фактических и планируемых трудозатрат на тестирование релиза Кол-во выявленных дефектов Какова загрузка специалистов текущими задачами по тестированию? Загрузка специалистов по тестированию Эффективность работы команды тестирования Время на работу с дефектами
  25. 25. Получение данных Оптимизация процесса тестирования с использованием аналитических подходов RCA и GQM Перфоманс Лаб План. Оценка Номер заявки Направлени еТС Корр ТС ∑ ТС ФТ ретест ∑ ФТ Сотрудник 1 1,5 0 1,5 4,5 0 0 0 5 50448 Кредиты Сотрудник 1 2 1 3 2,5 2 4,5 51054 Счета, вклады, РКО Сотрудник 1 0,5 0,5 0,5 0,5 51762 ИБ Сотрудник 2 3 2 5 9,5 4 2 6 14,5 50810 Счета, вклады, РКО Сотрудник 2 1,5 1 2,5 3 2 5 51422 Карты Сотрудник 2 1 1 2 2 1,5 3,5 51424 Карты Сотрудник 3 0 0 0 6 1 1 2 9 50416 iBanking Сотрудник 3 2 1 3 2 1 3 50703 iBanking Сотрудник 3 0 0 0 0 1 1 50589 Сотрудник 3 2 1 3 2 1 3 51580 Счета, вклады, РКО Сотрудник 4 2 1 3 11 2 1 3 12 50030 Карты Сотрудник 4 3 2 5 3 2 5 50303 Кредиты Сотрудник 4 2 1 3 3 1 4 51337 Счета, вклады, РКО Сотрудник 4 4 2 6 6 5 3 8 8 50002 Карты итого требуется: 24,5 13 37,5 30 18,5 48,5 доступно ресурсов при 1 срезе 05/05 55 11д-5чел 27,5 5д-5,5чел AS IS: при 1 срезе 27/04 43 7д-5ч+4д-2ч 41,5 5д-5,5ч+4д-3,5ч 4 "наших" заявки в 1 срезе 39 7д-5ч+4д-1ч 45,5 5д-5,5ч+4д-4,5ч Если бы список был согласован 13/04 50 10д-5чел 49,5 9д-5,5чел
  26. 26. Получение данных Оптимизация процесса тестирования с использованием аналитических подходов RCA и GQM 0 10 20 30 40 50 60 70 80 90 Март Апрель Май Команда тестирования 73 88.5 86 Технологи 47.5 75.5 78 61% 54% 52% 39% 46% 48% Трудозатраты,ч.д. Соотношение трудозатрат 0 5 10 15 20 25 Март Апрель Май Команда тестирования 16 13 13 Технологи 15 16 23 16 13 13 15 16 23 Количествозаявок,шт. Соотношение количества заявок 73 88.5 86 47.5 75.5 78 16 13 13 15 16 23 Март Апрель Май Соотношение трудозатрат и количества заявок Команда тестирования - Трудозатраты Технологи - Трудозатраты Команда тестирования - Число заявок Технология - Число заявок
  27. 27. Какой эффект? Оптимизация процесса тестирования с использованием аналитических подходов RCA и GQM GQM позволяет: • принимать наиболее эффективные и точные решения на основе статистики • учитывать все факторы, влияющие на принятие решения • изменять процесс тестирования только для решения конкретных задач или проблем
  28. 28. Полезные ссылки для аналитических подходов Оптимизация процесса тестирования с использованием аналитических подходов RCA и GQM http://www-ivs.cs.uni-magdeburg.de/sw- eng/us/java/GQM/link4.shtml Андерсон Бьерн — «Анализ основной причины. Упрощенные инструменты и методы» Improving the Test Process: Implementing Improvement and Change - A Study Guide for the ISTQB Expert Level Module
  29. 29. Итоги Оптимизация процесса тестирования с использованием аналитических подходов RCA и GQM • Применение аналитических подходов целесообразно при решении текущих проблем • Аналитические подходы позволяют точечно решать проблемы в отличии от модельных подходов • Любое ваше действие или решение будет исключительно для вашего проекта
  30. 30. Оптимизация процесса тестирования с использованием аналитических подходов RCA и GQM Вопросы? alekslynx a.meshkov@pflb.ru

×