Successfully reported this slideshow.

QA Fest 2015. Юлия Завертайло. Практическая визуализация пользы тестирования для клиента

0

Share

Loading in …3
×
1 of 15
1 of 15

QA Fest 2015. Юлия Завертайло. Практическая визуализация пользы тестирования для клиента

0

Share

Большинство клиентов, прежде чем покупать "тестирование как сервис" для своих проектов, хотят видеть реальные цифры пользы (вложение/затраты на сэкономленное время/ресурсы), которую им даст данная инвестиция в «качество». Клиенты привыкли слышать, что тестирование, словно по-волшебству, повысит качество.
Я хочу показать конкретные цифры: как визуализировать вот ту самую пользу и дать четкие числа, на основании которых люди, инвестирующие деньги в тестирование, смогут видеть практическую пользу тестирвоания, как ручного, так и автоматизированного. Мы поговорим о метриках в тестировании и KPI, что именно и как собирать, как отслеживать данные непрерывно, как анализировать тренд и презентовать его клиентам.

Большинство клиентов, прежде чем покупать "тестирование как сервис" для своих проектов, хотят видеть реальные цифры пользы (вложение/затраты на сэкономленное время/ресурсы), которую им даст данная инвестиция в «качество». Клиенты привыкли слышать, что тестирование, словно по-волшебству, повысит качество.
Я хочу показать конкретные цифры: как визуализировать вот ту самую пользу и дать четкие числа, на основании которых люди, инвестирующие деньги в тестирование, смогут видеть практическую пользу тестирвоания, как ручного, так и автоматизированного. Мы поговорим о метриках в тестировании и KPI, что именно и как собирать, как отслеживать данные непрерывно, как анализировать тренд и презентовать его клиентам.

More Related Content

Viewers also liked

More from QAFest

Related Books

Free with a 14 day trial from Scribd

See all

QA Fest 2015. Юлия Завертайло. Практическая визуализация пользы тестирования для клиента

  1. 1. ПРАКТИЧЕСКАЯ ВИЗУАЛИЗАЦИЯ ПОЛЬЗЫ ТЕСТИРОВАНИЯ ДЛЯ КЛИЕНТА QA FEST ЗАВЕРТАЙЛО ЮЛИЯ
  2. 2. О себе • 9 лет в тестировании, из них 7 лет в компании ITERA • Последние 4 года работаю с большими страховыми компаниями в Скандинавии • Основная специализация – мануальное тестирование, QA и тест менеджмент • Основной фронт работы – построение процессов по тестированию в компаниях и тест лидершип в проектах • Ментор и коучер для подрастающего поколения тестировщиков 09.11.2015 / 2
  3. 3. Содержание • Основные проблемы в области качества и тестирования • Что улучшать? • Что интересно знать клиенту о результатах нашей работы? (наше мнение) • Что же на самом деле интересно клиенту? (мнение клиента) • KPIs – примеры 09.11.2015 / 3
  4. 4. Основные проблемы в области качества и тестирования • Отсутствие тестового покрытия • Часто изменяемые и нечеткие требования к продукту / функциональности • Отсутствие профессионального мануального и автоматизированного тестирования • Позднее обнаружение дефектов во время разработки • Критические дефекты обнаруживаются в продакшене • Неэффективные трудозатраты на тестирование • Отсутствие гибкости к необходимым изменениям в ходе разработки 09.11.2015 / 4
  5. 5. Что улучшать? • Эффективность команды разработчиков • Качество самого тестирования • Уменьшать затраты на тестирование и последующую поддержку продукта 09.11.2015 / 5
  6. 6. Что интересно знать клиенту о результатах нашей работы? (наше мнение) • Какая мы хорошая команда тестировщиков и как здорово вписались в проект • Сколько тестировщики написали тест планов, тест кейсов и тест самари репортов • Как много мы находим багов • Как здорово мы понимаем бизнес и требования клиента • Как здорово вы умеем коммуницировать и решать проблемы • … 09.11.2015 / 6
  7. 7. Что же на самом деле интересно клиенту? (мнение клиента) • Сколько критических и шоустопер багов было найдено в продакшене (и сколько миллионов крон, евро, долларов было потеряно из-за багов)? • Насколько меньше времени (в часах) стали тратить бизнес- пользователи на тестирование? • Стало ли возможно увеличить частоту поставок в продакшен и прийти к continuous integration? • Насколько минимизировались затраты на регресионное тестирование 09.11.2015 / 7
  8. 8. KPI – Пример1: Тестовое покрытие 09.11.2015 / 8 Как собирать: • Настроить ТМ tool (TFS, Jira) • «Ручками» в Excel Какую информацию это дает клиенту: • Визуализирует «темные» дыры приложения: показывает, что в приложении Х функций и риск ошибок равен % того, что не покрыто тестами • Визуализирует, что чем больше покрытие, тем меньше риск упущенных дефектов • Визуализирует функциональность, требующую большего внимания, и дальнейшие вложения на покрытие тестами 354 182 118 122 68 17 325 80 118 107 54 12 180 5 23 46 10 10 0 50 100 150 200 250 300 350 400 Модуль 1 Модуль 2 Модуль 3 Модуль 4 Модуль 5 Модуль 6 Всего фич Покрыто тестами Автоматизировано
  9. 9. KPI - Пример2: Временные затраты бизнес ресурсов Как собирать: • Логировать время на задачах по тестированию в трекинговой системе • Запрашивать информацию по факту –трекать в Excel 09.11.2015 / 9 Какую информацию это дает клиенту: • Визуализирует минимизацию трудозатрат пользователей 0 10 20 30 40 50 60 70 80 Релиз 1 Релиз 2 Релиз 3 Релиз 4 Релиз 5 Релиз 6 Релиз 7 Релиз 8 Релиз 9 Модуль1 Модуль2 Модуль3
  10. 10. KPI – Пример3: Количество дефектов Как собирать: • TFS&Pivot tables • Jira: filters &dashboards • «Ручками» в Excel 09.11.2015 / 10 Какую информацию это дает клиенту • Тренд уменьшения количества дефектов в продакшене • Увеличение количества дефектов в ходе разработки 238 26 7 13 7 10 8 212 206 156 116 214 112 0 50 100 150 200 250 Релиз1 Релиз2 Релиз3 Релиз4 Релиз5 Релиз6 Всего Продакшен Разработка
  11. 11. KPI – Пример 4: Время на фидбек о качестве продукта Как собирать: • Cравнить время на прогон автотестов с мануальными затратами • Посчитать коэффициент: во сколько раз автотесты дают быстрее фидбек, чем ручное тестирование 09.11.2015 / 11 Какую информацию это дает клиенту: • Как часто можно делать поставки в продакшен после изменений • Принять решение о рисках, связанных с хотфиксами Тест Сьют Кол-во тестов в сьюте Время на прогон сьюта автотестами, в часах Время на прогон сьюта мануально, в часах Смоук Тест Сьют 6 0,2 1,5 Модуль1 39 2,5 9,75 Модуль2 9 0,2 2,25 Модуль3 30 1 7,5 Модуль4 32 1,3 8 Модуль5 15 0,5 3,75 Регресионный сьют 1 191 5,5 47,75 Регресионный сьют 2 204 5,5 51 Регресионный сьют 3 194 5,5 48,5 Всего 720 22,2 180
  12. 12. Выводы • Чем лучше настроены тулы и поставлены процессы – тем лучше! • Чем хуже и бестолковей процессы по тестированию и конфигурация ТМ тулов – тем меньше мотивации собирать информацию руками и тем больше времени тратится на сбор данных! • Говорить на языке клиента – нужно и можно! • Все сложное – удивительно просто! 09.11.2015 / 12
  13. 13. ВОПРОСЫ? 09.11.2015 / 13
  14. 14. СПАСИБО! 09.11.2015 / 14

Editor's Notes

  • Отсутствие тестового покрытия (сколько всего фич в системе, что тестируется что нет, что важно тестировать что нет)
    Часто изменяемые и нечеткие требования к продукту-функциональности
    Отсутствие професионального мануального и автоматизированного тестирования (тестирование проводиться конечными пользователями)
    Позднее обнаружение дефектов во время разработки
    Критические дефекты обнаруживаются в продакшене
    Неефективные трудозатраты на тестирование со стороны конечных пользователей (на тестирование уходит от 2х до 6 недель)
    Отсутствие гибкости к необходимым изменениям в ходе разработки




  • Еффективность команды разработчиков
    Путем внедрения постоянного тестирования (мануального и автоматизированного) и уменьшением временных затрат бизнес ресурсов
    Качество самого тестирования
    Путем формализации тест кейсов и баг репортов, запуска автотестов в каждом поставке (релизе)
    Уменьшать затраты на тестирование и последующую поддерджку продукта
    Путем уменьшения риска в регресионном тестировании и гаранитировании более высокого качества поставок

  • Стало ли возможно увеличить частоту поставок в продакшен и прийти к continuous integration (чтобы динамика бизнеса на рынке позволяла софту угнаться за изменениями)
  • - TFS (позволяет построить traceability matrix путем линкования Epic/US к тест кейсам которые можно маркировать как мануальные или привязать к сценарию в Тим сити. Pivot tables в помощь)
    Jira (позволяет строить ту же матрицу)
    Excel (выписать фичи , все, и прописать что покрыто тестами что нет. И какими)
  • Тренд уменьшения кол-ва дефектов в продакшене (соот-но затрат и рисков на их фикс)
    Увеличение кол-ва дефектов в ходе разработки (сколько потенциальных дефектов не ушло в продакшен)
  • <автотесты - дают постоянный фидбек о состоянии функциональности– время затраты на прогон ТА в сравнении с мануальным тестированием>
  • ×