Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
ПРАКТИЧЕСКАЯ
ВИЗУАЛИЗАЦИЯ ПОЛЬЗЫ
ТЕСТИРОВАНИЯ ДЛЯ
КЛИЕНТА
QA FEST
ЗАВЕРТАЙЛО ЮЛИЯ
О себе
• 9 лет в тестировании, из них 7 лет
в компании ITERA
• Последние 4 года работаю с
большими страховыми
компаниями в...
Содержание
• Основные проблемы в области качества и тестирования
• Что улучшать?
• Что интересно знать клиенту о результат...
Основные проблемы в области
качества и тестирования
• Отсутствие тестового покрытия
• Часто изменяемые и нечеткие требован...
Что улучшать?
• Эффективность команды разработчиков
• Качество самого тестирования
• Уменьшать затраты на тестирование и п...
Что интересно знать клиенту о результатах
нашей работы? (наше мнение)
• Какая мы хорошая команда тестировщиков и как здоро...
Что же на самом деле интересно клиенту?
(мнение клиента)
• Сколько критических и шоустопер багов было найдено в
продакшене...
KPI – Пример1: Тестовое покрытие
09.11.2015 / 8
Как собирать:
• Настроить ТМ tool (TFS, Jira)
• «Ручками» в Excel
Какую ин...
KPI - Пример2: Временные затраты бизнес
ресурсов
Как собирать:
• Логировать время на задачах по тестированию в трекинговой...
KPI – Пример3: Количество дефектов
Как собирать:
• TFS&Pivot tables
• Jira: filters &dashboards
• «Ручками» в Excel
09.11....
KPI – Пример 4: Время на фидбек о качестве
продукта
Как собирать:
• Cравнить время на прогон автотестов с мануальными затр...
Выводы
• Чем лучше настроены тулы и поставлены процессы – тем лучше!
• Чем хуже и бестолковей процессы по тестированию и
к...
ВОПРОСЫ?
09.11.2015 / 13
СПАСИБО!
09.11.2015 / 14
QA Fest 2015. Юлия Завертайло. Практическая визуализация пользы тестирования для клиента
Upcoming SlideShare
Loading in …5
×

QA Fest 2015. Юлия Завертайло. Практическая визуализация пользы тестирования для клиента

342 views

Published on

Большинство клиентов, прежде чем покупать "тестирование как сервис" для своих проектов, хотят видеть реальные цифры пользы (вложение/затраты на сэкономленное время/ресурсы), которую им даст данная инвестиция в «качество». Клиенты привыкли слышать, что тестирование, словно по-волшебству, повысит качество.
Я хочу показать конкретные цифры: как визуализировать вот ту самую пользу и дать четкие числа, на основании которых люди, инвестирующие деньги в тестирование, смогут видеть практическую пользу тестирвоания, как ручного, так и автоматизированного. Мы поговорим о метриках в тестировании и KPI, что именно и как собирать, как отслеживать данные непрерывно, как анализировать тренд и презентовать его клиентам.

Published in: Education
  • Be the first to comment

  • Be the first to like this

QA Fest 2015. Юлия Завертайло. Практическая визуализация пользы тестирования для клиента

  1. 1. ПРАКТИЧЕСКАЯ ВИЗУАЛИЗАЦИЯ ПОЛЬЗЫ ТЕСТИРОВАНИЯ ДЛЯ КЛИЕНТА QA FEST ЗАВЕРТАЙЛО ЮЛИЯ
  2. 2. О себе • 9 лет в тестировании, из них 7 лет в компании ITERA • Последние 4 года работаю с большими страховыми компаниями в Скандинавии • Основная специализация – мануальное тестирование, QA и тест менеджмент • Основной фронт работы – построение процессов по тестированию в компаниях и тест лидершип в проектах • Ментор и коучер для подрастающего поколения тестировщиков 09.11.2015 / 2
  3. 3. Содержание • Основные проблемы в области качества и тестирования • Что улучшать? • Что интересно знать клиенту о результатах нашей работы? (наше мнение) • Что же на самом деле интересно клиенту? (мнение клиента) • KPIs – примеры 09.11.2015 / 3
  4. 4. Основные проблемы в области качества и тестирования • Отсутствие тестового покрытия • Часто изменяемые и нечеткие требования к продукту / функциональности • Отсутствие профессионального мануального и автоматизированного тестирования • Позднее обнаружение дефектов во время разработки • Критические дефекты обнаруживаются в продакшене • Неэффективные трудозатраты на тестирование • Отсутствие гибкости к необходимым изменениям в ходе разработки 09.11.2015 / 4
  5. 5. Что улучшать? • Эффективность команды разработчиков • Качество самого тестирования • Уменьшать затраты на тестирование и последующую поддержку продукта 09.11.2015 / 5
  6. 6. Что интересно знать клиенту о результатах нашей работы? (наше мнение) • Какая мы хорошая команда тестировщиков и как здорово вписались в проект • Сколько тестировщики написали тест планов, тест кейсов и тест самари репортов • Как много мы находим багов • Как здорово мы понимаем бизнес и требования клиента • Как здорово вы умеем коммуницировать и решать проблемы • … 09.11.2015 / 6
  7. 7. Что же на самом деле интересно клиенту? (мнение клиента) • Сколько критических и шоустопер багов было найдено в продакшене (и сколько миллионов крон, евро, долларов было потеряно из-за багов)? • Насколько меньше времени (в часах) стали тратить бизнес- пользователи на тестирование? • Стало ли возможно увеличить частоту поставок в продакшен и прийти к continuous integration? • Насколько минимизировались затраты на регресионное тестирование 09.11.2015 / 7
  8. 8. KPI – Пример1: Тестовое покрытие 09.11.2015 / 8 Как собирать: • Настроить ТМ tool (TFS, Jira) • «Ручками» в Excel Какую информацию это дает клиенту: • Визуализирует «темные» дыры приложения: показывает, что в приложении Х функций и риск ошибок равен % того, что не покрыто тестами • Визуализирует, что чем больше покрытие, тем меньше риск упущенных дефектов • Визуализирует функциональность, требующую большего внимания, и дальнейшие вложения на покрытие тестами 354 182 118 122 68 17 325 80 118 107 54 12 180 5 23 46 10 10 0 50 100 150 200 250 300 350 400 Модуль 1 Модуль 2 Модуль 3 Модуль 4 Модуль 5 Модуль 6 Всего фич Покрыто тестами Автоматизировано
  9. 9. KPI - Пример2: Временные затраты бизнес ресурсов Как собирать: • Логировать время на задачах по тестированию в трекинговой системе • Запрашивать информацию по факту –трекать в Excel 09.11.2015 / 9 Какую информацию это дает клиенту: • Визуализирует минимизацию трудозатрат пользователей 0 10 20 30 40 50 60 70 80 Релиз 1 Релиз 2 Релиз 3 Релиз 4 Релиз 5 Релиз 6 Релиз 7 Релиз 8 Релиз 9 Модуль1 Модуль2 Модуль3
  10. 10. KPI – Пример3: Количество дефектов Как собирать: • TFS&Pivot tables • Jira: filters &dashboards • «Ручками» в Excel 09.11.2015 / 10 Какую информацию это дает клиенту • Тренд уменьшения количества дефектов в продакшене • Увеличение количества дефектов в ходе разработки 238 26 7 13 7 10 8 212 206 156 116 214 112 0 50 100 150 200 250 Релиз1 Релиз2 Релиз3 Релиз4 Релиз5 Релиз6 Всего Продакшен Разработка
  11. 11. KPI – Пример 4: Время на фидбек о качестве продукта Как собирать: • Cравнить время на прогон автотестов с мануальными затратами • Посчитать коэффициент: во сколько раз автотесты дают быстрее фидбек, чем ручное тестирование 09.11.2015 / 11 Какую информацию это дает клиенту: • Как часто можно делать поставки в продакшен после изменений • Принять решение о рисках, связанных с хотфиксами Тест Сьют Кол-во тестов в сьюте Время на прогон сьюта автотестами, в часах Время на прогон сьюта мануально, в часах Смоук Тест Сьют 6 0,2 1,5 Модуль1 39 2,5 9,75 Модуль2 9 0,2 2,25 Модуль3 30 1 7,5 Модуль4 32 1,3 8 Модуль5 15 0,5 3,75 Регресионный сьют 1 191 5,5 47,75 Регресионный сьют 2 204 5,5 51 Регресионный сьют 3 194 5,5 48,5 Всего 720 22,2 180
  12. 12. Выводы • Чем лучше настроены тулы и поставлены процессы – тем лучше! • Чем хуже и бестолковей процессы по тестированию и конфигурация ТМ тулов – тем меньше мотивации собирать информацию руками и тем больше времени тратится на сбор данных! • Говорить на языке клиента – нужно и можно! • Все сложное – удивительно просто! 09.11.2015 / 12
  13. 13. ВОПРОСЫ? 09.11.2015 / 13
  14. 14. СПАСИБО! 09.11.2015 / 14

×