1. ПРАКТИЧЕСКАЯ
ВИЗУАЛИЗАЦИЯ ПОЛЬЗЫ
ТЕСТИРОВАНИЯ ДЛЯ
КЛИЕНТА
QA FEST
ЗАВЕРТАЙЛО ЮЛИЯ

2. О себе
• 9 лет в тестировании, из них 7 лет
в компании ITERA
• Последние 4 года работаю с
большими страховыми
компаниями в Скандинавии
• Основная специализация –
мануальное тестирование, QA и
тест менеджмент
• Основной фронт работы –
построение процессов по
тестированию в компаниях и тест
лидершип в проектах
• Ментор и коучер для
подрастающего поколения
тестировщиков
09.11.2015 / 2

3. Содержание
• Основные проблемы в области качества и тестирования
• Что улучшать?
• Что интересно знать клиенту о результатах нашей работы? (наше
мнение)
• Что же на самом деле интересно клиенту? (мнение клиента)
• KPIs – примеры
09.11.2015 / 3

4. Основные проблемы в области
качества и тестирования
• Отсутствие тестового покрытия
• Часто изменяемые и нечеткие требования к продукту /
функциональности
• Отсутствие профессионального мануального и
автоматизированного тестирования
• Позднее обнаружение дефектов во время разработки
• Критические дефекты обнаруживаются в продакшене
• Неэффективные трудозатраты на тестирование
• Отсутствие гибкости к необходимым изменениям в ходе
разработки
09.11.2015 / 4

5. Что улучшать?
• Эффективность команды разработчиков
• Качество самого тестирования
• Уменьшать затраты на тестирование и последующую поддержку
продукта
09.11.2015 / 5

6. Что интересно знать клиенту о результатах
нашей работы? (наше мнение)
• Какая мы хорошая команда тестировщиков и как здорово
вписались в проект
• Сколько тестировщики написали тест планов, тест кейсов и тест
самари репортов
• Как много мы находим багов
• Как здорово мы понимаем бизнес и требования клиента
• Как здорово вы умеем коммуницировать и решать проблемы
• …
09.11.2015 / 6

7. Что же на самом деле интересно клиенту?
(мнение клиента)
• Сколько критических и шоустопер багов было найдено в
продакшене (и сколько миллионов крон, евро, долларов было
потеряно из-за багов)?
• Насколько меньше времени (в часах) стали тратить бизнес-
пользователи на тестирование?
• Стало ли возможно увеличить частоту поставок в продакшен и
прийти к continuous integration?
• Насколько минимизировались затраты на регресионное
тестирование
09.11.2015 / 7

8. KPI – Пример1: Тестовое покрытие
09.11.2015 / 8
Как собирать:
• Настроить ТМ tool (TFS, Jira)
• «Ручками» в Excel
Какую информацию это дает клиенту:
• Визуализирует «темные» дыры приложения: показывает, что в приложении Х
функций и риск ошибок равен % того, что не покрыто тестами
• Визуализирует, что чем больше покрытие, тем меньше риск упущенных дефектов
• Визуализирует функциональность, требующую большего внимания, и дальнейшие
вложения на покрытие тестами
354
182
118 122
68
17
325
80
118
107
54
12
180
5
23
46
10 10
0
50
100
150
200
250
300
350
400
Модуль 1 Модуль 2 Модуль 3 Модуль 4 Модуль 5 Модуль 6
Всего фич Покрыто тестами Автоматизировано

9. KPI - Пример2: Временные затраты бизнес
ресурсов
Как собирать:
• Логировать время на задачах по тестированию в трекинговой системе
• Запрашивать информацию по факту –трекать в Excel
09.11.2015 / 9
Какую информацию это дает клиенту:
• Визуализирует минимизацию трудозатрат пользователей
0
10
20
30
40
50
60
70
80
Релиз 1 Релиз 2 Релиз 3 Релиз 4 Релиз 5 Релиз 6 Релиз 7 Релиз 8 Релиз 9
Модуль1 Модуль2 Модуль3

10. KPI – Пример3: Количество дефектов
Как собирать:
• TFS&Pivot tables
• Jira: filters &dashboards
• «Ручками» в Excel
09.11.2015 / 10
Какую информацию это дает клиенту
• Тренд уменьшения количества дефектов в продакшене
• Увеличение количества дефектов в ходе разработки
238
26
7
13
7 10 8
212
206
156
116
214
112
0
50
100
150
200
250
Релиз1 Релиз2 Релиз3 Релиз4 Релиз5 Релиз6
Всего Продакшен Разработка

11. KPI – Пример 4: Время на фидбек о качестве
продукта
Как собирать:
• Cравнить время на прогон автотестов с мануальными затратами
• Посчитать коэффициент: во сколько раз автотесты дают быстрее фидбек, чем
ручное тестирование
09.11.2015 / 11
Какую информацию это дает клиенту:
• Как часто можно делать поставки в продакшен после изменений
• Принять решение о рисках, связанных с хотфиксами
Тест Сьют
Кол-во тестов в
сьюте
Время
на прогон сьюта
автотестами,
в часах
Время
на прогон сьюта
мануально,
в часах
Смоук Тест Сьют 6 0,2 1,5
Модуль1 39 2,5 9,75
Модуль2 9 0,2 2,25
Модуль3 30 1 7,5
Модуль4 32 1,3 8
Модуль5 15 0,5 3,75
Регресионный сьют 1 191 5,5 47,75
Регресионный сьют 2 204 5,5 51
Регресионный сьют 3 194 5,5 48,5
Всего 720 22,2 180

12. Выводы
• Чем лучше настроены тулы и поставлены процессы – тем лучше!
• Чем хуже и бестолковей процессы по тестированию и
конфигурация ТМ тулов – тем меньше мотивации собирать
информацию руками и тем больше времени тратится на сбор
данных!
• Говорить на языке клиента – нужно и можно!
• Все сложное – удивительно просто!
09.11.2015 / 12

13. ВОПРОСЫ?
09.11.2015 / 13

14. СПАСИБО!
09.11.2015 / 14