Core Systems Transformation Solutions 
Улучшение Процесса Тестирования: 
Контентные Модели 
Мария Терёхина, Н. Новгород, 2014
1 
Обо Мне 
Образование: 
• ННГУ им. Лобачевского, 2010 – магистратура МехМата 
Опыт: 
• 2008-2011 “Symphony Teleca”: desktop приложения (PC Sync для 
Android), мобильные телефоны (Win, Android платформы), 
приложения для мобильных телефонов (Symbian); 
• 2011-2012 “Tecom”: Windows приложения для системы 
автоматизации цифрового телевидения 
• 2012- “Return on Intelligence”: web-приложения (HR Management, 
Benefits Management systems) 
• 2014 (Part Time) “Freemake”: IPhone приложения, desktop 
приложения
2 
Цель 
• Поделиться опытом становления процесса тестирования ПО в 
случае, когда процесс в компании в целом выстроен и работает во 
всех областях, кроме тестирования. В тестировании процесса нет.
3 
Содержание 
• Обзор моделей улучшения процесса 
тестирования 
• Процесс внедрения улучшений 
• Применение Контентых моделей: пример
4 
Подходы к Улучшению Тестового Процесса 
• Контентные Модели 
– CTP (Процесс Тестирования Критичных Областей/Critical 
Testing Process) 
– STEP (Процесс Систематического Тестирования и 
Оценки/Systematic Test and Evaluation Process) 
• Процессные Модели 
– TMMi (Модель Зрелости Тестирования/Testing Maturity Model Integration) 
– TPI ® (Улучшение Процесса Тестирования/Test Process Improvement) 
– TPI Next 
• Аналитические Подходы 
– Агализ Причин/Causal Analysis 
– GQM подход (Цель-Вопрос-Метрика/Goal-Question-Metric) 
– Анализ на Основе Измерений, Метрик и Показателей/Analysis using 
Measures, Metrics and Indicators
5 
Возможные Ситуации и Подходы к Улучшению 
Процесса Тестирования 
Модель Основной 
Процесс 
Процесс Тестирования 
Контентные модели НЕТ НЕТ 
Контентные модели, 
Процессные модели 
ДА НЕТ 
Процессные модели НЕТ ДА 
Аналитический подход ДА ДА
6 
Возможные Ситуации и Подходы к Улучшению 
Процесса Тестирования 
Модель Основной 
Процесс 
Процесс Тестирования 
Контентные модели НЕТ НЕТ 
Контентные модели, 
Процессные модели 
ДА НЕТ 
Процессные модели НЕТ ДА 
Аналитический подход ДА ДА
7 
CTP 
• Тестирование 
• Создание Контекста 
• Анализ Рисков Качества 
• Оценка Тестирования 
• Планирование Тестирования 
• Тестовая Команда 
• Система Тестирования 
• Управление Релизным Тестированием 
• Выполнение Тестов 
• Отчетность по дефектам 
• Отчетность по результатам 
• Управление Изменениями
8 
STEP- Основные Принципы 
• Стратегия тестирования ориентирована на 
требования 
• Тестирование начинается в начале жизненного 
цикла 
• Тесты используются как требования и модели 
тестирования 
• Разработка тестов определяет разработку ПО 
• Раннее нахождение дефектов или их предупреждение 
• Систематический анализ дефектов 
• Инженеры по тестированию и разработчики работают вместе 
Планирование Сбор Измерение
9 
Шаги для Улучшения 
• Инициация 
• Измерение/Оценка 
• Приоритизирование и планирование [ознакомление участников] 
• Определение и переопределние 
• Внедрение 
• Проверка 
• Улучшение
10 
Контентные Модели: Пример 
1. Инициация 
• Проблемы: 
– Нет процесса тестирования 
– Непонятно что делает инженер по тестированию 
– Руководство не уверено, что в тестировании всё хорошо 
• Решения: 
– Разработать и внедрить процесс тестирования, согласующийся с 
текущим процессом разработки 
– Повысить прозрачность процесса тестирования
11 
Контентные Модели: Пример 
2. Оценка 
• Шаги: 
– Встречи тет-а-тет с МП, БА, Техлидом, Инженером по тестированию: 
• Проблемы в тестировании 
• Риски в продукте 
• Основные проблемы в процессе (ожидания) 
– Обзор текущего состояния тестирования 
• Решения: 
– Разработать прозрачный процесс тестирования 
– Ознакомить команду с процессом тестирования 
– Ознакомить с правилами приоритезации и внедрить приоритезацию в 
процесс тестирования 
– Ознакомить с принципами оценки затрат (временных) и внедрить в 
процесс тестирования
12 
Контентные Модели: Пример 
3. Порядок Действий 
– Разработать и внедрить процесс тестирования 
– Повысить прозрачность процесса тестирования 
– Ознакомить с правилами приоритезации и внедрить приоритезацию в 
процесс тестирования 
– Ознакомить с принципами оценки затрат (временных) и внедрить в 
процесс тестирования
13 
Контентные Модели: Пример 
4. Планирование 
– Внедрение процесса тестирования: 
• Разработка тест-плана и следование ему 
– Повышение прозрачности процесса тестирования: 
• Написание чек-листов* 
• Создание и отслеживание задач по тестированию 
• Ознакомление команды с Exploratory тестированием 
• Ознакомление команды со стандартами по качеству (ISO 9126, ISO 9000-2005) 
– Ознакомить с правилами приоритезации и внедрить приоритезацию в 
процесс тестирования 
• Написание чек-листов, содержащих только Smoke тесты 
• Приоретизация дефектов- митинги по оценке качества (CCB) 
• Приоретизация тестовых задач и выполнение их согласно приоритетам 
– Ознакомить с принципами оценки затрат (временных) и внедрить в 
процесс тестирования 
• Каждая задача по тестрованию не должна занимать более 1 “Working Session” 
(декомпозиция)
14 
Контентные Модели: Пример 
5. Определение и переопределение 
• Шаги: 
– Тет-а-тет встречи после окончания каждого этапа выработки решений 
– Тет-а-тет встерчи после окончания каждого этапа внедрения 
изменений 
– Периодические Retrospective встречи
15 
Контентные Модели: Пример 
6. Внедрение 
• Шаги: 
– Следование разработанному плану 
– Проведение семинаров/бесед в зависимости от потребностей 
команды 
– Работа в команде (присутствие на Standup митингах) 
– Периодические Retrospective встречи
16 
Контентные Модели: Пример 
7. Улучшение
17 
Контентные Модели: Пример 
Начальные условия 
CTP 
• Тестирование 
• Создание Контекста 
• Анализ Рисков Качества 
• Оценка Тестирования 
• Планирование 
Тестирования 
• Тестовая Команда 
• Система Тестирования 
• Управление Релизным 
Тестированием 
• Выполнение Тестов 
• Отчетность по дефектам 
• Отчетность по результатам 
• Управление Изменениями 
STEP 
• Стратегия тестирования 
ориентирована на требования 
• Тестирование начинается в 
начале жизненного цикла 
• Тесты используют требования и 
модели тестирования 
• Разработка тестов перед 
разработкой ПО 
• Раннее нахождение дефектов или 
их предупреждение 
• Систематический анализ 
дефектов 
• Инженеры по тестированию и 
разработчики работают вместе
18 
Контентные Модели: Пример 
Результат 
CTP 
• Тестирование 
• Создание Контекста 
• Анализ Рисков Качества 
• Оценка Тестирования 
• Планирование 
Тестирования 
• Тестовая Команда 
• Система Тестирования 
• Управление Релизным 
Тестированием 
• Выполнение Тестов 
• Отчетность по дефектам 
• Отчетность по 
результатам 
• Управление Изменениями 
STEP 
• Стратегия тестирования 
ориентирована на требования 
• Тестирование начинается в начале 
жизненного цикла 
• Тесты используют требования и 
модели тестирования 
• Разработка тестов перед 
разработкой ПО 
• Раннее нахождение дефектов или 
их предупреждение 
• Систематический анализ дефектов 
• Инженеры по тестированию и 
разработчики работают вместе
19 
Контентные Модели: Пример 
Подведение итогов 
• Бизнес: 
 Спокойствие по поводу того, что происходит в тестировании 
• Команда: 
 Уменьшение временных затрат 
 Понимание процесса тестирования (возможность 
взаимозаменяемости) 
 Уверенность в качестве тестирования 
 Видение реальных проблем в качестве и в тестировании 
• Пользователи: 
 Нет данных  на данный момент
20 
Контентные Модели: Пример 
Обратная Связь 
• Ознакомить команду с планами и приоритетами в самом начале; 
• Поддерживать обратную связь в разрезе стратегии; 
• Наличие человека в команде, постоянно контролирующего 
процесс внедрения изменений; 
• Первые тет-а-теты заменить общим митингом?
21 
Литература 
• “Critical Testing Processes”, Rex Black 
• “Managing the Testing Process”, 3rd Edition, Rex Black 
• ISTQB “Advanced Level Syllabus Test Manager”, ver. 2012 
• www.google.ru
22 
Вопросы
23 
Спасибо! 
Maria Teryokhina 
QA Lead 
Nizhniy Novgorod 
Skype: mariateryokhina 
maria.teryokhina@returnonintelligence.com

Улучшение процесса тестирования: контентные модели

  • 1.
    Core Systems TransformationSolutions Улучшение Процесса Тестирования: Контентные Модели Мария Терёхина, Н. Новгород, 2014
  • 2.
    1 Обо Мне Образование: • ННГУ им. Лобачевского, 2010 – магистратура МехМата Опыт: • 2008-2011 “Symphony Teleca”: desktop приложения (PC Sync для Android), мобильные телефоны (Win, Android платформы), приложения для мобильных телефонов (Symbian); • 2011-2012 “Tecom”: Windows приложения для системы автоматизации цифрового телевидения • 2012- “Return on Intelligence”: web-приложения (HR Management, Benefits Management systems) • 2014 (Part Time) “Freemake”: IPhone приложения, desktop приложения
  • 3.
    2 Цель •Поделиться опытом становления процесса тестирования ПО в случае, когда процесс в компании в целом выстроен и работает во всех областях, кроме тестирования. В тестировании процесса нет.
  • 4.
    3 Содержание •Обзор моделей улучшения процесса тестирования • Процесс внедрения улучшений • Применение Контентых моделей: пример
  • 5.
    4 Подходы кУлучшению Тестового Процесса • Контентные Модели – CTP (Процесс Тестирования Критичных Областей/Critical Testing Process) – STEP (Процесс Систематического Тестирования и Оценки/Systematic Test and Evaluation Process) • Процессные Модели – TMMi (Модель Зрелости Тестирования/Testing Maturity Model Integration) – TPI ® (Улучшение Процесса Тестирования/Test Process Improvement) – TPI Next • Аналитические Подходы – Агализ Причин/Causal Analysis – GQM подход (Цель-Вопрос-Метрика/Goal-Question-Metric) – Анализ на Основе Измерений, Метрик и Показателей/Analysis using Measures, Metrics and Indicators
  • 6.
    5 Возможные Ситуациии Подходы к Улучшению Процесса Тестирования Модель Основной Процесс Процесс Тестирования Контентные модели НЕТ НЕТ Контентные модели, Процессные модели ДА НЕТ Процессные модели НЕТ ДА Аналитический подход ДА ДА
  • 7.
    6 Возможные Ситуациии Подходы к Улучшению Процесса Тестирования Модель Основной Процесс Процесс Тестирования Контентные модели НЕТ НЕТ Контентные модели, Процессные модели ДА НЕТ Процессные модели НЕТ ДА Аналитический подход ДА ДА
  • 8.
    7 CTP •Тестирование • Создание Контекста • Анализ Рисков Качества • Оценка Тестирования • Планирование Тестирования • Тестовая Команда • Система Тестирования • Управление Релизным Тестированием • Выполнение Тестов • Отчетность по дефектам • Отчетность по результатам • Управление Изменениями
  • 9.
    8 STEP- ОсновныеПринципы • Стратегия тестирования ориентирована на требования • Тестирование начинается в начале жизненного цикла • Тесты используются как требования и модели тестирования • Разработка тестов определяет разработку ПО • Раннее нахождение дефектов или их предупреждение • Систематический анализ дефектов • Инженеры по тестированию и разработчики работают вместе Планирование Сбор Измерение
  • 10.
    9 Шаги дляУлучшения • Инициация • Измерение/Оценка • Приоритизирование и планирование [ознакомление участников] • Определение и переопределние • Внедрение • Проверка • Улучшение
  • 11.
    10 Контентные Модели:Пример 1. Инициация • Проблемы: – Нет процесса тестирования – Непонятно что делает инженер по тестированию – Руководство не уверено, что в тестировании всё хорошо • Решения: – Разработать и внедрить процесс тестирования, согласующийся с текущим процессом разработки – Повысить прозрачность процесса тестирования
  • 12.
    11 Контентные Модели:Пример 2. Оценка • Шаги: – Встречи тет-а-тет с МП, БА, Техлидом, Инженером по тестированию: • Проблемы в тестировании • Риски в продукте • Основные проблемы в процессе (ожидания) – Обзор текущего состояния тестирования • Решения: – Разработать прозрачный процесс тестирования – Ознакомить команду с процессом тестирования – Ознакомить с правилами приоритезации и внедрить приоритезацию в процесс тестирования – Ознакомить с принципами оценки затрат (временных) и внедрить в процесс тестирования
  • 13.
    12 Контентные Модели:Пример 3. Порядок Действий – Разработать и внедрить процесс тестирования – Повысить прозрачность процесса тестирования – Ознакомить с правилами приоритезации и внедрить приоритезацию в процесс тестирования – Ознакомить с принципами оценки затрат (временных) и внедрить в процесс тестирования
  • 14.
    13 Контентные Модели:Пример 4. Планирование – Внедрение процесса тестирования: • Разработка тест-плана и следование ему – Повышение прозрачности процесса тестирования: • Написание чек-листов* • Создание и отслеживание задач по тестированию • Ознакомление команды с Exploratory тестированием • Ознакомление команды со стандартами по качеству (ISO 9126, ISO 9000-2005) – Ознакомить с правилами приоритезации и внедрить приоритезацию в процесс тестирования • Написание чек-листов, содержащих только Smoke тесты • Приоретизация дефектов- митинги по оценке качества (CCB) • Приоретизация тестовых задач и выполнение их согласно приоритетам – Ознакомить с принципами оценки затрат (временных) и внедрить в процесс тестирования • Каждая задача по тестрованию не должна занимать более 1 “Working Session” (декомпозиция)
  • 15.
    14 Контентные Модели:Пример 5. Определение и переопределение • Шаги: – Тет-а-тет встречи после окончания каждого этапа выработки решений – Тет-а-тет встерчи после окончания каждого этапа внедрения изменений – Периодические Retrospective встречи
  • 16.
    15 Контентные Модели:Пример 6. Внедрение • Шаги: – Следование разработанному плану – Проведение семинаров/бесед в зависимости от потребностей команды – Работа в команде (присутствие на Standup митингах) – Периодические Retrospective встречи
  • 17.
    16 Контентные Модели:Пример 7. Улучшение
  • 18.
    17 Контентные Модели:Пример Начальные условия CTP • Тестирование • Создание Контекста • Анализ Рисков Качества • Оценка Тестирования • Планирование Тестирования • Тестовая Команда • Система Тестирования • Управление Релизным Тестированием • Выполнение Тестов • Отчетность по дефектам • Отчетность по результатам • Управление Изменениями STEP • Стратегия тестирования ориентирована на требования • Тестирование начинается в начале жизненного цикла • Тесты используют требования и модели тестирования • Разработка тестов перед разработкой ПО • Раннее нахождение дефектов или их предупреждение • Систематический анализ дефектов • Инженеры по тестированию и разработчики работают вместе
  • 19.
    18 Контентные Модели:Пример Результат CTP • Тестирование • Создание Контекста • Анализ Рисков Качества • Оценка Тестирования • Планирование Тестирования • Тестовая Команда • Система Тестирования • Управление Релизным Тестированием • Выполнение Тестов • Отчетность по дефектам • Отчетность по результатам • Управление Изменениями STEP • Стратегия тестирования ориентирована на требования • Тестирование начинается в начале жизненного цикла • Тесты используют требования и модели тестирования • Разработка тестов перед разработкой ПО • Раннее нахождение дефектов или их предупреждение • Систематический анализ дефектов • Инженеры по тестированию и разработчики работают вместе
  • 20.
    19 Контентные Модели:Пример Подведение итогов • Бизнес:  Спокойствие по поводу того, что происходит в тестировании • Команда:  Уменьшение временных затрат  Понимание процесса тестирования (возможность взаимозаменяемости)  Уверенность в качестве тестирования  Видение реальных проблем в качестве и в тестировании • Пользователи:  Нет данных  на данный момент
  • 21.
    20 Контентные Модели:Пример Обратная Связь • Ознакомить команду с планами и приоритетами в самом начале; • Поддерживать обратную связь в разрезе стратегии; • Наличие человека в команде, постоянно контролирующего процесс внедрения изменений; • Первые тет-а-теты заменить общим митингом?
  • 22.
    21 Литература •“Critical Testing Processes”, Rex Black • “Managing the Testing Process”, 3rd Edition, Rex Black • ISTQB “Advanced Level Syllabus Test Manager”, ver. 2012 • www.google.ru
  • 23.
  • 24.
    23 Спасибо! MariaTeryokhina QA Lead Nizhniy Novgorod Skype: mariateryokhina maria.teryokhina@returnonintelligence.com

Editor's Notes

  • #6 В топку тут всё озвучивать что на слайде. Контентные модели- ориентированы на содержание; Процессные- ориентированы на улучшение процесса; Аналитические основаны на анализе различных метрик, направлены как на содержание, так и на процесс