Доповідь на тему планування тестового процесу та приклади тестової стратегії

1. Test Planning & Test
Strategy
Roman Iakymchuk, QA Blog

2. Фаза планування усього тестового процесу
Налаштування тестового процесу за допомогою:
● Визначення тестових рівнів на проекті
● Мінімізації перекриття (дублювання) або нестачі (пропусків) у тестовому покритті
● Оптимальний розподіл наявних ресурсів
○ Тестувальників
○ Інфраструктури (тестові середовища) та інструментів
○ Спеціального технічного або доменних знань
● Виявлення найважливіших дефектів якомога раніше
● Якнайшвидше перевіряти найкритичніші шляхи (флоу) усього проекту
● Досягнення однорідності в тестовому процесі (привести все до одного найякіснішого
зразку)
● Укладання угод з зацікавленими сторонами (стейкхолдерами)
● Інформування клієнта щодо підходів, планування, оціночних зусиль, активностей та
результатів що стосуються усього тестового процесу

3. Master Test Plan
Мастер Тест План - дає уявлення та оцінку по різним рівням тестування, які
будуть використовуватися таким чином, щоб оптимізувати загальний тестовий
процес. Всі інші - Тест плани Рівнів (Level Test Plans) повинні базуватися на
основі мастер тест плану. Таким чином МТП являється основою, базою для всіх
тестових рівнів.
Як автор Мастер Тест Плану, Тест Менеджер повинен підтримувати клієнта у
формулюванні чіткого завдання, беручи до уваги чотири аспекти BDTM (Business
Driven Test Management):
● Результат
● Ризики
● Час
● Витрати

4. Створення Мастер тест плану
1. Постановка задач
2. Розуміння задач
3. Аналіз ризиків продукту
4. Визначення стратегії тестування
5. Оцінка зусиль
6. Визначення планування
7. Визначення тестових продуктів
8. Визначення організації
9. Визначення інфраструктури
10. Організація менеджменту
11. Визначення проектних ризиків та контрзаходів
12. Зворотній зв’язок та консолідація (оптимізація) плану

5. 1. Постановка задач
Ціль
Процес тестування починається з формулювання задач, а саме цілей, завдань, обов'язків та
дозволів на тестування які повинні бути зрозумілими для всіх зацікавлених сторін.
Методи впровадження
Формулювання задач є однією з важливих частин у процесі тестування. При визначенні завдань
сформованих в Мастер Тест Плані, мають бути виявлені всі домовленності відносно тестового
процесу з усіма зацікавленими сторонами. Формулювання завдань в МТП включає в себе загальний
розподіл між усіма Тестовими рівнями. Тому формування завдань окремо на кожному Тестовому рівні
повинно відповідати Мастер Тест Плану.

6. 1. Постановка задач

7. 2. Розуміння задач
Ціль
Отримати розуміння проекту, визначити всі цілі та як буде побудований процес розробки, які
об’єкти повинні бути протестовані і вимоги яким проект повинен відповідати, для того щоб більш
адекватно контролювати інші етапи планування.
Методи впровадження
Метод складається з наступних підпрограм:
1. Визначення прийомки з критеріями прийомки (Acceptance criteria) та іншими постачальниками
інформації (наприклад, працівниками із забезпечення якості, експертами доменів, дизайнерами
та системними адміністраторами)
2. Вивчення наявної документації
3. Особисті зустрічі

8. 2. Розуміння задач

9. 3. Аналіз ризиків продукту
Ціль
Зацікавлені сторони та тест менеджери досягають спільного уявлення про те, що є більш і менш
ризикованими частинами та характеристиками системи.
Методи впровадження
Тестування - це процес, який забезпечує розуміння якості та пов'язаних з ним продуктових
ризиків системи, коли її вводять у виробництво організацією. Оскільки ніколи не буде необмеженої
кількості ресурсів і часу, важливо визначити заздалегідь, які деталі та характеристики системи
вимагають більше або менше зусиль тестування. У цьому контексті має бути зроблений добре
обґрунтований вибір. Одним з інструментів визначення проблемних областей тестування є виконання
аналізу ризику продукту (Product Risk Analysis).

10. 3. Аналіз ризиків продукту

11. 4. Визначення Стратегії тестування
Ціль
На основі аналізу ризиків продукту, вирішуємо, яка характеристика/об'єкт/частина повинна бути
перевірена, на скільки ретельно, в якому Тестовому рівні.
Методи впровадження
Визначення тестової стратегії для МТП включає в себе наступні види діяльності:
1. Визначення Тестових рівнів
2. Визначення обґрунтованості тестування на одиницю характеристики/об'єкта на кожному ТР.
Аналіз ризиків продукту та перший чорновий варіант тестової стратегії часто можна об'єднати в
один процес. Якщо це неможливо, Тест Менеджер створює пропозицію щодо тестової стратегії після
аналізу ризиків продукту та обговорює це з клієнтом та кількома іншими зацікавленими сторонами.
Найбільш схвалений (підтриманий) результат досягається шляхом створення стратегії тестування за
консультацією з цими сторонами.

12. 4. Визначення Стратегії тестування

13. 5. Оцінка зусиль
Ціль
Оцінка необхідних зусиль для всього тестового процесу базується на основі тестової стратегії,
після чого, клієнт може це схвалити або вимагати коригування оцінки.
Методи впровадження
Оцінка зусиль для всього Тестового Процесу виконується на ранніх етапах проекту і базується на
тестовій стратегії. Часто, не всі знання про тестовий об'єкт доступні на даному етапі. Як наслідок,
точність оцінки обмежена. Розмір та/або складність тестового об'єкту може змінитися під час проекту.
Крім того, тестові середовища та будь-які тестові інструменти відображають у значній мірі його
вартість. Важливо, щоб Тест Менеджер прояснив зацікавленим сторонам, що оцінка базується на ряді
припущень, і тому вона повинна бути деталізованою та, можливо, адаптованою, пізніше. Оцінка в
Мастер Тест Плані являє собою основу для оцінок на всіх Тестових Рівнях (Системне тестування,
Користувацьке тестування прийомки та Тестування прийомки на продакшені).

14. 5. Оцінка зусиль

15. 6. Визначення планування
Ціль
Створення максимально вірогідного, можливого загального планування для всіх Тестових рівнів,
щоб клієнт міг це враховувати або внести корективи. Принцип планування полягає в тому, щоб
визначити найважливіші недоліки на самому початку в рамках стратегії та оціночних зусиль.
Методи впровадження
Базуючись на плануванні процесу розробки системи, тестовій стратегії та оціночних зусиллях,
створюється загальне планування усього тестового процесу. Тест менеджер вказує дату початку та
кінця, а також результати для кожного Тестового рівня. У фазі планування на різних Тестових рівнях
розроблено докладне планування.

16. 6. Визначення планування
Загальне планування повинно містити принаймні:
• Активності, які мають бути виконані на кожному Тестовому рівні
• Зв’язки та залежність від інших видів діяльності (в процесі тестування чи поза ним, а також між
різними рівнями тестування). Час, який буде закладено в кожен Тестовий рівень
• Обов'язкові та доступні ресурси (люди та інфраструктура)
• Обов'язковий та доступний час виконання
• Результати.
За бажанням клієнта, фінансові наслідки вибору повинні бути відображені у фінансовому
плануванні. Подумайте про витрати на (внутрішній та зовнішній) персонал, навчання, робочі місця,
тестові середовища та інструменти тестування.
Мета повинна полягати в тому, щоб забезпечити відповідність заходів тестування для виконання
різних Тестових рівнів або контрольованого їх перекриття. Планування вибору, що включає ризики,
має бути зроблено заради досягнення мети, Тест Менеджер повинен повідомити та пояснити це!
Якісним показником планування є те, що Тестовий рівень завершено. Тест Менеджер, таким
чином, відіграє важливу роль в узгодженні критеріїв входження та виходу на наступні Тестові рівні.

17. 6. Визначення планування

18. 7. Визначення тестових продуктів
Ціль
Визначення тестових продуктів, які будуть доставлятися на основному рівні проекту та на різних
Тестових рівнях.
Методи впровадження
Дії, які виконуються для планування та контролю усього тестового процесу, приносять певні
продукти, такі як Мастер тест план та звіти, а також процедури, інструкції та проектна документація. За
узгодженням з клієнтом та іншими зацікавленими сторонами, результати будуть визначені. Тоді в
Мастер тест плані може бути визначено, які продукти для яких Тестових рівнів повинні доставлятися.
Це можуть бути: плани тестування або тестові скрипти або (автоматичні) тести на регресію, або
продукти, які підлягають повторному використанню, а також тестові документи, такі як звіти про
виконання. І, нарешті, загальне використання інструментів для конфігурування та управління тестами
дозволяє забезпечити єдиний робочий підхід і полегшити подальше управління.

19. 7. Визначення тестових продуктів

20. 8. Визначення організації
Ціль
Визначення ролей, завдань, повноважень та відповідальності, що застосовуються для
загального тестового процесу на всіх Тестових рівнях.
Методи впровадження
Метод складається з наступних підпрограм:
1. Визначення необхідних ролей
2. Визначення завдань, повноважень та відповідальності
3. Опис організації
4. Розподіл персоналу
5. Встановлення вимог до тренувань та тренінгів
6. Створення консультаційних структур та звітності.

21. 8. Визначення організації

22. 9. Визначення інфраструктури
Ціль
Визначення інфраструктури, необхідної для тестового процесу на ранній стадії, зокрема частини,
які повинні бути встановлені для декількох Тестових рівнів або мають відносно довгий час
замовлення.
Методи впровадження
Метод складається з наступних підпрограм:
1. Визначення середовища тестування
2. Визначення тестових інструментів (test management tools, capture & playback, defects
administration, automation, debugging and simulation tools)
3. Визначення офісних установок
4. Встановлення планування інфраструктури.

23. 9. Визначення інфраструктури

24. 10. Організація менеджменту
Ціль
Визначення способу управління процесом тестування, інфраструктурою, тестовими продуктами
та дефектами. Це можна досягти як шляхом визначення центральних стандартів управління та
централізованого управління певними аспектами. Обидва варіанти спрямовані на те, щоб “не
придумувати велосипед” на окремих Тестових рівнях.
Методи впровадження
Метод складається з наступних підпрограм:
1. Визначення управління процесом тестування
2. Визначення управління інфраструктурою
3. Визначення управління тестовим продуктом
4. Визначення процедури дефектів.

25. 10. Організація менеджменту

26. 11. Визначення проектних ризиків та контрзаходів
Ціль
Чітко визначити ризики для всього процесу тестування, донести розуміння цих ризиків клієнтам
та іншими зацікавленими сторонами та дозволити їм враховувати ці ризики при управлінні загальним
процесом.
Методи впровадження
При виконанні попередніх активностей Тест Менеджер отримав картину усіх можливостей для
процесу тестування, а також загроз та ризиків. У Мастер тест плані для кожного ризику вказується, чи
було, і якщо так, то які контрзаходи були застосовані для покриття або пом'якшення виявленого
ризику. Подумайте також про запобіжні заходи для уникнення ризиків, але й можливо, також про
заходи щодо виявлення проблем з часом або виправні заходи для вирішення наслідків.

27. 11. Визначення проектних ризиків та контрзаходів

28. 12. Зворотній зв’язок та оптимізація плану
Ціль
З одного боку, записувати результати всіх активностей, виконаних на сьогоднішній день. З іншого
боку, отримати схвалення від клієнта щодо обраного підходу.
Методи впровадження
Метод складається з наступних підпрограм:
1. Створення Мастер Тест плану
2. Зворотній зв'язок по Мастер Тест Плану
3. Оптимізація Мастер Тест Плану.

29. 12. Зворотній зв’язок та оптимізація плану