Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
Тестовая стратегия:
создание и
оптимизация
Andrey Ladutko QA Lead, QA Trainer
9+ лет опыта в тестировании
Процессы тестирования, тест-дизайн, тестовые
стратегии
SQA ...
Содержание
• Определение
• Создание
• Оптимизация
• Углубление знаний
Определение
1. A Test Strategy document is a high level document and normally
developed by project manager
2. The Test Strategy docume...
1. A Test Strategy document is a high level document and normally
developed by project manager
2. The Test Strategy docume...
СОЗДАНИЕ ТЕСТОВОЙ СТРАТЕГИИ
С ЧЕГО НАЧИНАЕТСЯ ТЕСТОВАЯ СТРАТЕГИЯ?
1. Начинаем с продуктовых рисков
• Product risk is the possibility that the system or
software might fail to satisfy or fu...
Специфичные продуктовые риски
• Complex features affecting multiple areas of the existing product, like
an upgrade/migrati...
КАКИЕ ИНСТРУМЕНТЫ ИСПОЛЬЗОВАТЬ?
Инструменты для оценивания рисков
Excel JIRA Tricentis TOSCA
2. Внешние требования к тестированию
• Объем работ
• Международные стандарты
• Частота выпуска продукта
3. Продуктовые риски VS виды
тестирования
4. О чем нужно еще помнить
• Тестовые данные
• Документация
• Фазы тестирования
• Тестовые окружения
• Инструменты
• Автом...
4а. Тестовые данные
• Кто создает и как: вручную, автоматически –
скрипты или UI-тесты
• Используем реальные данные? (анон...
4б. Документация
• Какая документация необходима, какая степень
детализации?
• Тест-кейсы VS чеклисты
• Техники тест-дизай...
4в. Фазы и виды тестирования
• Какая взаимозависимость и последовательность
выполнения видов тестирования?
• Какие дополни...
4г. Тестовые окружения
• Какие окружения необходимы (отдельные
окружения для некоторых видов тестирования)
• Кто отвечает ...
ОПТИМИЗАЦИЯ
ТЕСТОВОЙ
СТРАТЕГИИ
1. Велосипед изобретен – модели
тестирования
2. Model-based подход
+ Структурированный подход
+ Лучшие практики (Best Practices)
+ Покрытие
+ Сравнимость
- Нет контекс...
Пример - модель TPI Next
2. Content-based подход
• Требуется постановка тестового процесса (пример –
Risk-based testing)
• Требуется аудит с целью ...
3. Аналитический подход, шаги
• Выбор областей для причинно-следственного
анализа
• Сбор и организация информации
• Опреде...
3. Один из примеров аналитический
подхода – категоризация дефектов
Instead of studying and learning from every bug, you ca...
3. Категоризация дефектов - примеры
• Конфигурации и окружения
• Вид тестирования (функциональный –
нефункциональный)
• Сц...
УГЛУБЛЕНИЕ ЗНАНИЙ ПО ТЕСТОВОЙ СТРАТЕГИИ
Внеграничные значения = новое знание
1. Доклады о тестовых стратегиях
• Сергей Мартыненко ” Подготовка стратегии тестирования под
высокорискованный, высокодохо...
2. Книги о стратегиях
• Ричард Румельт «Хорошая стратегия, плохая
стратегия»
• Джим Коллинз «От хорошего к великому»
• Cou...
ВЫВОД
Спасибо за внимание!
Вопросы?
Mail: ladutko_andrey@tut.by, andrey.ladutko@pandadoc.com
Skype: ladutko_andrey
QA Fest 2017. Андрей Ладутько.Тестовая стратегия: создание и оптимизация
Upcoming SlideShare
Loading in …5
×

QA Fest 2017. Андрей Ладутько.Тестовая стратегия: создание и оптимизация

211 views

Published on

Тест-менеджер ставит перед собой и командой долгосрочные и сложные цели. Например, как выбрать и соединить вместе изученные техники и виды тестирования, как понять, почему в одних условиях у нас получилось провести “качественное” тестирование, а в других нет? Как понять, будет ли эффективна автоматизация на проекте прежде, чем вложиться человека-годами в Фреймворк и тесты? Ответы на эти вопросы находятся в «стратегии тестирования». Она есть у каждой команды, пусть и не в осознанном и формализованном виде. Поэтому нужно научиться пользоваться этим инструментом, уметь как составлять тестовую стратегию с нуля на проекте, так и оптимизировать уже существующую стратегию.

Published in: Education
  • Be the first to comment

  • Be the first to like this

QA Fest 2017. Андрей Ладутько.Тестовая стратегия: создание и оптимизация

  1. 1. Тестовая стратегия: создание и оптимизация
  2. 2. Andrey Ladutko QA Lead, QA Trainer 9+ лет опыта в тестировании Процессы тестирования, тест-дизайн, тестовые стратегии SQA Days Программный комитет, докладчик конференций ISTQB Full Advanced Level certified Мiнск, Беларусь ladutko_andrey@tut.by, andrey.ladutko@pandadoc.com ladutko_andrey
  3. 3. Содержание • Определение • Создание • Оптимизация • Углубление знаний
  4. 4. Определение
  5. 5. 1. A Test Strategy document is a high level document and normally developed by project manager 2. The Test Strategy document is a static document meaning that it is not updated too often 3. Test strategy is a set of guidelines that explains test design and determines how testing needs to be done 4. Some companies include the “Test Approach” or “Strategy” inside the Test Plan, it is usually the case for small projects. For larger projects, there is one Test Strategy document and different number of Test Plans for each phase or level of testing. Какие определения верны, какие – нет?
  6. 6. 1. A Test Strategy document is a high level document and normally developed by project manager 2. The Test Strategy document is a static document meaning that it is not updated too often 3. Test strategy is a set of guidelines that explains test design and determines how testing needs to be done 4. Some companies include the “Test Approach” or “Strategy” inside the Test Plan, it is usually the case for small projects. For larger projects, there is one Test Strategy document and different number of Test Plans for each phase or level of testing. Ответы:
  7. 7. СОЗДАНИЕ ТЕСТОВОЙ СТРАТЕГИИ
  8. 8. С ЧЕГО НАЧИНАЕТСЯ ТЕСТОВАЯ СТРАТЕГИЯ?
  9. 9. 1. Начинаем с продуктовых рисков • Product risk is the possibility that the system or software might fail to satisfy or fulfill some reasonable expectation of the customer, user, or stakeholder. (Some authors also called the 'Product risks' as 'Quality risks' as they are risks to the quality of the product.) ISTQB Glossary
  10. 10. Специфичные продуктовые риски • Complex features affecting multiple areas of the existing product, like an upgrade/migration of the system. • New Technologies used in the product; for example a new DB server, a new programming language, a new integration, etc. • New Developers or Development Teams, who may lack experience and thus pose a higher risk to the existing product. • Tight Schedules, that make people work in a rush and commit more mistakes Joel Montvelisky “The simple differences between Product Risks & Project Risks”
  11. 11. КАКИЕ ИНСТРУМЕНТЫ ИСПОЛЬЗОВАТЬ?
  12. 12. Инструменты для оценивания рисков Excel JIRA Tricentis TOSCA
  13. 13. 2. Внешние требования к тестированию • Объем работ • Международные стандарты • Частота выпуска продукта
  14. 14. 3. Продуктовые риски VS виды тестирования
  15. 15. 4. О чем нужно еще помнить • Тестовые данные • Документация • Фазы тестирования • Тестовые окружения • Инструменты • Автоматизация (кросс-скиллы)
  16. 16. 4а. Тестовые данные • Кто создает и как: вручную, автоматически – скрипты или UI-тесты • Используем реальные данные? (анонимизация) • Миграция данных? • Совместимость данных с предыдущими версиями? • Объем данных: максимальный, минимальный, разумный
  17. 17. 4б. Документация • Какая документация необходима, какая степень детализации? • Тест-кейсы VS чеклисты • Техники тест-дизайна (кроме всем известных эквивалентных классов и граничных значений – таблицы принятия решений, диаграммы состояний и переходов и т.д.)
  18. 18. 4в. Фазы и виды тестирования • Какая взаимозависимость и последовательность выполнения видов тестирования? • Какие дополнительные знания необходимы для проведения всех заявленных видов тестирования?
  19. 19. 4г. Тестовые окружения • Какие окружения необходимы (отдельные окружения для некоторых видов тестирования) • Кто отвечает за сопровождение окружений (например, «ничейный» препрод)?
  20. 20. ОПТИМИЗАЦИЯ ТЕСТОВОЙ СТРАТЕГИИ
  21. 21. 1. Велосипед изобретен – модели тестирования
  22. 22. 2. Model-based подход + Структурированный подход + Лучшие практики (Best Practices) + Покрытие + Сравнимость - Нет контекста проекта - Слепота модели - Недостаточно навыков
  23. 23. Пример - модель TPI Next
  24. 24. 2. Content-based подход • Требуется постановка тестового процесса (пример – Risk-based testing) • Требуется аудит с целью оценить затраты и риски для текущего тестового процесса • Улучшения внедряются в порядке, который задает бизнес • Необходимо делать поправки с учетом на контекст команды
  25. 25. 3. Аналитический подход, шаги • Выбор областей для причинно-следственного анализа • Сбор и организация информации • Определение корневой причины (root cause) • Выбор решения проблемы
  26. 26. 3. Один из примеров аналитический подхода – категоризация дефектов Instead of studying and learning from every bug, you can save a lot of time by counting and aggregating bug reports. That’s a good thing in its way, because if you don’t study and learn from every bug, you’ll need all the time you can get to deal with problems that seem to keep happening over and over again. Michael Bolton, “Very short blog post” №27
  27. 27. 3. Категоризация дефектов - примеры • Конфигурации и окружения • Вид тестирования (функциональный – нефункциональный) • Сценарий или ad-hoc • Компонента или модуль системы • Причина пропуска (регрессия, неясное требование, недостаток времени, апгрейд версии)
  28. 28. УГЛУБЛЕНИЕ ЗНАНИЙ ПО ТЕСТОВОЙ СТРАТЕГИИ
  29. 29. Внеграничные значения = новое знание
  30. 30. 1. Доклады о тестовых стратегиях • Сергей Мартыненко ” Подготовка стратегии тестирования под высокорискованный, высокодоходный проект” - https://www.youtube.com/watch?v=z3NuJb0_MzI • Testing Strategies for Continuous Delivery - https://www.youtube.com/watch?v=DgQWSaCQ82U • Huib Schoots “Practical Test Strategy Using Heuristics” - https://www.youtube.com/watch?v=_TE9RFzNs_M • Rikard Edgren “An Introduction to Test Strategy” - https://www.youtube.com/watch?v=OZiE9eApOXY • Paul Gerrard “Agile Test Strategy” - https://www.youtube.com/watch?v=Ed6YkYEkCRM • Radio QA “Выпуск 10: стратегия тестирования» - http://radio- qa.com/vypusk-10-strategiya-testirovaniya/
  31. 31. 2. Книги о стратегиях • Ричард Румельт «Хорошая стратегия, плохая стратегия» • Джим Коллинз «От хорошего к великому» • Coursera “Foundations of Business Strategy” + book • …
  32. 32. ВЫВОД
  33. 33. Спасибо за внимание! Вопросы? Mail: ladutko_andrey@tut.by, andrey.ladutko@pandadoc.com Skype: ladutko_andrey

×