Тестовая стратегия:
создание и
оптимизация
Andrey Ladutko QA Lead, QA Trainer
9+ лет опыта в тестировании
Процессы тестирования, тест-дизайн, тестовые
стратегии
SQA Days Программный комитет, докладчик
конференций
ISTQB Full Advanced Level certified
Мiнск, Беларусь
ladutko_andrey@tut.by, andrey.ladutko@pandadoc.com
ladutko_andrey
Содержание
• Определение
• Создание
• Оптимизация
• Углубление знаний
Определение
1. A Test Strategy document is a high level document and normally
developed by project manager
2. The Test Strategy document is a static document meaning that it is
not updated too often
3. Test strategy is a set of guidelines that explains test design and
determines how testing needs to be done
4. Some companies include the “Test Approach” or “Strategy” inside
the Test Plan, it is usually the case for small projects. For larger
projects, there is one Test Strategy document and different number
of Test Plans for each phase or level of testing.
Какие определения верны, какие – нет?
1. A Test Strategy document is a high level document and normally
developed by project manager
2. The Test Strategy document is a static document meaning that it is
not updated too often
3. Test strategy is a set of guidelines that explains test design and
determines how testing needs to be done
4. Some companies include the “Test Approach” or “Strategy” inside
the Test Plan, it is usually the case for small projects. For larger
projects, there is one Test Strategy document and different number
of Test Plans for each phase or level of testing.
Ответы:
СОЗДАНИЕ ТЕСТОВОЙ СТРАТЕГИИ
С ЧЕГО НАЧИНАЕТСЯ ТЕСТОВАЯ СТРАТЕГИЯ?
1. Начинаем с продуктовых рисков
• Product risk is the possibility that the system or
software might fail to satisfy or fulfill some reasonable
expectation of the customer, user, or stakeholder.
(Some authors also called the 'Product risks' as
'Quality risks' as they are risks to the quality of the
product.)
ISTQB Glossary
Специфичные продуктовые риски
• Complex features affecting multiple areas of the existing product, like
an upgrade/migration of the system.
• New Technologies used in the product; for example a new DB server,
a new programming language, a new integration, etc.
• New Developers or Development Teams, who may lack experience
and thus pose a higher risk to the existing product.
• Tight Schedules, that make people work in a rush and commit more
mistakes
Joel Montvelisky “The simple differences between Product Risks &
Project Risks”
КАКИЕ ИНСТРУМЕНТЫ ИСПОЛЬЗОВАТЬ?
Инструменты для оценивания рисков
Excel JIRA Tricentis TOSCA
2. Внешние требования к тестированию
• Объем работ
• Международные стандарты
• Частота выпуска продукта
3. Продуктовые риски VS виды
тестирования
4. О чем нужно еще помнить
• Тестовые данные
• Документация
• Фазы тестирования
• Тестовые окружения
• Инструменты
• Автоматизация (кросс-скиллы)
ОПТИМИЗАЦИЯ
ТЕСТОВОЙ
СТРАТЕГИИ
1. Велосипед изобретен – модели
тестирования
2. Model-based подход
+ Структурированный подход
+ Лучшие практики (Best Practices)
+ Покрытие
+ Сравнимость
- Нет контекста проекта
- Слепота модели
- Недостаточно навыков
Пример - модель TPI Next
3. Аналитический подход, шаги
• Выбор областей для причинно-следственного
анализа
• Сбор и организация информации
• Определение корневой причины (root cause)
• Выбор решения проблемы
3. Пример аналитический подхода –
категоризация дефектов
Instead of studying and learning from every bug, you can save a lot of
time by counting and aggregating bug reports.
That’s a good thing in its way, because if you don’t study and learn from
every bug, you’ll need all the time you can get to deal with problems that
seem to keep happening over and over again.
Michael Bolton, “Very short blog post” №27
УГЛУБЛЕНИЕ ЗНАНИЙ ПО ТЕСТОВОЙ СТРАТЕГИИ
Внеграничные значения = новое знание
1. Доклады о тестовых стратегиях
• Сергей Мартыненко ” Подготовка стратегии тестирования под
высокорискованный, высокодоходный проект” -
https://www.youtube.com/watch?v=z3NuJb0_MzI
• Testing Strategies for Continuous Delivery -
https://www.youtube.com/watch?v=DgQWSaCQ82U
• Huib Schoots “Practical Test Strategy Using Heuristics” -
https://www.youtube.com/watch?v=_TE9RFzNs_M
• Rikard Edgren “An Introduction to Test Strategy” -
https://www.youtube.com/watch?v=OZiE9eApOXY
• Paul Gerrard “Agile Test Strategy” -
https://www.youtube.com/watch?v=Ed6YkYEkCRM
• Radio QA “Выпуск 10: стратегия тестирования» - http://radio-
qa.com/vypusk-10-strategiya-testirovaniya/
2. Книги о стратегиях
• Ричард Румельт «Хорошая стратегия, плохая
стратегия»
• Джим Коллинз «От хорошего к великому»
• Coursera “Foundations of Business Strategy” + book
• …
ВЫВОД
Спасибо за внимание!
Вопросы?
Mail: ladutko_andrey@tut.by, andrey.ladutko@pandadoc.com
Skype: ladutko_andrey

QA Fest 2018. Андрей Ладутько. Доменное тестирование – новое или хорошо забытое старое?

  • 1.
  • 2.
    Andrey Ladutko QALead, QA Trainer 9+ лет опыта в тестировании Процессы тестирования, тест-дизайн, тестовые стратегии SQA Days Программный комитет, докладчик конференций ISTQB Full Advanced Level certified Мiнск, Беларусь ladutko_andrey@tut.by, andrey.ladutko@pandadoc.com ladutko_andrey
  • 3.
    Содержание • Определение • Создание •Оптимизация • Углубление знаний
  • 4.
  • 5.
    1. A TestStrategy document is a high level document and normally developed by project manager 2. The Test Strategy document is a static document meaning that it is not updated too often 3. Test strategy is a set of guidelines that explains test design and determines how testing needs to be done 4. Some companies include the “Test Approach” or “Strategy” inside the Test Plan, it is usually the case for small projects. For larger projects, there is one Test Strategy document and different number of Test Plans for each phase or level of testing. Какие определения верны, какие – нет?
  • 6.
    1. A TestStrategy document is a high level document and normally developed by project manager 2. The Test Strategy document is a static document meaning that it is not updated too often 3. Test strategy is a set of guidelines that explains test design and determines how testing needs to be done 4. Some companies include the “Test Approach” or “Strategy” inside the Test Plan, it is usually the case for small projects. For larger projects, there is one Test Strategy document and different number of Test Plans for each phase or level of testing. Ответы:
  • 8.
  • 9.
    С ЧЕГО НАЧИНАЕТСЯТЕСТОВАЯ СТРАТЕГИЯ?
  • 10.
    1. Начинаем спродуктовых рисков • Product risk is the possibility that the system or software might fail to satisfy or fulfill some reasonable expectation of the customer, user, or stakeholder. (Some authors also called the 'Product risks' as 'Quality risks' as they are risks to the quality of the product.) ISTQB Glossary
  • 11.
    Специфичные продуктовые риски •Complex features affecting multiple areas of the existing product, like an upgrade/migration of the system. • New Technologies used in the product; for example a new DB server, a new programming language, a new integration, etc. • New Developers or Development Teams, who may lack experience and thus pose a higher risk to the existing product. • Tight Schedules, that make people work in a rush and commit more mistakes Joel Montvelisky “The simple differences between Product Risks & Project Risks”
  • 12.
  • 13.
    Инструменты для оцениваниярисков Excel JIRA Tricentis TOSCA
  • 14.
    2. Внешние требованияк тестированию • Объем работ • Международные стандарты • Частота выпуска продукта
  • 15.
    3. Продуктовые рискиVS виды тестирования
  • 16.
    4. О чемнужно еще помнить • Тестовые данные • Документация • Фазы тестирования • Тестовые окружения • Инструменты • Автоматизация (кросс-скиллы)
  • 17.
  • 18.
    1. Велосипед изобретен– модели тестирования
  • 19.
    2. Model-based подход +Структурированный подход + Лучшие практики (Best Practices) + Покрытие + Сравнимость - Нет контекста проекта - Слепота модели - Недостаточно навыков
  • 20.
  • 21.
    3. Аналитический подход,шаги • Выбор областей для причинно-следственного анализа • Сбор и организация информации • Определение корневой причины (root cause) • Выбор решения проблемы
  • 22.
    3. Пример аналитическийподхода – категоризация дефектов Instead of studying and learning from every bug, you can save a lot of time by counting and aggregating bug reports. That’s a good thing in its way, because if you don’t study and learn from every bug, you’ll need all the time you can get to deal with problems that seem to keep happening over and over again. Michael Bolton, “Very short blog post” №27
  • 23.
    УГЛУБЛЕНИЕ ЗНАНИЙ ПОТЕСТОВОЙ СТРАТЕГИИ
  • 24.
  • 25.
    1. Доклады отестовых стратегиях • Сергей Мартыненко ” Подготовка стратегии тестирования под высокорискованный, высокодоходный проект” - https://www.youtube.com/watch?v=z3NuJb0_MzI • Testing Strategies for Continuous Delivery - https://www.youtube.com/watch?v=DgQWSaCQ82U • Huib Schoots “Practical Test Strategy Using Heuristics” - https://www.youtube.com/watch?v=_TE9RFzNs_M • Rikard Edgren “An Introduction to Test Strategy” - https://www.youtube.com/watch?v=OZiE9eApOXY • Paul Gerrard “Agile Test Strategy” - https://www.youtube.com/watch?v=Ed6YkYEkCRM • Radio QA “Выпуск 10: стратегия тестирования» - http://radio- qa.com/vypusk-10-strategiya-testirovaniya/
  • 26.
    2. Книги остратегиях • Ричард Румельт «Хорошая стратегия, плохая стратегия» • Джим Коллинз «От хорошего к великому» • Coursera “Foundations of Business Strategy” + book • …
  • 27.
  • 28.
    Спасибо за внимание! Вопросы? Mail:ladutko_andrey@tut.by, andrey.ladutko@pandadoc.com Skype: ladutko_andrey

Editor's Notes

  • #23  One or more of the following approaches can assist in selecting the right items for causal analysis: The Pareto Principle (80/20 rule) Defect categorizations Analysis of statistics Holding project retrospective meetings