Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
Киев 2017
Первый в Украине фестиваль тестирования
Инструменты управления
тестами
Горин Роман
Обзор и введение в бест-практ...
Киев 2017
О себе
• https://www.facebook.com/rgorin.zx
• http://t.me/DJ_ZX
• http://zxtesting.blogspot.com
Киев 2017
Кто что использует?
Результаты опросника в группе
Киев 2017
А какие ещё бывают?
Если
верить
гуглу,
то
много
и
разных
:
Киев 2017
Что такое тест менеджмент
Test Management это…
Test Management Tool это…
Не путайте TM(T) с ALM!
ALM – это Appli...
Киев 2017
Анализ обзоров и опросов по
версии портала QA Testing Tools
http://www.qatestingtools.com/testing-tool-article/b...
Киев 2017
Анализ обзоров и опросов по
версии портала QA Testing Tools
http://www.qatestingtools.com/testing-tool-article/b...
Киев 2017
А почему не Excel/Word/GoogleDocs?
Никаких аргументов против нет…
Серьёзно!
Киев 2017
А почему не Excel/Word/GoogleDocs?
Плохое версионирование
Нужно писать макросы для всего
Усложнённый сбор отчёто...
Киев 2017
Требования к ТМТ
Возможность ведения всех тестов по проекту/циклу разработки/функциональности
•Группировка тесто...
Киев 2017
Нужно ли оно вообще?
Test Management is Wrong
• Динамичный проект
• Стартап
• Короткосрочный проект или фича
CI/...
Киев 2017
Workflow работы с тестами
Красивая картинка с Хабра
Киев 2017
Какие тулзы НЕ обозреваю
(и почему)
• https://www.getzephyr.com/products/test-management-add-ons-for-atlassian/h...
Киев 2017
Какие тулзы обозреваю
•https://www.qasymphony.com/software-testing-tools/qtest-manager/test-case-management/
QAS...
Киев 2017
Сравнение триалов
qTest Zephyr TestRail QAComplete TestUp MTM
Продолжительность триала 14+ 30+ 30 30+ 14 30+
Реа...
Киев 2017
QASymphony qTest
Киев 2017
MS Test Manager
Киев 2017
Gurock TestRail
Киев 2017
QA Complete
Киев 2017
InformUP TestUP
Киев 2017
UI: организация рабочего пространства
Специфика интерфейса/UI
•Первичная настройка (admin)
•Структура юзерской ч...
Киев 2017
UI: Доступность на разных
устройствах/OS
Посмотрите на это Где работает
Киев 2017
Формирование требований
Можно ли без привязки к требованиям?
• Почему да
• Почему нет
• Что делать если…
Интегра...
Киев 2017
Написание тестов: общее для всех
утилит
Steps/Expected results
Возможность ведения всех тестов по проекту/циклу ...
Киев 2017
Написание тестов: специфика и
отличия между утилитами
Наследование в деревьях
Кросс-ссылки между тестами
Общие (...
Киев 2017
Выборка кейсов по критериям
Обязательные критерии
• Фича/Компонент
• Подфича (с привязкой)
• Эдишен продукта (ес...
Киев 2017
Создание тестсюит
Тестсюиты с ручной выборкой тестов
Тестсюиты с автоматической выборкой и обновлением содержимо...
Киев 2017
Запуск тестов: best parctices
Запуск отдельных тестов
Конфигурирование ранов
Запуск вручную
Долгосрочное планиро...
Киев 2017
Интеграции: ALM/PM/Tasks/Bugs
Описание возможностей ALM (в общем)
О каких интеграциях нельзя забывать
•Баги
•Тас...
Киев 2017
Сcылки
• https://habrahabr.ru/company/redmadrobot/blo
g/248965/
• http://swtester.blogspot.com/2013/02/test-
man...
Upcoming SlideShare
Loading in …5
×

QA Fest 2017. Роман Горин. Системы тест менеджмента: обзор и краткое введение в лучшие практики

362 views

Published on

Несмотря на смещение тестирования в сторону автоматизации с развитием и усложнением проектов часто встаёт вопрос "а что реально мы тестируем и как оценить что мы вообще тестируем и насколько мы покрываем то, что действительно нужно", для чего и существуют системы управления тестами. В своём докладе я постараюсь рассказать о том, какие они бывают, познакомить с некоторыми чуть ближе и рассказать о личном опыте использования, включая разбор оптимальных подходов к наполнению и использованию систем и ошибок, которые могут привести к хаосу и бесполезности использования утилиты.

Published in: Education
  • Be the first to comment

  • Be the first to like this

QA Fest 2017. Роман Горин. Системы тест менеджмента: обзор и краткое введение в лучшие практики

  1. 1. Киев 2017 Первый в Украине фестиваль тестирования Инструменты управления тестами Горин Роман Обзор и введение в бест-практики
  2. 2. Киев 2017 О себе • https://www.facebook.com/rgorin.zx • http://t.me/DJ_ZX • http://zxtesting.blogspot.com
  3. 3. Киев 2017 Кто что использует? Результаты опросника в группе
  4. 4. Киев 2017 А какие ещё бывают? Если верить гуглу, то много и разных :
  5. 5. Киев 2017 Что такое тест менеджмент Test Management это… Test Management Tool это… Не путайте TM(T) с ALM! ALM – это Application Lifecycle Management и Блокнот тут не особо поможет.
  6. 6. Киев 2017 Анализ обзоров и опросов по версии портала QA Testing Tools http://www.qatestingtools.com/testing-tool-article/best_test_management_tool_2017
  7. 7. Киев 2017 Анализ обзоров и опросов по версии портала QA Testing Tools http://www.qatestingtools.com/testing-tool-article/best_test_management_tool_2017
  8. 8. Киев 2017 А почему не Excel/Word/GoogleDocs? Никаких аргументов против нет… Серьёзно!
  9. 9. Киев 2017 А почему не Excel/Word/GoogleDocs? Плохое версионирование Нужно писать макросы для всего Усложнённый сбор отчётов Отсутствие единой базы даных/поиска Почти невожможно нормально реализовать внесение результатов Привязка к автоматизации Кросс-линки/зависимости/аттрибуты
  10. 10. Киев 2017 Требования к ТМТ Возможность ведения всех тестов по проекту/циклу разработки/функциональности •Группировка тестов соответственно задачам выше Привязка к требованиям Планирование выполнения тестов •Запуск отдельных тестов •Запуск групп тестов по критериям •Привязка тестов к авто-коду и запуск автотестов •Многократный перезапуск ранов •Долгосрочное планирование запуска по циклам разработки и временным промежуткам (schedule) Интеграция с другими утилитами ведения проекта (тасктрекер, багтрекер и т.д.) Возможность генерации отчётов и сравнений выполнения тестов по всем доступным критериям Понятный и логичный интерфейс (на самом деле это пункт номер 0) Доступность на разных устройствах
  11. 11. Киев 2017 Нужно ли оно вообще? Test Management is Wrong • Динамичный проект • Стартап • Короткосрочный проект или фича CI/CD TDD/BDD Agile Non-Agile Классические фазы тестирования (регресионное, приёмочное и т.д.) Исследовательское тестирование
  12. 12. Киев 2017 Workflow работы с тестами Красивая картинка с Хабра
  13. 13. Киев 2017 Какие тулзы НЕ обозреваю (и почему) • https://www.getzephyr.com/products/test-management-add-ons-for-atlassian/how-to-buy Jira+Zephyr Microfocus (Borland) SilkCentral Hewlett-Packard Quality Center (ALM) TestLink И другие 
  14. 14. Киев 2017 Какие тулзы обозреваю •https://www.qasymphony.com/software-testing-tools/qtest-manager/test-case-management/ QASyphony qTest •https://www.visualstudio.com/team-services/testing-tools/ •https://marketplace.visualstudio.com/items?itemName=ms.vss-testmanager-web Microsoft Test Manager (part of Visual Studio/TFS) •https://smartbear.com/product/qacomplete/overview/ SmartBear QA Complete •http://www.gurock.com/testrail/ Gurock TestRail •http://www.informup.com/TestUp-Test-Management-Tool.aspx InformUP TestUP
  15. 15. Киев 2017 Сравнение триалов qTest Zephyr TestRail QAComplete TestUp MTM Продолжительность триала 14+ 30+ 30 30+ 14 30+ Реакция техподдержки проблематично медленно мгновенно мгновенно мгновенно нормально Наличие демо-проекта да нет нет да да нет Продление триала нет да да да Непонятно да Реклама и рассылки есть есть минимум много/трени нги нет нет Перенос/восстановление демо-проекта н/и н/и? да да н/и да Перенос проекта из текущей тулзы да н/и - да н/и да да н/и
  16. 16. Киев 2017 QASymphony qTest
  17. 17. Киев 2017 MS Test Manager
  18. 18. Киев 2017 Gurock TestRail
  19. 19. Киев 2017 QA Complete
  20. 20. Киев 2017 InformUP TestUP
  21. 21. Киев 2017 UI: организация рабочего пространства Специфика интерфейса/UI •Первичная настройка (admin) •Структура юзерской части интерфейса •Процесс создания проекта •Вкладки
  22. 22. Киев 2017 UI: Доступность на разных устройствах/OS Посмотрите на это Где работает
  23. 23. Киев 2017 Формирование требований Можно ли без привязки к требованиям? • Почему да • Почему нет • Что делать если… Интеграция между разными тулзами • Можно ли обойтись без интеграций и в каких частях ведениям проекта (ALM?) • Синхронизация всех требований – критично?
  24. 24. Киев 2017 Написание тестов: общее для всех утилит Steps/Expected results Возможность ведения всех тестов по проекту/циклу разработки/функциональности Группировка тестов соответственно задачам выше Привязка к требованиям/работа с требованиями Редактирование свойств Версионирование
  25. 25. Киев 2017 Написание тестов: специфика и отличия между утилитами Наследование в деревьях Кросс-ссылки между тестами Общие (шареные) шаги Фильтрация Особенности контроля версий Стиль организации (wizard, plain view, расположение функциональных частей)
  26. 26. Киев 2017 Выборка кейсов по критериям Обязательные критерии • Фича/Компонент • Подфича (с привязкой) • Эдишен продукта (если имеется) • Версия продукта с которой актуально Опциональные критерии Как не переусложнить с количеством и структурой критериев
  27. 27. Киев 2017 Создание тестсюит Тестсюиты с ручной выборкой тестов Тестсюиты с автоматической выборкой и обновлением содержимого Тестсюиты под релиз Тестсюиты под цикл • На базе фич • На базе тасков
  28. 28. Киев 2017 Запуск тестов: best parctices Запуск отдельных тестов Конфигурирование ранов Запуск вручную Долгосрочное планирование запуска по циклам разработки и временным промежуткам (schedule) и другим триггерам (мануал онли) Перезапуск фейловых/непройденных тестов Запуск тех же тестов на новой версии
  29. 29. Киев 2017 Интеграции: ALM/PM/Tasks/Bugs Описание возможностей ALM (в общем) О каких интеграциях нельзя забывать •Баги •Таски •Автотесты •Внешняя документация Привязка тестов к авто-коду и запуск автотестов Отчёты
  30. 30. Киев 2017 Сcылки • https://habrahabr.ru/company/redmadrobot/blo g/248965/ • http://swtester.blogspot.com/2013/02/test- management-is-wrong.html?spref=bl

×