Документ обсуждает управление тестами с использованием системы Testopia и различные виды тестирования, включая модульное и функциональное тестирование. Также рассматриваются коммерческие и бесплатные системы учета тестов, их цена и преимущества. В заключении отмечается, что можно обойтись без специализированных систем управления тестированием, используя альтернативные инструменты, такие как вики или трекеры задач.

1. Управление тестами с Testopia —
недостающее звено?
Стас Фомин, stas@custis.ru
Заказные ИнформСистемы
21 ноября 2009 г.
1 / 81

2. Виды тестирования
Тестирование
2 / 81

3. Виды тестирования
Тестирование
Снизу (модульное,…) Сверху (функциональное)
3 / 81

4. Виды тестирования
Тестирование
Снизу (модульное,…) Сверху (функциональное)
Легко автоматизируется
4 / 81

5. Автотесты: ловушки для багов!
5 / 81

6. Автотесты: ковровая бомбежка!
6 / 81

7. Виды тестирования
Тестирование
Снизу (модульное,…) Сверху (функциональное)
Легко автоматизируется
7 / 81

8. Виды тестирования
Тестирование
Снизу (модульное,…) Сверху (функциональное)
Легко автоматизируется
Не рассматриваем!
8 / 81

9. Виды тестирования
Тестирование
Снизу (модульное,…) Сверху (функциональное)
Легко автоматизируется Автоматизируется плохо
Не рассматриваем!
9 / 81

10. Ручная «зачистка»!
10 / 81

11. Виды тестирования
Тестирование
Снизу (модульное,…) Сверху (функциональное)
Легко автоматизируется Автоматизируется плохо
Не рассматриваем!
11 / 81

12. Виды тестирования
Тестирование
Снизу (модульное,…) Сверху (функциональное)
Легко автоматизируется Автоматизируется плохо
Не рассматриваем! Нужны
Люди Учет тестов и результатов
12 / 81

13. Виды тестирования
Тестирование
Снизу (модульное,…) Сверху (функциональное)
Легко автоматизируется Автоматизируется плохо
Не рассматриваем! Нужны
Люди Учет тестов и результатов
Наша тема!
13 / 81

14. Основные объекты учета
Объекты
14 / 81

15. Основные объекты учета
Объекты
Требования
15 / 81

16. Основные объекты учета
Объекты
Требования Тесты
16 / 81

17. Основные объекты учета
Объекты
Требования Тесты
Покрытие требований?
17 / 81

18. Основные объекты учета
Объекты
Требования Тесты Тестировщики
Покрытие требований?
18 / 81

19. Основные объекты учета
Объекты
Требования Тесты Тестировщики
Покрытие требований? Прогоны
19 / 81

20. Основные объекты учета
Объекты
Требования Тесты Тестировщики
Покрытие требований? Прогоны
История 20 / 81

21. Основные объекты учета
Объекты
Требования Тесты Тестировщики
Покрытие требований? Прогоны
Выполненные требования? История 21 / 81

22. Основные объекты учета
Объекты
Требования Тесты Тестировщики
Покрытие требований? Прогоны
Выполненные требования? История Баги
22 / 81

23. Тестеры
Разработчики
23 / 81

24. Основные объекты учета
Объекты
Требования Тесты Тестировщики
Покрытие требований? Прогоны
Выполненные требования? История Баги
24 / 81

25. Основные объекты учета
Объекты
Требования Тесты Тестировщики
Покрытие требований? Прогоны
Выполненные требования? История Баги
Динамические метрики
25 / 81

26. Основные объекты учета
Объекты
Требования Тесты Тестировщики
Покрытие требований? Прогоны
Выполненные требования? История Баги
Динамические метрики
26 / 81

27. Коммерческие системы учета тестов
27 / 81

28. Коммерческие системы учета тестов
SilkCentral Test Manager
28 / 81

29. Коммерческие системы учета тестов
SilkCentral Test Manager
Quality Center (TestDirector)
29 / 81

30. Коммерческие системы учета тестов
TestComplete
Quality Center (TestDirector)
SilkCentral Test Manager
30 / 81

31. Коммерческие системы учета тестов
QADirector
SilkCentral Test Manager
Quality Center (TestDirector)
TestComplete
31 / 81

32. Коммерческие системы учета тестов
QADirector SilkCentral Test Manager
Quality Center (TestDirector)
Rational TestManager
TestComplete
32 / 81

33. Коммерческие системы учета тестов
QADirector
?? $$$$$ ?? Compuware
Rational TestManager
?? $$$$$ ?? IBM
Quality Center (TestDirector)
≈$2800/license HP (Mercury)
e‐Manager enterprise
Empirix
SilkCentral Test Manager
≈$4500/tester Borland (Segue)
TestComplete
≈$2000/tester AutomatedQA
33 / 81

34. Коммерческие системы учета тестов
TestComplete
QADirector ≈$2000/tester AutomatedQA
?? $$$$$ ?? Compuware
Rational TestManager
?? $$$$$ ?? IBM
Quality Center (TestDirector)
≈$2800/license HP (Mercury)
APTestManager
APTest
SilkCentral Test Manager
≈$4500/tester Borland (Segue)
e‐Manager enterprise
Empirix
34 / 81

35. Коммерческие системы учета тестов
QADirector
?? $$$$$ ?? Compuware
TestComplete
≈$2000/tester AutomatedQA
APTestManager
APTest
Rational TestManager
?? $$$$$ ?? IBM
Quality Center (TestDirector)
≈$2800/license HP (Mercury)
T‐Plan Professional
T‐Plan
SilkCentral Test Manager
≈$4500/tester Borland (Segue)
e‐Manager enterprise
Empirix
35 / 81

36. Коммерческие системы учета тестов
TestComplete
T‐Plan Professional
≈$2000/tester AutomatedQA
T‐Plan
APTestManager e‐Manager enterprise
APTest Empirix
QaTraq Pro
QaTraq
Quality Center (TestDirector)
≈$2800/license HP (Mercury)
SilkCentral Test Manager
≈$4500/tester Borland (Segue)
Rational TestManager
?? $$$$$ ?? IBM
QADirector
?? $$$$$ ??
36 / 81
Compuware

37. Коммерческие системы учета тестов
TestComplete
T‐Plan Professional
≈$2000/tester AutomatedQA
T‐Plan
APTestManager Rational TestManager
APTest ?? $$$$$ ?? IBM
QADirector Quality Center (TestDirector)
?? $$$$$ ?? Compuware ≈$2800/license HP (Mercury)
TestMasters
TMS
SilkCentral Test Manager
≈$4500/tester Borland (Segue)
e‐Manager enterprise
Empirix
QaTraq Pro
QaTraq
37 / 81

38. Коммерческие системы учета тестов
TestComplete
T‐Plan Professional
≈$2000/tester AutomatedQA
T‐Plan
APTestManager Rational TestManager
APTest ?? $$$$$ ?? IBM
QADirector Quality Center (TestDirector)
?? $$$$$ ?? Compuware ≈$2800/license HP (Mercury)
Ken TestMan
Ken TestMan
SilkCentral Test Manager
≈$4500/tester Borland (Segue)
e‐Manager enterprise
Empirix
TestMasters
TMS
QaTraq Pro
38 / 81
QaTraq

39. Коммерческие системы учета тестов
QaTraq Pro
QaTraq
TestComplete T‐Plan Professional
≈$2000/tester AutomatedQA
T‐Plan
QADirector Rational TestManager
?? $$$$$ ?? Compuware ?? $$$$$ ?? IBM
Ken TestMan
Ken TestMan Inflectra
SpiraTest
Quality Center (TestDirector) TestMasters
≈$2800/license HP (Mercury) TMS
SilkCentral Test Manager
≈$4500/tester Borland (Segue)
e‐Manager enterprise
Empirix
39 / 81

40. Коммерческие системы учета тестов
Inflectra QaTraq Pro
SpiraTest QaTraq
TestComplete
T‐Plan Professional
≈$2000/tester AutomatedQA
T‐Plan
QADirector Rational TestManager
?? $$$$$ ?? Compuware ?? $$$$$ ?? IBM
TestMasters
TMS Tricentis
TOSCA Testsuite
Quality Center (TestDirector) Ken TestMan
≈$2800/license HP (Mercury) Ken TestMan
SilkCentral Test Manager
≈$4500/tester Borland (Segue)
e‐Manager enterprise
Empirix
APTestManager
APTest
40 / 81

41. Коммерческие системы учета тестов
Inflectra Tricentis QaTraq Pro
SpiraTest TOSCA Testsuite QaTraq
TestComplete
T‐Plan Professional
≈$2000/tester AutomatedQA
T‐Plan
QADirector
?? $$$$$ ?? Compuware TestRun
TestRun
TestMasters
TMS SilkCentral Test Manager
≈$4500/tester Borland (Segue)
Quality Center (TestDirector) Ken TestMan
≈$2800/license HP (Mercury) Ken TestMan
Rational TestManager
?? $$$$$ ?? IBM
e‐Manager enterprise
Empirix
APTestManager
APTest
41 / 81

42. Коммерческие системы учета тестов
QaTraq Pro
QaTraq
TestComplete
T‐Plan Professional
≈$2000/tester AutomatedQA T‐Plan
APTestManager Rational TestManager
APTest ?? $$$$$ ?? IBM
QADirector Quality Center (TestDirector)
?? $$$$$ ?? Compuware ≈$2800/license HP (Mercury)
SimpleTestManagement
SimpleTestManagement
Tricentis SilkCentral Test Manager
TOSCA Testsuite ≈$4500/tester Borland (Segue)
Inflectra e‐Manager enterprise
SpiraTest Empirix
TestRun Ken TestMan
TestRun Ken TestMan
TestMasters
42 / 81
TMS

43. Дороговато?
А как же дешевый аутсорс?
«Тяжелые и неудобные»
43 / 81

44. Посмотрим бесплатные и
open-source-системы!
44 / 81

45. Free testmanagement
45 / 81

46. Free testmanagement
XStudio (XQual)
46 / 81

47. Free testmanagement
XStudio (XQual)
QAManager
47 / 81

48. Free testmanagement
XStudio (XQual)
QaTraq Free
QAManager
48 / 81

49. Free testmanagement
QAManager
XStudio (XQual)
Salome TMF
QaTraq Free
49 / 81

50. Free testmanagement
QAManager Salome TMF
XStudio (XQual)
Test Case Web
QaTraq Free
50 / 81

51. Free testmanagement
Salome TMF QaTraq Free
QAManager XStudio (XQual)
Testitools
Test Case Web
51 / 81

52. Free testmanagement
QaTraq Free Test Case Web
QAManager XStudio (XQual)
TestLink Salome TMF
Testitools
52 / 81

53. Free testmanagement
QaTraq Free Test Case Web
Salome TMF XStudio (XQual)
TestMaster QAManager
TestLink Testitools
53 / 81

54. Free testmanagement
QAManager
Testitools
QaTraq Free
TestLink
Test Case Web
XStudio (XQual) Salome TMF
TestMaster
Rth
54 / 81

55. Free testmanagement
TestLink Salome TMF
TestMaster QaTraq Free
QAManager XStudio (XQual)
QMtest (CodeSourcery)
Rth Test Case Web
Testitools
55 / 81

56. Free testmanagement
QAManager
TestMaster
QaTraq Free
Test Case Web
Salome TMF
QMtest (CodeSourcery)
Testopia (Mozilla)
TestLink XStudio (XQual)
Rth Testitools
56 / 81

57. 57 / 81

58. 58 / 81

59. 59 / 81

60. 60 / 81

61. Оргфокус
Запросы Ошибки
Проблемы Задачи
Требования
Программный код Технологии
Постановки задач
Артефакты
Документация
Инструкции
Дистрибутивы Знания
61 / 81

62. ISSUE-Tracking
VerSION
CONTROL ВИКИ
SYSTEMS WIKI
62 / 81

63. ISSUE-Tracking
Bugzilla, Jira, Mantis, …
CVS, Subversion Mediawiki, TWiki,
DokuWiki, Confluence,
VerSION
CONTROL
MoinMoin,
XWiki
ВИКИ
SYSTEMS WIKI
GIT, Mercurial,
Bazaar… 63 / 81

64. ISSUE-Tracking
ПАтЧИ
VerSION
CONTROL ВИКИ
SYSTEMS WIKI
64 / 81

65. ISSUE-Tracking
Задачи, проблемы
и т.п.
в вики-системе
VerSION
CONTROL ВИКИ
SYSTEMS WIKI
65 / 81

66. ISSUE-Tracking
Постановка задач,
требования и вообще
база знаний в трекере
VerSION
CONTROL ВИКИ
SYSTEMS WIKI
66 / 81

67. ISSUE-Tracking
VerSION
CONTROL ВИКИ
SYSTEMS WIKI
Код на вики-страницах
67 / 81

68. ISSUE-Tracking
Сильная команда вообще может обойтись
VCS для всего
VerSION
CONTROL ВИКИ
SYSTEMS WIKI
68 / 81

69. ISSUE-Tracking
Гибриды
VerSION
CONTROL ВИКИ
SYSTEMS WIKI
69 / 81

70. Но пока это
Оптимально
70 / 81

71. Testmanagement куда?
Оргфокус
Запросы Ошибки
Проблемы Задачи
Требования
Программный код Технологии
Постановки задач
Артефакты
Документация
Инструкции
Дистрибутивы Знания
71 / 81

72. Оргфокус
СТ Ы А Н И Я
Запросы Ошибки
ТЕ ОВ
Проблемы Задачи
РЕ Б Ы ы
Требования
Т Н т
ОвГОли, оек
РТехнологиипрнформация
Пльзо ате аи
Программный код
о п мет
и п р о ч ая
Постановки задач
Артефакты
Документация
Инструкции
Дистрибутивы Знания
72 / 81

73. ПРАВИЛЬНЫЙ TESTMANAGEMENT
... 2
20
У СЫ
А Т
- СТ
Bugs, Пользователи, Т
Проекты, Права, … Т ЕС
,
О НЫ Требования,
П РОГ Тест(-кейс)ы,
Планы
73 / 81

74. ПРАВИЛЬНЫЙ TESTMANAGEMENT
BUGZILLA
Bugs, Пользователи,
st
Te ,
op
ia
Проекты, Права, … , ТУСЫ2 0 6
НЫ
ГО -СТА НЫ...
2
О
ПР СТ ПЛА
,
Т Е С ТЫ
ТЕ Требования,
Тест(-кейс)ы,
Планы
MEDIAWIKI
74 / 81

75. Пользователи,
их права,
продукты
(проекты),
компоненты
продуктов,
вехи
— все
в Bugzilla / 81
75

76. Cобственно
план
тестирования
76 / 81

77. Собственно
ТЕСТ!
(тест-кейс,
сценарий
тестирования)
связан с
категорией и
компонентами
77 / 81

78. Окружение (среда)
78 / 81

79. Сборка
79 / 81

80. Запуски
плана
и теста
80 / 81

81. Заключение
Можно жить и без TestManagement-а вообще;
Можно жить и без TestManagement-системы;
Попробуйте TestManagement вырастить из «Вики» или
«Tracker-а»;
Если у вас Bugzilla — попробуйте Testopia.
Вопросы
⇒ Стас Фомин
http://belonesox.moikrug.ru
http://team.custis.ru
81 / 81