testopia-missing-link

1,247 views

Published on

Published in: Technology
  • Be the first to comment

  • Be the first to like this

testopia-missing-link

  1. 1. Управление тестами с Testopia — недостающее звено? Стас Фомин, stas@custis.ru Заказные ИнформСистемы 21 ноября 2009 г. 1 / 81
  2. 2. Виды тестирования Тестирование 2 / 81
  3. 3. Виды тестирования Тестирование Снизу (модульное,…) Сверху (функциональное) 3 / 81
  4. 4. Виды тестирования Тестирование Снизу (модульное,…) Сверху (функциональное) Легко автоматизируется 4 / 81
  5. 5. Автотесты: ловушки для багов! 5 / 81
  6. 6. Автотесты: ковровая бомбежка! 6 / 81
  7. 7. Виды тестирования Тестирование Снизу (модульное,…) Сверху (функциональное) Легко автоматизируется 7 / 81
  8. 8. Виды тестирования Тестирование Снизу (модульное,…) Сверху (функциональное) Легко автоматизируется Не рассматриваем! 8 / 81
  9. 9. Виды тестирования Тестирование Снизу (модульное,…) Сверху (функциональное) Легко автоматизируется Автоматизируется плохо Не рассматриваем! 9 / 81
  10. 10. Ручная «зачистка»! 10 / 81
  11. 11. Виды тестирования Тестирование Снизу (модульное,…) Сверху (функциональное) Легко автоматизируется Автоматизируется плохо Не рассматриваем! 11 / 81
  12. 12. Виды тестирования Тестирование Снизу (модульное,…) Сверху (функциональное) Легко автоматизируется Автоматизируется плохо Не рассматриваем! Нужны Люди Учет тестов и результатов 12 / 81
  13. 13. Виды тестирования Тестирование Снизу (модульное,…) Сверху (функциональное) Легко автоматизируется Автоматизируется плохо Не рассматриваем! Нужны Люди Учет тестов и результатов Наша тема! 13 / 81
  14. 14. Основные объекты учета Объекты 14 / 81
  15. 15. Основные объекты учета Объекты Требования 15 / 81
  16. 16. Основные объекты учета Объекты Требования Тесты 16 / 81
  17. 17. Основные объекты учета Объекты Требования Тесты Покрытие требований? 17 / 81
  18. 18. Основные объекты учета Объекты Требования Тесты Тестировщики Покрытие требований? 18 / 81
  19. 19. Основные объекты учета Объекты Требования Тесты Тестировщики Покрытие требований? Прогоны 19 / 81
  20. 20. Основные объекты учета Объекты Требования Тесты Тестировщики Покрытие требований? Прогоны История 20 / 81
  21. 21. Основные объекты учета Объекты Требования Тесты Тестировщики Покрытие требований? Прогоны Выполненные требования? История 21 / 81
  22. 22. Основные объекты учета Объекты Требования Тесты Тестировщики Покрытие требований? Прогоны Выполненные требования? История Баги 22 / 81
  23. 23. Тестеры Разработчики 23 / 81
  24. 24. Основные объекты учета Объекты Требования Тесты Тестировщики Покрытие требований? Прогоны Выполненные требования? История Баги 24 / 81
  25. 25. Основные объекты учета Объекты Требования Тесты Тестировщики Покрытие требований? Прогоны Выполненные требования? История Баги Динамические метрики 25 / 81
  26. 26. Основные объекты учета Объекты Требования Тесты Тестировщики Покрытие требований? Прогоны Выполненные требования? История Баги Динамические метрики 26 / 81
  27. 27. Коммерческие системы учета тестов 27 / 81
  28. 28. Коммерческие системы учета тестов SilkCentral Test Manager 28 / 81
  29. 29. Коммерческие системы учета тестов SilkCentral Test Manager Quality Center (TestDirector) 29 / 81
  30. 30. Коммерческие системы учета тестов TestComplete Quality Center (TestDirector) SilkCentral Test Manager 30 / 81
  31. 31. Коммерческие системы учета тестов QADirector SilkCentral Test Manager Quality Center (TestDirector) TestComplete 31 / 81
  32. 32. Коммерческие системы учета тестов QADirector SilkCentral Test Manager Quality Center (TestDirector) Rational TestManager TestComplete 32 / 81
  33. 33. Коммерческие системы учета тестов QADirector ?? $$$$$ ?? Compuware Rational TestManager ?? $$$$$ ?? IBM Quality Center (TestDirector) ≈$2800/license HP (Mercury) e‐Manager enterprise Empirix SilkCentral Test Manager ≈$4500/tester Borland (Segue) TestComplete ≈$2000/tester AutomatedQA 33 / 81
  34. 34. Коммерческие системы учета тестов TestComplete QADirector ≈$2000/tester AutomatedQA ?? $$$$$ ?? Compuware Rational TestManager ?? $$$$$ ?? IBM Quality Center (TestDirector) ≈$2800/license HP (Mercury) APTestManager APTest SilkCentral Test Manager ≈$4500/tester Borland (Segue) e‐Manager enterprise Empirix 34 / 81
  35. 35. Коммерческие системы учета тестов QADirector ?? $$$$$ ?? Compuware TestComplete ≈$2000/tester AutomatedQA APTestManager APTest Rational TestManager ?? $$$$$ ?? IBM Quality Center (TestDirector) ≈$2800/license HP (Mercury) T‐Plan Professional T‐Plan SilkCentral Test Manager ≈$4500/tester Borland (Segue) e‐Manager enterprise Empirix 35 / 81
  36. 36. Коммерческие системы учета тестов TestComplete T‐Plan Professional ≈$2000/tester AutomatedQA T‐Plan APTestManager e‐Manager enterprise APTest Empirix QaTraq Pro QaTraq Quality Center (TestDirector) ≈$2800/license HP (Mercury) SilkCentral Test Manager ≈$4500/tester Borland (Segue) Rational TestManager ?? $$$$$ ?? IBM QADirector ?? $$$$$ ?? 36 / 81 Compuware
  37. 37. Коммерческие системы учета тестов TestComplete T‐Plan Professional ≈$2000/tester AutomatedQA T‐Plan APTestManager Rational TestManager APTest ?? $$$$$ ?? IBM QADirector Quality Center (TestDirector) ?? $$$$$ ?? Compuware ≈$2800/license HP (Mercury) TestMasters TMS SilkCentral Test Manager ≈$4500/tester Borland (Segue) e‐Manager enterprise Empirix QaTraq Pro QaTraq 37 / 81
  38. 38. Коммерческие системы учета тестов TestComplete T‐Plan Professional ≈$2000/tester AutomatedQA T‐Plan APTestManager Rational TestManager APTest ?? $$$$$ ?? IBM QADirector Quality Center (TestDirector) ?? $$$$$ ?? Compuware ≈$2800/license HP (Mercury) Ken TestMan Ken TestMan SilkCentral Test Manager ≈$4500/tester Borland (Segue) e‐Manager enterprise Empirix TestMasters TMS QaTraq Pro 38 / 81 QaTraq
  39. 39. Коммерческие системы учета тестов QaTraq Pro QaTraq TestComplete T‐Plan Professional ≈$2000/tester AutomatedQA T‐Plan QADirector Rational TestManager ?? $$$$$ ?? Compuware ?? $$$$$ ?? IBM Ken TestMan Ken TestMan Inflectra SpiraTest Quality Center (TestDirector) TestMasters ≈$2800/license HP (Mercury) TMS SilkCentral Test Manager ≈$4500/tester Borland (Segue) e‐Manager enterprise Empirix 39 / 81
  40. 40. Коммерческие системы учета тестов Inflectra QaTraq Pro SpiraTest QaTraq TestComplete T‐Plan Professional ≈$2000/tester AutomatedQA T‐Plan QADirector Rational TestManager ?? $$$$$ ?? Compuware ?? $$$$$ ?? IBM TestMasters TMS Tricentis TOSCA Testsuite Quality Center (TestDirector) Ken TestMan ≈$2800/license HP (Mercury) Ken TestMan SilkCentral Test Manager ≈$4500/tester Borland (Segue) e‐Manager enterprise Empirix APTestManager APTest 40 / 81
  41. 41. Коммерческие системы учета тестов Inflectra Tricentis QaTraq Pro SpiraTest TOSCA Testsuite QaTraq TestComplete T‐Plan Professional ≈$2000/tester AutomatedQA T‐Plan QADirector ?? $$$$$ ?? Compuware TestRun TestRun TestMasters TMS SilkCentral Test Manager ≈$4500/tester Borland (Segue) Quality Center (TestDirector) Ken TestMan ≈$2800/license HP (Mercury) Ken TestMan Rational TestManager ?? $$$$$ ?? IBM e‐Manager enterprise Empirix APTestManager APTest 41 / 81
  42. 42. Коммерческие системы учета тестов QaTraq Pro QaTraq TestComplete T‐Plan Professional ≈$2000/tester AutomatedQA T‐Plan APTestManager Rational TestManager APTest ?? $$$$$ ?? IBM QADirector Quality Center (TestDirector) ?? $$$$$ ?? Compuware ≈$2800/license HP (Mercury) SimpleTestManagement SimpleTestManagement Tricentis SilkCentral Test Manager TOSCA Testsuite ≈$4500/tester Borland (Segue) Inflectra e‐Manager enterprise SpiraTest Empirix TestRun Ken TestMan TestRun Ken TestMan TestMasters 42 / 81 TMS
  43. 43. Дороговато? А как же дешевый аутсорс? «Тяжелые и неудобные» 43 / 81
  44. 44. Посмотрим бесплатные и open-source-системы! 44 / 81
  45. 45. Free testmanagement 45 / 81
  46. 46. Free testmanagement XStudio (XQual) 46 / 81
  47. 47. Free testmanagement XStudio (XQual) QAManager 47 / 81
  48. 48. Free testmanagement XStudio (XQual) QaTraq Free QAManager 48 / 81
  49. 49. Free testmanagement QAManager XStudio (XQual) Salome TMF QaTraq Free 49 / 81
  50. 50. Free testmanagement QAManager Salome TMF XStudio (XQual) Test Case Web QaTraq Free 50 / 81
  51. 51. Free testmanagement Salome TMF QaTraq Free QAManager XStudio (XQual) Testitools Test Case Web 51 / 81
  52. 52. Free testmanagement QaTraq Free Test Case Web QAManager XStudio (XQual) TestLink Salome TMF Testitools 52 / 81
  53. 53. Free testmanagement QaTraq Free Test Case Web Salome TMF XStudio (XQual) TestMaster QAManager TestLink Testitools 53 / 81
  54. 54. Free testmanagement QAManager Testitools QaTraq Free TestLink Test Case Web XStudio (XQual) Salome TMF TestMaster Rth 54 / 81
  55. 55. Free testmanagement TestLink Salome TMF TestMaster QaTraq Free QAManager XStudio (XQual) QMtest (CodeSourcery) Rth Test Case Web Testitools 55 / 81
  56. 56. Free testmanagement QAManager TestMaster QaTraq Free Test Case Web Salome TMF QMtest (CodeSourcery) Testopia (Mozilla) TestLink XStudio (XQual) Rth Testitools 56 / 81
  57. 57. 57 / 81
  58. 58. 58 / 81
  59. 59. 59 / 81
  60. 60. 60 / 81
  61. 61. Оргфокус Запросы Ошибки Проблемы Задачи Требования Программный код Технологии Постановки задач Артефакты Документация Инструкции Дистрибутивы Знания 61 / 81
  62. 62. ISSUE-Tracking VerSION CONTROL ВИКИ SYSTEMS WIKI 62 / 81
  63. 63. ISSUE-Tracking Bugzilla, Jira, Mantis, … CVS, Subversion Mediawiki, TWiki, DokuWiki, Confluence, VerSION CONTROL MoinMoin, XWiki ВИКИ SYSTEMS WIKI GIT, Mercurial, Bazaar… 63 / 81
  64. 64. ISSUE-Tracking ПАтЧИ VerSION CONTROL ВИКИ SYSTEMS WIKI 64 / 81
  65. 65. ISSUE-Tracking Задачи, проблемы  и т.п. в вики-системе VerSION CONTROL ВИКИ SYSTEMS WIKI 65 / 81
  66. 66. ISSUE-Tracking Постановка задач,  требования и вообще база знаний в трекере VerSION CONTROL ВИКИ SYSTEMS WIKI 66 / 81
  67. 67. ISSUE-Tracking VerSION CONTROL ВИКИ SYSTEMS WIKI Код на вики-страницах 67 / 81
  68. 68. ISSUE-Tracking Сильная команда вообще может обойтись  VCS для всего VerSION CONTROL ВИКИ SYSTEMS WIKI 68 / 81
  69. 69. ISSUE-Tracking Гибриды VerSION CONTROL ВИКИ SYSTEMS WIKI 69 / 81
  70. 70. Но пока это  Оптимально 70 / 81
  71. 71. Testmanagement куда? Оргфокус Запросы Ошибки Проблемы Задачи Требования Программный код Технологии Постановки задач Артефакты Документация Инструкции Дистрибутивы Знания 71 / 81
  72. 72. Оргфокус СТ Ы А Н И Я Запросы Ошибки ТЕ ОВ Проблемы Задачи РЕ Б Ы ы  Требования Т Н т ОвГОли,  оек РТехнологиипрнформация Пльзо ате аи Программный код о п  мет и  п р о ч ая Постановки задач Артефакты Документация Инструкции Дистрибутивы Знания 72 / 81
  73. 73. ПРАВИЛЬНЫЙ TESTMANAGEMENT ... 2 20 У СЫ А Т - СТ Bugs, Пользователи, Т Проекты, Права, … Т ЕС ,  О НЫ Требования, П РОГ Тест(-кейс)ы, Планы 73 / 81
  74. 74. ПРАВИЛЬНЫЙ TESTMANAGEMENT BUGZILLA Bugs, Пользователи, st Te , op ia Проекты, Права, … ,  ТУСЫ2 0 6 НЫ ГО -СТА НЫ... 2 О ПР СТ  ПЛА , Т Е С ТЫ ТЕ Требования, Тест(-кейс)ы, Планы MEDIAWIKI 74 / 81
  75. 75. Пользователи, их права, продукты (проекты), компоненты продуктов, вехи — все в Bugzilla / 81 75
  76. 76. Cобственно план тестирования 76 / 81
  77. 77. Собственно ТЕСТ! (тест-кейс, сценарий тестирования) связан с категорией и компонентами 77 / 81
  78. 78. Окружение (среда) 78 / 81
  79. 79. Сборка 79 / 81
  80. 80. Запуски плана и теста 80 / 81
  81. 81. Заключение Можно жить и без TestManagement-а вообще; Можно жить и без TestManagement-системы; Попробуйте TestManagement вырастить из «Вики» или «Tracker-а»; Если у вас Bugzilla — попробуйте Testopia. Вопросы ⇒ Стас Фомин http://belonesox.moikrug.ru http://team.custis.ru 81 / 81

×