Narzedzia zarządzania testowaniem.Wyniki.
Upcoming SlideShare
Loading in...5
×
 

Narzedzia zarządzania testowaniem.Wyniki.

on

  • 1,880 views

Podsumowanie analizy narzędzia do zarządzania testowaniem za rozsądną cenę. Spośród dziesiąteki kandydatów i finałowej czwórki: SpiratTest, TestLink, SynapseRT, TestRail ostatecznie ...

Podsumowanie analizy narzędzia do zarządzania testowaniem za rozsądną cenę. Spośród dziesiąteki kandydatów i finałowej czwórki: SpiratTest, TestLink, SynapseRT, TestRail ostatecznie wygrywa...

Statistics

Views

Total Views
1,880
Views on SlideShare
1,131
Embed Views
749

Actions

Likes
1
Downloads
18
Comments
0

5 Embeds 749

http://testerzy.pl 424
http://www.testerzy.pl 318
http://nowi.testerzy.pl 3
http://www.nowi.testerzy.pl 2
http://local.testlacza.testerzy.pl 2

Accessibility

Categories

Upload Details

Uploaded via as Adobe PDF

Usage Rights

© All Rights Reserved

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Processing…
Post Comment
Edit your comment

Narzedzia zarządzania testowaniem.Wyniki. Narzedzia zarządzania testowaniem.Wyniki. Presentation Transcript

  • Projekt: Narzędzia zarządzaniatestowaniem – analiza rynkuCzęść 3. Wybór najlepszego narzędzia testerzy.pl wersja 1.0
  • Projekt – Części• Część 1 dostępna pod adresami: • http://www.testerzy.pl/artykuly/narzedzie-do-zarzadzanie-testowaniem-czesc-1-analiza • http://www.slideshare.net/testerzy/narzdzia-zarzadzania-testowaniem-analiza-rynku• Część 2.1 (TestLink) dostępna pod adresami: • http://www.testerzy.pl/artykuly/narzedzie-do-zarzadzanie-testowaniem-czesc-2-1-testlink • http://www.slideshare.net/testerzy/analiza-testlink-narzdzie-do-zarzadzania-testowaniem• Część 2.2 (TestRail) dostępna pod adresami: • http://www.testerzy.pl/artykuly/narzedzie-do-zarzadzania-testowaniem-czesc-2-2-testrail • http://www.slideshare.net/testerzy/narzedzia-zarzadzaniatestowaniem-badanietestrail• Część 2.3 (SynapseRT) dostępna pod adresami: • http://www.testerzy.pl/narzedzia/narzedzie-do-zarzadzania-testowaniem-czesc-2-3-synapsert • http://www.slideshare.net/testerzy/narzedzia-zarzdzania-testowaniem-badanie-synapsert• Część 2.4 (SpiraTest) dostępna pod adresami: • http://www.testerzy.pl/materialy/index.php?file=narzedzia-zarzadzania-testowaniem_badanie_SpiraTest.pdf • http://www.slideshare.net/testerzy/narzedzia-zarzdzaniatestowaniem-badaniespiratest © testerzy.pl 2
  • Projekt - Zespół• Lider: Radosław Smilgin• Zespół testerów w testerzy.pl"Analiza została wykonana dla ING BankuŚląskiego" © testerzy.pl 3 View slide
  • Projekt - Cel• Cel: – Analiza 4 wyselekcjonowanych narzędzi – Porównanie względem predefiniowanych wymagań © testerzy.pl 4 View slide
  • Porównanie Spełnienie wymagań Główne zalety Główne ryzyka Konstrukcja zorientowanaSynapse RT TAK Tani na produkt, proste Testlink Częściowo Darmowy i powszechny Open source Środowisko instalacji - SpiraTest TAK Kompletne rozwiązanie Windows Brak rozbudowanych TestRail TAK Kompletne narzędzie raportów © testerzy.pl 5
  • Narzędzia poddane analizie• Ocena narzędzi do zarządzania przypadkami testowymi SpiraTest v3.2.0 TestRail v2.5.1 TestLink v1.9.3 SynapseRT v5.0 © testerzy.pl 6
  • Ocena• Ocena podzielona jest na dwie grupy wymagań: • Pierwsza grupa • przekrojowa • obejmuje aspekt instalacji, • konfiguracja • charakterystyki oprogramowania (użyteczność) • funkcje pomocnicze • Oceny wymagań: 0 - brak spełnienia do 5 - pełne spełnienie • Druga grupa wymagań dotyczy przede wszystkim funkcjonalności • Ocena spełnia / brak spełnia i wartość w zależności od priorytetu © testerzy.pl 7
  • Ocena dla pierwszej grupy wymagań cz.1 Integracja z jirą Integracja z innymi narzędziami Administracja Back end (wspołpraca ze srodowiskami) 2 4 4 1SpiraTest v3.2.0 Synchronizacja dwukierunkowa Integracja z wieloma bugtrackerami oraz Wygodne zarządzanie Ograniczony tylko do pomiędzy wbudowanym programami do uruchamiania testów projektami i technologii Microsoft bugtrackerem a jirą automatycznych w tym QTP użytkownikami 2 1 3 5TestRail v2.5.1 Funkcja push/add Integracja z bugtrackerami: Jira, Mantis, rozbudowana Linux +MySql, PHP Bugzilla, Fogbugz, OnTime, Trac, administracja, łącznie z BT.NET,Gemini, Lighthouse, fixx, Youtrack, kastomizacją wielu Vault Pro,Redmine elementów jak przypadki testowe, etc 1 2 2 5TestLink v1.9.3 Wywołanie formatki dodania Współpracuje z popularnymi bugtrackerami: Część opcji w plikach Narzędzie open source zgłoszenia w jirze i ręczne Mantis, Trac, Bugzilla php działa na dowolnych uzupełnienie danych środowisku obsługujące php 5 0 4 1SynapseRT v5.0 Plugin do jiry v5.0+ Brak integracji z innym narzędziami poza Administracja Plugin do jiry, brak pluginami z jiry v5.0+ zintegrowana z jirą możliwości ingerencji w (użytkownicy/projekty/ konfigurację role), definiowanie i edycja workflows © testerzy.pl 8
  • Ocena dla pierwszej grupy wymagań cz.2 Filtry Tagi/keywords Raporty Wyszukiwanie Wykresy 4 2 4 2 3SpiraTest v3.2.0 Możliwość filtrowania, Możliwość zdefiniowania Dużo zbiór raportów, Dostępna Mała ilość możliwości definiowania pola użytkownika możliwość konfiguracji wyszukiwarka z okna zdefiniowanych filtrów użytkownika spełniające role taga wbudowanych raportów, głównego aplikacji wykresów, ale możliwość zapis w doc,xls,xml określania zakresów danych 3 2 0 1 2TestRail v2.5.1 Brak możliwości Możliwość zdefiniowania Brak raportów Tylko proste Są proste wykresy definiowania własnych pola użytkownika wyszukiwanie rozbudowanych filtrów spełniające role taga 2 4 3 2 1TestLink v1.9.3 Brak możliwości Tagowanie zestawu Duża ilość zdefiniowanych Dostępna Mała ilość wykresów definiowania własnych testów i przypadków raportów, brak możliwości wyszukiwarka z okna filtrów (te wbudowane testowych definiowania własnych głównego aplikacji są dostępne i proste) raportów (ewentualne nowe raporty definiowane w plikach konfiguracyjnych ) 5 4 5 5 5SynapseRT v5.0 Podobnie jak w jirze, Możliwość zdefiniowania Raport wbudowane w Zintegrowane z jirą, Wykresy wbudowane w możliwość definiowania pola użytkownika mechanizm JIRA. Możliwy możliwość dowolnej mechanizm JIRA. Możliwy dowolnych filtrów spełniające role taga export do csv,doc,xml,xls konfiguracji export do csv © testerzy.pl 9
  • Ocena dla pierwszej grupy wymagań cz.3 Plany testów Scenariusze testowe Przypadki testowe 2 5 4SpiraTest v3.2.0 Brak planów testów, jedynie test sets Scenariusz testowy jako zestaw przypadków Przypadek testowy poprawnie testowych zdefiniowany 2 3 5TestRail v2.5.1 Zarządzanie przez Milestone i Release Zarządzanie kolejnością uruchomieniem Przypadek testowy poprawnie przypadków testowych poprzez Test Suites zdefiniowany, kroki, warunki wstępne. Możliwość dodawać graficzne załączniki do pojedynczych kroków. 3 1 5TestLink v1.9.3 Zarządzanie przez Plan Testów, załącznik Możliwość określenia kolejności wykonania- Przypadek testowy z krokami i i opis tekstowy funkcja definiowania kolejności wykonania spodziewanymi rezultatami. Dodawane przypadków testowych nie działa. graficzne załączniki do pojedynczych kroków. 1 1 1SynapseRT v5.0 Przechowuje wyniki przypadków Kroki do wykonania i oczekiwane rezultaty Test Case jako issue, defaultowo brak pola testowych. wymagają dodanie pól jako custom fields, które dla kroku i oczekiwanego rezultatu - nie są zdefiniowane domyślnie. konieczność dodania przez Custom Fields dla projektu © testerzy.pl 10
  • Ocena dla pierwszej grupy wymagań cz.4 Podział na fazy, cykle Role użytkowników Przypisywanie zadań 5 3 3SpiraTest v3.2.0 Podziała na releasey - organizacja Role przypisane do użytkowników w projekcie Przez zmianę właściciela releasów w drzewo, dla każdego projektu 4 3 4TestRail v2.5.1 Podziała na projekty, milestone i test Role przypisane do użytkowników w projekcie, Dodatkowa zakładka TODO runy proste i funkcjonalne. 2 4 3TestLink v1.9.3 Podział na buildy, plany i milestone. Role przypisane do użytkowników w projekcie Przydzielone przez lidera projektu, i/lub planie testów przypadków i test Suity do wykonania 4 5 3SynapseRT v5.0 Podział na release/wersje dla każdego Zintegrowane z jirą Zintegrowane z jirą projektu osobno © testerzy.pl 11
  • Ocena dla pierwszej grupy wymagań cz.5 Użytkowanie/łatwość Eksport danych Dokumentacja Możliwość uruchamiania Możliwość upgradeu testów automatycznych 2 0 3 4 4SpiraTest Archaiczny interfejs Eksport danych(przypadki Dostępna Z pluginem Wykonywane wv3.2.0 testowe) możliwy tylko dokumentacja online, RemoteLauncher ramach planu wewnątrz aplikacji. wsparcie w cenie możliwość integracji z rocznego, w produktu wieloma narzędziami do dokupionym pakiecie testów automatycznych supportowym, upgrade przez plik msi. 5 4 3 0 5TestRail Prosty w obsłudze intuicyjny Do xml, csv, excel Online, wbudowane Brak Wykonywane wv2.5.1 interfejs, łatwy do przyswojenia podpowiedzi ramach planu rocznego, w dokupionym pakiecie supportowym 1 2 2 2 3TestLink Niewygodny interfejs, źle(słabo) Dostępne exporty dla Słabej jakości , dużo Istnieje możliwość Darmowe narzędzie nav1.9.3 tłumaczony interfejs dla innych większości danych do xmla, tekstowego opisu uruchamiania skryptów licencji open source, języków raporty eksportowane do wewnętrznego automatycznych XML- brak możliwości xml oraz doc RPC automatycznego upgradeu 3 3 3 0 5SynapseRT Duże "kafelki" przedstawiające Eksport danych z każdego Dokumentacja Tutorial Brak Tak, na czas zakupionejv5.0 wymagania oraz przypadki testowe, widoku do doc, xls oraz na stronie producenta, licencji brak tłumaczenia, wymaga innego xml, dla pojedynczego (bez wersji podręcznej) podejścia w porównaniu z okna(TC, Require,Issues) pozostałymi narzędziami zmienia się tylko widok. © testerzy.pl 12
  • Podsumowanie dla pierwszej grupy wymagań Podsumowanie pierwszej grupy wymagań SpiraTest v3.2.0 35 TestRail v2.5.1 38 TestLink v1.9.3 28 SynapseRT v5.0 29 © testerzy.pl 13
  • Ocena drugiej grupy wymagań cz.1Obszar wymagań Priorytet Waga SpiraTest Test Rail TestLink SynapseRT wymagań [1,2,3] -lista rozwijalnaDefiniowanie scenariuszy, przypadków testowychUtworzenie scenariusza testu 1-max 3 1 0 0 0Utworzenie przypadku testowego import z excela / export na 1-max 3 0 0 0 0potrzeby testów automatycznychWersjonowanie – scenariusza i dokumentu z przypadkami 2-medium 2 0 0 1 0testowymiPrzegląd na 2-go rękę (scenariusza, które integralną częścią są 3-min 1 1 0 0 1przypadki testowe)Czasochłonność/pracochłonność (na poziomie scenariusza określić 1-max 3 1 1 0 1np. czas trwania testu np. w przypadku konieczności przetwarzańdziennych /miesięcznych)Priorytetyzacja przypadków (krytyczności wykonania, rodzaj 1-max 3 1 1 1 1realizowanego testu)Słowa kluczowe / grupowanie 2-medium 2 1 1 1 1Kopiowanie przypadków testowych 1-max 3 1 1 1 1Archiwizowanie (biblioteka przypadków, scenariuszy) / kasowanie) 2-medium 2 1 1 1 1 © testerzy.pl 14
  • Ocena drugiej grupy wymagań cz.2Obszar wymagań Priorytet Waga SpiraTest Test Rail TestLink SynapseRT wymagań [1,2,3] -lista rozwijalnaRealizacja testówTworzenie planu testów (koordynator /tester) 1-max 3 1 1 1 1Kopiowanie planu testów z możliwością jego modyfikacji 1-max 3 1 1 1 1Wyszukanie scenariusza testowego/ przypadku testowego i 1-max 3 1 1 1 1dodanie do planuPrzydzielenie planu testów do testerów (całość planu lub jego 1-max 3 1 1 1 1fragment)//przypisanie zadań do testerówPrzydzielanie przypadku testowego do testera 1-max 3 1 1 1 1Mail – powiadomienie o przydzieleniu do testów przypadku 3-min 1 1 1 1 1Możliwość wprowadzenia wyniku testu dla przypadku 1-max 3 1 1 1 1Możliwość dodawania załączników/screenów 1-max 3 1 1 1 1Możliwość zawieszenia testów (brak środowiska, innej modyfikacji 1-max 3 0 0 0 0powiązanej, błędu blokującego)Możliwość integracji z JIRA, 2-medium 2 1 1 1 1 © testerzy.pl 15
  • Ocena drugiej grupy wymagań cz.3Obszar wymagań Priorytet Waga SpiraTest Test Rail TestLink SynapseRT wymagań [1,2,3] -lista rozwijalnaZarządzanieWidok statusu testów per tester 1-max 3 1 1 1 1Widok statusu testów per określona grupa (wydział) 1-max 3 0 0 0 1Widok per aplikacja 2-medium 2 0 0 0 1Widok per projekt 2-medium 2 1 1 1 1Możliwość customizowania raportów 2-medium 2 1 0 1 1Widok statusu testów per zdefiniowany okres (na koniec 2-medium 2 1 0 0 1pierwszego tygodnia, drugiego tygodnia…)Raport aktywności testerów per zdefiniowany okres 3-min 1 0 0 0 1Raporty – wykonanie danego planu testu 2-medium 2 1 1 1 1Raport pokrycia funkcji aplikacji przez plan testu - dla potrzeb planowania 2-medium 2 0 0 0 1regresji © testerzy.pl 16
  • Podsumowanie Podsumowanie pierwszej Podsumowanie Podsumowanie oceny grupy wymagań drugiej grupy narzędzia wymagańSpiraTest v3.2.0 35 52 87TestRail v2.5.1 38 44 82TestLink v1.9.3 28 45 73SynapseRT v5.0 29 57 86 © testerzy.pl 17
  • Podsumowanie• Wynik punktowy oceny spełnienia pierwszejgrupy wymagań wskazuje na TestRail jakonajlepsze narzędzie• Wynik punktowy oceny spełnienia drugiejgrupy wymagań wskazuje Synapse jako nanajlepsze narzędzie• Sumaryczna ocena wymagań wskazuje nanarzędzie SpiraTest © testerzy.pl 18
  • Więcej informacji na stronie http://testerzy.pl Masz pytania? Napisz na kontakt@testerzy.pl © testerzy.pl 19