Zephyr for JIRA - Test Management
by Zephyr for JIRA
Všechny vaše testy budete spravovat v JIRA.
JIRA addon Zephyr rozšiřuje funkci JIRA o test management.
2. 2
O vývojářích
Co to je Zephyr?
Tvorba testů
Skupiny testů
Spouštění testů
Metriky testů
Obsah
3. 3
Představení firmy
D software - založeno 2007
Vývojář a školitel testingových řešení, primárně Zephyr
Objem okolo 4200 klientů v 80 zemích (Hyundai,
Google, Honda)
Zephyr for JIRA
Zephyr
Enterprise
Zephyr Blueprints
ZAPI
4. 4
Zephyr - Úvod
Nástroj pro vedení testů, vhodný pro všechny fáze vývoje
.fdf
f
Podporuje verze JIRA Cloud, JIRA Server 5.1 – 6.4 +
Poloviční cena pro školy, zdarma pro neziskové
SOAP a REST API (ZAPI)
18. 18
Pokročilé nastavení – ZBOT, ZIP
ZBOT – Propojení s automatizací (Selenium,
TestNG, …)
ZIP – Vlastní úprava automatizačních povelů
19. 19
Slovníček pojmů
Test
Test nebo „Testcase“. kroky, které jsou potřebné pro otestování funkce.
Test může mít jakýkoli rozsah a různé poznámky, např. linky, historie…
Test je také typ požadavků v JIRA.
Test Summary
Sumář všech vykonaných testů, třízený podle klíčů (komponenta, label, …)
Přístupný v levém panelu JIRA projektu.
Test Cycle (Skupina testů)
Soubor testů k vykonání (např. „Animace, Design…)
Verze může obsahovat více těchto Skupin.
Execution Spuštění testu, spojené s zaznamenáním výsledků.
Ad hoc cycle
Pokud nebyly ve verzi definovány žádné Skupiny testů, poté jakýkoli vykonaný
test v této verzi spadá pod „Ad hoc cycle“ – výchozí skupinu.
Unscheduled Version
Pokud v JIRA neexistují žádné verze, všechny testy budou zařazeny jako
„Unscheduled“.
Execution statuses
Stavy, jak test dopadl. Pass, Fail, Blocked, WIP, Unexecuted jsou výchozí. Dají
se přidat vlastní.
Version
Verze projektu v JIRA. Sem se řadí jednotlivé testy, konkrétně pod parametr Fix
Version/s. Nikoli Affects Version/s.
Component JIRA komponenty, kterými se dají testy označit.
Label JIRA štítky, kterými se dají testy označit.
Workflow
Typ požadavku „Test“ s workflow nepracuje, ačkoli v případě potřeby se dá
nakonfigurovat.
Firma D software, vývojář Zephyru, byla založena v roce 2007. Její exekutiva je převážně indická, ovšem má pobočku i ve Velké Británii a v USA.
Zabývají se vývoji testingových řešení, školení pracovníků a konzultacemi v oblasti QA a vývoje.
Jejich hlavním nástrojem je Zephyr, jak v standalone SW verzi „Zephyr enterprise“, tak ve formě integrace do JIRY. Tento se po tři roky drží jako nejlepší testovací nástroj na Marketplace.
Zephyr se dá integrovat s Confluence skrz add-on Blueprints, kdy v Confluence můžeme zobrazovat metriky i plánovat testy.
ZAPI je pojmenování REST API, kterým lze Zephyr propojovat s automatizačními nástroji, nástroji průběžné integrace a dalšími.
Zephyr je nástroj Test managementu, určený zejména pro QA a pro vývojáře. Vznikl z důvodu potřeby nástroje, ve kterém lze v JIRA provádět testy jednotlivě i po skupinách, podobně jako mít testy po tématu (animace, design…), ale také podle verzí programu.
Add-on má stav Atlassian verified, což je ocenění firmy Atlassian pro add-ony, které využívá značné množství uživatelů, dále které mají dostupnou podporu minimálně 8 hodin denně a dodržují Atlassian standardy kvality (o kterých se dá dočíst více na Marketplace).
Zephyr lze spustit od serverové verze Jiry 5.0 dál a nově umí (od Února 2015) také Cloudové řešení a Data Center řešení.
Integruje se s JIRA i JIRA Data Center, Confluence a Capture
Propojení s vlastními programy lze formou SOAP a Zephyr RESTful Api, zde tzv. ZAPI.
Po instalaci vznikne záložka tests, ze které lze tvořit, plánovat, spouštět testy a skupiny testů. Taktéž je vytvořen nový issue type „Test“.
Test issues spadají pod určitý projekt a chovají se jako jakékoli ostatní požadavky, pouze mají některá typická pole.
Test vytvoříme „Tests Create test“.
Mezi pole si můžeme přidat také pole Fix Versions a Component: Fix versions přidruží k určité verzi a podle ní nebo pak komponenty se dají testy třídit.
Lze tvořit nové testy, ale také importovat z Excelu v podobě CSV. Kdyby vás to zajímalo více, je o tom toto video: https://www.youtube.com/watch?v=y5pCg5lSrBk
FAQ: Když se nám tests nezobrazuje, musíme issue type povolit v projektu
FAQ: Když se nám fix versions nezobrazuje, musíme screen / pole povolit v projektu
Stav a Resolution zůstává vždy stejný; úloha typu „Test“ s klasickým JIRA workflow nepracuje, ačkoli se dá zapnout a upravit v případě potřeby. Místo toho používá jako sledovací nástroje ukazatele změn stavů testů – jak ty testy dopadly (např. pass, fail). Tyto jsou zabudované číselníky Zephyru.
Všimněme si zde části Test details (1) a Test Executions (4), kterými se liší od ostatních požadavků.
Do Test details vpisujeme jednotlivé kroky testu jako Test steps, Test data jako určité poznámky a podrobnosti a Expected result: Jak by správně měl krok dopadnout (2). Na spodku těchto polí se nám zobrazí vpisovatelné kolonky (3), kam vždy můžeme přidat krok nový.
Test Executions (4) nám zobrazí všechny případy, kdy byl tento jeden test vykonán a jak dopadl – představíme si dále.
Hotovému issue můžeme přidělit JIRAcký issue label, prolinkovat s jiným issue, případně k němu přidat soubory a obrázky nebo zapojit do skupiny testů (5)
Testy lze spojovat do skupin testů – Test cycles, které se vykonávají jako jeden celek, např. Animace: otestovat všechny animace postavy.
Skupiny testů lze vytvářet pro každou verzi programu (Iteration) jiné, nebo ve všech verzích mít stejné.
Aby nám test cykly fungovaly, musíme do nich nejprve přidat jednotlivé testy. To můžeme přímo v požadavcích (slide 7).
No a takto vypadá obrazovka, co se nám objeví, když si vybereme z menu „Test cycles“ neboli skupiny testů.
1) Nejvíce na vrchu u jedničky vidíme výběr verze programu, jejíž skupiny testů si chceme prohlédnout.
2) Každá skupina testů je rozvinovací a pod ní vidíme, co obsahuje za jednotlivé testy spolu s jejich výsledky, popisem, komponentou a podobně. Barevné shrnutí všech testů vidíme vpravo.
3) Tlačítkem create new cycle si vytvoříme skupinu novou.
4) Spouštět testy můžeme i jednotlivě – tlačítko „E“ jako execute. O tom, co to znamená a jak se testy spouští, si povíme dál.
Předtím ale stojí za zmínku výsledky testů, kterých mohou dosáhnout. Ve výchozím módu je jich pět základních (viz výše), ale můžeme si přidávat své.
Výchozí stav, nevykonáno
Pass: Test proběhl úspěšně
Fail: Test proběhl neúspěšně
Wip: Test právě probíhá
Blocker: Test byl z nějakého důvodu nevykonán.
Plus lze přidat status další, vlastní.
Testy spouštíme buď tlačítkem Execute v požadavku nebo v něm níže v poli „Test executions“ tlačítkem E. Tímto Zephyru oznámíme, že jsme začali testovat určitou položku.
Vybereme si poté, zda test zkusíme sólo (Execute Ad Hoc), nebo pod nějakou verzí a skupinou testů.
Po spuštění „Execute“ se nám zobrazí obrazovka, kde zapíšeme výsledky testu. Nejprve stav, Defects (třeba pro bugy) - buď nalinkujeme existující problém nebo vytvoříme nový požadavek, kde ho popíšeme, a komentář. Můžeme také přidat přílohu a označit, které kroky dopadly jak.
Defekty jsou prolinkované s každým testem. Dole máme obrázek, jak vypadá v historii testů vykonaný test (IC-45) a defekt, s ním spojený (IC-46).
Výsledky testů lze sledovat v Execution Navigator, který nás na rozdíl od obyčejného Issue navigatoru dostane na obrazovku s historií vykonaných testů. Můžeme v něm filtrovat podle verzí, komponent, labelů, výsledku testů, podobně jako v běžném vyhledávání.
TIP: Pomocí Bulk change požadavků v JIRA (funkce, co mění určitou charakteristiku u vícero issues) si můžeme i takto měnit verze, komponenty a další u testů.
Metriky lze prohlížet různě: skrz obrazovku skupin testů, na které jsme se dívali dříve, kde máme barevný graf u každé skupiny. Nebo jako sumář výsledků testů, který máme zde: kolik bylo vykonáno testů, kolik jich bylo vykonáno podle verze, labelu, komponentu, kdy jich bylo kolik a jak vykonáno v čase…
V Zephyru se dají na nástěnku JIRA umístit miniaplikace grafů s výsledky testů. Na obrázku vidíme grafy s výsledky testů ve verzi programu „Iteration 1“, řazené zleva doprava po množství testů, vykonaných podle komponentě, jak dopadly testy v různých skupinách testů a podle testujícího uživatele.
Pro add-on Zephyr existuje ještě add-on „Zbot“. Toto jsou softwaroví agenti, kteří se zabydlí v automatizačním systému a výsledky přenáší do Zephyru. Když uživatel v Zephyru spustí Test, spustí se i automatizační skript a zephyr Zbotovi přenese informaci o spuštění určitého testu nebo skupiny testů. Ten je vykoná.
Např. Javové Selenium (test webových stránek na javě), TestNG (testování javy) nebo QTP (sw testovací program na Virtual Basic).
ZIP – add-on pro ZBota, který umí přepsat výchozí sekvenci automatizačních nástrojů vlastními pokyny (ZBoti mají své výchozí Zipy, ale můžeme si napsat své. Tyto jsou psané v JAVĚ).
Zip vejde do zbota a umožní nám vykonávat vlastní činnosti v rámci automatizovaného testu, např: tento pokyn se má vykonat pokaždé, jen jednou, exportovat výsledek do databáze…
Slovníček.
Zephyr slouží pro různě složité testování, jednotlivě či hromadně, po tématech i verzích, jehož přehledné, barevně rozlišené metriky vývojáři umožní sledovat, jak se věci opravdu mají. Q/A.