Test Automation: panacea or placebo (CZ)

GAJAH ANNUAL REPORT 2015 | 1
AUTOMATIZACE TESTOVÁNÍ
VŠELÉK NEBO PLACEBO?
PETR NEUGEBAUER, MARCEL VESELKA
itSMF 2017
NÁVRAT DO
BUDOUCNOSTI
19. leden 2017
#proTest

itSMF CZECH REPUBLIC 2017 | 2
[pro]TEST! Heroes
MARCEL
VESELKA
ZKUŠENOSTI
(2000) VÝVOJÁŘ
(2004) TESTER
(2007) TEST MANAGER
(2013) VÝKONNÝ ŘEDITEL
ZÁLIBY
NOVÉ NÁPADY
STOPAR.SK
[pro]TEST!
řada ONLINE PROJEKTŮ
tesena | SMART TESTING
PETR
NEUGEBAUER
ZKUŠENOSTI
(1999) VÝVOJÁŘ
(2002) TESTER
(2006) TEST MANAGER
(2015) KONZULTANT
ZÁLIBY
VZDĚLÁVÁNÍ
CZECH AND SLOVAK
TESTING BOARD
[pro]TEST! MORAVA
YES4Q | PASSION FOR
QUALITY

AGENDA
02
(DE)MOTIVACE PRO
MANAGERY, AJŤÁKY A
ZÁKAZNÍKA
01
ÚVOD
DO AUTOMATIZACE TESTOVÁNÍ
03
JAK USPĚT PŘI
AUTOMATIZACI
AUTOMATIZACE
TESTOVÁNÍ

TESTOVÁNÍ
VÝZVY
1
DOBA DODÁVKY
SE ZKRACUJE
5
ZÁKAZNÍK
OČEKÁVÁ VYSOKOU KVALITU
3
INTERAKCE MEZI SYSTÉMY
ROSTE
6
VARIABILITA ZAŘÍZENÍ
A PLATFOREM ROSTE
2
SLOŽITOST SYSTÉMŮ
SE ZVYŠUJE
4
ZMĚNOVÁ ŘÍZENÍ
JSOU BĚŽNÁ

PERSPEKTIVY
KVALITY
PRODUKT
UŽIVATELSKÉ
POTŘEBY
PROCESY
POCIT
HODNOTA
ZÁKAZNÍK
VÝVOJÁŘ
TESTER
TECHNIK
MANAGER

CÍLE SPOLEČNOSTI
STRATEGIE
ZVÝŠENÍ PRODUKTIVITY O 10%
SNÍŽENÍ NÁKLADŮ O 5%
DODÁNÍ 2 NOVÝCH PRODUKTŮ
NA TRH KAŽDÉ 3 ROKY
ZVÝŠENÍ PODÍLU
NA TRHU O 3%
SNÍŽENÍ DEFEKTŮ
Z PRODUKCE
O 10%
SPOUŠTĚNÍ TESTŮ
EXTERNÍ FIRMOU

VYSOKÉ PROCENTO AUTOMATIZAČNÍCH
PROCESŮ SELŽE NEBO NESPLNÍ
OČEKÁVÁNÍ OHLEDNĚ ROI.
ÚROVEŇ
AUTOMATIZACE
TESTŮ
AUTOMATIZACE
AKTUÁLNÍ STAV
A TRENDY
Top priorita 2016:
ZLEPŠIT AUTOMATIZACE TESTŮ
(pro 58% společností)
2014 2015 2016
28% 45% 29%
Quality Report 2015-2016 / 2016-2017

VÝHODY
VĚTŠÍ MNOŽSTVÍ TESTŮ
ČASTĚJŠÍ BĚH TESTŮ
PŘESNOST A BEZCHYBNOST
RYCHLOST
AUTOMATIZACE
TESTOVÁNÍ
NEVÝHODY
CENA (POČÁTEČNÍ INVESTICE)
ZNALOSTI A DOVEDNOSTI
TECHNOLOGIE (NÁSTROJE)
ÚDRŽBA (AKTUÁLNOST)

AUTOMATIZACE
TESTOVÁNÍ
VÝHODY vs NEVÝHODY
MOŽNOST ČASTĚJŠÍHO BĚHU TESTŮ
MENŠÍ NÁCHYLNOST NA CHYBY
(LIDSKÉ)
MOŽNOST SLOŽITĚJŠÍCH A TĚŽCE
SPUSTITELNÝCH MANUÁLNÍCH TESTŮ
RYCHLOST TESTŮ A VČASNÁ ZPĚTNÁ
VAZBA
EFEKTIVNOST A EFEKTIVITA VYUŽITÍ
LIDSKÝCH ZDROJŮ
KONZISTENTNOST A STABILITA
POČÁTEČNÍ NÁKLADY
VYŽADUJE TECHNOLOGIE
VYŽADUJE DALŠÍ SCHOPNOSTI A
DOVEDNOSTI TESTERŮ
NÁKLADY NA ÚDRŽBU
VÝVOJ AUTOMATICKÝCH TESTŮ
NAÚKOR TESTOVÁNÍ
NÁCHYLNOST NA ZMĚNY
LIMITACE AUTOMATIZACE TESTŮ
VŠECHNY TESTY NELZE AUTOMATIZOVAT
AUTOMATIZOVANÉ TESTY NETESTUJÍ, POUZE
KONTROLUJÍ OČEKÁVANÉ VÝSLEDKY
NENAHRAZUJE MANUÁLNÍ TESTY (ET)

MÝTUS #1
Automatizace řeší VŠECHNO
MÝTUS #3
Automatizace snižuje nároky
na MNOŽSTVÍ TESTERŮ
MÝTUS #5
Automatizace je o simulaci
webového rozhraní
AUTOMATIZACE
MÝTY A POVĚRY
AUTOMATIZACE
NENACHÁZÍ CHYBY,
CHYBY NACHÁZÍ TESTY.
AUTOMATIZACE SE
NETÝKÁ VÝHRADNĚ
FUNKCIONALITY
MÝTUS #2
Automatizovat může KAŽDÝ
MÝTUS #4
Automatizací vždy ušetříme,
aneb automatizace je LEVNÁ
MÝTUS #6
Automatizace je record-and-play
aktivita

NÁVRATNOST INVESTICE DO
ROZHODUJE SKUTEČNĚ POUZE ROI?
ROI

MOTIVACE

MANAGER AJŤÁK ZÁKAZNÍK
AUTOMATIZACE
(DE)MOTIVACE

MOTIVACE
CENA
RYCHLOST
KVALITA
TRANSPARENTNOST
DEMOTIVACE
TLAK ZHORA
NESPRÁVNÉ OČEKÁVÁNÍ
PROČ TO DĚLAT
KDY TO DĚLAT
(DE)MOTIVACE
MANAGER
SPRÁVNÁ OČEKÁVÁNÍMOTIVACE

MOTIVACE
NOVÉ “HRAČKY”
RYCHLÁ ZPĚTNÁ VAZBA
UŽ NEJSEM “KLIKAČ”
NIŽŠÍ PRACNOST
DEMOTIVACE
ÚDRŽBA
TESTOVÁNÍ TESTŮ
TESTOVACÍ DATA
KVALITA PRODUKTU
(DE)MOTIVACE
AJŤÁK
NOVÝ VÝVOJ VS
ÚDRŽBAKARIÉRA

MOTIVACE
PROFITABILITA / ÚSPĚCH PRODUKTU
ČAS DODÁNÍ NA TRH (Time to market)
RYCHLEJŠÍ REAKCE NA KONKURENCI
KVALITA
DEMOTIVACE
POČÁTEČNÍ INVESTICE
ŠPATNÉ POROZUMĚNÍ (KDO - schopnosti týmu)
POROZUMĚNÍ TECHNICKÝM DETAILŮM
(DE)MOTIVACE
ZÁKAZNÍK
HODNOTA
MOŽNOST ZPĚTNÉ
VAZBY

• METRIKY A KPI
• POKRYTÍ
• PRIORITY
• ZMĚNY
• ZDROJE
• ROLE
SPOLUPRÁCE

Zdroj: The Unexpected Truth
About UI Test Automation Pilot
Projects, telerik
Na průzkum odpovědelo 239 testerů a 604 vývojářů
JAK USPĚT PŘI AUTOMATIZACI

Zapojení DEV týmu
do automatizace
Realistická
očekávání
managementu
Efektivní
komunikace mezi
managementem a
lídrem automatizace
JAK USPĚT

Zapojení DEV týmu
do automatizace
Zvolené testovací
nástroje jsou
neefektivní
anebo se težko s nimi
pracuje
Tým nemá
zkušenosti
v automatizaci testů
ČEMU SE
VYVAROVAT

AUTOMATIZACE
JAK USPĚT • Automatizace je vývoj SW
• Testy ladíme s vývojem
• Open source vs komerční nástroje? (svoboda)
Technologie
(nástroje, prostředí,
data, . . .)
• Myslete na automatizaci už při startu =
automatizovatelnost jako součást business zádání
• Smoke > Regresní testy
• Testovací data
• Nefunkční požadavky (výkon, kompatibilita, stabilita)
Testovaná
aplikace
• Skvělý tester z bankovní pobočky není vývojář,
rozumí business problematice, ale ne programování
• Ideální automatizér je vývojář, tester, architekt a
business specialista
Tým
Kdo?

MANUÁLNÍ
PYRAMIDA
AUTOMATIZACE
TESTŮ
10% GUI
30% ROZHRANÍ / API
60% KOMPONENTY /
MODULY

JASNÁ KOMUNIKACE
ŠKOLENÍ
AKTUALIZACE TESTŮ
BUDGET
JAK USPĚT
STRATEGIE
PŘÍSTUPY
NÁSTROJE
DEFINICE
VIZE
CÍLŮ
PRIORIT
POCHOPENÍ
SPOLEČNOSTI
ZÁKAZNÍKA
OČEKÁVÁNÍ
VYHODNOCENÍ
PILOT
ZLEPŠOVÁNÍ

AUTOMATIZACE: ANO ČI NE?
JAK AUTOMATIZOVAT?
SHRNUTÍ

MARCEL
VESELKA
tesena | SMART TESTING
PETR
NEUGEBAUER
YES4Q | PASSION FOR
QUALITY
marcel.veselka@tesena.com
https://www.linked.com/in/petrneugebauerhttps://www.linked.com/in/marcelveselka
petr@yes4Q.com

Test Automation: panacea or placebo (CZ)

Recommended

Recommended

More Related Content

Featured

Featured (20)

Test Automation: panacea or placebo (CZ)

Editor's Notes