Vad kan man testa automatiskt? Vilka förväntningar kan man ha på automatiserade tester? Vilken grad av automatisering är lagom? Vilken nivå ska man automatisera på? Vad ska man börja med? Vilken insats ger mest resultat?

1. Hur får du ut mest effekt av dina
automatiserade tester?

2. Ekvilibrium
Kvalite
Kostnad
Behov Insats
Ekvilibrium

3. Ekvilibrium
Ekvilibrium betyder "jämvikt" eller "balans"

4. Vilken grad av automatiserade tester
Låg kvalite = Dyrt
Hög kvalite = Dyrt

5. Varför automatisera testerna?
• Testar snabbare (spara tid)
• Testar mer (bättre kvalitet)
• Testar oftare(bättre kvalitet)
• Testar med mindre resurser (spara
pengar)

6. Automatiserade Regressionstester
• Kvalitetskontroll (quality gate)
• Trygghet för utveckling!
• Tryggar en ”grundkvalité”
• Trygghet för vidareutveckling, buggfixar,
m.m.
• Trygghet för ”förvaltning”

7. Hur ska man automatisera?
Automationsnivå Kodtäckning
70%
40%
5% 70%
40%
5% Timmar
Minuter
SekunderEnhetstest
API
GUI
Affärprocesstäckning Exekveringstid

8. Enhetstest - JUnit
@Test
public void testConcatenate() {
MyUnit myUnit = new MyUnit();
String result = myUnit.concatenate("one", "two");
assertEquals("onetwo", result);
}

9. API-test - Restassured
given().
params("Country", "Sweden", "City", "Stockholm").
when().
post("/temperature").
then().
body(hasXPath("/temperature/City[text()='20']"));

10. GUItest - Selenium
driver = new FirefoxDriver();
wait = new WebDriverWait(driver, 30);
driver.get("http://www.google.com/");
@Test
public void firstPageContainsProlore() {
driver.findElement(By.name("q")).sendKeys("Proloren");
driver.findElement(By.name("btnG")).click();
wait.until(new ExpectedCondition<Boolean>() {
public Boolean apply(WebDriver webDriver) {
return webDriver.findElement(By.id("resultStats")) != null;
}
});
assertTrue(driver.findElement(By.tagName("body")).getText().contains("prolore.se"));
}

11. Användargränssnitt (förr)

12. Användargränssnitt (idag)

13. Orealistiska förväntningar
“Vi behöver ingen manuell testing nu när vi har
skapat massa automatiserade tester”
“Vi ska automatisera allt”

14. Vad ska man automatisera?
De som ger mest tillbaka i relation till
nedlagd tid.

15. Vad ska man automatisera?
Värdera GUI driven testautomatisering med
avseende på:
Förändringsbenägenhet (-)
Förmodat antal körningar (+)
Antal indatavarianter (+)
Återutnyttjandegrad (+)
Riskeliminering (+)
Hur lång tid det tar att köra manuellt (+-)

16. Vad ska man automatisera?
Värdera API driven testautomatisering med
avseende på:
Trivial funktion (-)
Utvecklas just nu (+)
Antal indatavarianter (+)
Förmodat antal körningar (+)

17. Vad ska man inte automatisera?
GUI API
Tester som kräver intelligens och känsla X X
Applikationer som ännu inte är stabila (för tidigt i livscykeln) X
Applikationer som verktyget har svårt att stödja X
Testfall som inte har gått bra manuellt X
Projekt som inte kan leverera den information och stöd som
behövs till testautomatiseraren
X

18. Orakel – Hur vet vi vad som är rätt?

19. Orakel
• Krav, Specifikationer, Andra produkter
• Heuristiskt-orakel, ger ett ungefärligt eller
exakt resultat.
• Statistiskt-orakel, bedömer resultatet
utifrån statistiska beräkningar.
• Konsistens-orakel, jämför resultatet för
flera identiska körningar.

20. Heuristiskt-orakel

21. Tracer Bullet

22. API-test - Tidigt
given().
params("Country", "Sweden", "City", "Stockholm").
when().
post("/temperature").
then().
body(hasXPath("/temperature/City[text()='20']"));

23. API-test - Senare
given().
params("Country", "Sweden", "City", "Stockholm").
when().
post("/temperature").
then().
body(hasXPath("/temperature/City[text()=YahooWeatherTemp]"));

24. Delat ansvar
Implementation
Unit
System
Integration
Acceptans
Utveckling
Test

25. Framgångsfaktorer
• Implementeras parallellt med utveckling
• Teamet är med hela tiden
• Definieras i förväg
• Körs hela tiden
• Är en ”leverabel”

26. Defektdetektering
Testmetod Låga
resultat
Medel
resultat
Höga
resultat
Formell kodreview 30% 60% 70%
Statisk och dynamisk analys 20% 40% 60%
Enhetstestning 10% 25% 50%
API testning 20% 35% 55%
Scenario tester (Komplett system) 25% 45% 60%
Scenario tester (“Live data”) 35% 50% 65%
Sammanlagd effekt
Källa: Code Complete, McConnell
99%99%93%

27. Frågor

28. Viktor Laszlo
viktor.laszlo@prolore.se
Tack!