31-3-2009 Dutch presentation for the Service Management department at client dS+V Gemeente Rotterdam. About the importance of software testing.

1. Gemeente Kader & Belang van
Rotterdam
dS+V
testen
13-07-09

2. Waarom testen?
Goed testen kost tijd, geld, resources …
Dus testen is duur …
Maar “niet testen” …
2 13-07-09

3. Dit is pas duur!
Oeps! Software-foutje.
4 June 1996 Ariane V
3 13-07-09

4. Bedrijfsschade
Computer Error Empties
Millions from Bank Accounts
Sep 15, 2003
Computer Error Sends
Wrong Man to Court
Daklozen halen June 2, 2003
100.000 euro uit
pinautomaat
December 2004
“Uw rekening wordt binnen 2 weken opgeheven” i.p.v.
“Prettige kerstdagen en een gelukkig nieuwjaar”
4 13-07-09

5. Bedrijfsrisico’s
http://catless.ncl.ac.uk/Risks
5 13-07-09

6. …
6 13-07-09

7. En software zit overal
7 13-07-09

8. Case: Test de pen
 Bedrijf heeft 10.000 pennen besteld
 Proefexemplaren zijn net geleverd
 Jij moet de pen testen!
8 13-07-09

9. Wat is “Testen”?
Testen is een proces dat inzicht geeft in en
adviseert over de kwaliteit en de daaraan
gerelateerde risico’s
Dit proces is gericht op:
 het vinden van fouten
 het aantonen van de mate van kwaliteit
 het schenken van vertrouwen in het product
 het geven van inzicht in risico’s
9 13-07-09

10. Wat wordt getest?
 Software (applicatie)
maar ook:
 Hardware
 Systeemsoftware
 Organisatie
 Procedures
 Documentatie
 Implementatie
Testobject = het te testen (deel van het)
informatiesysteem
10 13-07-09

11. Kwaliteitskenmerken
Een kwaliteitsattribuut beschrijft een
kenmerk van een informatiesysteem
 beheerbaarheid  herbruikbaarheid
 beveiliging  (geschiktheid)
 bruikbaarheid  infrastructuur
 connectiviteit  inpasbaarheid
 continuïteit  onderhoudbaarheid
 controleerbaarheid  performance
 flexibiliteit  portabiliteit
 functionaliteit  testbaarheid
 gebruikersvriendelijkheid  zuinigheid
11 13-07-09

12. Testvormen
Een testvorm is een groep testactiviteiten met het
oogmerk het informatiesysteem op een aantal
samenhangende (deelaspecten van)
kwaliteitsattributen te controleren
Voorbeelden:
 Functionaliteitstest
 Ketentest
 Load- en stresstest
 Usability test
 Hackerstest
 Regressietest
Een regressietest is erop gericht om te controleren dat alle
ongewijzigde onderdelen van een systeem nog correct
functioneren na het doorvoeren van een wijziging*
* opgeloste bevindingen zijn óók wijzigingen!
12 13-07-09

13. Testen en Kwaliteit
Kwaliteitszorg
Kwaliteitsbeleid
Kwaliteitssysteem
Testen

14. Testen en kwaliteitszorg
Voorkomen is beter dan genezen . . .
. . . maar niet alles is te voorkomen!
preventie
herstel
detectie
14

15. Maatregelen
Preventie
 Methoden, technieken, hulpmiddelen, standaarden, beheer,
metrics, ...
 Inrichten organisatie en selectie personeel
 Opleiden, coachen, betrekken, ...
Detectie
Toetsen (op tussenproducten)
Testen (op eindproduct)
Herstel
 Herstellen FO, TO, programmatuur, AO-procedures
 Herinrichten organisatie, beheer, procedures
15

16. Toetsen en het ontwikkelproces
Toetsen = het beoordelen van de tussenproducten
in het systeemontwikkelproces
wens, wet, beleid,
kans, probleem
gebruik &
beheer
requirements
toetsen aan
functioneel
ontwerp Technieken:
• reviews
toetsen aan technisch
ontwerp • inspecties
toetsen aan
• walkthroughs
realisatie
16

17. Testen en het ontwikkelproces
wens, wet, beleid,
kans , probleem
gebruik &
inp beheer
ut
voo
r
requirements input v
oo r
acceptatie-
Testbasis tests
functioneel input voor
Test-
ontwerp input
voor soorten
systeem-
technisch input voor
tests
ontwerp inp
ut
voo
r
ontwikkel-
realisatie
tests
Testbasis = de informatie die het gewenste systeemgedrag
definieert
17

18. Testsoorten
Een testsoort is een groep van testactiviteiten die
gezamenlijk worden uitgevoerd en aangestuurd
 Veel gehanteerde testsoorten:
 Unittest (UT) Ontwikkeltests
 Unitintegratietest (UIT)
 Systeemtest (ST)
 Systeemintegratietest (SIT) Systeem- /
 Functionele acceptatietest (FAT) acceptatie-
 Gebruikersacceptatietest (GAT) tests
 Productieacceptatietest (PAT)
18 13-07-09

19. Testen is meer dan uitvoeren
Meten
 meten (40%)
Voorbereiden
 voorbereiden (40%)
Plannen
 plannen (20%)
19

20. Wat kost ‘t eigenlijk?
In het algemeen wordt rond de 50% van het
systeemontwikkelingsbudget besteed aan testen
 10-15%
ontwikkeltests
 25%
systeemtest/functionele acceptatietest
 10-15%
gebruikers- en productie-acceptatietest
Meer bij safety/mission-critical, onderhoud, etc.
Minder bij ‘risicoloze’ systemen
20

21. Wat levert testen op?
Minder schade door vinden (en herstellen)
van fouten vóór productie
Known errors
voorkomen ook (wat) schade st
Lager risico ,n o te
or isk
Vertrouwen N
Projectvoortgangsinformatie
Herbruikbare testware
21

22. Wie test er?
Ontwikkelaars
Gebruikers
Beheerders
én
(Professionele) testers
Maar …
Ontwikkelaar:
- wil aantonen dat de applicatie werkt
Tester:
- wil aantonen dat de applicatie NIET werkt
22

23. Hoe testen?
 Business Case
 Resultaat
 Wat wil de opdrachtgever bereiken?
Bijv. requirements
 Risico
 Zowel project- als productrisico
 Tijd
 Einddatum of vaste doorlooptijd
 Kosten
 Geld of uren
23

24. Eindresultaat van strategiebepaling
Kenmerk/ RK Toetsen KT AT Impl
Deelobject
Functionaliteit
BRS (incl. Kern en VPL) A ●●● ●● ●●● I
BAGTotaal B ● ● ● I
BRS - Geometrie A ●●● I ●●● I
totaal B ●● ● ●● ●
Gebruiksvriendelijkheid B S I ●● ●
Performance
BRS (incl. Kern en VPL) C I ● I
BAGTotaal B I ●● I
Beveiliging C ● S
Inpasbaarheid B ● ●●● ●● ●
Continuïteit B ● ●● ●● ●
Risicoanalyse Teststrategi
24
e

25. Gestructureerd testproces
Processen:
 Mastertestplan, managen van het totale testproces
 Acceptatie- en systeemtesten
 Ontwikkeltesten
25

26. Mastertestplan,
managen van het totale testproces
 Fase Planning én fase Beheer
Mastertestplan
Acceptatietest
Master-
testplan
bewaken,
Systeemtest
rapporteren en uitvoeren
bijsturen
Testplan per
Ontwikkeltest
testsoort
Toetsen
Extra aandacht voor:
business driven testmanagement
definiëren organisatie
26

27. Acceptatie- en systeemtesten
TMap faseringsmodel
Voorbereiding Specificatie Uitvoering Afronding
Beheer
B
P V S U A
I
Planning Inrichting en beheer infrastructuur
27

28. TMap faseringsmodel met activiteiten
Voorbereiding Specificatie
verzamelen testbasis opstellen specificaties
opstellen checklists definiëren uitgangssituaties
beoordelen testbasis specificeren intake testobject
opstellen rapport detailintake
Beheer Uitvoering
beheren, bewaken, rapporteren, bijsturen intake testobject (pretest)
klaarzetten uitgangssituatie
B uitvoeren (her)tests
controleren en beoordelen
P V S U A Afronding
evalueren testproces
conserveren testware
I
Infrastructuur
Planning
vaststellen opdracht specificeren infrastructuur
14 activiteiten
… realiseren infrastructuur
… specificeren intake infrastructuur
toewijzen testtechnieken intake infrastructuur
… beheren infrastructuur
… conserveren infrastructuur
fixeren testplan 28

29. Ontwikkeltesten
 Testsoorten
 UT, UIT
 Kenmerken
 OT versus ST/AT
 Context van ontwikkeltesten
 waterval, agile, iteratief
 Kwaliteitsmaatregelen
29

30. Gereedschapskist
 Ondersteunende processen
 Componenten
Bevat
 Technieken
 Hoe wordt getest?
 Infrastructuur
 Waar en waarmee wordt getest?
 Organisatie
 Door wie wordt getest?
30