Reduceer je False Negatives door Peter Wanders van KLM op QX Day 2019.

1. Onbevredigd door
Testautomatisering?
Reduceer je False Negatives!
Peter Wanders
Sogeti QX Day 2019

2. 2
De invloed van False Negatives op het testproces

3. 3
Delivery Pipeline
Continuous Delivery & Continuous Testing
Code
changes
Ontwikkel
omgeving
Productie
omgeving
Delivery Pipeline

4. 4
IT Fundamenten

5. 5
IT Fundamenten
Request /
Reply
Code
Regels
uit Request en/of
externe bronnen
Gedrag = Regels + Data

6. 6
IT Fundamenten

7. 7
Testen - (het vergelijken van gedrag)
Gelijk? Respons1

8. 8
Testen - (het vergelijken van gedrag)
Respons 1Gelijk?
Gelijk?
Gelijk?
Respons 2
Respons n
Test
Scenario

9. 9
Testen - (het vergelijken van gedrag)
Respons 1Gelijk?
Gelijk?
Gelijk?
Respons 2
Respons n

10. 10
Introductie State Control
van Data naar State
Data:
• Algemene term
State:
• Gelokaliseerde data
• Data in het Software
component
Controle over data in je softwarecomponent =
State Control

11. State Control
• Reproduceerbare Resultaten
11

12. 12
IT Fundamenten – Reproduceerbare Resultaten

13. State Control
• Reproduceerbare Resultaten
• Concreet voorbeeld van State
13

14. 14
IT Fundamenten – Concreet voorbeeld van State

15. 15
IT Fundamenten – Concreet voorbeeld van State
False Negative
DefectDefect

16. State Control
• Reproduceerbare Resultaten
• Concreet voorbeeld van State
• False Negatives in het Testproces
16

17. 17
IT Fundamenten – False Negatives in het TestprocesFalse Negatives
in het
Testproces

18. 18
IT Fundamenten – False Negatives in het TestprocesFalse Negatives
in het
Testproces

19. 19
IT Fundamenten – False Negatives in het TestprocesFalse Negatives
in het
Testproces

20. 20
IT Fundamenten – False Negatives in het TestprocesFalse Negatives
in het
Testproces

21. 21
IT Fundamenten – False Negatives in het TestprocesFalse Negatives
in het
Testproces

22. 22
IT Fundamenten – False Negatives in het TestprocesFalse Negatives
in het
Testproces

23. 23
IT Fundamenten – False Negatives in het TestprocesFalse Negatives
in het
Testproces

24. 24
IT Fundamenten – False Negatives in het TestprocesFalse Negatives
in het
Testproces

25. 25
IT Fundamenten – False Negatives in het TestprocesFalse Negatives
in het
Testproces

26. 26
IT Fundamenten – False Negatives in het TestprocesFalse Negatives
in het
Testproces

27. State Control
• Reproduceerbare Resultaten
• Concreet voorbeeld van State
• Stateful en Stateless componenten
• False Negatives in het Testproces
• De invloed van State Control op Test Tooling
27

28. 28
De invloed van State Control op Test Tooling

29. 29
De invloed van State Control op Test Tooling

30. 30
De invloed van State Control op Test Tooling
UI Testen

31. State Control
• Reproduceerbare Resultaten
• Concreet voorbeeld van State
• False Negatives in het Testproces
• De invloed van State Control op Test Tooling
• Bronnen van State en hoe kan je ze controleren
31

32. 32
Hoe kan je de controle over de State maximaliseren?

33. Hoe kan je de controle over de State maximaliseren?
Controle over alle
Data Stores
noodzakelijk!

34. 34
Hoe kan je de controle over de State maximaliseren?
Mock
(Industrieoplossing)
• Req1
• Req2
• …
• Req n
• Rep1
• Rep2
• …
• Rep n

35. 35
Hoeveelheid onderhoud op Mocks bepaalt de toepasbaarheid
Onderhoud
op de Mock
0 Complexiteit van de E2E keten
• # verschillende requesten
• complexiteit van request & replies (tijdsafhankelijk?)
• # veranderingen in Request/Reply format per release
• hoeveelheid code in de mocks

36. 36
Hoe kan je de controle over de State maximaliseren?
Verlies aan
State
Control Hoger %
False
Negatives

37. 37
De invloed van False Negatives op het testproces

38. 38
En nu??
Ja, … en nu?

39. 39
Concrete acties!
• Systemen zonder E2E keten
• Systemen met eenvoudige E2E keten
• Systemen met complexe E2E keten

40. 40
Concrete acties - Systemen zonder E2E keten
Investeer hierin!

41. 41
Concrete acties – Systemen met E2E keten
Randvoorwaarde oplossing:
Maximale State Control met
minimale maintenance

42. 42
Concrete acties
• Meet het % False Negatives
Voorkom dat je geld in kansloze
testautomatisering stopt!
< 10% - gewoon beginnen
10% tot 15% - voorzichtig beginnen,
> 15% - wel beginnen???
• Maximaliseer State Control
• Meet weer het % False Negatives
• Automatiseren?
Wat te doen :

43. 43
Samenvatting
Meet het % False
Negatives in je
Test Proces!
Automatiseer je
‘State Reset’

44. Vragen?
Peter.Wanders@klm.com