Testen in de transitie naar continuous delivery. A presentation of Xebia Seminar Killing the Test Bottleneck

1. Software Development Done Right
XTA @PGGM
TESTEN IN DE TRANSITIE NAAR
CONTINUOUS DELIVERY
1

2. Introductie
Erik Zeedijk
Agile Test Consultant XTA
Juni 2015 PGGM
Agile Test Coach
Test Automatisering
2

3. Uitgangssituatie
3
Unit
FT
AT
Unit
FT
Unit
FT
Sprint 1 Sprint 2 Sprint 3 Bugfix
FT
Unit
Regressie Regressie
RT
DevelopmentTeam
Business
Dev & Business
Release
AT

4. Doelstelling
4
Unit Unit Unit
FT, AT, RT
Sprint 1 Sprint 2 Sprint 3
FT, AT, RTFT, AT, RT
Unit
FT, AT, RT
Sprint …
DevelopmentTeam
Business
Dev & Business
Release

5. Waar zit de pijn?
5
• Regressietesten ligt buiten de verantwoordelijkheid van de ontwikkelteams
• Testen vinden hoofdzakelijk plaats op de keten (via de UI)
• Moeizame afstemming tussen business en IT
• Integratie laat in de keten
• Minimale testautomatisering
Testen
Buiten het team
False sense of
security
Frustratie achteraf

6. Continuous Testing
6
Binnen Continuous Delivery bestaat er geen aparte
”Regressie Test” fase
Iedere deployment voeren we automatisch
een regressietest uit
We zijn dus eigenlijk continu aan het testen
E2E
Proces
Integratietest
Componenttest
Unittest
Exploratory Test

7. Agile Test Aanpak
Leveren van:
Snelle feedback
Hoge wendbaarheid
Verbeterde samenwerking
Continu monitoren
van kwaliteit
Creëren van:
Transparantie
Vertrouwen

8. Focusgebieden
Business betrekken bij IT
- Specification by Example
- Sneller accepteren (Accepteren binnen de sprint)
Vertrouwen business winnen
- Inzicht geven in regressie
- Risicogebaseerde uitvoer van testen
- Snel oplossen problemen
Snelle en flexibele test sets
- Testen volgens het mentale model van de testpiramide
- Automatisering waar mogelijk
- Optimalisatie testomgevingen
8

9. Testen?
Testen is Ontdekken en Leren
- Moet worden uitgevoerd door een mens
- Geeft nieuwe informatie en inzichten
- Geeft nieuwe vragen
Checken is bevestigen van de situatie
- Moet worden geautomatiseerd
- Verwacht geen verandering van uitkomst over meerdere testen
heen
- Geeft inzicht in de staat van de software
9

10. Business betrekken IT
Specification by Example
SBE heeft als doel het gezamenlijk opstellen van duidelijke
requirements in de vorm van specifieke scenario's met
voorbeelden. Door een gezamenlijke ‘taal’ te hanteren wordt
het eenvoudiger voor de scrum-teams en de business om
samen te werken.
10

11. Waarom Specification by Example?
Het lijkt allemaal heel makkelijk…
Zorg voor een gezamenlijk begrip
Voorkom aannames en onduidelijkheden
Weet wanneer je klaar bent
Focus op het wat, niet hoe
Tests gebruiken als specificaties
11
User Story
Acceptance
Criteria
Executable
Specifications
Living
Documentation

12. Samen specificeren
Given <precondition>
When <actor> + <action>
Then <observable result>
12

13. Hoe ziet dat er dan uit?
13
Epic: Advertisement
As a marketing manager
I want the system to offer free delivery on certain items
So I can entice customers to order more
Given Customer is logged in @ bol.com
When Customer orders products with
total price > EUR 20
Then Customer gets free shipping

14. Het (test-)landschap van PGGM
14

15. Automatiseren van Specifications
15
Feature Files
Features
Scenarios
Steps
MS Test
Unit Tests
CodedUI Tests
Step Definitions
Test Framework

16. Documentatie - Pickles
16
Living Documentation
Altijd up-to-date

17. Zijn we er nu?
Applicatie-silo’s
- Keten van applicaties is vaak nodig voor één business proces
- Creëren van mocks en stubs op de juiste plekken
- Refactoring (t.b.v. testability) binnen applicaties noodzakelijk
- Integratie problemen
Audit
- Audit trails moeten worden aangeleverd aan o.a. DNB
- Traceerbaarheid wanneer hoeveelheid testen toeneemt
17

18. Teams werken intensief en gebruiken
gespecialiseerde tools om alle facetten van een
applicatie te testen

19. XL TestView voor inzicht en control

20. Samenvatting
Leveren in kleine opleveringen i.p.v. grote releases
Continu testen op meerdere niveaus
Snelle feedback!
Goede en vroege samenwerking business en IT
Automatiseren op juiste niveaus

21. 21
THANK
YOUFOR
LISTENING
ANY
QUESTIONS?