Implementing Test Automation, a story about changing insights and experiences
•Download as PPTX, PDF•
2 likes•1,018 views
In this presentation I explain a simple strategy for implementing Test Automation in your organization. A simple strategy? I tell the story of my experience so far and look back in retrospective to the presentations I gave at the Test Automation Day before. In this presentation I state that - Organizational Maturity (like measured with TPI or TMMi) should not raise a threshold for getting started - In order to become good in Test Automation, we need to get started and learn from our mistakes (fail forward) - There is a shift from technique and tool selection toward selling the business case - But the real implementation is a process of organizational change, where people, and budgets play a key role. - People need to learn their new roles, need to work with new processes and you need to have a good story if you want to interfere with projects. - In the end, I conclude that once you completed the journey, and got the organization to start with test automation, you end up with the technical challenges again: What tool are you going to use, what architecture, and how do you write effective scripts…. A simple strategy? I am still learning.
Recommended
More Related Content
What's hot
What's hot (14)
Similar to Implementing Test Automation, a story about changing insights and experiences
Similar to Implementing Test Automation, a story about changing insights and experiences (20)
More from Derk-Jan de Grood
More from Derk-Jan de Grood (20)
Implementing Test Automation, a story about changing insights and experiences
- 1. A Simple Strategy ? Derk-Jan de Grood Test Automation Day 2014 1
- 2. From…. To… 2
- 5. 5
- 6. 6
- 7. Message 7 Its our task to get organisation to start with TA
- 8. 8
- 9. 9 …and that summarizes why we should do TA All well, but what is the financial impact ?
- 10. Business case The cost or benefits of TA 10
- 11. Business Case 11 0 20000 40000 60000 80000 100000 120000 140000 160000 180000 0 5 10 15 20 25 30 35 40 45 Totalekosten Aantal testruns Businescase Kosten Handma g Kosten Tool X
- 13. TAD 2012: Defining the threshold 13
- 14. TAD 2013: Where to start? 14 Think out of the box! Scenario’s Technical clustering
- 15. Embedding TA in organisation 15
- 16. Outsourcing 16
- 17. Embedding TA From project to organization 17
- 18. 18 10 Middelen Tastbare hulpmiddelen zoals tool, templates, manuals, etc Oplossingen Implementa e van middelen teneinde een doel te behalen Dialoog Zoektocht naar de juiste oplossing. Het bij elkaar brengen van doelstelling en oplossing Doelstelling Businessdoel zoals gedefinieerd door de business en IT managers Groene appel: Oplossing die reeds ontwikkeld is in andere divisie Rode appel: Niet bestaande oplossing Time-to- Market Efficiency Minder problemen in PRD Businesscase Businesscase Businesscase Consument Veilingmeester Tuinder Groothandel Implementa e-fasen I: Oplossings- gedreven II: Vraag gedreven III: Oplossing en vraag gedreven Interac e AanbodgedrevenVraaggedreven
- 19. 19 GOALS Clear decisions Transition to operational use Lower initial threshold Embedding in organization
- 22. 22 1. Welke applicaties komen in aanmerking 2. Welke Divisies willen graag aan de slag met test automatisering 3. Opstellen prioritering (roadmap met daarin TI, PoC en Operationele fase ingepland per divisie 4. MT besluit ter consolidatie 5. Inplannen TI sessies Economische haalbaarheid Technische haalbaarheid Test AnalystTest Navigator ART team Test Navigator ART team Support Operationele fase Test Analyst Businesscase MT sturing Eerste inschatting door IT/Test manager Commitment op prioritering en roadmap Organisatorisc he haalbaarheid Fine tunen BC op basis van PoC bevindingen Hamerslag operationele launch Support door ART team PoC (proef) faseVerkenningsfase PoC rapport Test Navigator In divsie Test Navigator ART team
- 24. From $ to B 24
- 25. 25 From Treshhold to Crowbar
- 26. Operational mode Sustainabilty and efficiency 26
- 27. 27
- 28. AS <STAKEHOLDER> I WANT <NEED> SO THAT <REASON> 28
- 29. 29 Als testnavigator wil ik weten wie ik kan aanspreken als ik een omgeving moet opzetten, licenties nodig heb of inhoudelijk vragen heb. Als manager wil ik weten welke kosten aan mij doorgerekend worden, zodat ik dit kan opnemen in mijn project/afdelingsbudget. Als Procurement wil ik duidelijke richtlijnen over de inkoop van licenties, zodat ik een goede prijs kan afspreken met de leverancier
- 30. Allotment 30
- 32. Projects vs OPS Sustainabilty and efficiency 32
- 33. When the project does its own thing Operations needs to • Buy new tools • Gain new knowledge and experience • Integrate project-test with existing ART • Re-program the tests 33
- 34. The project-ops interface 34 As TM I want to influence the tools used by the projects, so I'm not faced with future legacy in the test tool landscape.
- 35. Twohats 35
- 37. Testing is part of DLC IT policy & roadmap CI/CD Agile Simplification IT landscape Business model Automation Outsourcing 37
- 39. Wrap up 39
- 40. The Journey 40 Tool Business Case Strategy Regression test solutions Crow bar Budget Operations Projects Change process
- 41. 41
- 43. Derk-Jan Valori Coltbaan 4a 3439 NG NIEUWEGEIN The Netherlands • derkjandegrood@valori.nl • +31(0)651807878 • www.valori.nl • @DerkJanDeGrood • http://djdegrood.wordpress.com 43
Editor's Notes
- Explain: 3rd time on TAD Story is changing each year., the topic is shifting due to input during new projects and situations.
- TA rather not…. Techincal Organisatin is not ready…
- Open source maakt starten mogelijk
- Welke testen worden er door de BU uitgevoerd Omschrijf welke testen er worden uitgevoerd. Het gaat hier niet om een functioneel overzicht van individuele testen, maar om een indeling in technische cluster. Binnen technische clusters worden testen op dezelfde wijze uitgevoerd. Bv combinaties van Functionele testen via de webgui Berichtentesten via MQ Berichtentesten via ServiceBus Database inserts/reads Bach processen starten Etc. Welke testen automatiseren leidt tot de meeste winst Welke testen worden het vaakst uitgevoerd Welke testen zijn het meest arbeidsintensief Bij welke testen is het “standaard” uitvoeren van de test zonder variaties een pluspunt. Welke tests leveren het meest frequent bevindingen op Welke tests blijven relatief gelijk Wat typeert de testen technisch Omschrijf de wijze waarop de testen worden uitgevoerd. Bijvoorbeeld: We maken een testset aan in excell, exporteren deze data naar de DB en maken op basis van deze data ook xml berichten aan. We zetten deze berichten in de in-queue. We starten een Batch proces op de server, genereren rapporten in de report engine en controleren de content van de PDF rapporten. Welke eisen stelt dit aan de technische/tool oplossing Maak een link van “de technische clusters” naar tools die deze ondersteunen. Combinaties van clusters bepalen mogelijk de integratie tussen verschillende tool-oplossingen en beïnvloeden daarmee de keuze voor de tool-set. Welke TA initiatieven zijn al gerealiseerd Wat is er nodig om deze effectief te maken of te verbeteren? Wat kost het automatiseren zodat de 10% doelstelling wordt gehaald Op basis van de o.m. tools (opzetten en licentiekosten), de benodigde kennis opdoen en scripttijd kan een inschatting maken van investering. Wat levert automatiseren van deze testen op. Hoeveel tijd wordt uitgespaard met de testuitvoering, welke andere voordelen heeft automatisering? Wat is de verwachte terugverdientijd? Binnen hoeveel maanden, releases, etc is de automatisering terugverdient. Past deze oplossing in de visie en zijn er effectievere oplossingen Onderzoek of de meest effectieve methode past binnen de Test automatisering visie en waar deze afwijkt. Op basis hiervan kan worden besloten om van de visie af te wijken, of de visie aan te passen. Mogelijk zijn er op hoger niveau belangen die een duurdere oplossing rechtvaardigen.
- The forces in the orgainsation Management likes firm decisions and aims for one tool, one approach 1b) Management has a high over set of goals, that are hard to measure and do not releate to TA in a one to one relation 2) Value is found in using TA and learning to use it so we need to lower the treshold (get people to want to try TA Help them to start using it operationaly Make it sustainable
- Implemting in the organisation was more to do than just the tool. E.g. Organisatorische haalbaarheid Business case Mangement involvement
- From BC to Budget
- Use TA to write good tests, do risk analisys