Teststrategi - unyttig pliktløp eller din viktigste mulighet for å avklare rammebetingelser for test?
•Download as PPTX, PDF•
0 likes•1,077 views
Presentation (in Norwegian) held at Trondheim Test Conference 2016. Discussing the shortcomings of traditional test strategies and suggesting ways to improve. Also presenting the idea to make the test strategy the contract between the test manager and the project manager.
Recommended
More Related Content
What's hot
What's hot (20)
Similar to Teststrategi - unyttig pliktløp eller din viktigste mulighet for å avklare rammebetingelser for test?
Similar to Teststrategi - unyttig pliktløp eller din viktigste mulighet for å avklare rammebetingelser for test? (20)
Teststrategi - unyttig pliktløp eller din viktigste mulighet for å avklare rammebetingelser for test?
- 1. 27.05.2016 • © Promis Qualify AS 1 Teststrategi – unyttig pliktløp eller din viktigste mulighet for å avklare rammebetingelser for test?
- 2. 27.05.2016 • © Promis Qualify AS 2 Hva er deres erfaring med teststrategi? Opp med en hånd… • Skriver deres organisasjon teststrategier for prosjekter / leveranser? • Oppleves det som godt investert tid? Brukes det aktivt som styringsdokument? • Eller er det bare for å følge policy?
- 3. 27.05.2016 • © Promis Qualify AS 3 La oss prate om…. • Teststrategiens evolusjon • Hva er problemet? • Hvordan lykkes?
- 4. 27.05.2016 • © Promis Qualify AS 4 The rise and fall of test strategy En slags evolusjonshistorie
- 5. 27.05.2016 • © Promis Qualify AS 5 En evolusjonshistorie • I begynnelsen var… Kaos! • Så kom… IEEE 829 • Deretter… Foredling • Men så… Degenerering?
- 6. 27.05.2016 • © Promis Qualify AS 6 Hva er problemet?
- 7. 27.05.2016 • © Promis Qualify AS 7 Teststrategiens problem • Leses sjelden…av de rette folkene….og blir ofte puttet i skuffen • Det viktige drukner i det uviktige • Noen tok strategien ut av teststrategien – gir ikke retning • For opptatt av form, for lite av hensikt • Treffer ikke målgruppen – fokuserer ofte primært på testteamet eller fagmiljøet • Innsatsen står ikke i forhold til gevinsten. Jeg har sett mange eksempler….
- 8. 27.05.2016 • © Promis Qualify AS 8 Hvordan lykkes?
- 9. 27.05.2016 • © Promis Qualify AS 9 Så enkelt og så vanskelig! Lag en strategi på et nivå og en form som kommuniserer med målgruppen! Selvsagt! Men hva er Riktig nivå? Hensiktsmessig form? Effektiv kommunikasjon? Viktigste målgruppe? Målgruppe Kommunikasjon Form Nivå
- 10. 27.05.2016 • © Promis Qualify AS 10 Målgruppe? Mange bør lese teststrategien, men… Min påstand: Prosjektledelse og prosjekteier / styringsgruppe er viktigst! Målgruppe Kommunikasjon Form Nivå
- 11. 27.05.2016 • © Promis Qualify AS 11 Hvorfor fokusere oppover? • Testleder er avhengig av prosjektleders støtte og tillit • Strategien stiller krav til «hele» prosjektet og må komme fra toppen • Godkjenning av leveransen skjer på prosjektleder/ sponsornivå • De som berøres direkte vil uansett lese testplanene • Omgivelsene er stort sett bare opptatt av datoer (plan). Målgruppe Kommunikasjon Form Nivå
- 12. 27.05.2016 • © Promis Qualify AS 12 Hvorfor fokusere oppover? • Strategien er din kontrakt med sjefen din • Hvilke rammebetingelser ligger til grunn • Hva er innenfor ditt ansvars- og myndighetsområde Grunnlag for avviksledelse (management by exceptions) Målgruppe Kommunikasjon Form Nivå
- 13. 27.05.2016 • © Promis Qualify AS 13 Kommunikasjon! Teststrategi er for kommunikasjon – ikke dokumentasjon • Dokumentet har ingen verdi i seg selv – den felles forståelse og retning som skapes er verdien • Skriv for målgruppen på deres språk! • Få frem de viktige valgene på en forståelig måte – ikke la det viktige drukne i det uviktige. Målgruppe Kommunikasjon Form Nivå
- 14. 27.05.2016 • © Promis Qualify AS 14 Forankring! Ta det gjerne inkrementelt – oppslutning om viktige prinsipper før mer operative forhold • Presentasjon er mer effektivt enn dokument • Skape diskusjon og forankret konklusjon Hva er viktigst i en teststrategi? • Få tilslutning fra ledelsen for de viktigste valgene, som gir deg klare rammer å styre innenfor. Målgruppe Kommunikasjon Form Nivå
- 15. 27.05.2016 • © Promis Qualify AS 15 Selg budskapet! Du får en viss porsjon oppmerksomhet – hvordan vil du bruke den? • Vær en engasjert ambassadør for test og produktkvalitet • Dropp detaljer – våg å imponere med en kort og konsis strategi – gjerne på presentasjonsform Målgruppe Kommunikasjon Form Nivå
- 16. 27.05.2016 • © Promis Qualify AS 16 Form Et bilde sier mer enn tusen ord – Visualiser og tapetser! Ingen ønsker lange dokumenter – Bruk wiki, presentasjoner, o.l. Målgruppe Kommunikasjon Form Nivå
- 17. 27.05.2016 • © Promis Qualify AS 17 UTV + ENHETSTEST Kontroll av leverandørs testing UTV + ENHETSTEST Planlegge og forberede AKSEPTANSETEST DRIFTAKSEPTANSETEST IKKE-FUNKSJONELLE TESTER (ytelse, sikkerhet, drift, m.m) Kunde Leverandør Iterasjon n Iterasjon n+1 AkseptansetestIterasjon 8 Planlegge og forberede DRIFT AKSEPTANSETEST Felles Ytelsestest INTEGRASJONSTEST SYSTEMTEST DEMO Test- plan Plan KPT1) KPT KP-møte SI-test2)Plan SI-test 1) KPT = Kontrollpunkttest 2) SI-test = Systemintegrasjonstest Plan KPT KPT KP-møte INTEGRASJONSTEST SYSTEMTEST DEMO Test- plan SI-testPlan SI-test … INTEGRASJONSTEST SYSTEMTEST DEMO Formell akseptansetest Godkjennings- prøve
- 18. 27.05.2016 • © Promis Qualify AS 18 Tabeller er nyttig!
- 19. 27.05.2016 • © Promis Qualify AS 19 Kunde (prosjekt/ linje) Leverandør system Leverandør drift Dokument maler Initiering Analyse Gjennomføring Launch AT Driftstest Testplanlegging SIT kunde leverandør Testanalyse Testplanlegging Testplanlegging Systemtest Systemtest Systemtest Prod. verifisering Start / no start Pilot Go/ no go •Teststrategi •Testplan •Test statusrapport •Test sluttrapport
- 20. 27.05.2016 • © Promis Qualify AS 20 Iterativ konstruksjons- fase Utvikling Test Analyse, design Design Plan- legging Akseptanse- test Godkjenning, prodsetting Aksept sprint Godkjennings- prøve starter Aksept leveranse UTV Demo med etterfølgende Kontrollpunkt Kunde Systemtest UTV
- 21. 27.05.2016 • © Promis Qualify AS 21 Hva bør strategien inneholde? • Sadly, it depends…. • Omfang og fremdrift: Faser, testtyper / -nivåer • Ansvarsfordeling • Avgrensning, prioriteringer og forutsetninger • Løsningsmessig • Ressurser (folk, systemer, data, …) • Styrende forretningsrisiko • Hovedinnretning per område • Toleransegrenser – kvalitet, tid, kostnader, … • Godkjenningsprosess Samlet fremstilling (tabell / figur) Målgruppe Kommunikasjon Form Nivå
- 22. 27.05.2016 • © Promis Qualify AS 22 Teststrategi som delegering av myndighet Skill tydelig på Teststrategi – de overordnede føringene og prioriteringene som prosjektledelsen og styringsgruppa skal stille seg bak og Testplaner – alt det du som testleder og fagperson kan ta ansvar for selv Målgruppe Kommunikasjon Form Nivå
- 23. 27.05.2016 • © Promis Qualify AS 23 Avviksledelse (Management by Exceptions) • Delegert ansvar der neste nivå ikke blir involvert før man ser at toleransegrenser kommer til å bli brutt • Effektiv bruk av ledelsens tid • Beholder styring uten alle detaljer • Tar beslutning på riktig nivå Se PRINCE2 for beskrivelse
- 24. 27.05.2016 • © Promis Qualify AS 24 Så er teststrategi unyttig pliktløp eller nyttig styringsdokument? • Teststrategi som dokument i sin tradisjonelle form er lite hensiktsmessig • Teststrategi som forankring av viktige veivalg, avgrensning og som testleders arbeidskontrakt er svært nyttig Du avgjør om teststrategi skal være waste eller nytte – du kan velge å følge etablerte anti-patterns og skrive et langt dokument som støver bort i en skuff …eller du kan velge å bruke teststrategien til din fordel, som «arbeidskontrakt» og bemyndigelse
- 25. 27.05.2016 • © Promis Qualify AS 25 Photo (Flickr): Horia Varlan Du treffer meg på rh@promis.no eller 918 65 925 Andre presentasjoner på www.slideshare.net/hanrem/presentations Om selskapet promis-qualify.no/
Editor's Notes
- God morgen… Om meg: 25 års erfaring i IT-bransjen, først som utvikler senere prosjektleder, testleder, rådgiver, linjeleder. Nå leder jeg Qualify – 9 konsulenter innen TL og testrådgivning. Testledelse med et ledelsesperspektiv Har holdt foredrag på Eurostar om teststrategi – se slideshare (link på siste slide) Primært PL –> PLs syn på TL. Forhåpentligvis er det nyttig, siden PL er TLs nærmeste foresatte. Samarbeidet mellom PL og TL må være bra for å lykkes. Ønsker interaktivitet en tidlig morgen etter en hyggelig kveld
- Be om eksempler / utfyllende kommentarer. Hvorfor skriver dere (ikke) teststrategi? Hvorfor er det (ikke) god bruk av tid? Er det bare oppfyllelse av «company policy»?
- Min egen tolkning!
- Ad hoc på 80-90-tallet Fikk struktur gjennom 829 Ingen teststrategi, men veldig detaljert hva testplan skal inneholde. Med planer på flere nivåer ble mye gjentatt. Hentet ut det som er felles og overordnet; kalte det Strategi Motivert mer ut fra rasjonalisering i produksjon enn fra et ønske om et reelt strategidokument? Har blir alt for mye detaljer (anti-patterns) Mye har skjedd med systemutvikling, men strategien henger ikke med (smidig, TDD, bedre IDE og automatisert testing). Fare for å bli irrelevant for utviklerne – stort skille mellom utviklere og de som skal kontrollere kvaliteten (eksternisering). 29119-3 Basert på og etterfølger 829 (Strategi som en del av plandokumentet, ikke nødvendigvis eget dokument). Strategi og policy på selskapsnivå.
- Hvilket inntrykk sitter man igjen med? Testledere som viser at de ikke forstår sin rolle Teststrategisidebæringskilometer Har et nytt eksempel nå. Må lete i 30+ sider etter reelt innhold
- Forklar bruken av «veiviser» i hjørnet – pedagogisk! Ofte skriver vi i teststrategien at den bør leses av alle i og rundt prosjektet. Og det er jo fint, men ikke veldig viktig. Og hvis vi skriver et dokument for «alle» blir det lite målrettet for de som er viktigst.
- Kommer tilbake til det med kontrakt, men tanken er å bruke strategien som kontrakt for «arbeidspakken» testledelse. Avviksledelse (MbE): Innenfor styrer du, men hvis du kommer utenfor toleransegrensene så skal det varsles og behandles
- Ikke skriv ned alt det som står andre steder eller det målgruppen ikke strengt tatt trenger å forholde seg til (flytt det til testplan eller helst Wiki) Alt for mange testledere synes å skrive for «menigheten», dvs egen testorganisasjon og andre testledere. Vanlig feil: Viktigere å fremstå som faglig flink enn å være effektiv i rollen Lederne har ofte for mye å gjøre til å lese lange og detaljerte dokumenter.
- Hvis du blir mindre opptatt av et dokument og mer opptatt av forankret innhold, så er det lettere å jobbe inkrementelt Får du oppmerksomhet nok til å realitetsbehandle 3-4 viktige ting, så er det bedre enn et langt dokument som ingen egentlig tar stilling til.
- Vil du treffe ledere, så snakk om det de bryr seg om Kort presentasjon er modigere (og vanskeligere) enn å skjule seg bak 50 sider basert på en gammeldags og lite treffsikker standard
- Kan pakke mye inn i en figur – viser helhet Kan anrikes med farger, kolonner / «svømmebaner» o.l. for å vise f.eks. ansvar eller testmiljø e.a. Kan henges opp og stadig trekkes frem – det kan du ikke med 4 side tekst Hvis du av formelle grunner trenger lange dokumenter: Det holder normalt at testplanene er på den formen. De er uansett manifestasjonen av strategien
- Sprinttakt, testfaser, ansvar,
- Ta med noe om strategi for automatisering
- Delegering av autorisasjon – grunnlaget for avviksledelse, Jfr PRINCE2 Eksternt view og internt view
- Teststrategien kan brukes som delegering av autoritet til deg som TL. Forutsetter et visst handlingsrom til testleder: Hvis null toleranse: PL må involveres i hvert minste avvik. Fratar TL ansvar og motivasjon (blir bare overvåker for PL uten å sette inn korrektive tiltak). PL gjør TLs jobb. Hvis ingen grenser: TL gjør PLs jobb.
- «Du» ikke bare i betydningen testleder, men også metodeansvarlig, bestiller / prosjekteier, prosjektleder – utfordre TL til å levere nytte