Den røde tråd fra testdækning til
releasemetrikker
The art of developing software cheaper,
in good quality and at schedule...
Software-Pro – Rådgiver, bemander og uddanner

… indenfor
test og kvalitetssikring
Software-Pro …
 Rådgiver vore kunder til







bedre testprocesser
højere testmodenhed (TMM)
færre fejl i produkti...
Founder and owner
 Torben Hoelgaard, B.Sc. in IT, Test and QA Consultant, CEO
 Founded Software-Pro in 2008
 Experience...
Software-Pro - Change Cube
C
Level 3
Level 2 Maturity
Level 1

B
Organizational
level
Strategic
Tactic
Operational

© Soft...
Customers and Projects
 Projects (not complete list)




















Test Assessment
Test Strategy...
Agenda
 Den røde tråd fra testdækning til releasemetrikker
 Mange har taget ISTQB certifikat i softwaretest men ofte bli...
TMM

Den
røde tråd
Mål for testen
 Mål for testen = testdækning + fejlniveau
 Fejlniveau = fejlmængde x alvorlighed
 Alvorlighed (severity...
Test Coverage - Exercise
 Case:
 You have designed 50 test cases
 You planned to execute 40 test cases
 You actually m...
Test Coverage - Answer
 If you planned for 40 tests and did 30, most Project Managers
would think that your test coverage...
Testdækning – øvelse 2
 Find 5 eksempler på dækningselementer
Testdækning - dækningselementer
 Fra artiklen: Testdækning – et vigtigt begreb









User Stories
Instruktione...
Testdækning - øvelse 3
 Kan man tale om testdækning per
testniveau?
 Find to eksempler på dækningselementer
for hvert te...
Testdækning – udtrykkes i procent
 Husk at testdækningen udtrykkes i procent
 “Procentdelen af dækningselementet der
er ...
Testdækning – hvilke
 Hvilke dækningselementer og hvilken
dækningsgrad skal vi vælge?
 It depends…





Risici
Kommu...
Mål for testen
 Mål for testen = testdækning + fejlniveau
 Fejlniveau = fejlmængde x alvorlighed
 Alvorlighed (severity...
Mål for testen - fejlniveau
 Fra artiklen: Mål for testen
 - eksempel på næste side
Fejlniveau – kvalitet
 Målet for fejlniveauet kunne f.eks. være:
 Vi vil ikke frigive software med kendte kategori
1 fej...
Fejlniveau – øvelse 4
 Find 3 eksempler på fejlniveauer
 Kan man tale om fejlniveauer per testniveau?
 Find et eksempel...
Fejltendens
Mål for testen
 Lad os se på to eksempler fra
virkeligheden
 Mellemstor virksomhed indenfor publicering

 Stor virksomh...
Agenda
 Den røde tråd fra testdækning til releasemetrikker
 Mange har taget ISTQB certifikat i softwaretest men ofte bli...
TMM
22 Key Process Areas
=
22 Projects of Change!
Pick 1 or pick many
TMM Saxotech DK
100
80
60
40
20
0

Feb 2005

June 20...
Testplanlægning
 Kan vi bruge “Mål for testen” i forbindelse
med testplanlægning?
Release Metrics – Test Progress
Metrik - pyramide
Teststatus - fordeling

Teststatus - trend



Teststatus - trend

Fejl - alvorlighed



Teststatus - t...
Overblik - Scope
Release

Ordning

Domæne

28

X

Fælles
Releasemetrikker – Dashboard link
TMM

Den
røde tråd
Questions & comments?
Info@Software-Pro.dk
www.Software-Pro.dk +45 3178 0000
© Software-Pro
Upcoming SlideShare
Loading in …5
×

Den røde tråd fra testdækning til releasemetrikker af torben hoelgaard software pro

399
-1

Published on

Oplægget blev holdt ved et seminar i InfinIT-interessegruppen Softwaretest den 11. september 2013. Læs mere om interessegruppen her: http://infinit.dk/dk/interessegrupper/softwaretest/softwaretest.htm

0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total Views
399
On Slideshare
0
From Embeds
0
Number of Embeds
3
Actions
Shares
0
Downloads
2
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide

Den røde tråd fra testdækning til releasemetrikker af torben hoelgaard software pro

  1. 1. Den røde tråd fra testdækning til releasemetrikker The art of developing software cheaper, in good quality and at schedule © Software-Pro
  2. 2. Software-Pro – Rådgiver, bemander og uddanner … indenfor test og kvalitetssikring
  3. 3. Software-Pro …  Rådgiver vore kunder til       bedre testprocesser højere testmodenhed (TMM) færre fejl i produktionen billigere test og udvikling hurtigere projektgennemløb større agilitet  Uddanner vore kunder i       certificeret test og testledelse krav og scope management Scrum og Kanban CMMI process improvement sourcing  Bemander vore kunders projekter med       testere testmanager testspecialister QA konsulenter releasemanager danske og udenlandske konsulenter
  4. 4. Founder and owner  Torben Hoelgaard, B.Sc. in IT, Test and QA Consultant, CEO  Founded Software-Pro in 2008  Experience:  4 years of consulting in ATP, Saxo Bank and 18 other companies  4 years as VP of Corp. Quality Assurance at Saxotech  4 years as VP of Services at Saxotech  3 years as Nordic Sales Manager at Saxotech  3 years as Project Chief at Saxotech  7 years as Project Manager at Nordjyske ________ 20+ years as Change Agent
  5. 5. Software-Pro - Change Cube C Level 3 Level 2 Maturity Level 1 B Organizational level Strategic Tactic Operational © Software-Pro Processes People Methods A M+P+P
  6. 6. Customers and Projects  Projects (not complete list)                    Test Assessment Test Strategy – develop and implement ISTQB Test training courses Test Community Kick off Test Optimization Project Test Process Issue Test Plans & Rapports Test Metrics and Dashboards Test Management Test Design and Test Execution Test Tool implementation: QC9.2 and ALM11 a.o. SCRUM training and coaching Develop and implement Resource Planning System and Processes Development Model Incident Management Process Major Planning system CMMI introduction LEAN Test Strategy Use Case Driven Design implementation
  7. 7. Agenda  Den røde tråd fra testdækning til releasemetrikker  Mange har taget ISTQB certifikat i softwaretest men ofte bliver begrebet testdækning ikke brugt i det praktiske arbejde. Det er en skam, for testdækning er sammen med kvalitet to vigtige elementer, når man skal sætte mål for testen. Mål for testen er første punkt i Testing Maturity Model, så det understreger, hvor vigtigt det er. Testdækning og mål for testen er også væsentlige parametre når man skal opstille releasemetrikker. I dette indlæg vil Torben, med input fra tilhørerne, prøve at få den røde tråd gennem disse emner frem:       Testdækning (teori, dækningselementer, anvendelse i praksis) Fejlniveau - kvalitet Mål for testen Testing Maturity Model (TMM) Testplanlægning Releasemetrikker (dashboard med trendkurver)
  8. 8. TMM Den røde tråd
  9. 9. Mål for testen  Mål for testen = testdækning + fejlniveau  Fejlniveau = fejlmængde x alvorlighed  Alvorlighed (severity) opdeles i kategorier     Blokerende fejl Alvorlige fejl Mindre alvorlige fejl Kosmetiske fejl
  10. 10. Test Coverage - Exercise  Case:  You have designed 50 test cases  You planned to execute 40 test cases  You actually managed to execute 30  What is your test coverage?     A: 80% B: 75% C: 60% D: Don’t know
  11. 11. Test Coverage - Answer  If you planned for 40 tests and did 30, most Project Managers would think that your test coverage is 75% (which would be a pretty good test)  Right answer is D: Don’t know!  Test Coverage definition:  The degree, in percent, to which a coverage item has been tested  Examples of Coverage Items: User Stories, requirements, interfaces, statements etc.  In this case we have no information about the coverage item and the number of tests needed to get 100% coverage  E.g. if 200 tests were needed to get 100% coverage, and you did 30, the coverage would be 15% (which would be a pretty bad test)
  12. 12. Testdækning – øvelse 2  Find 5 eksempler på dækningselementer
  13. 13. Testdækning - dækningselementer  Fra artiklen: Testdækning – et vigtigt begreb         User Stories Instruktioner (code statements) Beslutninger (code decisions) Grænseflader Transaktionstyper Menupunkter Brugerroller Forretningsprocesser
  14. 14. Testdækning - øvelse 3  Kan man tale om testdækning per testniveau?  Find to eksempler på dækningselementer for hvert testniveau i ISTQB
  15. 15. Testdækning – udtrykkes i procent  Husk at testdækningen udtrykkes i procent  “Procentdelen af dækningselementet der er testet”  Skal målet være 100% testdækning?
  16. 16. Testdækning – hvilke  Hvilke dækningselementer og hvilken dækningsgrad skal vi vælge?  It depends…     Risici Kommunikation Testniveauer Modenhed
  17. 17. Mål for testen  Mål for testen = testdækning + fejlniveau  Fejlniveau = fejlmængde x alvorlighed  Alvorlighed (severity) opdeles i kategorier     Blokerende fejl Alvorlige fejl Mindre alvorlige fejl Kosmetiske fejl
  18. 18. Mål for testen - fejlniveau  Fra artiklen: Mål for testen  - eksempel på næste side
  19. 19. Fejlniveau – kvalitet  Målet for fejlniveauet kunne f.eks. være:  Vi vil ikke frigive software med kendte kategori 1 fejl  Vi vil ikke frigive software med kendte kategori 2 fejl, med mindre de er  dokumenterede og  der findes en workaround og  det er besluttet, hvornår fejlen rettes  Vi vil ikke frigive, før fejltendensen er faldende
  20. 20. Fejlniveau – øvelse 4  Find 3 eksempler på fejlniveauer  Kan man tale om fejlniveauer per testniveau?  Find et eksempel på fejlniveauet for hvert testniveau i ISTQB  Hvorfor kendte fejl?
  21. 21. Fejltendens
  22. 22. Mål for testen  Lad os se på to eksempler fra virkeligheden  Mellemstor virksomhed indenfor publicering  Stor virksomhed indenfor pension
  23. 23. Agenda  Den røde tråd fra testdækning til releasemetrikker  Mange har taget ISTQB certifikat i softwaretest men ofte bliver begrebet testdækning ikke brugt i det praktiske arbejde. Det er en skam, for testdækning er sammen med kvalitet to vigtige elementer, når man skal sætte mål for testen. Mål for testen er første punkt i Testing Maturity Model, så det understreger, hvor vigtigt det er. Testdækning og mål for testen er også væsentlige parametre når man skal opstille releasemetrikker. I dette indlæg vil Torben, med input fra tilhørerne, prøve at få den røde tråd gennem disse emner frem:       Testdækning (teori, dækningselementer, anvendelse i praksis) Fejlniveau - kvalitet Mål for testen Testing Maturity Model (TMM) Testplanlægning Releasemetrikker (dashboard med trendkurver)
  24. 24. TMM 22 Key Process Areas = 22 Projects of Change! Pick 1 or pick many TMM Saxotech DK 100 80 60 40 20 0 Feb 2005 June 2006 March 2008
  25. 25. Testplanlægning  Kan vi bruge “Mål for testen” i forbindelse med testplanlægning?
  26. 26. Release Metrics – Test Progress
  27. 27. Metrik - pyramide Teststatus - fordeling Teststatus - trend  Teststatus - trend Fejl - alvorlighed  Teststatus - trend Fejl - trend Fejlede test iht. prio Når ledelsen ser de centrale metrikker for releasen, vil der helt naturligt komme spørgsmål til de enkelte ordninger og domæner. Det betyder, at releasemetrikkerne i virkeligheden kan ses som en pyramide, hvor man starter i toppen og spørger sig hele vejen ned fra Release -> Ordning -> Domæne -> Leverandør (Appl.) / Opgave Releases Ordninger Domæner Det gode er, at de centrale metrikker kan genanvendes på underliggende niveauer Applikationer / Opgaver
  28. 28. Overblik - Scope Release Ordning Domæne 28 X Fælles
  29. 29. Releasemetrikker – Dashboard link
  30. 30. TMM Den røde tråd
  31. 31. Questions & comments? Info@Software-Pro.dk www.Software-Pro.dk +45 3178 0000 © Software-Pro
  1. A particular slide catching your eye?

    Clipping is a handy way to collect important slides you want to go back to later.

×