Knowit Quality Management Oslo
2013-12-12
Minh Nguyen
mng@knowit.no
Knowit QMO
• 

Startet opp 1.1.2012 som et selskap i Knowit.
• 

Eid av Knowit ON, Knowit QM Bergen og ansatte.

• 

Lever...
Knowit QMO

Kristian

Knowit QM Bergen (15)

May Britt

Minh

Ivar

Kjetil

Kristjan

Fredrick

Deg?
Risikobasert testing
Knowit Quality Management Oslo
Testpub #11 – 12.desember.2013
Minh Nguyen
Bakgrunn
• 

Risk management er en kjent teknikk i Prosjektstyringsmetodikken.

• 

Ble anvendt i testdisiplin og omtalt i...
Forventning
• 

Få innblikk i temaet – risikobasert testing.

• 

Diskutere hvordan denne teknikken blir praktisert – hva ...
Funnene på test og kvalitetssikring
Funn

Hva kan risikobasert testing bidra med?
Funnene på test og kvalitetssikring
Funn

Hva kan risikobasert testing bidra med?

Sentralisert og in-housing QA funksjon ...
Funnene på test og kvalitetssikring
Funn

Hva kan risikobasert testing bidra med?

Sentralisert og in-housing QA funksjon ...
Funnene på test og kvalitetssikring
Funn

Hva kan risikobasert testing bidra med?

Sentralisert og in-housing QA funksjon ...
Funnene på test og kvalitetssikring
Funn

Hva kan risikobasert testing bidra med?

Sentralisert og in-housing QA funksjon ...
Funnene på test og kvalitetssikring
Funn

Hva kan risikobasert testing bidra med?

Sentralisert og in-housing QA funksjon ...
Funnene på test og kvalitetssikring
Funn

Hva kan risikobasert testing bidra med?

Sentralisert og in-housing QA funksjon ...
Funnene på test og kvalitetssikring
Funn

Hva kan risikobasert testing bidra med?

Sentralisert og in-housing QA funksjon ...
Om temaet
1.  Hvorfor er risikobasert testing viktig?
2.  Hvilke prinsipper gjelder for risikobasert testing?
3.  Hvordan ...
Hvorfor
•  Kan ikke teste alt innenfor begrenset tid og ressurser som er avsatt til testing.
•  Rammebetingelser for test ...
Risikobasert testing i korte trekk
•  Vurdering av applikasjonens ulike funksjonsmessige områder i forhold til de forretni...
Prinsipper for risikobasert testing
•  Ikke alle tester har samme viktighet:
•  Noen tester reduserer risiko for feil i dr...
Antall prosjekter?
Måling på tiltro
til system?

Kilde: Quality Management
TGB Consulting
Risikostyring – prosess
Identifisere

Korrigere

Gjennomføre
& Rapportere

Analysere

Planlegge
Identifisere
Mål:
•  Målet med denne aktiviteten er å identifisere potensielle problemområder for et system.
Problemområde...
Analysere
Mål:
•  Målet med denne aktiviteten er å vurdere og fastsette sannsynlighet og konsekvens knyttet til
risikoområ...
Risikoanalyse
Sannsynlighet

Høy

Middels

Lav

Middels

Høy

Høy

Lav

Middels

Høy

Lav

Lav

Middels

Lav

Middels

San...
Kvalitativ analyse – sannsynlighet
Sannsynlighet

Lav

Middels

Høy

Uendret

Endret

Ny

Historisk feilrate

Lav

Middels...
Kvalitativ analyse – konsekvens
Konsekvens

Lav

Medium

Høy

Visning

Endring av data

Kalkulasjon /
Validering

Konsekve...
Kvalitativ analyse – risiko

Sannsynlighet

XX-3

XX-1
XX-5

XX-12

XX-2

XX-4

XX-7
XX-6

XX-9

XX10

XX-8

XX – test cas...
Kvantitativ analyse – sannsynlighet
Indikator = 1 (lav) … 5 (høy)

Indikator

Kompleksit
et (vekt = 4)

Stabilitet
(vekt =...
Kvantitativ analyse – konsekvens
Indikator = 4 - Kritisk; 3 – Alvorlig; 2 – Normal, 1 - Kosmetisk

Indikator

Kundens
vurd...
Kvantitativ analyse – risiko
Indikator

Sannsynlighet

Konsekvens

Risiko = S * K

Rekkefølge
for test

XX-1

0,58

2

1,1...
Planlegge
Mål:
•  Finne en passende strategi og identifisere tiltak for gjennomføring av test. Hensikten med tiltak er å
r...
Gjennomføre og rapportere
Mål:
•  Gjennomføre iht. testplan og fortløpende rapportere status basert på risikobildet.
Best ...
Gjennomføre og rapportere

0

2

21
Status på krav per risikonivå

12
4

5

1

0

0

Antall feil per risikonivå
Korrigere og lære
Mål:
•  Måledata samles og analyseres for å både korrigere kursen (strategier og planer revurderes) og t...
Take-away
• 

Mange publiserte litteratur om tematikken.

• 

Må etablere og tilpasse grunnlaget for risikoanalyse (kriter...
Testpub #11_12.12.2013 - Risikobasert testing
Testpub #11_12.12.2013 - Risikobasert testing
Upcoming SlideShare
Loading in …5
×

Testpub #11_12.12.2013 - Risikobasert testing

137
-1

Published on

Published in: Technology
0 Comments
2 Likes
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total Views
137
On Slideshare
0
From Embeds
0
Number of Embeds
1
Actions
Shares
0
Downloads
2
Comments
0
Likes
2
Embeds 0
No embeds

No notes for slide

Testpub #11_12.12.2013 - Risikobasert testing

  1. 1. Knowit Quality Management Oslo 2013-12-12 Minh Nguyen mng@knowit.no
  2. 2. Knowit QMO •  Startet opp 1.1.2012 som et selskap i Knowit. •  Eid av Knowit ON, Knowit QM Bergen og ansatte. •  Leverer testledere, tekniske tester, testrådgiver, prosjektleder (adm./tekn.) og leveanseansvarlig. •  Per i dag 7 ansatte – aktiv rekruttering på erfarne medarbeidere. •  QMO tilbyr: •  •  Fagutvikling •  •  Spennende kunde og oppdrag Godt sosialt miljø QMO ansatte skal: •  Være lidenskapelig på fag •  Være motivert for å bygge opp noe •  Bidra til et godt sosialt miljø
  3. 3. Knowit QMO Kristian Knowit QM Bergen (15) May Britt Minh Ivar Kjetil Kristjan Fredrick Deg?
  4. 4. Risikobasert testing Knowit Quality Management Oslo Testpub #11 – 12.desember.2013 Minh Nguyen
  5. 5. Bakgrunn •  Risk management er en kjent teknikk i Prosjektstyringsmetodikken. •  Ble anvendt i testdisiplin og omtalt i mange publiserte litteraturer siden 1999/2000. •  Lite konkrete erfaringer eller best-praksis tilgjengelig, spesielt for norske forhold. •  Teknikken er rimelig fastlagt men baseres mye på kvalitativ og subjektiv vurdering. •  Erfaringer må bygges opp og gjelder for kun din egen organisasjon? Hvordan? •  Noe til felles som kan gjenbrukes / anvendes på tvers av organisasjoner?
  6. 6. Forventning •  Få innblikk i temaet – risikobasert testing. •  Diskutere hvordan denne teknikken blir praktisert – hva fungerer og hva fungerer ikke. •  Utveksle konkrete erfaringer. •  Hva kan vi som fagnettverk gjøre for å bli bedre på dette? Kunnskapsdeling og nettverksbygging !!!
  7. 7. Funnene på test og kvalitetssikring Funn Hva kan risikobasert testing bidra med?
  8. 8. Funnene på test og kvalitetssikring Funn Hva kan risikobasert testing bidra med? Sentralisert og in-housing QA funksjon for å sikre god forretnings- og domeneforståelse. •  Forretningsforståelse er en avgjørende forutsetning. •  Fokus på kombinasjon mellom QA-fag og domenekunnskap.
  9. 9. Funnene på test og kvalitetssikring Funn Hva kan risikobasert testing bidra med? Sentralisert og in-housing QA funksjon for å sikre god forretnings- og domeneforståelse. •  Forretningsforståelse er en avgjørende forutsetning. •  Fokus på kombinasjon mellom QA-fag og domenekunnskap. Større investering på QA i nye utviklingsprosjekter og samme innvestering på QA i forvaltning. •  Utviklingsprosjekt – flere og mer alvorlige risikoer. •  Forvaltning – risikobasert testing er kostnadseffektiv samt testautomatisering (effectiveness and efficiency)
  10. 10. Funnene på test og kvalitetssikring Funn Hva kan risikobasert testing bidra med? Sentralisert og in-housing QA funksjon for å sikre god forretnings- og domeneforståelse. •  Forretningsforståelse er en avgjørende forutsetning. •  Fokus på kombinasjon mellom QA-fag og domenekunnskap. Større investering på QA i nye utviklingsprosjekter og samme innvestering på QA i forvaltning. •  Utviklingsprosjekt – flere og mer alvorlige risikoer. •  Forvaltning – risikobasert testing er kostnadseffektiv samt testautomatisering (effectiveness and efficiency) Mangel på forankring på grunn av få ROI-metrikker. •  Kvantitativ tilnærming som assosierer til forretningsmessige konsekvenser.
  11. 11. Funnene på test og kvalitetssikring Funn Hva kan risikobasert testing bidra med? Sentralisert og in-housing QA funksjon for å sikre god forretnings- og domeneforståelse. •  Forretningsforståelse er en avgjørende forutsetning. •  Fokus på kombinasjon mellom QA-fag og domenekunnskap. Større investering på QA i nye utviklingsprosjekter og samme innvestering på QA i forvaltning. •  Utviklingsprosjekt – flere og mer alvorlige risikoer. •  Forvaltning – risikobasert testing er kostnadseffektiv samt testautomatisering (effectiveness and efficiency) Mangel på forankring på grunn av få ROI-metrikker. •  Kvantitativ tilnærming som assosierer til forretningsmessige konsekvenser. Økning i QA-investering på mobiler. •  Nye plattformer – nye type risikoer!
  12. 12. Funnene på test og kvalitetssikring Funn Hva kan risikobasert testing bidra med? Sentralisert og in-housing QA funksjon for å sikre god forretnings- og domeneforståelse. •  Forretningsforståelse er en avgjørende forutsetning. •  Fokus på kombinasjon mellom QA-fag og domenekunnskap. Større investering på QA i nye utviklingsprosjekter og samme innvestering på QA i forvaltning. •  Utviklingsprosjekt – flere og mer alvorlige risikoer. •  Forvaltning – risikobasert testing er kostnadseffektiv samt testautomatisering (effectiveness and efficiency) Mangel på forankring på grunn av få ROI-metrikker. •  Kvantitativ tilnærming som assosierer til forretningsmessige konsekvenser. Økning i QA-investering på mobiler. •  Nye plattformer – nye type risikoer! Økt QA fokus og investering på testing av sikkerhet, funksjonalitet og ytelse på SaaS. •  Ny leveransemodell – nye type risikoer!
  13. 13. Funnene på test og kvalitetssikring Funn Hva kan risikobasert testing bidra med? Sentralisert og in-housing QA funksjon for å sikre god forretnings- og domeneforståelse. •  Forretningsforståelse er en avgjørende forutsetning. •  Fokus på kombinasjon mellom QA-fag og domenekunnskap. Større investering på QA i nye utviklingsprosjekter og samme innvestering på QA i forvaltning. •  Utviklingsprosjekt – flere og mer alvorlige risikoer. •  Forvaltning – risikobasert testing er kostnadseffektiv samt testautomatisering (effectiveness and efficiency) Mangel på forankring på grunn av få ROI-metrikker. •  Kvantitativ tilnærming som assosierer til forretningsmessige konsekvenser. Økning i QA-investering på mobiler. •  Nye plattformer – nye type risikoer! Økt QA fokus og investering på testing av sikkerhet, funksjonalitet og ytelse på SaaS. •  Ny leveransemodell – nye type risikoer! Større investering i og dårlig utnyttelse av testmiljø. •  Behov – risiko – fokus – investering.
  14. 14. Funnene på test og kvalitetssikring Funn Hva kan risikobasert testing bidra med? Sentralisert og in-housing QA funksjon for å sikre god forretnings- og domeneforståelse. •  Forretningsforståelse er en avgjørende forutsetning. •  Fokus på kombinasjon mellom QA-fag og domenekunnskap. Større investering på QA i nye utviklingsprosjekter og samme innvestering på QA i forvaltning. •  Utviklingsprosjekt – flere og mer alvorlige risikoer. •  Forvaltning – risikobasert testing er kostnadseffektiv samt testautomatisering (effectiveness and efficiency) Mangel på forankring på grunn av få ROI-metrikker. •  Kvantitativ tilnærming som assosierer til forretningsmessige konsekvenser. Økning i QA-investering på mobiler. •  Nye plattformer – nye type risikoer! Økt QA fokus og investering på testing av sikkerhet, funksjonalitet og ytelse på SaaS. •  Ny leveransemodell – nye type risikoer! Større investering i og dårlig utnyttelse av testmiljø. •  Behov – risiko – fokus – investering. Mangel på testmetodikk for smidig utvikling. •  Utføre riktige tester ofte og tidsriktig samt at testingen kan stoppe når som helst uten at viktig kvalitet forringes.
  15. 15. Om temaet 1.  Hvorfor er risikobasert testing viktig? 2.  Hvilke prinsipper gjelder for risikobasert testing? 3.  Hvordan gjør vi risikobasert testing? FOKUS PÅ VIRKNINGSFULL (effective) TESTING VED Å TESTE RIKTIG !!!
  16. 16. Hvorfor •  Kan ikke teste alt innenfor begrenset tid og ressurser som er avsatt til testing. •  Rammebetingelser for test er ofte gitt. Ingen eller liten påvirkningsmulighet. •  Testing blir ofte skviset ut / nedprioritert pga. tidspress eller forsinkelser. •  Ved feil i produksjon blir det ofte stilt spørsmål ”Hvorfor har vi ikke testet det?”
  17. 17. Risikobasert testing i korte trekk •  Vurdering av applikasjonens ulike funksjonsmessige områder i forhold til de forretningsmessige konsekvenser ved funksjonsfeil og sannsynlighet for stor feilhyppighet i funksjonen. •  Pragmatisk anvendelse av risikostyring i planlegging og gjennomføring av test slik at testingen blir mest mulig avkastning av investeringen. •  Risikobasert testing kan vi gi oss _tilstrekkelig_ tiltro til kvaliteten på systemet før testingen eventuelt blir innstilt eller forkortet ned. •  Har et forretningsorientert fokus med hensyn til risiko. •  Er et levende rammeverk / verktøykasse som blir beriket med praktiske og empiriske erfaringer.
  18. 18. Prinsipper for risikobasert testing •  Ikke alle tester har samme viktighet: •  Noen tester reduserer risiko for feil i drift •  Andre tester øker ikke verdi og tiltro til systemet •  Tiltro til og kvaliteten på systemet øker ved å teste høyest prioriterte tester først – Det vil da gi mulighet for å kunne finne kritiske / alvorlige feil tidig. •  Vi kan sette systemet i drift tidlig dersom vi fokuserer på systemområder som er antatt å ha høy risiko i stedet for å sløse tid og ressurser på systemområder som har liten sannsynlighet for å feile eller konsekvens av feil er lav
  19. 19. Antall prosjekter? Måling på tiltro til system? Kilde: Quality Management TGB Consulting
  20. 20. Risikostyring – prosess Identifisere Korrigere Gjennomføre & Rapportere Analysere Planlegge
  21. 21. Identifisere Mål: •  Målet med denne aktiviteten er å identifisere potensielle problemområder for et system. Problemområdet blir dernest brutt ned i moduler, komponenter eller funksjoner. Best praksis: •  Idemyldring, brain-storming eller intervjuer med eksperter fra både forretnings- og teknisk side. •  Bruk oversikt over komponenter / funksjoner eller oversikt over testemner, testcases, … •  Benytte ”Produkt-risikoene” som blir identifisert i prosjektet ”Velg et pragmatisk nivå!”
  22. 22. Analysere Mål: •  Målet med denne aktiviteten er å vurdere og fastsette sannsynlighet og konsekvens knyttet til risikoområder. Best praksis: •  Kvalitativ – normativ beskrivelse av menneskers opplevelse og erfaring •  Kvantitativ – menneskers opplevelse og erfaringer uttrykkes i målbare og distinkte verdier •  Kombinasjon av begge deler ”Gjør det enkelt!”
  23. 23. Risikoanalyse Sannsynlighet Høy Middels Lav Middels Høy Høy Lav Middels Høy Lav Lav Middels Lav Middels Sannsynlighet for at feil oppstår i produksjon dersom ingen test blir utført på et gitt område Konsekvens Høy
  24. 24. Kvalitativ analyse – sannsynlighet Sannsynlighet Lav Middels Høy Uendret Endret Ny Historisk feilrate Lav Middels Høy Størrelse Liten Medium Stor Få grensesnitt / komponenter Flere grensesnitt / komponenter Mange grensesnitt / komponenter ? ? ? Kriterium Endringsrate Kompleksitet Andre …
  25. 25. Kvalitativ analyse – konsekvens Konsekvens Lav Medium Høy Visning Endring av data Kalkulasjon / Validering Konsekvens for forretning Ikke merkbar Feil informasjon under prosessering Juridisk / Økonomisk / Omdømme Brukshyppighet Sjelden Ofte Veldig ofte # berørte brukere Noen få Grupper Stort antall ? ? ? Kriterium Prosess/Funksjon Andre …
  26. 26. Kvalitativ analyse – risiko Sannsynlighet XX-3 XX-1 XX-5 XX-12 XX-2 XX-4 XX-7 XX-6 XX-9 XX10 XX-8 XX – test case, test egenskap, funksjon modul/komponent Konsekvens
  27. 27. Kvantitativ analyse – sannsynlighet Indikator = 1 (lav) … 5 (høy) Indikator Kompleksit et (vekt = 4) Stabilitet (vekt = 3) Størrelse (vekt = 1) Funksjon Veid gjennomsnitt Sannsynlighet XX-1 2 3 4 7 0,58 XX-2 1 3 4 5,7 0,48 XX-3 3 2 1 6,3 0,52 XX-4 5 5 1 12 1.0
  28. 28. Kvantitativ analyse – konsekvens Indikator = 4 - Kritisk; 3 – Alvorlig; 2 – Normal, 1 - Kosmetisk Indikator Kundens vurdering Leverandør- Gjennomvurdering snitt Funksjon XX-1 1 3 2 XX-2 2 4 3 XX-3 2 3 2,5 XX-4 4 4 4
  29. 29. Kvantitativ analyse – risiko Indikator Sannsynlighet Konsekvens Risiko = S * K Rekkefølge for test XX-1 0,58 2 1,16 4 XX-2 0,48 3 1,44 2 XX-3 0,52 2,5 1,25 3 XX-4 1 4 4 1 Funksjon
  30. 30. Planlegge Mål: •  Finne en passende strategi og identifisere tiltak for gjennomføring av test. Hensikten med tiltak er å redusere sannsynligheten eller skadeomfang. Best praksis: •  Prioritering av tester (rekkefølge) basert på resultater fra risikoanalyse. •  Leveranseplan av komponenter baseres på rekkefølgen. •  Inspeksjoner hos leverandør på at det arbeidet som de skal gjøre blir gjort. •  Bistå leverandøren med testing av systemet på et tidligere tidspunkt. •  Sette de mest erfarne testerne på å designe og gjennomføre de høyt prioriterte testene. •  Automatisere prioriterte tester for å øke test-effektivitet.
  31. 31. Gjennomføre og rapportere Mål: •  Gjennomføre iht. testplan og fortløpende rapportere status basert på risikobildet. Best praksis: •  Ulike teststrategier for ulike tester av ulike prioritet - viktige tester trenger mer tid og må testes nøye. •  Regelmessig vurdering sammen med Kunden for å avveie ”tidlig driftssetting” vs. ”100% fullført test”. •  Rapportere med henblikk på risiko •  Status på testene (ok, ikke-ok, ikke-påbegynt, …) - se neste foil •  Antall feil av ulike kategorier/alvorlighetsgrader fordelt på risikonivåene •  Feilrettingsrate (forhold mellom #feil rettet og #feil funnet) for hvert risikonivå
  32. 32. Gjennomføre og rapportere 0 2 21 Status på krav per risikonivå 12 4 5 1 0 0 Antall feil per risikonivå
  33. 33. Korrigere og lære Mål: •  Måledata samles og analyseres for å både korrigere kursen (strategier og planer revurderes) og trekke lærdommer (identifikasjon/analyse av risiko, estimater under planlegging, osv.) til fremtidige prosjektet. Best praksis: •  Dersom feilene som er avdekket stammer fra systemområder med lav risiko – Re-evaluere !!! •  Revurdering av risiko-trigger og gyldighet på forutsetninger •  Erfaringsdatabase
  34. 34. Take-away •  Mange publiserte litteratur om tematikken. •  Må etablere og tilpasse grunnlaget for risikoanalyse (kriteria, verdiskala, vekting, osv…) for din egen organisasjon. •  Risikoanalyse, teststrategi og rapportering/læring må finpusses kontinuerlig med kontekst-relevante erfaringer eller best praksis fra andre. •  Vanskelig med innsalg og å få forankring pga. manglende metrikker og empiriske studier. •  Ettertanke: Hvordan kan vårt fagnettverk bidra med videre arbeid?

×