Testpub #11_12.12.2013 - Risikobasert testing
Upcoming SlideShare
Loading in...5
×
 

Testpub #11_12.12.2013 - Risikobasert testing

on

  • 274 views

 

Statistics

Views

Total Views
274
Views on SlideShare
268
Embed Views
6

Actions

Likes
2
Downloads
2
Comments
0

1 Embed 6

http://www.linkedin.com 6

Accessibility

Categories

Upload Details

Uploaded via as Adobe PDF

Usage Rights

© All Rights Reserved

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Processing…
Post Comment
Edit your comment

    Testpub #11_12.12.2013 - Risikobasert testing Testpub #11_12.12.2013 - Risikobasert testing Presentation Transcript

    • Knowit Quality Management Oslo 2013-12-12 Minh Nguyen mng@knowit.no
    • Knowit QMO •  Startet opp 1.1.2012 som et selskap i Knowit. •  Eid av Knowit ON, Knowit QM Bergen og ansatte. •  Leverer testledere, tekniske tester, testrådgiver, prosjektleder (adm./tekn.) og leveanseansvarlig. •  Per i dag 7 ansatte – aktiv rekruttering på erfarne medarbeidere. •  QMO tilbyr: •  •  Fagutvikling •  •  Spennende kunde og oppdrag Godt sosialt miljø QMO ansatte skal: •  Være lidenskapelig på fag •  Være motivert for å bygge opp noe •  Bidra til et godt sosialt miljø
    • Knowit QMO Kristian Knowit QM Bergen (15) May Britt Minh Ivar Kjetil Kristjan Fredrick Deg?
    • Risikobasert testing Knowit Quality Management Oslo Testpub #11 – 12.desember.2013 Minh Nguyen
    • Bakgrunn •  Risk management er en kjent teknikk i Prosjektstyringsmetodikken. •  Ble anvendt i testdisiplin og omtalt i mange publiserte litteraturer siden 1999/2000. •  Lite konkrete erfaringer eller best-praksis tilgjengelig, spesielt for norske forhold. •  Teknikken er rimelig fastlagt men baseres mye på kvalitativ og subjektiv vurdering. •  Erfaringer må bygges opp og gjelder for kun din egen organisasjon? Hvordan? •  Noe til felles som kan gjenbrukes / anvendes på tvers av organisasjoner?
    • Forventning •  Få innblikk i temaet – risikobasert testing. •  Diskutere hvordan denne teknikken blir praktisert – hva fungerer og hva fungerer ikke. •  Utveksle konkrete erfaringer. •  Hva kan vi som fagnettverk gjøre for å bli bedre på dette? Kunnskapsdeling og nettverksbygging !!!
    • Funnene på test og kvalitetssikring Funn Hva kan risikobasert testing bidra med?
    • Funnene på test og kvalitetssikring Funn Hva kan risikobasert testing bidra med? Sentralisert og in-housing QA funksjon for å sikre god forretnings- og domeneforståelse. •  Forretningsforståelse er en avgjørende forutsetning. •  Fokus på kombinasjon mellom QA-fag og domenekunnskap.
    • Funnene på test og kvalitetssikring Funn Hva kan risikobasert testing bidra med? Sentralisert og in-housing QA funksjon for å sikre god forretnings- og domeneforståelse. •  Forretningsforståelse er en avgjørende forutsetning. •  Fokus på kombinasjon mellom QA-fag og domenekunnskap. Større investering på QA i nye utviklingsprosjekter og samme innvestering på QA i forvaltning. •  Utviklingsprosjekt – flere og mer alvorlige risikoer. •  Forvaltning – risikobasert testing er kostnadseffektiv samt testautomatisering (effectiveness and efficiency)
    • Funnene på test og kvalitetssikring Funn Hva kan risikobasert testing bidra med? Sentralisert og in-housing QA funksjon for å sikre god forretnings- og domeneforståelse. •  Forretningsforståelse er en avgjørende forutsetning. •  Fokus på kombinasjon mellom QA-fag og domenekunnskap. Større investering på QA i nye utviklingsprosjekter og samme innvestering på QA i forvaltning. •  Utviklingsprosjekt – flere og mer alvorlige risikoer. •  Forvaltning – risikobasert testing er kostnadseffektiv samt testautomatisering (effectiveness and efficiency) Mangel på forankring på grunn av få ROI-metrikker. •  Kvantitativ tilnærming som assosierer til forretningsmessige konsekvenser.
    • Funnene på test og kvalitetssikring Funn Hva kan risikobasert testing bidra med? Sentralisert og in-housing QA funksjon for å sikre god forretnings- og domeneforståelse. •  Forretningsforståelse er en avgjørende forutsetning. •  Fokus på kombinasjon mellom QA-fag og domenekunnskap. Større investering på QA i nye utviklingsprosjekter og samme innvestering på QA i forvaltning. •  Utviklingsprosjekt – flere og mer alvorlige risikoer. •  Forvaltning – risikobasert testing er kostnadseffektiv samt testautomatisering (effectiveness and efficiency) Mangel på forankring på grunn av få ROI-metrikker. •  Kvantitativ tilnærming som assosierer til forretningsmessige konsekvenser. Økning i QA-investering på mobiler. •  Nye plattformer – nye type risikoer!
    • Funnene på test og kvalitetssikring Funn Hva kan risikobasert testing bidra med? Sentralisert og in-housing QA funksjon for å sikre god forretnings- og domeneforståelse. •  Forretningsforståelse er en avgjørende forutsetning. •  Fokus på kombinasjon mellom QA-fag og domenekunnskap. Større investering på QA i nye utviklingsprosjekter og samme innvestering på QA i forvaltning. •  Utviklingsprosjekt – flere og mer alvorlige risikoer. •  Forvaltning – risikobasert testing er kostnadseffektiv samt testautomatisering (effectiveness and efficiency) Mangel på forankring på grunn av få ROI-metrikker. •  Kvantitativ tilnærming som assosierer til forretningsmessige konsekvenser. Økning i QA-investering på mobiler. •  Nye plattformer – nye type risikoer! Økt QA fokus og investering på testing av sikkerhet, funksjonalitet og ytelse på SaaS. •  Ny leveransemodell – nye type risikoer!
    • Funnene på test og kvalitetssikring Funn Hva kan risikobasert testing bidra med? Sentralisert og in-housing QA funksjon for å sikre god forretnings- og domeneforståelse. •  Forretningsforståelse er en avgjørende forutsetning. •  Fokus på kombinasjon mellom QA-fag og domenekunnskap. Større investering på QA i nye utviklingsprosjekter og samme innvestering på QA i forvaltning. •  Utviklingsprosjekt – flere og mer alvorlige risikoer. •  Forvaltning – risikobasert testing er kostnadseffektiv samt testautomatisering (effectiveness and efficiency) Mangel på forankring på grunn av få ROI-metrikker. •  Kvantitativ tilnærming som assosierer til forretningsmessige konsekvenser. Økning i QA-investering på mobiler. •  Nye plattformer – nye type risikoer! Økt QA fokus og investering på testing av sikkerhet, funksjonalitet og ytelse på SaaS. •  Ny leveransemodell – nye type risikoer! Større investering i og dårlig utnyttelse av testmiljø. •  Behov – risiko – fokus – investering.
    • Funnene på test og kvalitetssikring Funn Hva kan risikobasert testing bidra med? Sentralisert og in-housing QA funksjon for å sikre god forretnings- og domeneforståelse. •  Forretningsforståelse er en avgjørende forutsetning. •  Fokus på kombinasjon mellom QA-fag og domenekunnskap. Større investering på QA i nye utviklingsprosjekter og samme innvestering på QA i forvaltning. •  Utviklingsprosjekt – flere og mer alvorlige risikoer. •  Forvaltning – risikobasert testing er kostnadseffektiv samt testautomatisering (effectiveness and efficiency) Mangel på forankring på grunn av få ROI-metrikker. •  Kvantitativ tilnærming som assosierer til forretningsmessige konsekvenser. Økning i QA-investering på mobiler. •  Nye plattformer – nye type risikoer! Økt QA fokus og investering på testing av sikkerhet, funksjonalitet og ytelse på SaaS. •  Ny leveransemodell – nye type risikoer! Større investering i og dårlig utnyttelse av testmiljø. •  Behov – risiko – fokus – investering. Mangel på testmetodikk for smidig utvikling. •  Utføre riktige tester ofte og tidsriktig samt at testingen kan stoppe når som helst uten at viktig kvalitet forringes.
    • Om temaet 1.  Hvorfor er risikobasert testing viktig? 2.  Hvilke prinsipper gjelder for risikobasert testing? 3.  Hvordan gjør vi risikobasert testing? FOKUS PÅ VIRKNINGSFULL (effective) TESTING VED Å TESTE RIKTIG !!!
    • Hvorfor •  Kan ikke teste alt innenfor begrenset tid og ressurser som er avsatt til testing. •  Rammebetingelser for test er ofte gitt. Ingen eller liten påvirkningsmulighet. •  Testing blir ofte skviset ut / nedprioritert pga. tidspress eller forsinkelser. •  Ved feil i produksjon blir det ofte stilt spørsmål ”Hvorfor har vi ikke testet det?”
    • Risikobasert testing i korte trekk •  Vurdering av applikasjonens ulike funksjonsmessige områder i forhold til de forretningsmessige konsekvenser ved funksjonsfeil og sannsynlighet for stor feilhyppighet i funksjonen. •  Pragmatisk anvendelse av risikostyring i planlegging og gjennomføring av test slik at testingen blir mest mulig avkastning av investeringen. •  Risikobasert testing kan vi gi oss _tilstrekkelig_ tiltro til kvaliteten på systemet før testingen eventuelt blir innstilt eller forkortet ned. •  Har et forretningsorientert fokus med hensyn til risiko. •  Er et levende rammeverk / verktøykasse som blir beriket med praktiske og empiriske erfaringer.
    • Prinsipper for risikobasert testing •  Ikke alle tester har samme viktighet: •  Noen tester reduserer risiko for feil i drift •  Andre tester øker ikke verdi og tiltro til systemet •  Tiltro til og kvaliteten på systemet øker ved å teste høyest prioriterte tester først – Det vil da gi mulighet for å kunne finne kritiske / alvorlige feil tidig. •  Vi kan sette systemet i drift tidlig dersom vi fokuserer på systemområder som er antatt å ha høy risiko i stedet for å sløse tid og ressurser på systemområder som har liten sannsynlighet for å feile eller konsekvens av feil er lav
    • Antall prosjekter? Måling på tiltro til system? Kilde: Quality Management TGB Consulting
    • Risikostyring – prosess Identifisere Korrigere Gjennomføre & Rapportere Analysere Planlegge
    • Identifisere Mål: •  Målet med denne aktiviteten er å identifisere potensielle problemområder for et system. Problemområdet blir dernest brutt ned i moduler, komponenter eller funksjoner. Best praksis: •  Idemyldring, brain-storming eller intervjuer med eksperter fra både forretnings- og teknisk side. •  Bruk oversikt over komponenter / funksjoner eller oversikt over testemner, testcases, … •  Benytte ”Produkt-risikoene” som blir identifisert i prosjektet ”Velg et pragmatisk nivå!”
    • Analysere Mål: •  Målet med denne aktiviteten er å vurdere og fastsette sannsynlighet og konsekvens knyttet til risikoområder. Best praksis: •  Kvalitativ – normativ beskrivelse av menneskers opplevelse og erfaring •  Kvantitativ – menneskers opplevelse og erfaringer uttrykkes i målbare og distinkte verdier •  Kombinasjon av begge deler ”Gjør det enkelt!”
    • Risikoanalyse Sannsynlighet Høy Middels Lav Middels Høy Høy Lav Middels Høy Lav Lav Middels Lav Middels Sannsynlighet for at feil oppstår i produksjon dersom ingen test blir utført på et gitt område Konsekvens Høy
    • Kvalitativ analyse – sannsynlighet Sannsynlighet Lav Middels Høy Uendret Endret Ny Historisk feilrate Lav Middels Høy Størrelse Liten Medium Stor Få grensesnitt / komponenter Flere grensesnitt / komponenter Mange grensesnitt / komponenter ? ? ? Kriterium Endringsrate Kompleksitet Andre …
    • Kvalitativ analyse – konsekvens Konsekvens Lav Medium Høy Visning Endring av data Kalkulasjon / Validering Konsekvens for forretning Ikke merkbar Feil informasjon under prosessering Juridisk / Økonomisk / Omdømme Brukshyppighet Sjelden Ofte Veldig ofte # berørte brukere Noen få Grupper Stort antall ? ? ? Kriterium Prosess/Funksjon Andre …
    • Kvalitativ analyse – risiko Sannsynlighet XX-3 XX-1 XX-5 XX-12 XX-2 XX-4 XX-7 XX-6 XX-9 XX10 XX-8 XX – test case, test egenskap, funksjon modul/komponent Konsekvens
    • Kvantitativ analyse – sannsynlighet Indikator = 1 (lav) … 5 (høy) Indikator Kompleksit et (vekt = 4) Stabilitet (vekt = 3) Størrelse (vekt = 1) Funksjon Veid gjennomsnitt Sannsynlighet XX-1 2 3 4 7 0,58 XX-2 1 3 4 5,7 0,48 XX-3 3 2 1 6,3 0,52 XX-4 5 5 1 12 1.0
    • Kvantitativ analyse – konsekvens Indikator = 4 - Kritisk; 3 – Alvorlig; 2 – Normal, 1 - Kosmetisk Indikator Kundens vurdering Leverandør- Gjennomvurdering snitt Funksjon XX-1 1 3 2 XX-2 2 4 3 XX-3 2 3 2,5 XX-4 4 4 4
    • Kvantitativ analyse – risiko Indikator Sannsynlighet Konsekvens Risiko = S * K Rekkefølge for test XX-1 0,58 2 1,16 4 XX-2 0,48 3 1,44 2 XX-3 0,52 2,5 1,25 3 XX-4 1 4 4 1 Funksjon
    • Planlegge Mål: •  Finne en passende strategi og identifisere tiltak for gjennomføring av test. Hensikten med tiltak er å redusere sannsynligheten eller skadeomfang. Best praksis: •  Prioritering av tester (rekkefølge) basert på resultater fra risikoanalyse. •  Leveranseplan av komponenter baseres på rekkefølgen. •  Inspeksjoner hos leverandør på at det arbeidet som de skal gjøre blir gjort. •  Bistå leverandøren med testing av systemet på et tidligere tidspunkt. •  Sette de mest erfarne testerne på å designe og gjennomføre de høyt prioriterte testene. •  Automatisere prioriterte tester for å øke test-effektivitet.
    • Gjennomføre og rapportere Mål: •  Gjennomføre iht. testplan og fortløpende rapportere status basert på risikobildet. Best praksis: •  Ulike teststrategier for ulike tester av ulike prioritet - viktige tester trenger mer tid og må testes nøye. •  Regelmessig vurdering sammen med Kunden for å avveie ”tidlig driftssetting” vs. ”100% fullført test”. •  Rapportere med henblikk på risiko •  Status på testene (ok, ikke-ok, ikke-påbegynt, …) - se neste foil •  Antall feil av ulike kategorier/alvorlighetsgrader fordelt på risikonivåene •  Feilrettingsrate (forhold mellom #feil rettet og #feil funnet) for hvert risikonivå
    • Gjennomføre og rapportere 0 2 21 Status på krav per risikonivå 12 4 5 1 0 0 Antall feil per risikonivå
    • Korrigere og lære Mål: •  Måledata samles og analyseres for å både korrigere kursen (strategier og planer revurderes) og trekke lærdommer (identifikasjon/analyse av risiko, estimater under planlegging, osv.) til fremtidige prosjektet. Best praksis: •  Dersom feilene som er avdekket stammer fra systemområder med lav risiko – Re-evaluere !!! •  Revurdering av risiko-trigger og gyldighet på forutsetninger •  Erfaringsdatabase
    • Take-away •  Mange publiserte litteratur om tematikken. •  Må etablere og tilpasse grunnlaget for risikoanalyse (kriteria, verdiskala, vekting, osv…) for din egen organisasjon. •  Risikoanalyse, teststrategi og rapportering/læring må finpusses kontinuerlig med kontekst-relevante erfaringer eller best praksis fra andre. •  Vanskelig med innsalg og å få forankring pga. manglende metrikker og empiriske studier. •  Ettertanke: Hvordan kan vårt fagnettverk bidra med videre arbeid?