Presentert på CIO Testforum

1. Kvalitetssikring med
maskinlæring
CIO Test – 06.03.2019
Marianne Falkenås – SpareBank 1
Minh Nguyen – Sogeti Norge

2. Om oss
Marianne Falkenås
Avdelingsleder Test & Kvalitet – SpareBank 1
Minh Nguyen
Sjefskonsulent & ML-entusiast – Sogeti

3. Agenda
01 Om SpareBank 1
02
03
Idéer og motivasjon
04
Pilot – Prediksjon av kravrisiko
05
Resultater og lærdommer
Veien videre…

4. Om SpareBank 1
Organisering
Release
Arkitektur
Prosess
Test

5. 5
Presentation Title Date © 2018 Sogeti. All rights reserved.
Idéer og motivasjon
Vi samler mye data under utvikling og test.
Kan disse dataene brukes sammen med maskinlæring (ML)
for å lage datadrevet beslutningsstøtte?
Er datavolumet stort nok og datakvaliteten god nok?
Pilot – Eksperimentere med å predikere kravrisiko.
Trekke lærdommer og stake ut kursen for videre ML-arbeid.

6. 6
Presentation Title Date © 2018 Sogeti. All rights reserved.
Mulige ML-bruksområder innen Test / QA
 Testgjennomføringstid for å forbedre testplanlegging
 Forventet retting-tid for en ny defekt
 Kravrisiko for å forbedre prioritering av testgjennomføring
Selv-lærende
Gruppering
Klassifisering
Prediksjon
 Brukerkrav er testbar eller ikke
 Feilkilde eller feilårsak for en ny feil
 Defekt-egenskaper i forhold til forventet rette-tid
 Produksjonsdata for generering av syntetisk testdata
 Kundens bruksmønster for å lage relevante testcaser
 Utforske, lære og utføre testing av en ny IT-løsning på egen hånd

7. Hva betyr risikoprediksjon?
Bruker
Krav
Risko_score
ML Prediksjonsmodel
Trenning-
datasett
Manuell
risikoanalyse
Test
Drift
Defekter
Krav
Utvikling
Forbedret testplanlegging
og -prioritering
Beslutningsstøtte
Historiske
data

8. Sammendrag
Beskrivelse

10. Trening av ML-algoritmer
Sammendrag
Beskrivelse
Klassifisering
algoritme
Prioritet
Kompleksitet
Komponent
Risko
(automatisk
annotert)
Prediksjons-
algoritme
Defect, Test execution
(counts and severity)
Vektet
beregning
Jira/Zephyr
Kompleksitet
(manuelt
annotert)
Adaptiv
læring
Input variabel
Annotert output

11. Resultater fra pilot
 Bedre innsikt i hvilke parametere som påvirker kravrisiko.
 Lærer å kjenne våre data.
 Meta-datamodell for lagring av data fra Jira og Zephyr.
 Utviderbare komponenter for datauttrekk og ML-trening.
 Kompetanse på ML-algoritmer.
 Inspirasjon til å finne løse nye problemer innen utvikling og test.
Bevissthet
Bærekraftig
plattform
Kompetanse og
motivasjon

12. Erfaringer fra pilot
Ingen grundig analyse av
treningsdatasett eller tuning av
modellen gir dårlig treff på prediksjon
ML Risiko
prediksjon
De raskeste teamene har ikke behov for
beslutningsstøtten på risiko
“Smidighet vs. risiko-oppfatning”
Inspirende å få gjennomført pilot
“Quick-win”
Bruk av ML-platform vs.
alternative ML-algoritmer
Ulike praksiser for dataregistrering i Jira
på tvers av team – “Hastighet vs.
detaljeringsgrad på registrert data”
Kompleksitet klassifisering er
nyttig men mye manuell
annoteringsjobb
Følge prosessen (analyse og forankring)
i neste ML-implementering

13. Veien videre…
 Risikoprediksjon for et utviklingsteam.
 Måler:
• Treffsikkerhet
• Opplevd nytteverdi
Utprøving
Nye problemer
 Predikere forventet rette-tid for en defect
(12.000 datapunkter uten behov for manuell annotering)
 Identifisere nye business cases og muligheter for
utnyttelse av data fra andre kilder (Splunk, Stash, …)

14. Takk for oss