Recommended
Recommended
More Related Content
Featured
Featured (20)
Combinatorial Testing Lyntale - Testdagen Odin 2016
- 1. Combinatorial testing Sverre Thomassen Mats Gimming Myhre
- 2. Sverre Thomassen / Mats Gimming Myhre 2 Konsulent / Seniorkonsulent Sogeti Norge AS
- 3. Combinatorial testing 3 Lyntale Presentasjon Rom Kaffepause TRUE TRUE Hugin TRUE FALSE FALSE Munin FALSE Sleipner
- 4. Combinatorial testing - Fordelene Økt effektivitet Høyere kvalitet Forbedret utviklings- og testprosess Redusert kostnad 4csrc.nist.gov/groups/SNS/acts/documents/kuhn-kacker-lei-hunter09.pdf
- 5. Combinatorial testing-Pairwise Alle kombinasjoner av 2 parametre Alle verdier til hvert paramenter dekkes av minst en test Meget effektivt Relativt liten ressursbruk Avhengig av verktøy 5
- 6. Pairwise finner 60% - 95%1 6 1 D.R. Kuhn, D.R. Wallace, and A. Gallo, “Software Fault Interactions and Implications for Software Testing,” IEEE Trans. Software Eng., vol. 30, no. 6, 2004, pp. 418–421. Figur: Introducing Combinatorial Testing in a Large Organization: Experience Report, (poster); full paper in IEEE Computer, April 2015. J. Hagar. D.R. Kuhn, R.N. Kacker, T. Wissink. Figur 1
- 7. 4-6 kombinasjoner avdekker alt!1 7 1 D.R. Kuhn, D.R. Wallace, and A. Gallo, “Software Fault Interactions and Implications for Software Testing,” IEEE Trans. Software Eng., vol. 30, no. 6, 2004, pp. 418–421. Type Pairwise 100% dekning Medisinske enheter 95 % 4 kombinasjoner NASA database 95 % 4 kombinasjoner Nettverksikkerhet 60 % 5 kombinasjoner Nettlesertest 70 % 6 kombinasjoner Server-applikasjon 75 % 6 kombinasjoner
- 8. Vurder pairwise (2-way) sammen med andre testteknikker! ►Er pairwise godt nok? • Vurder risiko ►Avansert løsning m/mange kombinasjoner krever flere kombinasjoner ►Kombiner med flere testteknikker • Tmap.net 8 1 D.R. Kuhn, D.R. Wallace, and A. Gallo, “Software Fault Interactions and Implications for Software Testing,” IEEE Trans. Software Eng., vol. 30, no. 6, 2004, pp. 418–421.
- 9. ACTS – 4-way eksempel 9
- 10. ACTS– 2-way (pairwise) eksempel 10
- 11. Takk for oss! ► ACTS: • http://csrc.nist.gov/groups/SNS/acts/index.html • Her finner du også lenker til diverse artikler av Rick Kuhn. ► Testmetoder: • http://tmap.net/ ► Referanser: • D.R. Kuhn, D.R. Wallace, and A. Gallo, “Software Fault Interactions and Implications for Software Testing,” IEEE Trans. Software Eng., vol. 30, no. 6, 2004, pp. 418–421. • Figur 1: Introducing Combinatorial Testing in a Large Organization: Experience Report, (poster); full paper in IEEE Computer, April 2015. J. Hagar. D.R. Kuhn, R.N. Kacker, T. Wissink. ► Presentasjon: • Twitter: @matsgmyhre 11
Editor's Notes
- Teste kombinasjoner av parametere og verdier. Parametere: Lyntale-Presentasjon-Rom-Kaffepause Verdiene: True-False-Romnavn HVORFOR: At feil oppstår i kombinasjoner med ulike parametre og deres verdier. Handler om å kombinere verdier for å kunne lage testcase og Teste tilstrekkelig mange av disse kombinasjonene for å oppnå god nok testdekning Hvis man skal teste alle disse kombinasjonene så får man 2x2x3x2 = 24 testcase.
- Økt effektivitet – mer enn dobbelt så mange feil pr. time testet Høyere kvalitet – flere feil funnet Forbedret utviklings- og testprosess – feil funnet tidligere Redusert kostnad – test og bug fixing
- Pairwise - Den mest brukte combinatorial testing metoden Formålet: Tester 2 og 2 verdier sammen slik at alle er dekket av minst en test Meget effektiv metode Avdekker de fleste feil med relativt liten ressursbruk. Avhengig av verktøy
- Rick Kuhn ved National Institute of Standards and Technology, USA, har forsket på combinatorial testing.
- ACTS er et gratis verktøy. Java. Eksportere test case til Excel eller XML for å bruke i andre automatiseringsverktøy.
- God testdekning med relativt liten ressursbruk i forhold til testdekning. Begrensninger og forutsetninger.