Mutasjonstesting – Lag bugs for å få bedre kode

MUTASJONSTESTING
LAG BUGS FOR Å FÅ BEDRE KODE
Filip van Laenen — Testdagen Odin 2015
1
https://www.flickr.com/photos/cskk/3759544397

Hvem er jeg?
2
●
18 år i IT-bransjen
– Utvikler (Java/Smalltalk/Ruby)
– Arkitekt/teknisk ansvarlig
– (Tester/QA)
●
Flere års erfaring med mutasjonstesting
http://www.slideshare.net/filipvanlaenen/

Mutation Testing – The Book
https://leanpub.com/mutationtesting
3

Mutation Testing – The Book
https://leanpub.com/mutationtesting
4
$0.00
SJEKK PRISEN!

HVA ER MUTASJONSTESTING?
5

6
http://thedailywtf.com/Articles/Seeking-The-Summoner.aspx

Mutasjonen i kildekoden
10
int max(int a, int b) {
return (a < b) ? b : a;
}
return (a ≥ b) ? b : a;
}

Ekvivalente mutasjoner
15
return (a < b) ? b : a;
}
return (a ≤ b) ? b : a;
}

MUTASJONSOPERATORER
16

Mutasjonsoperatorer
17
●
Aritmetikk (+, -, ×, ÷, …)
●
Boolske operatorer ( , , ¬, …)∧ ∨
●
Sammenligninger (=, <, >, ≤, ≥, ≠, …)
●
Kortslutning av grener
●
Konstanter (tall, tekst, …)
●
Fjerning av linjer
●
Nullstilling av returverdier
https://www.flickr.com/photos/ynse/1531699476/

Eksempel
18
integer students_passed(grades) {
passed ← 0;
foreach (grade ∈ grades) {
if (grade ≥ 12) {
passed ← passed + 1
}
}
return passed;
}
passed ← 0;
if (grade > 12) {
}
}
return passed;
}

Eksempel: ≥ → >
19
passed ← 0;
if (grade ≥ 12) {
}
}
return passed;
}
passed ← 0;
if (grade > 12) {
}
}
return passed;
}

Eksempel: + → -
20
passed ← 0;
if (grade ≥ 12) {
}
}
return passed;
}
passed ← 0;
if (grade ≥ 12) {
passed ← passed - 1
}
}
return passed;
}

Eksempel: endring av tallverdi
21
passed ← 0;
if (grade ≥ 12) {
}
}
return passed;
}
passed ← 0;
if (grade ≥ 13) {
}
}
return passed;
}

Eksempel: kortslutning av if-løkke
22
passed ← 0;
if (grade ≥ 12) {
}
}
return passed;
}
passed ← 0;
if (true) {
}
}
return passed;
}

23
passed ← 0;
if (grade ≥ 12) {
}
}
return passed;
}
passed ← 0;
if (true) {
}
}
return passed;
}

Eksempel: fjerning av en kodelinje
24
passed ← 0;
if (grade ≥ 12) {
}
}
return passed;
}
passed ← 0;
if (grade ≥ 12) {
}
}
return passed;
}

Eksempel: nullstilling av returverdi
25
passed ← 0;
if (grade ≥ 12) {
}
}
return passed;
}
passed ← 0;
if (grade ≥ 12) {
}
}
return 0;
}

Mutasjonsoperatorer
26
●
Regulære uttrykk
●
Samtidighet
●
Avhengigheter
●
API-endringer
●
Arv
●
…

Utfordringer
27
●
Evige løkker/rekursjon
●
Syntaksfeil
●
Tilstandslekkasje
●
Segmentation faults
●

●
To forskjellige systemer som
alltid gir samme output for
samme input
●
Vanskelig å oppdage automatisk
●
Vanskelig å verifisere manuelt
28
https://www.flickr.com/photos/cq-biker/15606327367/

number max(a, b) {
if (a ≥ b) {
return a;
} else {
return b;
}
}
number max(a, b) {
if (a > b) {
return a;
} else {
return b;
}
}
29

number max(a, b) {
if (a ≥ b) {
return a;
} else {
return b;
}
}
number max(a, b) {
if (a > b) {
return a;
} else {
return b;
}
}
30

HVORFOR VIRKER MUTASJONSTESTING?
31

“
Hvorfor virker mutasjonstesting?
32
Generated mutants are similar to
real faults.
Andrews, Briand, Labiche, ICSE 2005

“
33
In practice, if the software
contains a fault, there will usually
be a set of mutants that can only
be killed by a test case that also
detects that fault.
Geist et. al., “Estimation and Enhancement of Real-time
Software Reliability through Mutation Analysis,” 1992

“
34
Complex faults are coupled to
simple faults in such a way that a
test data set that detects all
simple faults in a program will
detect most complex faults.
K. Wah, “Fault Coupling in Finite Bijective Functions,”
1995

“
35
Complex faults are coupled to
simple faults in such a way that a
test data set that detects all
simple faults in a program will
detect most complex faults.
K. Wah, “Fault Coupling in Finite Bijective Functions,”
1995

“
“
Virker mutasjonstesting?
36
Mutation testing is more powerful
than statement or branch
coverage.
Walsh, Ph.D. Thesis, State University of New York at
Binghampton, 1985
Mutation testing is superior to
data flow coverage criteria.
Frankl, Weiss, Hu, Journal of Systems and Software,
1997

MUTASONSTESTING OG TESTING
37

Testdekning
●
Vanskelig å jukse
– Å kjøre gjennom kildekoden
er ikke nok
●
Kan peke ut fokusområder for
manuell testing
38

Manglende testtilfeller
39
●
Tips til nye testtilfeller
– Avhengig av verktøyet
– Krever tilgang til rapportene
– Ikke alltid trivielt
http://www.javaadvent.com/2014/12/mutation-testing-in-java-with-pit-and.html

Eksempel
40
passed ← 0;
if (grade ≥ 12) {
}
}
return passed;
}
passed ← 0;
if (grade > 12) {
}
}
return passed;
}

Eksempel: ≥ → >
41
passed ← 0;
if (grade ≥ 12) {
}
}
return passed;
}
passed ← 0;
if (grade > 12) {
}
}
return passed;
}
⇒ Ha en 12 i testsettet ditt

Eksempel: + → -
42
passed ← 0;
if (grade ≥ 12) {
}
}
return passed;
}
passed ← 0;
if (grade ≥ 12) {
passed ← passed - 1
}
}
return passed;
}
⇒ Ha en ≥12 i testsettet ditt

Eksempel: endring av tallverdi
43
passed ← 0;
if (grade ≥ 12) {
}
}
return passed;
}
passed ← 0;
if (grade ≥ 13) {
}
}
return passed;
}
⇒ Ha en 12 i testsettet ditt

44
passed ← 0;
if (grade ≥ 12) {
}
}
return passed;
}
passed ← 0;
if (true) {
}
}
return passed;
}
⇒ Ha en <12 i testsettet ditt

Eksempel: fjerning av en kodelinje
45
passed ← 0;
if (grade ≥ 12) {
}
}
return passed;
}
passed ← 0;
if (grade ≥ 12) {
}
}
return passed;
}

Eksempel: nullstilling av returverdi
46
passed ← 0;
if (grade ≥ 12) {
}
}
return passed;
}
passed ← 0;
if (grade ≥ 12) {
}
}
return 0;
}

HVIS MUTASJONSTESTING ER SÅ BRA,
HVORFOR BLIR DET IKKE BRUKT?
47

Mutasjonstesting er gammelt nytt
●
Allerede beskrevet i 1971:
– R. Lipton, “Fault Diagnosis
of Computer Programs”
●
Videre forskning i løpet av 1970-
tallet:
– R. Lipton et. al., “Hints on
Test Data Selection: Help
for the Practicing
Programmer,” 1978
48

Historiske hindringer
●
Mangel på enhetstestingverktøy
●
Mangel på enhetstestingpraksis
– TDD
●
Ineffektive implementasjoner
– Lange prosesseringstider
●
Integrasjon med utviklingsverktøy
49

YTELSE
51

Kildekode eller binærkode?
●
Kildekode
– Tekstmanipulasjon
– Krever kompilering
●
Binærkode
– Raskt
– Krever dekompilering
●
AST-tre
– Gylden middelvei?
52
https://www.flickr.com/photos/grant_subaru/9306928331

Utvelgelse av enhetstester
●
Mål: finne enhetstesten som «dreper» mutanten
53

Utvelgelse av enhetstester
●
Mål: finne enhetstesten som «dreper» mutanten
●
Midler:
– Testdekning
– Manuelle hints
– Konvensjoner (klassenavn, pakkenavn)
– Caching av testresultater
57

Kompleksitet
●
Eksempel:
– 50 klasser
– 20 enhetstester per klasse
– 1ms per enhetstest
– Testrunde: 50 × 20 × 1ms = 1s
●
100 mutanter per klasse:
– Naiv implementasjon: 100 × 50 × 1s = 1h 23m 20s
– Klassescoping: 100 × 50 × 20 × 1 ms = 1m 40s
– Idealt: 100 × 50 × 1ms = 5s
58

Kompleksitet
●
Eksempel:
– 500 klasser
– 20 enhetstester per klasse
– 1ms per enhetstest
– Testrunde: 500 × 20 × 1ms = 10s
●
100 mutanter per klasse:
– Naiv implementasjon: 100 × 500 × 10s = 5,8d
– Klassescoping: 100 × 500 × 20 × 1 ms = 16m 40s
– Idealt: 100 × 500 × 1ms = 50s
59

VERKTØY
60

Anbefalte verktøy
●
Java:
– PIT
●
Ruby:
– Mutant
●
PHP:
– Humbug
●
JavaScript:
– Grunt-mutation-testing
61
https://www.flickr.com/photos/ianturk/18577725240/

PIT
62
●
Java
●
JUnit & TestNG
●
Maven & kommandolinje
●
Muterer bytekode
●
Konfigurerbart sett med mutatorer
http://pitest.org/

PIT
63
●
Java
●
JUnit & TestNG
●
●
Muterer bytekode
●
http://pitest.org/

PIT
64
●
Java
●
JUnit & TestNG
●
●
Muterer bytekode
●
http://pitest.org/

Mutant
●
Ruby
●
Rspec
●
Kommandolinje
●
Aktivt prosjekt
●
Grei dokumentasjon
https://github.com/mbj/mutant
65
https://www.youtube.com/watch?v=awVUqUxhx8M

HVORDAN KOMME I GANG?
66

Hvordan komme i gang
●
Velg riktig verktøy
●
Om mulig, bruk fra dag 1
●
Avgrens i begynnelsen
– Kritisk kode
– Relevante mutatorer
●
Lær å bruke verktøyet
– Tro på hva det sier
– Eller bevis at det tar feil
67

OPPSUMMERING
68

Er mutasjonstesting nyttig?
69
●
Enkle prinsipper
●
Veldig kraftig verktøy
●
Utfordringer rundt ytelse
●
Verktøyene blir bedre og bedre
Ja, forutsatt at enhetstesting er på plass

70
●
Enkle prinsipper
●
●
●

71
●
Enkle prinsipper
●
●
●

Takk for din oppmerksomhet!
72
Contact information:
@filipvanlaenen
fvl@computas.com / f.a.vanlaenen@ieee.org
https://no.linkedin.com/in/filipvanlaenen
https://leanpub.com/mutationtesting http://www.slideshare.net/filipvanlaenen/

Mutasjonstesting – Lag bugs for å få bedre kode

Recommended

Recommended

More Related Content

More from Filip Van Laenen

More from Filip Van Laenen (18)

Mutasjonstesting – Lag bugs for å få bedre kode