1. © Automated Software Testing GmbH www.devmate.software
Entwicklungsqualität steigern!
Johannes Bergsmann & Daniel Lehner
CTO Researcher
- 1 -

2. © Automated Software Testing GmbH www.devmate.software
Inhalt
▪ Unittest Praxis vs. Theorie
▪ Blackbox basierte Testcode Generierung
▪ KI Beispiel mit Whitebox Generierung
▪ Aktuelle KI Forschung zur Testfallreduktion
▪ Forschungsausblick
▪ Fragen/Diskussion
- 2 -

3. © Automated Software Testing GmbH www.devmate.software
Praxis vs. Theorie im Unit-Testen
- 3 -

4. © Automated Software Testing GmbH www.devmate.software
Unit Test Erstellung
▪ Welche Unit-Tests werden typischerweise erstellt?
▪ Unit-Test, der einmal links geht und
▪ Unit-Test, der einmal rechts geht
→ 100% Code-Abdeckung ist mit 2 Tests erreicht
und im CI-System ist alles „grün“
▪ Welche Tests sollten erstellt werden,
um dies funktional voll zu testen?
▪ Jede (Einzel-)Bedingung muss für sich
getestet werden (4 Normal-Testfälle)
▪ Grenzwerte (oben/unten) der beiden
Bedingungen (weitere 4 Testfälle)
▪ Fehlertests außerhalb der Grenzen oben
und unten sowie innerhalb der Grenzen
mit Fehlerwerten (weitere 6 Testfälle)
→ mind. 14 Unit-Tests erforderlich für gute funktionale Testabdeckung!
- 4 -
Unit Test Design Techniques
A > 10
& B < 5
T1 T2 T3 T4
A > 10 1 1 0 0
B < 5 1 0 1 0

5. © Automated Software Testing GmbH www.devmate.software
durch den devmate Testcode Generator
Toolunterstützte Unit-Tests Erstellung
- 5 -

6. © Automated Software Testing GmbH www.devmate.software
Unit-Test Code
Unit-Test Code
Test-Code-Generator Ablaufübersicht
▪ Low-Code Plattform für Unit-Test Erstellung
▪ Bessere fachliche Sicht auf die Tests für Entwickler
(Legacy)
Code
Entwickler
Parser
Generator
Zwischen-
Modell
Jeder Code, der
getestet und für gut
befunden wurde
Syntax und
Semantik des
Codes inkl.
Test-Infos.
lesbar z.B. als
XML-Datei.
fertiger Unit-Test-
Code sichert den
Legacy-Code ab
Code
Änderung
Code
Änderung
Einbindung in
CI-System
ist möglich
A
Code
basierte
Absicherung
TDD/MBT
Ansatz (Validierung)
B
Test-Modell
(CTE / ÄK)

7. © Automated Software Testing GmbH www.devmate.software
an einem einfachen Beispiel
Praktische Test-Code Generierung
- 7 -

8. © Automated Software Testing GmbH www.devmate.software
Example: “Test Code Generator”
Source: https://www.automated-software-testing.com/
Unit under test

9. © Automated Software Testing GmbH www.devmate.software
Example: “Test Code Generator”
Source: https://www.automated-software-testing.com/
Developer defines
equivalence classes and
representatives (test data)

10. © Automated Software Testing GmbH www.devmate.software
Example: “Equivalence Class Prediction”
Source: https://www.devmate.software/
Equivlaence-Class & Data
Prediction Module

11. © Automated Software Testing GmbH www.devmate.software
Example: “Test Code Generator”
Source: https://www.automated-software-testing.com/
Tool combines equivalence
classes and representatives to
test cases.

12. © Automated Software Testing GmbH www.devmate.software
Example: “Test Code Generator”
Collapsed view
looks like test table
in Excel.

13. © Automated Software Testing GmbH www.devmate.software
Example: “Test Code Generator”
Source: https://www.automated-software-testing.com/
Developer defines “Test Oracle”
(expected Values):
- Values
- Exceptions
- Expected Side-Effects

14. © Automated Software Testing GmbH www.devmate.software
Example: “Test Code Generator”
Source: https://www.automated-software-testing.com/
Tool generates readable and
maintainable unit test code.
Test data set for
positive tests
Test data set for
negative tests
Parameterized test

15. © Automated Software Testing GmbH www.devmate.software
Vorher – Nachher - Beispiel
- 15 -
Test Code Generator
Before systematic testing
With systematic testing
4 Fehler, die mit nur
1 Standard-Testfall
unentdeckt bleiben
Nach Refactoring:
→ Ende > Start
Fehler abgefangen
→ Division durch 0
Fehler abgefangen
→ …

16. © Automated Software Testing GmbH www.devmate.software
KI-basierte Testcode-Generierung
- 16 -

17. © Automated Software Testing GmbH www.devmate.software
Artificial Intelligence Generators
▪ How it works
▪ Systeme lernen anhand vorgegebener Tests
▪ Wissen wird für Generieung der Tests verwendet
▪ Achtung: Wo bekommt man
ausreichend viele gute Unittest
für die AI?
▪ Schlechte “Lehrer” → schlechte Unit-Tests
▪ Example
▪ Java: diffblue
▪ > EUR 3000,-/Monat für bis zu 25 Entwickler

18. © Automated Software Testing GmbH www.devmate.software
Artificial Intelligence Generators: Example diffblue
Unit under test contains many bugs:
no input checks, division by 0, …
/**
* Calculates the average speed.
*/
public static double getAvgSpeed(LocalDateTime start, LocalDateTime end, double distance) {
Duration duration = Duration.between(start, end);
double hours = duration.getSeconds() / 60 / 60;
return distance / hours;
}

19. © Automated Software Testing GmbH www.devmate.software
AI Generators “whitebox-based" vs "blackbox-based"
AI erstellt nur 1 Testfall, der
überhaupt keinen Fehler findet
aber 100% des Codes abdeckt
Die erstellten Testdaten haben überhaupt keine
fachliche Relevanz, sondern verwirren den Leser eher
(Warum wurden genau dieser Wert gewählt?)
Im Vergleich dazu der mit einem Blackbox-Ansatz
generierte, sauber strukturierte und lesbare
Testcode mit sinnvollen Testdaten

20. © Automated Software Testing GmbH www.devmate.software
▪ Partner
▪ Johannes Kepler Universität Linz
▪ Automated Software Testing GmbH
▪ Gefördert von der FFG
▪ Ausgangssituation
▪ Viele Ankündigungen für KI im Testen
▪ Noch kaum praxistauglichen Produkte am Markt
▪ Ziel
▪ Sinnvolle Anwendungsfelder der KI im Unittest
finden und erste Prototypen umsetzen
Forschungsprojekt zu Testcode Generierung mit KI
- 20 -

21. © Automated Software Testing GmbH www.devmate.software
KI-Forschungsthema im Rahmen von devmate
Automatische Testfallreduktion
- 21 -

22. © Automated Software Testing GmbH www.devmate.software
Manueller
Aufwand
Unit-Test-Code Erstellung (halb)manuell
- 22 -
Code
Unit-Test
Code
Anforderungen
Test-Erstellung
Test-Erstellung
Validierung
Code-Erstellung
Lange
Ausführungszeit
Manueller
Aufwand

23. © Automated Software Testing GmbH www.devmate.software
Reduktion und Priorisierung von Testfällen
▪ Ausgangsbasis
▪ Bestehendes Set an Testfällen
▪ Diese sollen regelmäßig ausgeführt werden
▪ Alle Testfälle auszuführen kostet zu viel Zeit
▪ Beispiel: Person makeChild(Person mother, Person father)
▪ TF 1: mother = x, father = y, expexted Result = Person{father=y, mother=x}
▪ TF 2: mother = x, father = a, expected Result = Person{age=1}
▪ TF 3: mother = y, father = a, expected Result = Exception

24. © Automated Software Testing GmbH www.devmate.software
Reduktion und Priorisierung von Testfällen
▪ Erster Ansatz
▪ Ermittlung aller Kombinationen von Testfällen
▪ Berechnung von Ausführungszeit + Coverage pro Testfall
▪ Test-Set mit maximaler Coverage bei minimaler Ausführungszeit
Ausgeführte Testfälle Ausführungszeit Coverage
TF 1 10 s 20 %
TF 2 15 s 20 %
TF 3 5 s 20 %
TF 1 + TF 2 22 s 40 %
TF 1 + TF 3 12 s 20 %
TF 2 + TF 3 17 s 40 %
TF 1 + TF 2 + TF 3 27 s 45 %
Problem 1:
Was ist die beste
Kombination?
Problem 2:
#Kombinationen

25. © Automated Software Testing GmbH www.devmate.software
Reduktion und Priorisierung von Testfällen
▪ Lösung: Meta-Heuristische Sucherverfahren
(z.B. Genetischer Algorithmus)
▪ Intelligente Kombination von Möglichkeiten
▪ Einführung von Zufall zum Finden globaler Maxima
▪ Mehrere Iterationen
▪ Ausgabe bestes Ergebnis pro Iteration auf Basis vorgegebener
Optimierungskriterien

26. © Automated Software Testing GmbH www.devmate.software
Beispiel Reduktion/Priorisierung Test-Set
Urspr. Kombinationen
1, 0, 0, 0, 0
0, 1, 0, 0, 0
0, 0, 0, 1, 1
1, 1, 0, 0, 0
0, 1, 0, 1, 1
0, 0, 0, 1, 1
1, 1, 0, 1, 1
0, 1, 0, 1, 1
1, 0, 0, 1, 1
1. Iteration 2. Iteration
5 Testfälle. [1, 0, 0, 0, 0] => nur der erste Testfall wird ausgeführt

27. © Automated Software Testing GmbH www.devmate.software
Erste Ergebnisse
▪ Experiment mit DevMate-Codebasis
▪ Ziel: Reduktion #Testfälle, bei gleichbleibender Statement
Coverage
▪ Mutation Coverage als Benchmark
27
Package Code Coverage Mutation Score
P2 -5 Tests, -12 % -9 %
P3 - 32 Tests, 0 % 0 %
P4 -17 Tests, 0 % NaN

28. © Automated Software Testing GmbH www.devmate.software
Fazit
▪ Testfälle können reduziert werden, bei gleichbleibender Code
Coverage, aber reduzierter Mutation Coverage
▪ Ergebnisse variieren stark pro Package
▪ Abhängig von der Code-Komplexität
▪ Optimierung von Mutation Score aktuell nicht möglich
▪ Keine Test-Basierte Auswertung von Mutation Tools (open-source)
Metrik Initiales
Set
Reduziertes
Set
Unterschie
d
# Testfälle 246 178 - 28 %
Coverage 57 % 57 % 0 %
Mutation Score - 1 %

29. © Automated Software Testing GmbH www.devmate.software
▪ Inklusion weiterer Metriken
▪ Reproduktion der Ergebnisse für weitere Projekte
▪ Ziel: Benchmarking Datensets
▪ Vergleich Genetischer Algorithmus mit Reinforcement Learning
Forschungsausblick
- 29 -
0
10
20
30
40
50
60
Coverage Metrics Mutation Testing Test Smells

30. © Automated Software Testing GmbH www.devmate.software
▪ 3-Jähriges EU-Forschungsprojekt
▪ 32 Partner aus 7 Ländern
▪ Rolle von AST/Devmate
▪ Weitere Anwendungsgebiete von KI
▪ Laufzeit-Tests mit Digitalen Zwillingen
▪ Testcode-Generierung für PLC
Forschungsausblick
- 30 -

31. © Automated Software Testing GmbH www.devmate.software
Takeaway
▪ 20-30% des Projektaufwands für Unit Testing
▪ Reduktion dieses Aufwandes durch KI-Methoden
▪ Schlechter KI-Einsatz: Code-Generierung
▪ Traditionelle Ansätze bereits besser
▪ Guter KI-Einsatz: Priorisierung von Testfällen
▪ Reduktion der Testfälle um fast 1/3 möglich

32. © Automated Software Testing GmbH www.devmate.software
Fragen / Diskussion
- 32 -

33. © Automated Software Testing GmbH www.devmate.software
Vortragsanhang
Ergänzende Infos
- 33 -

34. © Automated Software Testing GmbH www.devmate.software - 34 -

35. © Automated Software Testing GmbH www.devmate.software
We help developers to
focus on their creativity
by automating unit tests.
- 35 -

36. © Automated Software Testing GmbH www.devmate.software
More Info
▪ 5 easy steps
▪ Visual Studio Store
▪ devmate Website
▪ Linkedin – devmate
▪ Linkedin – Automated Software Testing GmbH
- 36 -

37. © Automated Software Testing GmbH www.devmate.software
Automated Software Testing GmbH
A-4040 Linz, Gewerbepark Urfahr 6
[E] info@devmate.software
[W] www.devmate.software
- 37 -