Der Agile QA Baukasten
RAPID TESTING

John Behrens
Webentwicklung seit 1998
QAMP
Software Craftmanship
Agiles Mindset
Twitter @WebconsultsEU
John.Behrens@Webconsults.eu
Mixed-Software-Arts.com

Fundamentaler Test Prozess

TestingPyramiede
User
Integration
KomponentenTests
Unit Tests

Testfragen
Sind Qualitätsanforderungen Erfüllt ?
Erfüllt das Produkt meine Anforderungen ?
Ist mein Pflichtenheft Erfüllt (Verifizierung) ?
Sind meine Anforderungen die Richtigen ?

Kosten eines Bugs
•Je Früherein Bug gefunden wird je Günstiger ist die Beseitigung
•Je später ein Bug gefunden wird je Teurer ist die Beseitigung
•Schnelles Feedback hilft der Entwicklung

White & Blackbox Testing

Der Agile Testbaukasten
Testfall Erstellung
•Manual Testing
•Grenzwertanalyse
•Off Shore/ Testing
Testautimatierung
•Regressionstest
•Testumgebungen
Test Driven Development
•Unit Test
BehaviorDriven Development
•Write test Automation for acceptance criteria
Integration and Deployment
•ContiniousIntegration and Deployment
Reviews
•Peer Reviews
•Review Sessions
•Document Revies
Explorative Testing
•Testsessions
•Testtouren
User Testing
•A/B Testing
•Alpha Test
•Beta Test
•User Sessions
WeitereTesttools
•Performance Testing
•Security Testing
•Offshoring

Testfall Erstellung
Erstellung von Testfällen
Grenzwerte
Gültige Beispiele
+ Nachweis evtl. Rechtliche Relevanz
-Hoher Manueller Aufwand
-Schlechte Wiederholbarkeit
Tools: JamaContur, Excel, HP Quality Center, Jira

Testautomatisierung
Automatische Durchführung
Einbindung in ContiniousIntegration und Deployment
+ Schnelle Wiederholung
-Hoher initialaufwand
-Erfordert Testumgebung
-Hohe Lernkurve für Tools
Tools: Selenium, Junit, ShellScripts

BehaviorDrivenDevelopment
GivenI am Software ProjectWhenI createRecuirmentsThenI makethemexecutable
+ Schnelles Feedback auf Anforderungen
+ TestbareAnforderungen
-Hoher Lernaufwand
-Hoher Toolaufwand
Tools: Behat, Cucumber, Fitnesse

Test DrivenDevelopment
Erstellen von Unit Tests vor dem Code
In der Praxis häufig auch Zeitnah am Code
+ sehr schnelles Feedback
-Berücksichtigt keine End 2 End
-Technik muss erlernt werden
Tools: PHPUnit, Junit, Nunit, Karma, Jasmine

ContiniousIntegration
Kontinuierliches zusammenführen von Teilprojekten
Sicherstellen zusammenpassen des Gesamtproduktes
+ Sehr schnelles Feedback
-Zusammenfassen ob es knallt
Tools: Jenkins, Travis CI, Bamboo

ContiniousDeployment
Schnelles Deploymentdes Produktes auf der Live Umgebung
Schnelles reagieren auf Fehler
Tools: Jenkins, Hudson, Travis CI, Puppet, Ansible, Docker, Chef

Software Metriken
Statische Code Analyse
CyclomaticComplexity
Testabdeckung
Lines of Code
+ Einfache Erfassung
+ Code Nah
-Keine Fachliche Relevanz

DevopsforQuality
Automatisierung der Umgebung als Dokumentation
+ Schnelles Aufsetzen von Test oder Entwicklungsumgebungen
+ Sichere Dokumentation von Abhängigkeiten
-Initialaufwand beim Einrichten

Reviews
Peer Reviews
Review Sessions
Formelle Reviews nach IEE 892
Tools: Fishey, Jira, GIT, Beamer, Schreibtisch

CrowdTesting
Durch Anbieter in der Crowd
Muss für Endanwender geeignet sein
Keine “geheimen” Projekte
Tools: Testhub, eigene Plattform,

Exploratives Testen
Testsessions in Gruppen
Testtouren in Verschiedenen Rollen
+ Besonders gut geeignet zum entdecken unbedachter Fehler
+ Geringer Initalaufwand
-Weniger geeignet zur Verifizierung

A/B Testing
Neues und altes Produkt vergleichen
Usability von 2 Produktvarianten vergleichen
Fehleranfälligkeit von 2 Produktvarianten vergleichen
+ Relativ aufwandsgünstig
-Repräsentatives splittingschwer zu erreichen

Bug Metriken
Erfassung von Bugs in Metriken
Tools: Jira, Mantis, Excel

Performance Testing
Vorab Testingvon Performance
+ Ermöglicht Skalierbarkeit und Performance
-Hohe Hardwaranforderungen
-Nicht immer mit realer Last zu vergleichen
Tools: JMeter, Scripts, diverse

Security Testing
Penetration Testing–Outsourcing
Hacker Contest
Security Test Tools
Security Reviews

Externe Audits
Teilweise Erforderlich z.b.PCI/DSS
TÜV
Andere Organisationen

Und wie Testet ihr ?
Welche Methoden nutzt ihr bei euch?