SwissQ Testing Trends & Benchmarks 2012 (Deutsch)
 

Like this? Share it with your network

Share

SwissQ Testing Trends & Benchmarks 2012 (Deutsch)

on

  • 726 views

Zum vierten Mal in Folge hat SwissQ zum Jahresende bei der Schweizer IT Community die aktuellen Trends und Benchmarks erfragt. Daraus entstanden ein repräsentativer Überblick zum Stand des ...

Zum vierten Mal in Folge hat SwissQ zum Jahresende bei der Schweizer IT Community die aktuellen Trends und Benchmarks erfragt. Daraus entstanden ein repräsentativer Überblick zum Stand des Software-Testings in der Schweiz im Jahr 2012 und ein Ausblick auf die wichtigsten Trends der kommenden Zeit.

Statistics

Views

Total Views
726
Views on SlideShare
707
Embed Views
19

Actions

Likes
1
Downloads
10
Comments
0

3 Embeds 19

http://www.techgig.com 16
http://115.112.206.131 2
http://de.slideshare.net 1

Accessibility

Categories

Upload Details

Uploaded via as Adobe PDF

Usage Rights

© All Rights Reserved

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Processing…
Post Comment
Edit your comment

SwissQ Testing Trends & Benchmarks 2012 (Deutsch) Presentation Transcript

  • 1. SwissQ Testing Trends &Benchmarks Schweiz 2012Software Testing Trends Schweiz 2012. Wo stehen wir – wohin geht es?
  • 2. INHALTSVERZEICHNIS SwissQ Testing Trends & Benchmarks 2012 2 3 EDITORIAL 4 TRENDWAVE 2012 6 KEY MESSAGES 7 PROJEKTE 8 REIFE 9 MOBILE TESTING Schwerpunkt 10 ORGANISATION 12 VORGEHEN 13 AGILE TESTING Schwerpunkt 14 TESTWERKZEUGE 15 AUTOMATISIERUNG Schwerpunkt 16 ERHEBUNGSGRUNDLAGEN 17 STRATEGIE & MANAGEMENT Schwerpunkt
  • 3. EDITORIAL SwissQ Testing Trends & Benchmarks 2012 3Zum vierten Mal in Folge hat SwissQ zum Jahresende bei der Schweizer IT Community die aktuellen Trends und Benchmarks erfragt.Nebst einem sehr positiven Rücklauf von über 300 ausgefüllten Fragebogen wurden auch diverse IT-Entscheidungsträger aus unterschiedli-chen Firmen, Branchen und Regionen, in einem persönlichen Interview zu den aktuellen Trends befragt. Daraus entstanden ein repräsentati-ver Überblick zum Stand des Software-Testings in der Schweiz im Jahr 2012 und ein Ausblick auf die wichtigsten Trends der kommenden Zeit.Neu wird mit der Trends & Benchmarks Analyse nicht mehr nur die Disziplin Testing beleuchtet, sondern auch die beiden ThemenbereicheRequirements Engineering und Agile. Die entsprechenden Reports erscheinen einzeln, um deren Wichtigkeit Rechnung zu tragen.Die Teilnehmergruppe setzt sich vor allem aus Testmanagern und Abteilungslei- Wie bereits im letzten Jahr offeriert SwissQ den Unternehmen wieder die Gelegen-tern, aber auch aus Test Engineers und Projektleitern zusammen, die insbesondere heit, die SwissQ Testing Trends & Benchmarks intern vor ihren Mitarbeitern zu prä-im IT-Sektor, im Finanz- und Versicherungswesen, in der Industrie oder in staatli- sentieren. Zielpublikum sind vor allem die Tester Community, Software Ingenieure,chen Betrieben tätig sind. Zum ersten Mal haben wir in diesem Jahr einen speziel- Projektleiter, Requirements Engineers und das Management. Die Präsentationlen Fokus auf die Themen Agile Testing und Requirements Engineering gelegt und ermöglicht, einen externen Blick auf die aktuellen Veränderungen zu bekommen,deshalb den Teilnehmerkreis entsprechend erweitert. So ist etwa ein Viertel der die Motivation und den Stellenwert des Testings zu steigern sowie von Ideen fürUmfrageteilnehmer im Requirements Engineering tätig. Zusammen dienten uns die konstante Weiterentwicklung des Testings zu profitieren.die über 300 ausgefüllten Fragebogen als Grundlage für die Analyse und Interpre-tation des aktuellen Standes und zukünftiger Entwicklungen für 2012. In diesem Sinne hoffen wir, dass die vorliegenden Trends und Benchmarks Sie dazu inspirieren, neue Herausforderungen aktiv anzugehen und die aktuell bestenDie Benchmarks, in Form einer Vielzahl informativer Grafiken, bilden das Rückgrat Massnahmen in Ihrem Unternehmen zu ergreifen.des Reports und ermöglichen, sich im Vergleich mit anderen Unternehmen zupositionieren.Um die Aktualität der untersuchten Themen aufzuzeigen, wird wie bis anhin dieSwissQ Trend Wave® verwendet. Diese zeigt in vier Phasen auf, wie sich einzelneTrends wahrscheinlich entwickeln, wodurch wiederum deren Einfluss auf dieUnternehmen abgeschätzt werden kann.
  • 4. TRENDWAVE 2012 SwissQ Testing Trends & Benchmarks 2012 4 INTRODUCTION GROWTH MATURITY DECLINEPRIORITY Automatisierte Testprozessverbesserung Regressionstests ALM Tools SCRUM Agiles Testing Regressionstest Load and Performance Tests Zentrale Testorganisation Exploratives Testing Risk Based Testing ISTQB FL & AL Level TDD Security & Penetration Testing Outsourcing ISTQB Expert Level Session Based Testing Mobile Testing Cloud Testing ATDD TIME INTRODUCTION – Das Thema wurde GROWTH – Das Thema wird immer MATURITY – Die meisten Unterneh- DECLINE – Das Thema wurde von erkannt und einige Unternehmen mehr anerkannt und viele Unterneh- men arbeiten an der Umsetzung oder den meisten Unternehmen, mit arbeiten an ersten Umsetzungen. men gehen darauf ein. Es entstehen haben diese bereits abgeschlossen. Ausnahme einzelner Nachzügler, Es ist allerdings nicht absehbar, ob die ersten Werkzeuge und Beratungs- Das Wissen zu dem Thema ist oft sehr bereits umgesetzt. Wissen in diesen sich dieser Trend positiv weiterent- firmen bieten Dienstleistungen dazu verbreitet, wobei häufig auch Unter- Bereichen neu aufzubauen generiert wickelt und das Testing tatsächlich an. Mit der fehlenden Erfahrung bei arten dazu entstehen. oft keinen Nutzen mehr, da dieses in erheblich beeinflussen wird. der Umsetzung gehen oft diverse Kürze obsolet wird. Risiken einher.
  • 5. TRENDWAVE 2012 SwissQ Testing Trends & Benchmarks 2012 5Ziel der Trendwave ist es aufzuzeigen, welche Themen in nächster Zeit sowohl die Disziplin Testen beeinflussen werden, alsauch die Personen und Organisationen, welche sich damit befassen. Sie hilft somit dem Leser, sich gezielt auf dieseVeränderungen vorzubereiten und sie wo immer möglich aktiv mitzugestalten.Die Technologien, welche den Consumer-Markt in den letzten Jahren verändert Momentan liegt der primäre Fokus auf zwei Bereichen, da sie in den letzten Jah-haben – Smartphones und Tablets, SocialMedia, die Cloud und hochaktuell die ren immer mehr an Bedeutung gewonnen haben. Einer davon ist Agile Testing,Sprachsteuerung – finden vermehrt auch in der Unternehmenswelt Verwendung. denn die meisten der Befragten arbeiten inzwischen mindestens zum Teil mitDie damit einhergehenden neuen Informations- und Kommunikationskanäle agilen Vorgehensweisen. Der zweite Bereich ist das Requirements Engineering,führen dazu, dass die Kundenerwartungen stetig steigen, wie folgendes Beispiel der damit direkt eine der grössten Herausforderungen aufgreift: Die mangelhafteillustriert: Qualität von Anforderungen. Zufall oder Schicksal, die parallele Entwicklung dieser beiden Themen kann nur von Vorteil sein.Bei einer hitzigen Diskussion über die Notwendigkeit einer separaten Versicherungfür Ski-Diebstahl, zücke ich am Samstag Nachmittag im Après-Ski das Smartphone Somit ist anzunehmen, dass Mobile Testing und erst recht Cloud Testing für vieleund öffne die App meiner Versicherung, um die aktuelle Deckung zu prüfen. Mit Organisationen und Software-Tester erst auf dem Radar erscheinen, wenn dieSchrecken stelle ich fest, dass Ski-Diebstahl nicht dazugehört. Sofort frage ich Siri gröbsten Hindernisse in der Umstellung auf Agile und der Qualitätserhöhung dernach einem entsprechenden Anbieter und schliesse die Versicherung gleich Online Anforderungen überwunden sind. Zudem ist mit der Test-Automatisierung einab. Zum Glück, denn gerade fährt da hinten ein Kerl im gelben Ski-Anzug mit weiteres Thema im Fokus, das uns schon viele Jahre begleitet und oft immer nochmeinen Skiern davon! nicht zufriedenstellend gelöst wurde.Solche Szenarien, welche gestern noch utopisch waren, heute jedoch kurz vor dem Trotzdem ist absehbar, dass die „Mobilisierung“ der IT in naher Zukunft rapideDurchbruch stehen, stellen nicht nur die Business Analysten und die Software- zunimmt. Es stellt sich die Frage, ob man hier nicht schon ansetzen sollte, bevorEntwickler vor neue Herausforderungen. Gerade das Testing wird dadurch immer man den Zug verpasst hat und ein Aufholen zu zeit- und kostenintensiv wird.komplexer und aufwändiger.Viele Firmen haben diese Trends erkannt. Einige berücksichtigen sie bereits inihren aktuellen Projekten und Produkten, andere sammeln erste Erfahrungen undbauen langsam Wissen auf. Ein grosser Teil ist jedoch der Meinung, dass es zu frühist und möchte sich noch nicht damit auseinander setzen, sollte dann aber wach-sam sein, um nicht zu stagnieren.
  • 6. KEY MESSAGES SwissQ Testing Trends & Benchmarks 2012 6 1 In über der Hälfte der Unterneh- men kommen agile Vorgehen zum Einsatz. 84.5 % der Befragten set- zen dabei auf Scrum als bevorzugte agile Methode. 2 Neue, technologie- und prozess- getriebene Vorgehen wie Mobile Testing, agiles Testen oder Session Based Test Management, geniessen noch (zu) wenig Aufmerksamkeit. 3 Der Fokus der Aus- und Weiter- bildung wird vermehrt auf die Bereiche Requirements Engineering und Agilität gerichtet, dicht gefolgt von den ISTQB Advanced Level- Zertifizierungen. 4 Während 40 % der Befragten die Reife des Testprozesses als gut oder ausgezeichnet einschätzen, beurtei- len Dreiviertel die Reife des Requi- rements Engineering als höchstens 5 Nicht überraschend werden als grösste Herausforderungen im Testing die mangelhaften Anfor- derungen genannt, gefolgt vom zu späten Einbezug der Tester. 6 Die interdisziplinäre Zusammen- arbeit zwischen Business Analyst, Software-Entwickler und Tester hat weiter an Bedeutung zugenommen. Das grosse Umdenken hat aber mittelmässig. noch nicht stattgefunden. 7 Am meisten wird in die Erweite- rung der Testautomatisierung und den Auf- und Ausbau der Regressionstests investiert. Dagegen werden kaum noch neue 8 Obwohl 80 % ihre funktionalen Tests automatisieren, hat fast die Hälfte erst weniger als 10 % auto- matisiert. Positiv zu vermerken ist jedoch, dass es 2011 noch fast 2/3 9 Der Trend zu integrierten Tool- Lösungen hat sich insbesondere mit HP ALM und teilweise mit MS TFS verstärkt. Tools, welche nur eine Disziplin abdecken, haben einen Stellen für Tester geschaffen. waren, die weniger als 10 % auto- schweren Stand. matisiert hatten.
  • 7. PROJEKTE SwissQ Testing Trends & Benchmarks 2012 7Projektart70 % der Projekte sind Neu-Entwicklungen oderErweiterungen bestehender Lösungen. >50% der Befragten beschreibt die Ausgangslage für Projekte als nur zufriedenstellend oder ungenügend in Bezug auf: 12 % 8% Neu-Entwicklung Aufwandschätzung Planung 39 % Erweiterung einer bestehenden Lösung Anforderungs-Definition 10 % Migration Realistische Erwartungen Einführung Standard- Software 31 % Betrieb, Support, Wartung, Re-Design, ... Projekterfolg Nur knapp über ein Drittel aller Projekte wird mit der gewünschten Funktionalität, innerhalb der vereinbarten Zeit und ohne Überschreitung des geplanten Budgets beendet.Projektgrösse (in CHF) 40 % 51 % 35.1 % 30 % 40 % 39.2 % 39.2 % 25.1 % 20 % 18.1 % 17.5 % 20 % 10 % 4.1 % 10.8 % 0 % Projekt in im Rahmen, grosse funktion. Projekt Projekt Zeit, Budget, über Budget Änderungen, verlängert/neu gestoppt 0 % Funktionalität und/oder Zeit aber Projekt geplant bis 1 Mio bis 20 Mio über 20 Mio beendet beendet
  • 8. REIFE SwissQ Testing Trends & Benchmarks 2012 8Reifegrad des Testens Ansehen des TestensIm Schnitt beurteilen die Befragten die Reife des Testprozesses in ihrerOrganisation als mittelmässig bis gut. Diese Einschätzung blieb über dieletzten Jahre gleich. Im Gegensatz dazu wird die Reife des Requirements Es ist für den Erfolg der Organisation 18 %Engineering (RE) von den Befragten wesentlich schlechter beurteilt. strategisch50 % Es ist ein wichtiger Faktor, um 49 % verlässliche Software zu produzieren40 % Es ist ein notwendiges Übel 19 % Es hat tiefe Priorität 13 %30 % Test RE Die Kosten für Tests könnten wir 2 % uns sparen20 % 0 % 10 % 20 % 30 % 40 % 50 %10 % 0 % Die grössten Herausforderungen t et ac h ac h sig Gu n äs ich hw hw m ◦Anforderungen Verfügbarkeit sc Sc el ze itt ge mangelhaft: der Test- hr Se M us umgebung: A Tester zu spät involviert: 63 % 30 % ◦Automati- 38 % sierung: 40% 75% 33 % Zu wenig der Befragten schätzen die Reife der Befragten beurteilen Budget / Ressourcen: des Testprozesses als gut oder die Reife des Requirements ausgezeichnet ein. Engineering als höchstens 30 % mittelmässig.
  • 9. SCHWERPUNKT MOBILE TESTING SwissQ Testing Trends & Benchmarks 2012 9Der mobile Markt wächst stark und mit ihm sowohl die Anzahl, als auch die Komplexität der verfügbaren Applikationen.Das für einen erfolgreichen Test nötige Wissen dringt jedoch nur langsam in die Entwicklungs- und Testorganisationen vor.Das Testen Mobiler Apps stellt die Tester vor eine Reihe von Herausforderungen, Weder wird ein systematisches Device Management betrieben, noch finden Schu-für die sie nicht ausreichend vorbereitet sind. Dazu gehört beispielsweise die lungen statt. Erst beim Auftreten grösserer Probleme wird punktuell externe HilfeErweiterung des risikobasierten Testansatzes um relevante Gerätezustände, wie das herangezogen. Die Folge sind neben einem hohen Risiko häufig steigende Test-Verhalten der App bei WLAN- und 3G-Zugang, Offline oder bei einkommender SMS. kosten – bei vergleichsweise geringem Nutzen. Dass diese unbestritten vorhandenDie grösste Herausforderung für Entwicklung und Test bleibt aber die Vielzahl von sind, zeigt zum Beispiel auch der SwissQ App Test Report, welcher die bekanntes-unterschiedlichsten Geräten und OS-Versionen. Durch das Aufkommen von iOS 5 ten Zeitungs-Apps auf Herz und Nieren geprüft hat.und dem iPad 2 gilt dies vermehrt auch für iPhone Apps. Das Testen von Darstel-lung, Usability und Funktionalität kann sehr kostenintensiv sein, jedoch sind das Testautomation für Mobile war Anfang 2011 nur mit wenigen Werzeugen möglich.die Bereiche, welche nach Markteintritt entscheidend zum ersten Eindruck Inzwischen bieten mehrere namhafte Hersteller eigene Tools oder Partnerschaftender Applikation beitragen. an, wie z.B. Jamos mit einer starken Integration in HP QC und QTP. Dabei stellt sich die Frage, wie gut dieses Thema in die vorhandene Infrastruk-Es reicht nicht mehr, nur eine iPhone App zu haben. 2011 ist in der Schweiz der tur und die existierenden Prozesse integriert werden kann, oder ob es eventuellMarktanteil von Android von einem einstelligen Bereich auf ca. 30 % gestiegen. doch externen Spezialisten überlassen wird. Dies wird für 2012 sicherlich eineIn der Folge haben viele Firmen begonnen, Apps für Android zu entwickeln bzw. spannende Entwicklung mit viel Potential für First-Mover-Fehler, aber auch vielzu portieren. Die Veränderungen in den Marktanteilen beschränken sich dabei Potential für Senkung von Kosten und vor allem von Time-to-Market.jedoch nicht nur auf Smartphones, sondern auch auf Android Tablets, deren Ver-kaufszahlen besonders im Q4 2011 enorm zugelegt haben. Spezialisierte Firmen, wie zum Beispiel SwissQ, bieten inzwischen eine breite Palette an Dienstleistungen für Mobile Testing an. Mit gut ausgestatteten Geräte-Die Test-Teams vieler Firmen haben keine besondere Ausbildung für den Test Koffern, speziellen Bug-Hunters und viel Erfahrung testen sie Apps innert Stundenvon Apps erhalten, da weiterhin die Meinung vorherrscht, eine Mobile App sei und können so ohne grossen Aufwand die Risiken stark minimieren.“einfach zu testen”. Standards, Schulungen, Zertifizierungen fehlen bislang völlig.Kleine und mittlere Firmen lassen ihre bisherigen Tester oder sogar ihreEntwickler testen.Marktanteile Smartphones Verkaufszahlen Tablets Android Gerätevielfalt CH70 18 61 66 66 62 Android iOS Q4 2010 Galaxy SII60 16 57 Symbian Galaxy SI 49 51 RIM 53 14 Q4 2011 49 Microsoft50 47 HTC Desire HD 50 44 45 44 Bada 43 12 41 Other OS40 36 36 HTC Desire 33 1030 27 8 HTC Desire S 25 31 22 19 21 19 21 20 20 18 6 HTC Sensation20 17 16 17 16 15 17 16 17 17 10 11 12 1311 11 13 18 10 14 15 15 4 Galaxy Ace10 8 13 13 12 11 5 5 3 1 3 1 2 2 3 2 Motorola Defy 0 2007 2007 2007 2007 2008 2008 2008 2008 2009 2009 2009 2009 2010 2010 2010 2010 2011 2011 2011 0 Else Q1 Q2 Q3 Q4 Q1 Q2 Q3 Q4 Q1 Q2 Q3 Q4 Q1 Q2 Q3 Q4 Q1 Q2 Q3 Apple iOS Android Others Quelle: Wikipedia Quelle: Strategy Analytics
  • 10. ORGANISATION SwissQ Testing Trends & Benchmarks 2012 10Wer führt Testaktivitäten durch Ausbildung Der Fokus der Aus- und Weiterbildung der Mitarbeiter verschiebt sichErstellung der Testfälle von den ISTQB Zertifizierungen – welche die meisten schon haben – hin zu Themen im Bereich Requirements Engineering und Agilität. Hab ich schon Ist geplant Mal in ferner Zukunft IT Tester ISTQB Foundation Level 36 % Req. Engineer/ „ISTQB Advanced Level Business Test Manager“ Entwickler Fachbereich Analysten IT Tester ISTQB Advanced Level 21 % Endbenutzer Test Analyst 19 % 16 % Entwickler ISTQB Advanced Level 7.4 % Technical Test Analyst IREB® CPRE Foundation Level Projektmanagement (IPMA, PMI, ...)Testdurchführung Certified Scrum Master Agile Testing Certified Product Owner Certified IT Process and Quality Manager IT Tester Agiles Requirements Engineering 34 % Fachbereich Endbenutzer ISTQB Expert Level 26% Entwickler Req. IREB CPRE Advanced Level IT Tester Engineer/BA Elicitation & Consolidation 17% 14% Entwickler IIBA CBAP (Certified Business 9 % Analysis Professional) IREB CPRE Advanced Level Requirements Modeling 0 % 20 % 40 % 60 % 80 % 100 %
  • 11. ORGANISATION SwissQ Testing Trends & Benchmarks 2012 11Einsatz externer Ressourcen TestaufwandDie Unterstützung der Testaktivitäten durch externe Ressourcen hat sich Die Streuung beim Testaufwand bleibt relativ gross. Im Durchschnittgegenüber 2011 leicht erhöht. Weiterhin werden die Ressourcen meist liegt der Testaufwand im Verhältnis zum Gesamtaufwand zwischenvor Ort im Unternehmen eingesetzt. Outsourced Testing stagniert, wäh- 15 % und 20 %. Im Verhältnis zum Entwicklungsaufwand liegt der Wertrend Managed Services (z.B. automatisierte Regressionstests) zulegen. bei etwas über 50 % (nicht visualisiert). 30 % 5.9 % 30 % 10,4 % keine externen Ressourcen 33.8 % Bezug externer Ressourcen 20 % 21 % (Insourcing) 19 % Bezug als Dienstleistung 17 % (Managed Service) 50 % Auslagerung an externe Ressourcen (Outsourcing) 10 % 8 % 4 % 1 % 0 % < 5 % 5 – 10 % 10 – 15 % 15 – 20 % 20 – 30 % 30 – 50 % darüber Testaufwand im Verhältnis zum GesamtaufwandInvestitionen Investitionen nehmen Investitionen bleiben Investitionen nehmen tendentiell zu eher gleich tendentiell ab Testumgebungen Auslagerung von Testaktivitäten Testautomatisierung Testmanagement-Tools Anstellung neuer Test-Mitarbeiter  Auf- und Ausbau Testdaten-Management Regressionstests Aus- und Weiterbildung für Mitarbeiter Strukturierte Testprozesse / Methoden
  • 12. VORGEHEN SwissQ Testing Trends & Benchmarks 2012 12Angewandte Vorgehensmodelle Einführung agiler MethodenIn über der Hälfte der Unternehmen kommen agile Vorgehensweisenzum Einsatz. Viele setzen dabei auf mehr als ein Vorgehensmodell, Treiber agiler Methodenoft in Kombination mit dem Wasserfallmodell. Agile Vorgehensweisen werden vor allem von den direkt involvierten Personen gefördert. 60 % 39.2 % 52.1 % Agil 40 % 39.4 % 38.0 % 36.6 % 51 % Wasserfall 10 % 19.8 % 40 % 0 % Entwickler Abteilungs- Leiter Projektleiter CEO Interaktiv leiter / Team- Entwicklung Hermes leiter 22 % RUP 12 % 16 % Gründe für agile Methoden 84.5% Beschleunigung Time-to-Market Besserer Umgang mit der Befragten setzen Scrum als bevorzugte agile Methode ein. sich ändernden Prioritäten ProduktivitätSwissQ Agile Trends & Benchmarks 2012 Zusammenarbeit zwischenViele weitere Zahlen und Details sind im SwissQ IT und BusinessAgile Trends & Benchmarks Report 2012 zu finden.
  • 13. SCHWERPUNKT AGILE TESTING SwissQ Testing Trends & Benchmarks 2012 13Bereits mehr als die Hälfte der Unternehmen hat agile Vorgehensweisen im Einsatz. Agile Software-Entwicklung erfordert jedoch auch agiles Testen,worauf die wenigsten Organisationen vorbereitet sind. Ein Wechsel des „Mindsets“ ist notwendig, der vielen schwerfällt. Doch die guten Ergebnisseüberraschen sogar gestandene Test-Experten.Software Testing in Bezug auf Agilität ist sehr vielfältig und stellt daher eine grosse Agiles Testen hat drei grundsätzliche Aufgaben: Das Produkt zu hinterfragen undHerausforderung dar. Dabei kann das Thema in drei Dimensionen betrachtet wer- zu prüfen, die Entwicklung zu unterstützen und Informationen für die kontinuier-den: Agiles Testen in agilen Projekten (Scrum & Co), in nicht-agilen Projekten und liche Verbesserung des Teams zu liefern. Diverse neue dynamische Testmethodenagile Projekte im Kontext von Organisationen. Dieser Artikel widmet sich der 1. helfen dabei, die Ziele der Iterationen zu erreichen und die Effizienz des Teams zuDimension und dort primär den fachlich orientierten Tests, wie mit Quadranten steigern. Ansätze wie klassisches exploratives Testen, die mess- und auditierba-2 und 3 der „Agile Testing Matrix“ (aus Brian Marick, 2009) dargestellt. re Variante „Session Based Testing“, Acceptance Test Driven Development (ATDD) oder Scenario Testing können zu sehr guten Ergebnissen führen, welche oft sogar Automated Business-Facing Manual gestandene Test-Experten überraschen. In Bezug auf die Regressionstest-Explosion and Manual System Acceptance Tests im Kontext der vielen Iterationen gilt Testautomatisierung, neben der risikobasier- Functional Tests Exploratory Testing ten Priorisierung, als Schlüssel zum Erfolg. Scenario Testing Supporting Development Story Acceptance Testing Usability Testing Feature Acceptance Testing User Acceptance Testing (UAT) Critique Product Alpha/Beta Testing Aus der Praxis können zusätzlich folgende Aspekte mitgegeben werden: Q2 Q3 Der Zeitpunkt des Testens kann im Projekt in 4 verschiedenen Varianten gesetzt Q1 Q4 werden. Möglichst viele Fehler können innerhalb eines Sprints gefunden und System Qualities Tests behoben werden, wodurch die Fehler nicht in den nächsten Sprint gezogen Unit Tests Performance ans Load Testing Component Tests Security Testing werden (weniger Aufwand, mehr Zeit für die Arbeit an neuen Stories). „ility“ Testing Der Tester kann in allen Scrum-Prozessen und -Meetings anregen, offen über Qualität, Testbarkeit und Anwendbarkeit zu sprechen. Der Tester sorgt für kreative Automated Tools Technology-Facing Diskussionen und eine hohe Lernkurve im Team, weil er eine andere, sehr kritische Perspektive einbringt. Die Wichtigkeit von Features, User Stories und Regressions-Für das agile Testen gab es in der Vergangenheit, ausser für Entwicklertests, fast testfällen kann spielerisch durch Priority Poker ermittelt werden.keine Ansätze und Vorgaben, geschweige denn eine institutionalisierte Ausbildungoder erfahrene Tester. Aufgrund der wesentlich unterschiedlichen Vorgehensweisen Der Nutzen von agilem Testen kann beispielhaft durch die SwissQ Embedded Scrumder phasenorientierten und der agilen Welt fällt den meisten Testern der Wechsel Tester aufgezeigt werden: Durch das zeitnahe Feedback wird die Testarbeit für daszwischen diesen beiden Welten nicht leicht. gesamte Team sichtbar und erfährt grosse Wertschätzung. Die Entwickler sehenDie Ausgangslage, die Prozesse und die Team-Zusammensetzung sind anders, darin nicht nur ihre Entlastung, sondern schätzen auch die gegenseitige Bereicherung. teilweise auch die Werkzeuge und die Methoden. Die flinke, konfrontative und in-tegrative Welt der Agilität verlangt nach zusätzlichen Qualifikationen und sozialenFähigkeiten, die in der separierten lang-phasigen Welt der traditionellen Metho- Du bist eine echte Test-Maschine. Wir sind froh, dass wir dich dabei haben!den nicht erforderlich waren. Damit ist ein komplett anderer „Mindset“ notwen- (Entwickler aus einem Scrum Projekt, 2011)dig, der nicht von dem einen auf den nächsten Tag herbeigeführt werden kann. Embedded Scrum Tester, Scrum Master und Coaches werden von SwissQ gerne und We recently transitioned to agile. But all our testers quit. auf Anfrage zur Verfügung gestellt. Ihre jahrelange Erfahrung im Kontext von (aus Crispin & Gregory 2009) Agilität, Scrum und Testen gibt es auch in Form von Schulungen, wie z.B. Agile Testing mit Scrum.
  • 14. TESTWERKZEUGE SwissQ Testing Trends & Benchmarks 2012 14Testmanagement-Tools TestautomatisierungÜber 60 % der Befragten geben an, mit HP QC (seit Version 11 in ALM um-benannt) zu arbeiten. Viele verwenden aber mehr als ein Tool, oft kombi- Eingesetzte Tools 80%niert mit Excel oder Word. Der MS Test Manager ist klar im Vormarsch und Spitzenreiter ist und bleibt Quick Test Professional von HP,trumpft vor allem mit der Integration in den Team Foundation Server auf. gefolgt von den Eigenentwicklungen. Insgesamt bleibt der Markt stark fragmentiert. Es wurden fast 30 verschiedene Tools genannt. der Befragten automatisieren ihre funktionalen Tests. HP QC / ALM 62 % Selenium MS Office 44 % Tosca Canoo Webtest Eigenentwicklung Ranorex Lisa 48% haben weniger als 10 % Open Source 20 % Quick Test Professional der funktionalen Tests automatisiert. Im 2011 Rational Functional Tester waren es noch 60 %. QF Test Andere Eigenentwicklung 8 % MS TFS 2010 5 % Test Manager Kosteneinsparungen durch Testautomatisierung Die durch Testautomatisierung möglichen Einsparungen werden als eher gering Inflectra Spira 2 % eingeschätzt. In einem Drittel der Fälle ist keine Aussage möglich. IBM Rational 2 % TestManager 33.3 % keines 1 % 22.6 % 23.7 % 0 % 20 % 40 % 60 % 10.2 % 2.8 % 7.3 % Kosten bis 10 % bis 20 % bis 50 % bis 80 % Keine gestiegen Aussage möglich
  • 15. SCHWERPUNKT AUTOMATISIERUNG SwissQ Testing Trends & Benchmarks 2012 15Testautomatisierung ist schwer. Obwohl seit mindestens 20 Jahren Werkzeughersteller immer neue Generationen von Tools auf den Markt bringen,ist der Nutzen in vielen Organisationen und Projekten beschränkt. Trotzdem bleibt es die einzig gangbare Lösung, um eine genügend grosseTestabdeckung zu erreichen, insbesondere in iterativen Entwicklungsvorgehen mit vielen und oft wiederkehrenden Regressionstests.Nachdem es vor einigen Jahren ruhiger um das Thema Testautomatisierung wur- Hier kann Outsourcing einen Ausweg bieten, wobei es sich empfiehlt, dies nur aufde, hat das Interesse daran in den letzten Jahren wieder sprunghaft zugenom- bekannte, wohl-dokumentierte Regressions-Testfälle von Applikationen anzuwen-men. Dies kann darauf zurückgeführt werden, dass agile Vorgehensmethoden den, die bereits eine gewisse Reife und Stabilität erreicht haben.sich immer mehr durchsetzen und diese durch die vielen kurzen Iterationszyklenbeste Voraussetzungen für Testautomatisierungen bieten. Ein anderer Lösungsansatz vor allem in agilen Vorgehensweisen besteht darin, die Testautomatisierung als Teil der Entwicklung voranzutreiben, also GUI-Tests aufGleichzeitig entwickelt sich die Tool-Landschaft, vor allem im Bereich der Stufe von Unit-Tests und in der Verantwortung der Entwickler anzusiedeln.GUI-Automatisierung, stetig weiter. Werkzeuge mit neuen Lösungsansätzen Hier lassen sich Synergien nutzen, da Scripting sowieso Entwicklungs-Know Howtreten auf – siehe TOSCA – und die bestehenden Tools werden weiterentwickelt. erfordert. Es handelt sich dabei um eine Erweiterung des Test Driven Develop-Eine Konsolidierung des Marktes ist noch lange nicht absehbar. So überbieten ment-Ansatzes (TDD). Hier sind jedoch die zum Teil recht hohen Lizenzkosten dersich sowohl viele Tool-Hersteller als auch Open Source-Produkte wie Selenium kommerziellen Tools ein Thema, weil sie zum Beispiel verhindern können, dassgegenseitig mit Funktionen, die das traditionelle Capture-Replay-Verfahren jeder Entwickler die Möglichkeit hat, GUI-Tests auszuführen. Deshalb werden oftdurch verbesserte, flexible Objekterkennungen und vielfältige Scripting- und Open Source-Werkzeuge eingesetzt, welche sich zudem gut mit anderen OpenReporting-Möglichkeiten erweitern. Dazu kommen noch eine Vielzahl von Source-Komponenten – wie z.B. Sonar oder Jenkins – integrieren lassen und soEigenentwicklungen vor allem beim Einsatz von GUIs, die von den kommer- Tool-Einsatz und -Monitoring zu tiefen Kosten ermöglichen.ziellen Tools nicht oder nur schlecht unterstützt werden. Für die Zukunft ist es wichtig, den Einsatz der Testautomatisierung weiter zuDie grössten Herausforderungen der Testautomatisierung können jedoch nur professionalisieren. Ressourcen für die Durchführung manueller (Regressions-)bedingt durch technische Features abgefangen werden. So erschweren es Tests, welche oft im Fachbereich angesiedelt sind, werden immer knapper, da dermangelhafte Anforderungen, die am sinnvollsten zu automatisierende Funktio- Druck durch das Tagesgeschäft ständig steigt. Zudem ist die Motivation, repetitivenalität zu erkennen und korrekt abzubilden. Auch sind die Applikationen unter Regressionstestfälle auszuführen, verständlicherweise nicht sehr gross.Tests oft nicht stabil genug und werden bis kurz vor Release überarbeitet und Dadurch werden viele Flüchtigkeitsfehler gemacht, welche die Effektivität derweiterentwickelt. Häufig übersteigen Wartungsaufwand und Betrieb der auto- Tests stark beeinträchtigen.matisierten Tests deren Nutzen und es besteht die grosse Gefahr, dass die Testsnicht mehr weiter gewartet werden und schnell unbrauchbar werden. Die Experten von SwissQ sind mit den verschiedenen Ansätzen vertraut und haben Automatisierungsvorhaben in mehreren Organisationen begleitet.Es ist überraschend und sogar erschreckend, dass viele der Probleme, die Zudem stellt SwissQ – extrem gesuchte – Test-Automatisierer zur Verfügung.von James Bach bereits in seinem erstmals 1996 publizierten Artikel„Test Automation Snake Oil“ (www.satisfice.com) beschrieben wurden,immer noch gelten.Weiter kommt hinzu, dass Spezialisten und Experten, z.B. für den MarktführerQuick Test Professional, extrem rar sind. Das führt dazu, dass das Potential derTools nicht voll ausgeschöpft werden kann.
  • 16. ERHEBUNGSGRUNDLAGEN SwissQ Testing Trends & Benchmarks 2012 16Wirtschafts-Sektor AufgabenbereichÜber 60 % der Befragten arbeiten entweder in der IT-Branche oder im Über 50 % der Befragten umschreiben ihre Tätigkeit mit mehr als einerFinanzbereich. Im Vergleich zu den Vorjahren hat sich deren Anteil jedoch Rolle. Gerade Test Manager üben ihre Aufgabe nicht zu 100 % ihrer ver-reduziert, was zeigt, dass das Thema auch in anderen Branchen angekom- fügbaren Zeit aus, sondern nehmen zusätzlich andere Rollen wahr.men ist. IT 36.1 % 30 % Finanzen, Versicherungen 28.4 % Industrie 7.4 %Staatliche und staatsnahe Betriebe 7.4 % 20 % Transport und Verkehr 5.6 % Telekom 4.0 % MedTech 3.7 % 10 % Andere 7.4 % 0 % 10 % 20 % 30 % 40 % 0 %IT-Mitarbeitende ge r r A r ite / B nee eite este age r r r ee r a na mle er g i tl T a n g inEtwas mehr als die Hälfte der Befragten arbeitet in Firmen mit mehr als tM ea in e En ojek M En500 IT-Mitarbeitenden. es / T Eng Test Pr ts re T s- s en twa ng ent m f lu ire So tei rem qu Ab qui Re R e 2001– ... 33.0 % 501 – 2000 17.6 % 60% 33% 251 – 500 13.6 % 51 – 250 15.4 % 11 – 50 14.2 % der Befragten arbeiten der Befragten haben eine vor allem im Projektkontext. Linienfunktion inne. 1 – 10 6.2 % 0 % 5 % 10 % 15 % 20 % 25 % 30 % 35 %
  • 17. SCHWERPUNKT STRATEGIE & MANAGEMENT SwissQ Testing Trends & Benchmarks 2012 17In den letzten Jahren wurde in einigen Organisationen stark in Testing investiert, es wurden dedizierte Personen eingestellt, Werkzeugeeingekauft und Ausbildung betrieben. Doch viele Erwartungen werden nicht erfüllt. Die Tester-Zunft muss sich die Fragen des Wie‘s und Wieso‘sgefallen lassen. Neue, schlankere und effizientere Ansätze sind gefragt. Ein klarer Wertbeitrag an das Unternehmen wird verlangt.Seit rund 10 Jahren ist eine beachtliche Evolution im Bereich Testing im Gange. Während sich viele Organisationen lange Zeit den Diskussionen „zentrales vs.In vielen Organisationen wurde Testen als wichtig deklariert und entsprechend dezentrales Testing“ und „evolutionärer vs. revolutionärer Verbesserung“ ge-in die einzelnen Gebiete wie dediziertes Personal, Werkzeuge, Ausbildung oder widmet haben, sind momentan Lösungen zum aktuellen Kostendruck und zurgar zentrale Testorganisationen investiert. Dem Hype folgt nun jedoch die Er- Effizienzsteigerung und Reduzierung von „Waste“ gefragt. Auf der Suche nachnüchterung: Die Erwartungen wurden nicht erfüllt, die Kosten sind zu hoch, der Einsparungen können gerade Fragen nach dem Wert von Software Testing im(ausgewiesene) Nutzen ist zu tief oder zu technokratisch - das hört man oft. Einige lokalen Kontext Lösungen bieten; ist beispielsweise hohe Prozessreife das Ziel,Unternehmen bauen bereits wieder zurück oder zerschlagen gar ihre Testeinhei- oder „wichtige“ Dokumente zu haben, oder liegt der Fokus einfach nur darauf,ten, wie neulich die Raiffeisen. möglichst viele Fehler in kurzer Zeit zu finden? Unabhängig vom aktuellen Reifegrad von Testing in einer Organisation ist bemer- Bei 200 FTEs in Testing kommt logischerweise die Frage der Existenzbe- kenswert zu sehen, dass eigentlich so gut wie niemand auf die Zukunft vorbereitet rechtigung und möglicherweise der Zerschlagung der Einheit auf. ist; wichtige Themen werden verschlafen, Mannschaft, Methoden und Werkzeuge Leiter Testeinheit aus der Industrie nicht auf die nächsten Veränderungen vorbereitet. Der eigentliche Radar fehlt und somit wird nicht wahrgenommen, welche Themen wie Planeten um das eigene System kreisen, auf dieses einwirken und wo der nächste Asteroid einschlagen wird.Viele Organisationen, so scheint es, haben Mühe, die richtige Balance zwischenKosten und Nutzen zu finden. Während Sinn und Zweck des Testens langsamanerkannt sind, wird oft versucht, mit allgemeinen „Silver-Bullets“ die Herausfor- Re-orgderungen zu lösen. Das richtige Management-Handwerk, die Berücksichtigung Scrumdes lokalen Kontexts und gute strategische Führung scheinen zu fehlen. TestingMit ein Grund für die mangelnde strategische Ausrichtung des Themas Testing(resp. der Test-Organisationen, falls vorhanden) ist die oft fehlende Definition desWertbeitrags von Testing: Was wird genau erwartet, wo sollen welche Veränderun- Outsourcinggen erkennbar sein, wie wird der Erfolg gemessen, etc. Dass dabei auch andereAnsätze, als die oft hoch umjubelte zentrale Testorganisation, passen können, Beispiel eines minimalen Zukunfts-Radarswird gerade von Testern nicht gerne gehört. Zusammenfassend kann gesagt werden, dass nach der Spezialisierung von TestingVor allem bei Organisationen mit nun die Phase der stärkeren Integration folgen wird. Tester wie Testorganisationen20-100 FTEs sind solch neue,organisch wachsende und starkintegrierende Vorgehen gefragt. 150 Fehler müssen sich öffnen und einiges stärker mit den anderen Disziplinen und Vorgehen interagieren. Organisationen, die neu an diesen Themen arbeiten, starten gleich an diesem Punkt. Der Fokus muss stärker auf dem Wertbeitrag für das Unterneh-Wie das Beispiel nebenan auf- in nur 3 Tagen haben zwei SwissQ men liegen und weniger als in der Vergangenheit auf Prozessen, Dokumenten undzeigt, können diese oft mit Embedded Scrum Tester 8 Tage vor Werkzeugen. Dass verschiedene, auf den jeweiligen Kontext passende Ansätze die-weniger Aufwand einen erhebli- Go-Live gefunden. sen Wertbeitrag liefern können, zeigt die Arbeit von SwissQ bei ihren unterschied-chen Mehrwert generieren. lichsten Kunden. Referenzen und Beispiele werden gerne zur Verfügung gestellt.
  • 18. SWISSQ REQUIREMENTS ENGINEERING SwissQ Testing Trends & Benchmarks 2012 18 TRENDS & BENCHMARKS REPORT 2012 Möchten Sie mehr wissen? Sie erhalten den detaillierten Report mit weiteren Analysen über Requirements Engineering ab April über www.SwissQ.it SwissQ Requirements Engineering Trends & Benchmarks 2012 Viele weitere Zahlen und Details sind im SwissQ Requirements Engineering Trend & Benchmark Report 2012 zu finden. Wo wird künftig investiert? Investitionen Investitionen Investitionen nehmen zu bleiben gleich nehmen ab Aus- und Weiterbildung für Mitarbeiter Engere Zusammenarbeit 33 % 54 % 13 % > 80% 36% prüfen Anforderungen 33 % 53 % 14 % der Fälle werden Anforde-zwischen Business und IT nicht auf ihre rungen auf fachliche Rich- tigkeit, Realisierbarkeit und Notwendigkeit. Standardisierung der internen RE Prozesse 25 % 61 % 14 % Vollständigkeit geprüft. Ausarbeitung / Definition der RE Rolle 24 % 60 % 16 % Entwicklung von Vorlagen und Guidelines 22 % 61 % 17 % 2/3 Anstellung neuer RE-Mitarbeiter 22 % 55 % 23 % Etablierung spezifischer RE Tools 21 % 64 % 15 % der Befragten verwenden Etablierung eigener weniger als 1 Tag für dieRE-Bereiche/-Abteilungen 17 % 63 % 20 % Stakeholderanalyse. Auslagerung von RE Aktivitäten 11 % 48 % 41 % 0 % 20 % 40 % 60 % 80 % 100 %
  • 19. SWISSQ AGILE TRENDS & BENCHMARKS REPORT 2012 SwissQ Testing Trends & Benchmarks 2012 19Möchten Sie mehr wissen? Sie erhalten den detaillierten Report mit weiteren Analysen über agile Trends ab April über www.SwissQ.it SwissQ Agile Trends & Benchmarks 2012 Viele weitere Zahlen und Details sind im SwissQ Agile Trend & Benchmark Report 2012 zu finden. Hauptgründe für das Scheitern von agilen Vorgehensmethoden Nur 40% Fehlende Erfahrung mit agilen Vorgehensmethoden 52 % Unternehmensphilosophie nicht mit agilen Werten verknüpfbar 45 % sind zufrieden mit der Implementierung ihrer Externer Druck einem klassischen agilen Vorgehensmethode. Vorgehensmodell zu folgen 41 % Fehlende Unterstützung durch das Management 38 % Fehlende / ungenügende Schulung / Coaching 36 % 1/3 Fehlende Verbindung zw. den Organisationseinheiten 35 % der Befragten haben 2 Fehlender Wille des Teams 22 % oder mehr Jahre Erfahrung mit agilen Methoden. Andere 12 % 0 % 10 % 20 % 30 % 40 % 50 % 60 %
  • 20. ÜBER UNSSwissQ unterstützt ihre Kunden bei der Entwicklung und Einführung von IT-Lösungen und stellt sicher, dass die Benutzer die Funktionalität erhalten, die sietatsächlich benötigen. Wir erreichen dies durch die eindeutige Erfassungder Anforderungen und das risikogerechte Testen der Umsetzung.Unsere Vision ist es, die Wertsteigerung in der IT durch Anforderungsmanage-ment und Software Testing zu verbessern. Nebst der Erbringung von hochquali-tativen Services,verfolgen wir diese Vision durch die Schaffung von unabhängi-gen Plattformen wie dem Swiss Testing Day und dem Swiss Requirements Day,die den Wissens- und Erfahrungsaustausch ermöglichen.Ausserdem helfen wir hellen Köpfen, ihr Wissen durch unsere Schulungenzu erweitern. © by SwissQ Consulting AG | Stadthaus-Quai 15 | CH-8001 Zürich www.SwissQ.it | info@SwissQ.it | Tel +41 43 288 88 40 | Fax +41 43 288 88 39