Your SlideShare is downloading. ×
Testing Trends und Benchmarks 2013
Upcoming SlideShare
Loading in...5
×

Thanks for flagging this SlideShare!

Oops! An error has occurred.

×
Saving this for later? Get the SlideShare app to save on your phone or tablet. Read anywhere, anytime – even offline.
Text the download link to your phone
Standard text messaging rates apply

Testing Trends und Benchmarks 2013

1,459
views

Published on

Published in: Technology

0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total Views
1,459
On Slideshare
0
From Embeds
0
Number of Embeds
0
Actions
Shares
0
Downloads
64
Comments
0
Likes
0
Embeds 0
No embeds

Report content
Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
No notes for slide

Transcript

  • 1. Trends & Benchmarks Report SchweizWo stehen wir – wohin geht es?Testing 2013 In Kooperation mit
  • 2. Inhaltsverzeichnis Testing Trends & Benchmarks Schweiz 2013 2 3 EDITORIAL 4 TRENDWAVE 2013 6 KEY MESSAGES 7 PROJEKTE 8 VORGEHEN 9 AGILITÄT 10 REIFE 12 ORGANISATION 14 TESTAUFWAND 15 TESTWERKZEUGE 16 TESTAUTOMATISIERUNG 17 ERHEBUNGSGRUNDLAGEN 18 Requirements Trends & Benchmarks Schweiz 2013 19 Agile Trends & Benchmarks Schweiz 2013
  • 3. EDITORIAL Testing Trends & Benchmarks Schweiz 2013 3Seit 5 Jahren fühlt SwissQ den Puls der IT Community und veröffentlicht jährlich Zahlen und Fakten zum Stand des Software Testings in derSchweiz und gibt einen Ausblick auf die wichtigsten Trends der kommenden Zeit. Seit letztem Jahr werden die Testing Trends und Benchmarksergänzt durch die beiden Themenbereiche Requirements Engineering und Agile. Diese erscheinen in separaten Reports. Die Datenbasis bildeteinerseits die Online-Umfrage und andererseits persönliche Interviews mit IT-Entscheidungsträgern aus unterschiedlichen Firmen, Branchenund Regionen. Für die diesjährige Ausgabe konnten wir auf 580 ausgefüllte Fragebogen - ein neuer Rekord - und um die 25 Interviews zu-rückgreifen. An dieser Stelle ein herzliches Dankeschön an alle, die mit ihrem Input dazu beigetragen haben.Neu führt SwissQ die Studie zu den Trends & Benchmarks in Kooperation mit dem Unter „Projekte“ ist zum Beispiel ersichtlich, dass sich einerseits die Anzahl derInstitut für Technologiemanagement der Universität St.Gallen (HSG) durch. Die Zu- Neuentwicklungen im Vergleich zum Vorjahr reduziert hat und es andererseitssammenarbeit zeigt auf, wie wichtig diese Themen für die heutigen Unternehmen immer mehr Grossprojekte gibt. Es gibt also weniger, dafür aber grössere Neupro-geworden sind. Es freut uns, mit dieser Kooperation erneut eine Brücke zwischen jekte. Dies hat wohl damit zu tun, dass immer weniger Vorhaben auf der grünender akademischen und unternehmerischen Welt schlagen zu können. Wiese starten. Entweder werden bestehende Lösungen erweitert oder dann kom- plett neu gebaut, was oft sehr teuer ist.Der Report gliedert sich wie gehabt in 2 Teile: die SwissQ Trend Wave® unddie Benchmarks. Bei den Vorgehen halten sich Wasserfall und agile Vorgehen die Waage, wobei vie- le Unternehmen auf mehr als ein Vorgehensmodell setzen. Im besten Fall gelingtIm ersten Teil wird aufgezeigt, wie sich einzelne Trends entwickeln. Dies auf es, die Vorzüge beider Modelle zu vereinen. In der Praxis tut man sich aber an denBasis der Testing Trend Wave 2013. Die kondensierte Darstellung der wichtigsten Übergängen und mit den unterschiedlichen Rollen und Zusammenarbeitsmodel-Themen auf einer Seite erlaubt einen raschen Überblick. Dadurch lässt sich der len schwer. Gerade auch die Tester müssen lernen, mit beiden Welten umzugehenEinfluss der Marktveränderungen auf das eigene Unternehmen abschätzen und bzw. umzudenken und die notwendige Flexibilität an den Tag zu legen. Hier musses können, falls notwendig, geeignete Vorhaben initiiert werden. Eine einfache sicherlich noch mehr Erfahrung gesammelt bzw. Ausbildung betrieben werden.Massnahme um den Veränderungsdruck aufzuzeigen ist es, die Trends und Bench-marks intern bekannt zu machen. Die grösste Herausforderung im Testing bleiben die mangelhaften Anforderungen. Da ist es spannend zu sehen, dass zu den am häufigsten angewandten TechnikenWie bereits in den letzten Jahren offeriert SwissQ den Unternehmen die Gelegen- zur Testfallermittlung die anwendungsfall- und geschäftsprozessbasierten Vorge-heit, die Trends & Benchmarks intern vor ihren Mitarbeitern zu präsentieren. Ziel- hen gehören, welche beide sauber modellierte Anforderungen voraussetzen. Daspublikum sind vor allem die Tester Community, Software Ingenieure, Projektleiter, drückt sich wiederum darin aus, dass von den Testaktivitäten die TestfallermittlungRequirements Engineers und das Management. Die Präsentation ermöglicht, einen am schlechtesten abschneidet. Ein Grund, vermehrt agile Methoden in Betracht zuexternen Blick auf die aktuellen Veränderungen zu bekommen, die Motivation und ziehen?den Stellenwert des Testings zu steigern, sowie von Ideen für die konstante Wei-terentwicklung des Testings zu profitieren. Falls gewünscht, können die Ergebnisse Bei den Testinvestitionen ist und bleibt der Fokus auf der Testautomatisierungaus dem Requirements Engineering und Agile Report auch miteinbezogen werden.  und dem Auf- und Ausbau der Regressionstests. Dies deckt sich mit der anfangs  erwähnten Tatsache, dass vor allem Erweiterungs- und Wartungsprojekte statt-Den zweiten und umfangreicheren Teil des Reports bilden die Benchmarks. finden, bei denen naturgemäss die Sicherstellung der bestehenden FunktionalitätDie  Grafiken sind das Rückgrat des Reports und ermöglichen es, sich im Vergleich mittels Regressionstests einen hohen Stellenwert hat. Die Automatisierung wiede-mit anderen Unternehmen zu positionieren. Der Vergleich mit den Vorjahren er- rum ist ein zwingendes Instrument, um der wachsenden Regression Herrlaubt es zudem zu sehen, in welche Richtung sich die Unternehmen entwickeln. zu werden. Wir hoffen, dass die vorliegenden Trends und Benchmarks Sie dazu inspirieren, neue Herausforderungen aktiv anzugehen und die aktuell besten Massnahmen in Ihrem Unternehmen zu ergreifen.
  • 4. TRENDWAVE 2013 Testing Trends & Benchmarks Schweiz 2013 4 INTRODUCTION GROWTH MATURITY DECLINEPriority Keyword Driven Test Automation ALM Tools Scrum (but) Embedded Testing Agile Testing Exploratory Testing Load and Performance Testing ISO 9126 Waterfall / Scrum Hybrid Session Based Testing / SET ISTQB FL & AL Level Security & Penetration Testing Business Driven Test Automation Outsourcing App / Mobile Testing ISO 25010 Agile Test Management Accessibility Testing Model Based Testing TIME INTRODUCTION – Das Thema wurde GROWTH – Das Thema wird immer MATURITY – Die meisten Unterneh- DECLINE – Das Thema wurde von erkannt und einige Unternehmen mehr anerkannt und viele Unterneh- men arbeiten an der Umsetzung oder den meisten Unternehmen, mit arbeiten an ersten Umsetzungen. Es men gehen darauf ein. Es entstehen haben diese bereits abgeschlossen. Ausnahme einzelner Nachzügler, ist allerdings nicht absehbar, ob sich die ersten Werkzeuge und Beratungs- Das Wissen zu dem Thema ist oft sehr bereits umgesetzt. Wissen in diesen dieser Trend positiv weiterentwickelt firmen bieten Dienstleistungen dazu verbreitet, wobei häufig auch Unter- Bereichen neu aufzubauen generiert und das Testing tatsächlich erheblich an. Mit der fehlenden Erfahrung bei arten dazu entstehen. oft keinen Nutzen mehr, da dieses in beeinflussen wird. der Umsetzung gehen oft diverse Kürze obsolet wird. Risiken einher.
  • 5. TRENDWAVE 2013 Testing Trends & Benchmarks Schweiz 2013 5Ziel der Trendwave ist es aufzuzeigen, welche Themen in nächster Zeit sowohl die Disziplin Testen beeinflussen werden, als auch die Personen undOrganisationen, welche sich damit befassen. Sie hilft somit dem Leser, sich gezielt auf diese Veränderungen vorzubereiten und sie wo immer möglichaktiv mitzugestalten. Haben viele Aussagen unverändert Bestand, so sind doch einige Trends erkennbar, wie z.B. der wachsende Anteil an Testauto-mation oder die sinkende Beschäftigung externer Testressourcen.Die Technologien, welche den Consumer-Markt in den letzten Jahren verändert Folgerichtig liegt der primäre Fokus auf zwei Bereichen. Einer davon ist Agilehaben – Smartphones und Tablets, SocialMedia und die Cloud - finden vermehrt Testing, denn die meisten der Befragten arbeiten inzwischen mindestens zum Teilauch in der Unternehmenswelt Verwendung. Die Revolution von unten hat statt- mit agilen Vorgehensweisen. Doch die grundlegend andere Ausgangslage in Bezuggefunden, Endkunden wie Mitarbeiter kommen mit ihren eigenen Geräten und auf Kultur, Zeitpunkt der Involvierung und Erwartungen, was Testing liefern muss,verlangen Funktionen und Content auf diesen nutzen zu können. Doch auch die stellt viele Tester und ihre Organisationen vor erhebliche Probleme.Usability Anforderungen an herkömmliche Anwendungen steigen rasant – was aufdem Handy geht, muss doch am Monitor erst recht möglich sein. Der zweite Bereich ist das Requirements Engineering, der damit direkt eine der grössten Herausforderungen aufgreift: Die mangelhafte Qualität von Anforderun-Steigende Komplexität der IT und Öffnung der Unternehmungen durch das Thema gen. Zufall oder Schicksal, die parallele Entwicklung dieser beiden Themen kannMobile sind die Herausforderungen der modernen Organisationen. Diese rasante nur von Vorteil sein.Entwicklung stellt nicht nur Business Analysten und Software Entwickler vor neueHerausforderungen. Gerade das Testing wird dadurch immer komplexer, aufwän- Haben wir letztes Jahr noch prophezeit, dass Mobile Testing für viele Organisatio-diger und vor allem schneller. nen und Software-Tester auf dem Radar erscheinen würden, so sind sie für viele inzwischen Alltag. Die immer kürzeren Entwicklungs- und Releasezyklen könnenKein Wunder also, werden rund die Hälfte der IT-Projekte in der Schweiz agil dabei nur mit Hilfe von Testautomation beherrscht werden. Ein Thema, das unsdurchgeführt (davon grösstenteils mit Scrum). Viele Firmen haben diese Trends schon viele Jahre begleitet und oft immer noch nicht zufriedenstellend gelösterkannt. Einige berücksichtigen sie bereits in ihren aktuellen Projekten und Pro- wurde.dukten, andere sammeln erste Erfahrungen und bauen langsam Wissen auf. Die Prognose für 2013? Manuelles Testen wird wieder an Bedeutung gewinnen. In Testautomatisierung wird weiter investiert, die Testabdeckung kann weiter erhöht werden. Auf der anderen Seite wird der Kostendruck weitere Effizienzstei- gerungen erzwingen und entsprechend leichtere Prozesse fordern. Testorganisatio- nen müssen sich dabei vermehrt integrieren und weniger auf Separation setzen.
  • 6. KEY MESSAGES Testing Trends & Benchmarks Schweiz 2013 6 1 Es gibt eine Verschiebung zu we- niger Neuentwicklungen und mehr Erweiterungen und Wartungs- projekten. Dafür steigt der Anteil der Mega-Projekte über 20 Mio. CHF 2 Neue, technologie- und prozess- getriebene Vorgehen, wie mobile Testing, agiles Testen oder Session Based Test Management, setzen sich immer mehr durch. 3 Wasserfall und agile Vorgehen halten sich die Waage, und werden oft in Kombination eingesetzt. Wasserfall / Scrum Hybrid Projekte sind auf dem Vormarsch, lösen aber stetig. viele Unsicherheiten aus. 4 Die Reife des Requirement Enginee- ring Prozesses hat gegenüber dem Test weiterhin Nachholbedarf. Mangelhafte Anforderungen sind die grösste Herausforderung im 5 Von den Testaktivitäten wird die Testfallermittlung klar am schlechtesten bewertet. Strukturiert Testfälle herzuleiten, fällt vielen immer noch schwer. 6 Bei der Ausbildung wird weiterhin auf Zertifikate gesetzt. Der ISTQB Foundation Level und Advanced Level Test Manager waren und bleiben populär. Testing. 7 In die Testautomatisierung und den Auf- und Ausbau der Regressionstests wird stetig investiert. Das Outsourcing ist für viele keine gangbare Lösung. 8 Der durchschnittliche Testaufwand im Verhältnis zum Gesamtprojekt- aufwand wurde über die Jahre konstant auf 16 - 20% geschätzt. 9 Bei den Tools für das Testmanage- ment und die Testautomatisierung zersplittert der Markt zusehends. Zudem kann man sich in den wenigsten Firmen auf ein Tool einigen.
  • 7. Projekte Testing Trends & Benchmarks Schweiz 2013 7Projektart ProjekterfolgIm letzten Jahr betrug der Anteil der Neuentwicklung noch 39%. Die letzten drei Jahre haben Bewegung bezüglich des Projekterfolgs gezeigt.Es gab eine klare Verschiebung hin zu weniger Neuentwicklungen Zum einen haben inzwischen 4% der Unternehmen den Mut, Projekte zuund mehr Erweiterungen und Wartungsprojekten. stoppen, wenn der mangelnde Erfolg dies verlangt (2011 <1%). Auf der an- deren Seite konnten seit 2011 immerhin fast 50 % mehr Projekte in time und on budget beendet werden (von 23.7% auf 36.3%)! 5% 6% 40% Erweiterung einer bestehenden Lösung 2011 2012 2013 37.2% 17% 36.3% 35.1% 30% Neuentwicklung 27.1% Betrieb, Support, Wartung, 25.1% 47% 20% 23.7% 23.7% Re-Design, ... 20.8% 18.1% 17.5% 25% 4.2% 4.1% Migration 14.7% 10% 0.6% 11.6% Einführung Standard-Software 0% Projekt in Zeit, Projekt im Projekt Projekt mit Projekt Budget, Rahmen, über verlängert/neu grossen funkt. gestoppt Funktionalität Budget und/oder geplant Änderungen beendet ZeitProjektgrösse (in CHF) Aufstellung der IT 2011 2012 2013 Durchschnittliche Bewertung 48.7% 15% Erfahrung der Mitarbeiter 3.07 Erfüllung von Regularien 2.87 12.9% 40% 10% Business-/ Kundenfokus 2.85 10.8% 38.3% Qualität 2.84 5% Erfüllung des Auftrags/Ziele 2.73 5.2% Flexibilität 2.65 20% Innovation 2.64 0% über 20 Mio Budget und Ressourcen 2.49 Prozesse 2.46 12.9% Standardisierung 2.39 Effizienz 2.35 0% bis 1 Mio bis 20 Mio über 20 Mio 1 2 3 4 Ungenügend Zufriedenstellend Gut Sehr gut
  • 8. VORGEHEN Testing Trends & Benchmarks Schweiz 2013 8Angewandte Vorgehensmodelle Gründe für agile MethodenViele Unternehmen setzen auf mehr als ein Vorgehensmodell. Wasserfall Besserer Umgang mit sich stetig ändernden Prioritäten gilt als ein Hauptgrundhat erstaunlicherweise wieder zugelegt, was mit der gestiegenen Anzahl für den Einsatz agiler Methoden, ebenso wie die Zusammenarbeit zwischenGrossprojekte zusammenhängen kann, wobei die Umsetzung in den ver- Business und IT und die Beschleunigung von Time-to-Market.schiedenen Teams agil erfolgt. Beschleunigung Time-to-Market Entwicklungsprozesse vereinfachen Wasserfall Agil 53% Produktivität erhöhen 49% (40%) Sichtbarkeit erhöhen (51%) RUP Hermes 10% Mit sich ändernden Prioritäten umgehen Iterativ (12%) 10% 20% (16%) (22%) ( ) = Werte Umfrage 2012 Teammoral verbessern Scrum 85.7% Wartbarkeit erhöhen Agile Hybrid (Mix aus verschiedenen Methoden) 29.3% Risiken minimieren Kanban 24.3% Lean Development 12.1% Zusammenarbeit Extreme Programming (XP) 10.7% Business – IT verbessern ScrumBan 6.4% Kosten reduzieren Agile Unified Process (AgileUP) 5.7% Feature Driven Development (FDD) 3.6% 0% 20% 40% 60% 80% 100%
  • 9. AGILITäT Testing Trends & Benchmarks Schweiz 2013 9Testing im Kontext von Agilität Die Abnahmetests erfolgen 21.6% 38.8% 32.4% direkt im Sprint Man hat jederzeit den Überblick, was 21.6% 51.8% 20.1% gerade getestet wird31.7%glauben immer noch an grosse Jedes Team organisiert sich selbstständig und macht Testing ein bisschen anders 14.4% 46.0% 31.7% 50% setzen auf Embeddedzentrale Vorgaben. Testing. Der Durchbruch Wir wenden Embedded Testing an 13.6% 36.4% 15.0% 35.0% ist geschafft, Testen ent- faltet immer mehr seinen Nutzen. Die Unsicherheit der Tester ist grösser 25.2% 57.6% geworden, da die Prozesse unklar sind57.6% Die Rolle Test Manager gibt es nicht mehr 21.6% 66.2% 66.2%sehen keine Unsicherheit inBezug auf Prozesse. Dies imGegensatz zu den Aussagen der Es braucht deutlich weniger Aufwand 9.3% 82.1% für das Testing sehen immer noch dieIT- Executives. Existenzberechtigung der Rolle des Test Managers. Es gibt keine formalen Vorgaben mehr 15.9% 74.6% bezüglich Dokumentation von Tests Wir arbeiten ausschliesslich mit 35.0% 50.7% Akzeptanzkriterien91.4%sehen weiterhin Bedarf an Wir testen nur explorativ 17.1% 74.3% 74.3%Testspezifikationen und der Befragten setzen nebenTestfällen. Es werden keine Testspezifikationen / 91.4% dem explorativen Testen Testfälle mehr benötigt weitere Testarten ein. 0% 20% 40% 60% 80% 100% Voll einverstanden Mehrheitlich einverstanden Nicht einverstanden Kann ich nicht beurteilen
  • 10. REIFE Testing Trends & Benchmarks Schweiz 2013 10Reifegrad Ansehen des TestensBeurteilen beim Testing etwas über einem Drittel die Reife als schwachoder mittelmässig, sind es beim RE fast die Hälfte der Befragten.40% Test Es ist für den Erfolg der Organisation strategisch 19% RE30% Es ist ein wichtiger Faktor, um verlässliche Software zu produzieren 51%20% Es ist ein notwendiges Übel 20% Es hat tiefe Priorität 8%10% Die Kosten für Tests könnten wir uns sparen 2% 0% 0% 10% 20% 30% 40% 50% ac h sig Gut gut ne t äs hr ich hw lm Sc Se ze itte ge M Aus Die grössten Herausforderungen Die „zu späte Lieferung der Software“ wurde neu aufgenommen und hat sich Anforde- prompt zum Renner entwickelt, der allen anderen ein paar Prozentpunkte rungen streitig gemacht hat. mangelhaft ( ) = Werte Umfrage 2012 Zu wenig Tester zu 50% Zu späte Budget / spät (63%) Auto- Lieferung involviert Testum- Ressourcen Testdaten matisierung der SW gebung 29% 30% 19% 21% 22% 26% (38%) (30%) (33%) (24%) (30%) (NEU)
  • 11. REIFE Testing Trends & Benchmarks Schweiz 2013 11Zufriedenheit mit Testaktivitäten Anwendung der TesttechnikenDie Aktivitäten Testmanagement und Testdurchführung schneiden am Die grundlegenden Black Box-Techniken kommen nur sporadischbesten ab. Das klare Schlusslicht bildet die Testfallermittlung. zum Einsatz. Am verbreitetsten sind noch die Äquivalenzklassen- und Grenzwertanalyse. 40.1% Zufrieden Mittelmässig Unzufrieden 100% wenden exploratives Testen an. Anwendungsfälle und Geschäftspro- 12% 9% 15% 18% 18% Wobei der Begriff oft mit Adhoc zesse bilden eine ideale Basis für die Testing gleichgesetzt wird. Definition von Testfällen. Die Techniken 80% sind entsprechend verbreitet. 32% 35% 39% 38% 60% Anwendungsfallbasiert 56.8% 44% Risikobasiert 42.0% 40% Exploratives Testen 41.6% 56% 56% 46% 44% 20% Geschäftsprozessbasiert 40.1% 38% Äquivalenzklassenanalyse 23.7% 0% Grenzwertanalyse 21.8% t ng ng un g ng en lu hr m nu itt ü rtu ge pl a rm hf sw e Fehlerbasiert 18.3% na st lle u rc au a Te t fa d st stm s st TeTe Te Te 11.7% Checklistenbasiert Entscheidungstabellen 10.4% Zustandsbasiert 7.6%Nur 38%sind zufrieden mit der Testfallermittlung. Klassifikationsbaumverfahren 0% 1.9% 10% 20% 30% 40% 50% 60%Dies deckt sich mit den Erfahrungen beiSwissQ Test Assessments. StrukturiertTestfälle herzuleiten fällt vielen schwer.
  • 12. ORGANISATION Testing Trends & Benchmarks Schweiz 2013 12Wer führt Testaktivitäten durch? Ausbildung Nach wie vor ist der ISTQB Foundation Level das meistverbreitete Zertifikat. Dahinter liefern sich Zertifikate aus den Disziplinen Test, ITIL, RE und Projekt Management ein Kopf-an-Kopf-Rennen. Agile holt derzeit mit dem Certified Unit Tests Scrum Master auf. 84% Entwickler Hab ich schon Ist geplant Mal in ferner Zukunft Systemtests ISTQB Foundation Level ISTQB Advanced Level 52% IT Tester Test Manager ITIL Abnahmetests IREB® Cert. Professional for Requirements Engineering 48% Fachbereich Endbenutzer ISTQB Advanced Level Test Analyst Projektmanagement (IPMA, PMI, ...) Testautomatisierung Certified Scrum Master 54% IT Tester ISTQB Advanced Level Technical Test Analyst Last & Performance Tests Agile Testing Qualitätsmanagement 54% IT Tester (dipl. Quality Manager, ...) Certified Product Owner Agiles Requirements Engineering ISTQB Expert Level Entwickler IT Tester RE / BA Fachbereich Niemand 0% 20% 40% 60% 80% 100% Endbenutzer
  • 13. ORGANISATION Testing Trends & Benchmarks Schweiz 2013 13Einsatz externer Ressourcen Investitionen Der Fokus ist und bleibt auf der Testautomatisierung und dem Auf- und Ausbau der Regressionstests. Am anderen Ende der Skala finden sich wie gehabt die 41.1% Auslagerung von Testaktivitäten und die Anstellung neuer Testmitarbeiter. Die Unterstützung der Testaktivitäten durch externe Ressourcen hat sich gegenüber dem letzten Jahr verringert. So beziehen nun 41.1% Testautomatisierung statt 33.8% keine externen Ressourcen mehr. Auf- und Ausbau Regressionstests Testdaten-Management Keine externen Ressourcen 8.8% Bezug externer Ressourcen Testumgebungen (Insourcing) 11.9% Bezug als Dienstleistung 41.1% (Managed Service) Aus-/ Weiterbildung Mitarbeiter Auslagerung an externe Ressourcen (Outsourcing) 38.2% Testmanagement-Tools Testprozesse / Methoden Anstellung neuer Test-Mitarbeiter 58.9% Auslagerung von Testaktivitäten Insgesamt nehmen 58.9% externe Unterstützung in Anspruch. Der Anteil des Outsourcing hat sich gegenüber 2012 von 5.9% auf 8.8% leicht erhöht, ist aber immer Investitionen Investitionen noch relativ klein. nehmen ab nehmen zu
  • 14. TESTAUFWAND Testing Trends & Benchmarks Schweiz 2013 14 Testaufwand im Verhältnis zum Testaufwand im Verhältnis zum Gesamtaufwand Entwicklungsaufwand 2011 2012 2013 2011 2012 201330% 30% 23.5%20% 20% 21.3% 20.4% 20.7% 20.1% 19.4% 16.9% 14.4%10% 10% 4.1% 9.7% 12.5% 8.2% 1.9% 6.9%0% 0% < 5% 5 – 10% 11 – 15% 16 – 20% 21 – 30% 31 – 50% darüber < 5% 5 – 10% 11 – 15% 16 – 20% 21 – 30% 31 – 50% darüber Auf den ersten Blick scheint sich Ähnlich wie beim Gesamtauf- der Testaufwand von Jahr zu 16 – 20% wand hat es beim Testaufwand Jahr stark zu verändern. 21 – 30% im Verhältnis zum Entwicklungs- Analysiert man die Zahlen aufwand über die Jahre hinweg genauer, stellt man jedoch Verschiebungen gegeben. fest, dass der durchschnittliche Trotzdem ist auch hier der Testaufwand im Verhältnis zum Durchschnitt stabil bei Gesamtprojektaufwand konstant Gesamt- Entwicklungs- 21 - 30% geblieben. auf 16 – 20% geschätzt wurde. aufwand aufwand
  • 15. TESTWERKZEUGE Testing Trends & Benchmarks Schweiz 2013 15 Testmanagement-Tools Testautomatisierungs-Tools HP QC /ALM beherrscht weiterhin den Markt. Tricentis Tosca hat sich aber Insgesamt bleibt der Markt stark fragmentiert. Es wurden fast 30 verschie- zu einer ernstzunehmenden Konkurrenz entwickelt. Dahinter ist der Markt dene Tools genannt. angesichts der stetig wachsenden Zahl von Alternativen zersplittert. Weiterhin kommen oft mehrere Tools zum Einsatz (namentlich die MS Office Palette). HP QC / ALM 52% HP Quick Test Professional (QTP) 34.5% MS Office 38% Eigenentwicklung 27.2% Tricentis Tosca 20% Tricentis Tosca 26.8% Eigene Entwicklung 14% xUnit (z.B. jUnit, TestNG, ...) 24.1% MS TFS Test Manager 9% Selenium (RC/WebDriver) 15.3% Polarion QA / ALM 7% MS TFS / Visualstudio 8.8% 2012 2013 2012 2013 Bugzilla Testopia 6% HP QC / ALM QF Test 5.0% HP Quick Test Professional (QTP) IBM Rational MS Office Quality Manager 4% Ranorex 4.2% Eigenentwicklung Tricentis Tosca IBM Rational Functional Tester Inflectra Spira 3% (RFT) 4.2% Eigene Tricentis Tosca Entwicklung TestLink 3% MS TFS Test FitNesse 4.2% Selenium Manager (RC/WebDriver) SmartBear QAComplete 2% 0% 20% 40% 60% Lisa 3.4% 0% 20% 40%SilkCentral Test Manager 1% Canoo Webtest 2.3% keines 3% Andere 18.0% 0% 20% 40% 0% 10% 20% 30%
  • 16. TESTAUTOMATISIERUNG Testing Trends & Benchmarks Schweiz 2013 16Testautomatisierung pro Teststufe Automatisierte Tests auf Stufe Systemtest 60% 80% 2011 2012 2013 40% 22.2% 60% 20% 0% 40% 44.8% 8.8% 0 – 10% 11 – 20% 21 – 50% 51 – 80% > 80% 34.5% 9.2% 8.8% % der Testfälle automatisiert 6.1% 12.3% 20% 21.5% 13.8% Kosteneinsparungen 12.6% 5.4% Insgesamt wird das Potential für Einsparungen durch Automatisierung 22.2% 22.2% höher eingeschätzt als im Vorjahr. Wie schon im Vorjahr hat ein beachtlicher 13.8% 14.2% 14.9% 12.6% Teil der Teilnehmenden gesagt, dass keine Aussage möglich ist. 0% 0% 1 – 10% 11 – 20% 21 – 50% 51 – 80% über 80% % der Testfälle automatisiert 40% Unit Tests Systemtests Abnahmetests 2012 2013 33.3% 30% 24.9% 23.7% 20% 22.6% 21.8% 19.5% 82% 6.9% 16.1% 7.3% 10% 2.8% 10.7% 10.2% der Befragten haben automatisierte Tests auf einer oder mehreren 0% Stufen. Kosten bis 10% bis 20% bis 50% bis 80% Keine gestiegen Aussage möglich
  • 17. ERHEBUNGSGRUNDLAGEN Testing Trends & Benchmarks Schweiz 2013 17 Wirtschaftssektor Aufgabenbereich Wenig überraschend ist, dass der Anteil an Finanzen und Versicherungen Viele Teilnehmende umschreiben ihre Tätigkeit mit mehr als einer Rolle. stetig sinkt. Von 35% im 2011 über 28.4% im 2012 zu 24.8% im 2013. Das Spektrum der zu erfüllenden Aufgabenbereiche ist insgesamt sehr breit Zeitgleich stieg der Anteil staatlicher Betriebe von 6.5% auf inzwischen 9%. gefächert. 0% 10% 20% 30% 40% IT 37.7% Test Manager 35.5% Finanzen, Versicherungen 24.8% Test Engineer / Test Analyst / Tester 27.8%Staatliche und staatsnahe Betriebe 9.0% Berater / Consultant 18.6% Industrie 8.7% Projektleiter 18.3% Transport und Verkehr 5.9% Teamleiter 17.8% Telekom 4.2% Abteilungsleiter / Bereichsleiter 14.0% MedTech 2.4% Andere 7.3% Requirements Engineer 13.5% 0% 10% 20% 30% 40% Business Analyst 12.6% Quality Manager / QS-Verantwortlicher 12.0% IT-Mitarbeitende Softwareentwickler / Developer 7.4% Über die Hälfte der Befragten arbeitet in Firmen mit mehr als SW Engineer in Test / Testautomatisierer 6.6% 250 IT-Mitarbeitenden. C-Level (CEO / CIO / ...) 6.0% Scrum Master 5.7% 2001–... 29.0% Product Owner 5.2% 501–2000 14.9% 251–500 13.7% 51–250 23.8% 11–50 13.7% 1–10 5.0% 0% 5% 10% 15% 20% 25% 30% 35%
  • 18. Requirements Trends & Benchmarks Schweiz 2013 Testing Trends & Benchmarks Schweiz 2013 18Möchten Sie mehr wissen? Sie erhalten den detaillierten Report mit weiteren Analysen über Requirements Engineering über www.SwissQ.it.Requirements Trends & Benchmarks Schweiz 2013Viele weitere Zahlen und Details sind imRequirements Trends & Benchmark Report 2013 zu finden.RE-Aufwand im Verhältnis zum ZufriedenheitGesamtaufwand Erheben von Anforderungen 44.1% 42.1% 13.8% 24.7%20% 22.6% Analysieren von Anforderungen 48.7% 33.3% 17.9% 20.4% 18.3% Dokumentieren von Anforderungen 35.9% 44.1% 20.0%10% 10.8% Prüfen von Anforderungen 36.4% 41.0% 22.6% 2.73% 0.5% Verwalten von Anforderungen 28.2% 40.5% 31.3%0% < 5% 5-10% 10-15% 15-20% 20-30% 30-50% darüber 0% 20% 40% 60% 80% 100% RE Aufwand im Verhältnis zum Gesamtaufwand Zufrieden Mittelmässig Unzufrieden
  • 19. Agile Trends & Benchmarks Schweiz 2013 Testing Trends & Benchmarks Schweiz 2013 19 Möchten Sie mehr wissen? Sie erhalten den detaillierten Report mit weiteren Analysen über agile Trends über www.SwissQ.it. Agile Trends & Benchmarks Schweiz 2013 Viele weitere Zahlen und Details sind im Agile Trends & Benchmark Report 2013 zu finden. Verwendete Tools im agilen Umfeld Management Practices MS Office (Word, Excel) 52.9% Sprint Review / Product Demo 78.6% Backlog Management 75.7%Atlassian JIRA / Greenhopper 47.1% Daily Standup 73.6% HP QC / ALM 37.9% Burndown Chart 64.3% MS Team Foundation Server 20.0% Definition of Done 62.1% Bugzilla 10.7% Retrospektiven 61.4% Release Planning 60.0% IBM Rational Team Concert 8.6% Taskboard 50.0% Eigene Entwicklung 6.4% Planning Poker 42.1% Scrumy 4.3% Dedicated Product Owner 41.4% Version One 3.6% Velocity Chart 28.6%Rally Software Development 2.1% Definition of Ready 17.9% On-Site Customer 16.4% Inflectra SpiraDevelopment 1.4% Co-Location 9.3% Andere 14.3% Work in Progress (WiP) Limits 7.1% 0% 20% 40% 0% 20% 40% 60%
  • 20. Über UnsSwissQ unterstützt ihre Kunden in den Themen Requirements, Testing und Agilität.Wir stellen dabei sicher, dass die richtige Funktionalität schnell und richtig geliefertwird. Dies durch das Bereitstellen von Expertise, Ressourcen, Assessments, Methodenund Trainings.Unsere Vision ist es, die Wertsteigerung in der IT durch perfektes RequirementsEngineering, professionelles Software Testing und den bewussten Einsatz vonagilen Methoden zu verbessern. Nebst der Erbringung von hochqualitativen Services,verfolgen wir diese Vision durch die Schaffung von unabhängigen Plattformen wiedem Swiss Testing Day und dem Swiss Requirements Day, die den Wissens- undErfahrungsaustausch ermöglichen. Ausserdem helfen wir hellen Köpfen, ihr Wissendurch unsere Schulungen zu erweitern. © by SwissQ Consulting AG | Stadthaus-Quai 15 | CH-8001 Zürich www.SwissQ.it | info@SwissQ.it | Tel +41 43 288 88 40 | Fax +41 43 288 88 39 Twitter: @SwissQ | Facebook: swissqconsulting