Testing Trends und Benchmarks 2013 De

  • 247 views
Uploaded on

Testing Trends & Benchmarks 2013

Testing Trends & Benchmarks 2013

  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Be the first to comment
No Downloads

Views

Total Views
247
On Slideshare
0
From Embeds
0
Number of Embeds
0

Actions

Shares
Downloads
15
Comments
0
Likes
1

Embeds 0

No embeds

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
    No notes for slide

Transcript

  • 1. Trends & Benchmarks Report SchweizWo stehen wir – wohin geht es?In Kooperation mitTesting 2013
  • 2. Testing Trends & Benchmarks Schweiz 2013 2InhaltsverzeichnisEDITORIALTRENDWAVE 2013KEY MESSAGESPROJEKTEVORGEHENAGILITÄTREIFEORGANISATIONTESTAUFWANDTESTWERKZEUGETESTAUTOMATISIERUNGERHEBUNGSGRUNDLAGENRequirements Trends & Benchmarks Schweiz 2013Agile Trends & Benchmarks Schweiz 20133467891012141516171819
  • 3. Neu führt SwissQ die Studie zu den Trends & Benchmarks in Kooperation mit demInstitut für Technologiemanagement der Universität St.Gallen (HSG) durch. Die Zu-sammenarbeit zeigt auf, wie wichtig diese Themen für die heutigen Unternehmengeworden sind. Es freut uns, mit dieser Kooperation erneut eine Brücke zwischender akademischen und unternehmerischen Welt schlagen zu können.Der Report gliedert sich wie gehabt in 2 Teile: die SwissQ Trend Wave® unddie Benchmarks.Im ersten Teil wird aufgezeigt, wie sich einzelne Trends entwickeln. Dies aufBasis der Testing Trend Wave 2013. Die kondensierte Darstellung der wichtigstenThemen auf einer Seite erlaubt einen raschen Überblick. Dadurch lässt sich derEinfluss der Marktveränderungen auf das eigene Unternehmen abschätzen undes können, falls notwendig, geeignete Vorhaben initiiert werden. Eine einfacheMassnahme um den Veränderungsdruck aufzuzeigen ist es, die Trends und Bench-marks intern bekannt zu machen.Wie bereits in den letzten Jahren offeriert SwissQ den Unternehmen die Gelegen-heit, die Trends & Benchmarks intern vor ihren Mitarbeitern zu präsentieren. Ziel-publikum sind vor allem die Tester Community, Software Ingenieure, Projektleiter,Requirements Engineers und das Management. Die Präsentation ermöglicht, einenexternen Blick auf die aktuellen Veränderungen zu bekommen, die Motivation undden Stellenwert des Testings zu steigern, sowie von Ideen für die konstante Wei-terentwicklung des Testings zu profitieren. Falls gewünscht, können die Ergebnisseaus dem Requirements Engineering und Agile Report auch miteinbezogen werden.  Den zweiten und umfangreicheren Teil des Reports bilden die Benchmarks.Die  Grafiken sind das Rückgrat des Reports und ermöglichen es, sich im Vergleichmit anderen Unternehmen zu positionieren. Der Vergleich mit den Vorjahren er-laubt es zudem zu sehen, in welche Richtung sich die Unternehmen entwickeln.Unter „Projekte“ ist zum Beispiel ersichtlich, dass sich einerseits die Anzahl derNeuentwicklungen im Vergleich zum Vorjahr reduziert hat und es andererseitsimmer mehr Grossprojekte gibt. Es gibt also weniger, dafür aber grössere Neupro-jekte. Dies hat wohl damit zu tun, dass immer weniger Vorhaben auf der grünenWiese starten. Entweder werden bestehende Lösungen erweitert oder dann kom-plett neu gebaut, was oft sehr teuer ist.Bei den Vorgehen halten sich Wasserfall und agile Vorgehen die Waage, wobei vie-le Unternehmen auf mehr als ein Vorgehensmodell setzen. Im besten Fall gelingtes, die Vorzüge beider Modelle zu vereinen. In der Praxis tut man sich aber an denÜbergängen und mit den unterschiedlichen Rollen und Zusammenarbeitsmodel-len schwer. Gerade auch die Tester müssen lernen, mit beiden Welten umzugehenbzw. umzudenken und die notwendige Flexibilität an den Tag zu legen. Hier musssicherlich noch mehr Erfahrung gesammelt bzw. Ausbildung betrieben werden.Die grösste Herausforderung im Testing bleiben die mangelhaften Anforderungen.Da ist es spannend zu sehen, dass zu den am häufigsten angewandten Technikenzur Testfallermittlung die anwendungsfall- und geschäftsprozessbasierten Vorge-hen gehören, welche beide sauber modellierte Anforderungen voraussetzen. Dasdrückt sich wiederum darin aus, dass von den Testaktivitäten die Testfallermittlungam schlechtesten abschneidet. Ein Grund, vermehrt agile Methoden in Betracht zuziehen?Bei den Testinvestitionen ist und bleibt der Fokus auf der Testautomatisierungund dem Auf- und Ausbau der Regressionstests. Dies deckt sich mit der anfangserwähnten Tatsache, dass vor allem Erweiterungs- und Wartungsprojekte statt-finden, bei denen naturgemäss die Sicherstellung der bestehenden Funktionalitätmittels Regressionstests einen hohen Stellenwert hat. Die Automatisierung wiede-rum ist ein zwingendes Instrument, um der wachsenden Regression Herrzu werden.Wir hoffen, dass die vorliegenden Trends und Benchmarks Sie dazu inspirieren,neue Herausforderungen aktiv anzugehen und die aktuell besten Massnahmen inIhrem Unternehmen zu ergreifen.Seit 5 Jahren fühlt SwissQ den Puls der IT Community und veröffentlicht jährlich Zahlen und Fakten zum Stand des Software Testings in derSchweiz und gibt einen Ausblick auf die wichtigsten Trends der kommenden Zeit. Seit letztem Jahr werden die Testing Trends und Benchmarksergänzt durch die beiden Themenbereiche Requirements Engineering und Agile. Diese erscheinen in separaten Reports. Die Datenbasis bildeteinerseits die Online-Umfrage und andererseits persönliche Interviews mit IT-Entscheidungsträgern aus unterschiedlichen Firmen, Branchenund Regionen. Für die diesjährige Ausgabe konnten wir auf 580 ausgefüllte Fragebogen - ein neuer Rekord - und um die 25 Interviews zu-rückgreifen. An dieser Stelle ein herzliches Dankeschön an alle, die mit ihrem Input dazu beigetragen haben.Testing Trends & Benchmarks Schweiz 2013 3EDITORIAL
  • 4. INTRODUCTION GROWTH MATURITY DECLINETIMEPriorityINTRODUCTION – Das Thema wurdeerkannt und einige Unternehmenarbeiten an ersten Umsetzungen. Esist allerdings nicht absehbar, ob sichdieser Trend positiv weiterentwickeltund das Testing tatsächlich erheblichbeeinflussen wird.GROWTH – Das Thema wird immermehr anerkannt und viele Unterneh-men gehen darauf ein. Es entstehendie ersten Werkzeuge und Beratungs-firmen bieten Dienstleistungen dazuan. Mit der fehlenden Erfahrung beider Umsetzung gehen oft diverseRisiken einher.MATURITY – Die meisten Unterneh-men arbeiten an der Umsetzung oderhaben diese bereits abgeschlossen.Das Wissen zu dem Thema ist oft sehrverbreitet, wobei häufig auch Unter-arten dazu entstehen.DECLINE – Das Thema wurde vonden meisten Unternehmen, mitAusnahme einzelner Nachzügler,bereits umgesetzt. Wissen in diesenBereichen neu aufzubauen generiertoft keinen Nutzen mehr, da dieses inKürze obsolet wird.TRENDWAVE 2013 Testing Trends & Benchmarks Schweiz 2013 4Agile Test ManagementSession Based Testing / SETISTQB FL & AL LevelOutsourcingISO 9126ALM ToolsSecurity & Penetration TestingModel Based TestingISO 25010Business Driven Test AutomationWaterfall / Scrum HybridAgile TestingKeyword Driven Test AutomationExploratory TestingScrum (but)App / Mobile TestingAccessibility TestingLoad and Performance TestingEmbedded Testing
  • 5. Die Technologien, welche den Consumer-Markt in den letzten Jahren veränderthaben – Smartphones und Tablets, SocialMedia und die Cloud - finden vermehrtauch in der Unternehmenswelt Verwendung. Die Revolution von unten hat statt-gefunden, Endkunden wie Mitarbeiter kommen mit ihren eigenen Geräten undverlangen Funktionen und Content auf diesen nutzen zu können. Doch auch dieUsability Anforderungen an herkömmliche Anwendungen steigen rasant – was aufdem Handy geht, muss doch am Monitor erst recht möglich sein.Steigende Komplexität der IT und Öffnung der Unternehmungen durch das ThemaMobile sind die Herausforderungen der modernen Organisationen. Diese rasanteEntwicklung stellt nicht nur Business Analysten und Software Entwickler vor neueHerausforderungen. Gerade das Testing wird dadurch immer komplexer, aufwän-diger und vor allem schneller.Kein Wunder also, werden rund die Hälfte der IT-Projekte in der Schweiz agildurchgeführt (davon grösstenteils mit Scrum). Viele Firmen haben diese Trendserkannt. Einige berücksichtigen sie bereits in ihren aktuellen Projekten und Pro-dukten, andere sammeln erste Erfahrungen und bauen langsam Wissen auf.Folgerichtig liegt der primäre Fokus auf zwei Bereichen. Einer davon ist AgileTesting, denn die meisten der Befragten arbeiten inzwischen mindestens zum Teilmit agilen Vorgehensweisen. Doch die grundlegend andere Ausgangslage in Bezugauf Kultur, Zeitpunkt der Involvierung und Erwartungen, was Testing liefern muss,stellt viele Tester und ihre Organisationen vor erhebliche Probleme.Der zweite Bereich ist das Requirements Engineering, der damit direkt eine dergrössten Herausforderungen aufgreift: Die mangelhafte Qualität von Anforderun-gen. Zufall oder Schicksal, die parallele Entwicklung dieser beiden Themen kannnur von Vorteil sein.Haben wir letztes Jahr noch prophezeit, dass Mobile Testing für viele Organisatio-nen und Software-Tester auf dem Radar erscheinen würden, so sind sie für vieleinzwischen Alltag. Die immer kürzeren Entwicklungs- und Releasezyklen könnendabei nur mit Hilfe von Testautomation beherrscht werden. Ein Thema, das unsschon viele Jahre begleitet und oft immer noch nicht zufriedenstellend gelöstwurde.Die Prognose für 2013? Manuelles Testen wird wieder an Bedeutung gewinnen.In Testautomatisierung wird weiter investiert, die Testabdeckung kann weitererhöht werden. Auf der anderen Seite wird der Kostendruck weitere Effizienzstei-gerungen erzwingen und entsprechend leichtere Prozesse fordern. Testorganisatio-nen müssen sich dabei vermehrt integrieren und weniger auf Separation setzen.Ziel der Trendwave ist es aufzuzeigen, welche Themen in nächster Zeit sowohl die Disziplin Testen beeinflussen werden, als auch die Personen undOrganisationen, welche sich damit befassen. Sie hilft somit dem Leser, sich gezielt auf diese Veränderungen vorzubereiten und sie wo immer möglichaktiv mitzugestalten. Haben viele Aussagen unverändert Bestand, so sind doch einige Trends erkennbar, wie z.B. der wachsende Anteil an Testauto-mation oder die sinkende Beschäftigung externer Testressourcen.TRENDWAVE 2013 Testing Trends & Benchmarks Schweiz 2013 5
  • 6. 4 5 6Die Reife des Requirement Enginee-ring Prozesses hat gegenüber demTest weiterhin Nachholbedarf.Mangelhafte Anforderungen sinddie grösste Herausforderung imTesting.Von den Testaktivitäten wirddie Testfallermittlung klar amschlechtesten bewertet.Strukturiert Testfälle herzuleiten,fällt vielen immer noch schwer.Bei der Ausbildung wird weiterhinauf Zertifikate gesetzt. Der ISTQBFoundation Level und AdvancedLevel Test Manager waren undbleiben populär.7 8 9In die Testautomatisierung undden Auf- und Ausbau derRegressionstests wird stetiginvestiert. Das Outsourcing ist fürviele keine gangbare Lösung.Der durchschnittliche Testaufwandim Verhältnis zum Gesamtprojekt-aufwand wurde über die Jahrekonstant auf 16 - 20% geschätzt.Bei den Tools für das Testmanage-ment und die Testautomatisierungzersplittert der Markt zusehends.Zudem kann man sich in denwenigsten Firmen auf ein Tooleinigen.2 31 Es gibt eine Verschiebung zu we-niger Neuentwicklungen und mehrErweiterungen und Wartungs-projekten. Dafür steigt der Anteilder Mega-Projekte über 20 Mio. CHFstetig.Neue, technologie- und prozess-getriebene Vorgehen, wie mobileTesting, agiles Testen oder SessionBased Test Management, setzensich immer mehr durch.Wasserfall und agile Vorgehenhalten sich die Waage, und werdenoft in Kombination eingesetzt.Wasserfall / Scrum Hybrid Projektesind auf dem Vormarsch, lösen aberviele Unsicherheiten aus.KEY MESSAGES Testing Trends & Benchmarks Schweiz 2013 6
  • 7. ProjekterfolgDie letzten drei Jahre haben Bewegung bezüglich des Projekterfolgs gezeigt.Zum einen haben inzwischen 4% der Unternehmen den Mut, Projekte zustoppen, wenn der mangelnde Erfolg dies verlangt (2011 <1%). Auf der an-deren Seite konnten seit 2011 immerhin fast 50 % mehr Projekte in time undon budget beendet werden (von 23.7% auf 36.3%)!ProjektartIm letzten Jahr betrug der Anteil der Neuentwicklung noch 39%.Es gab eine klare Verschiebung hin zu weniger Neuentwicklungenund mehr Erweiterungen und Wartungsprojekten.ProjekteErweiterung einerbestehenden LösungNeuentwicklungBetrieb, Support, Wartung,Re-Design, ...MigrationEinführung Standard-SoftwareErfahrung der MitarbeiterErfüllung des Auftrags/ZieleErfüllung von RegularienFlexibilitätProzesseBusiness-/ KundenfokusInnovationStandardisierungQualitätBudget und RessourcenEffizienz4Sehr gut3Gut2Zufriedenstellend1Ungenügend3.072.872.852.842.732.652.642.492.462.392.35Testing Trends & Benchmarks Schweiz 2013 7Projektgrösse (in CHF)47%25%17%6%5%bis 1 Mio0%20%40%über 20 Miobis 20 Mio48.7%38.3%12.9%Aufstellung der ITDurchschnittliche BewertungProjekt imRahmen, überBudget und/oderZeitProjekt in Zeit,Budget,FunktionalitätbeendetProjektverlängert/neugeplantProjekt mitgrossen funkt.ÄnderungenProjektgestoppt0%20%10%40%30%23.7%37.2%23.7%35.1%25.1%17.5%20.8%36.3%27.1%14.7%18.1%11.6%0.6%4.1%4.2%2011 2012 2013über 20 Mio2011 2012 201315%10%5%0%5.2%10.8%12.9%
  • 8. VORGEHENAngewandte VorgehensmodelleViele Unternehmen setzen auf mehr als ein Vorgehensmodell. Wasserfallhat erstaunlicherweise wieder zugelegt, was mit der gestiegenen AnzahlGrossprojekte zusammenhängen kann, wobei die Umsetzung in den ver-schiedenen Teams agil erfolgt.Agil49%(51%)Iterativ20%(22%)RUP10%(16%)Hermes10%(12%)Wasserfall53%(40%)Gründe für agile MethodenBesserer Umgang mit sich stetig ändernden Prioritäten gilt als ein Hauptgrundfür den Einsatz agiler Methoden, ebenso wie die Zusammenarbeit zwischenBusiness und IT und die Beschleunigung von Time-to-Market.Beschleunigung Time-to-MarketMit sich änderndenPrioritäten umgehenZusammenarbeitBusiness – IT verbessernEntwicklungsprozesse vereinfachenProduktivität erhöhenTeammoral verbessernWartbarkeit erhöhenKosten reduzierenRisiken minimierenSichtbarkeit erhöhenTesting Trends & Benchmarks Schweiz 2013 8ScrumLean DevelopmentAgile Hybrid (Mix ausverschiedenen Methoden)( ) = Werte Umfrage 2012Extreme Programming (XP)Agile Unified Process (AgileUP)KanbanScrumBanFeature Driven Development (FDD)0% 20% 40% 60% 80% 100%12.1%10.7%6.4%5.7%3.6%24.3%29.3%85.7%
  • 9. Testing im Kontext von AgilitätAGILITäT Testing Trends & Benchmarks Schweiz 2013 9Voll einverstanden Mehrheitlich einverstanden Nicht einverstanden Kann ich nicht beurteilen31.7%glauben immer noch an grossezentrale Vorgaben.50%setzen auf EmbeddedTesting. Der Durchbruchist geschafft, Testen ent-faltet immer mehr seinenNutzen.66.2%sehen immer noch dieExistenzberechtigung derRolle des Test Managers.74.3%der Befragten setzen nebendem explorativen Testenweitere Testarten ein.57.6%sehen keine Unsicherheit inBezug auf Prozesse. Dies imGegensatz zu den Aussagen derIT- Executives.91.4%sehen weiterhin Bedarf anTestspezifikationen undTestfällen.Die Abnahmetests erfolgendirekt im SprintMan hat jederzeit den Überblick, wasgerade getestet wirdJedes Team organisiert sich selbstständigund macht Testing ein bisschen andersDie Unsicherheit der Tester ist grössergeworden, da die Prozesse unklar sindEs braucht deutlich weniger Aufwandfür das TestingEs gibt keine formalen Vorgaben mehrbezüglich Dokumentation von TestsEs werden keine Testspezifikationen /Testfälle mehr benötigtDie Rolle Test Manager gibt es nicht mehrWir arbeiten ausschliesslich mitAkzeptanzkriterienWir testen nur explorativWir wenden Embedded Testing an0% 20% 40% 60% 80% 100%17.1% 74.3%91.4%35.0% 50.7%74.6%15.9%9.3% 82.1%21.6% 66.2%25.2% 57.6%13.6% 36.4% 15.0% 35.0%14.4% 46.0% 31.7%21.6% 51.8% 20.1%21.6% 38.8% 32.4%
  • 10. REIFEAnsehen des TestensReifegradBeurteilen beim Testing etwas über einem Drittel die Reife als schwachoder mittelmässig, sind es beim RE fast die Hälfte der Befragten.AusgezeichnetSehr gutGutMittelmässigSchwach0%20%10%40%30%TestRETesting Trends & Benchmarks Schweiz 2013 10Es ist für den Erfolg der OrganisationstrategischEs ist ein wichtiger Faktor, umverlässliche Software zu produzierenEs ist ein notwendiges ÜbelEs hat tiefe PrioritätDie Kosten für Tests könntenwir uns sparen0% 10% 20% 30% 40% 50%19%51%8%2%20%Die grössten HerausforderungenDie „zu späte Lieferung der Software“ wurde neu aufgenommen und hat sichprompt zum Renner entwickelt, der allen anderen ein paar Prozentpunktestreitig gemacht hat.( ) = Werte Umfrage 2012Testum-gebungAuto-matisierungZu späteLieferungder SWZu wenigBudget /RessourcenTester zuspätinvolviertAnforde-rungenmangelhaft50%(63%)30%(38%)29%(30%)26%(NEU)22%(33%)21%(30%)19%(24%)Testdaten
  • 11. REIFEAnwendung der TesttechnikenDie grundlegenden Black Box-Techniken kommen nur sporadischzum Einsatz. Am verbreitetsten sind noch die Äquivalenzklassen- undGrenzwertanalyse.Zufriedenheit mit TestaktivitätenDie Aktivitäten Testmanagement und Testdurchführung schneiden ambesten ab. Das klare Schlusslicht bildet die Testfallermittlung.Testing Trends & Benchmarks Schweiz 2013 11100%80%60%40%20%0%56%32%12%46%39%15%38%44%18%56%35%9%44%38%18%TestmanagementTestplanungTestfallermittlungTestdurchführungTestauswertung38%sind zufrieden mit der Testfallermittlung.Dies deckt sich mit den Erfahrungen beiSwissQ Test Assessments. StrukturiertTestfälle herzuleiten fällt vielen schwer.NurZufrieden Mittelmässig UnzufriedenAnwendungsfallbasiertRisikobasiertExploratives TestenGeschäftsprozessbasiertÄquivalenzklassenanalyseGrenzwertanalyseFehlerbasiertChecklistenbasiertEntscheidungstabellenZustandsbasiertKlassifikationsbaumverfahren0% 10% 20% 30% 40% 50% 60%56.8%42.0%41.6%40.1%23.7%21.8%18.3%11.7%10.4%7.6%1.9%Anwendungsfälle und Geschäftspro-zesse bilden eine ideale Basis für dieDefinition von Testfällen. Die Technikensind entsprechend verbreitet.40.1%wenden exploratives Testen an.Wobei der Begriff oft mit AdhocTesting gleichgesetzt wird.
  • 12. ORGANISATIONAusbildungNach wie vor ist der ISTQB Foundation Level das meistverbreitete Zertifikat.Dahinter liefern sich Zertifikate aus den Disziplinen Test, ITIL, RE und ProjektManagement ein Kopf-an-Kopf-Rennen. Agile holt derzeit mit dem CertifiedScrum Master auf.Wer führt Testaktivitäten durch?Testing Trends & Benchmarks Schweiz 2013 12Unit Tests84% Entwickler52% IT Tester54% IT Tester48% Fachbereich Endbenutzer54% IT TesterEntwickler IT Tester RE / BA NiemandFachbereichEndbenutzerSystemtestsAbnahmetestsTestautomatisierungLast & Performance TestsHab ich schon Ist geplant Mal in ferner Zukunft0% 20% 40% 60% 80% 100%ISTQB Foundation LevelISTQB Advanced LevelTest ManagerIREB® Cert. Professional forRequirements EngineeringCertified Scrum MasterISTQB Advanced LevelTechnical Test AnalystAgile TestingISTQB Expert LevelProjektmanagement(IPMA, PMI, ...)ISTQB Advanced LevelTest AnalystQualitätsmanagement(dipl. Quality Manager, ...)Certified Product OwnerAgiles Requirements EngineeringITIL
  • 13. ORGANISATIONInvestitionenDer Fokus ist und bleibt auf der Testautomatisierung und dem Auf- und Ausbauder Regressionstests. Am anderen Ende der Skala finden sich wie gehabt dieAuslagerung von Testaktivitäten und die Anstellung neuer Testmitarbeiter.Einsatz externer RessourcenTesting Trends & Benchmarks Schweiz 2013 13Insgesamt nehmen 58.9% externe Unterstützung inAnspruch. Der Anteil des Outsourcing hat sich gegenüber2012 von 5.9% auf 8.8% leicht erhöht, ist aber immernoch relativ klein.41.1%58.9%Die Unterstützung der Testaktivitäten durchexterne Ressourcen hat sich gegenüber demletzten Jahr verringert. So beziehen nun 41.1%statt 33.8% keine externen Ressourcen mehr.Investitionennehmen abInvestitionennehmen zuTestautomatisierungAuf- und Ausbau RegressionstestsTestdaten-ManagementTestumgebungenAus-/ Weiterbildung MitarbeiterTestmanagement-ToolsTestprozesse / MethodenAnstellung neuer Test-MitarbeiterAuslagerung von TestaktivitätenKeine externen RessourcenBezug externer Ressourcen(Insourcing)Bezug als Dienstleistung(Managed Service)Auslagerung an externeRessourcen (Outsourcing)41.1%11.9%38.2%8.8%
  • 14. TESTAUFWAND Testing Trends & Benchmarks Schweiz 2013 14Testaufwand im Verhältnis zumGesamtaufwandTestaufwand im Verhältnis zumEntwicklungsaufwandAuf den ersten Blick scheint sichder Testaufwand von Jahr zuJahr stark zu verändern.Analysiert man die Zahlengenauer, stellt man jedochfest, dass der durchschnittlicheTestaufwand im Verhältnis zumGesamtprojektaufwand konstantauf 16 – 20% geschätzt wurde.Ähnlich wie beim Gesamtauf-wand hat es beim Testaufwandim Verhältnis zum Entwicklungs-aufwand über die Jahre hinwegVerschiebungen gegeben.Trotzdem ist auch hier derDurchschnitt stabil bei21 - 30% geblieben.2011 2012 2013< 5% 5 – 10% 11 – 15% 16 – 20% 21 – 30% 31 – 50% darüber0%20%10%30%16 – 20%Gesamt-aufwand21 – 30%Entwicklungs-aufwand12.5%19.4%20.1%23.5%14.4%8.2%1.9%2011 2012 2013< 5% 5 – 10% 11 – 15% 16 – 20% 21 – 30% 31 – 50% darüber0%20%10%30%6.9%9.7%16.9%21.3%20.7%20.4%4.1%
  • 15. TESTWERKZEUGETestautomatisierungs-ToolsInsgesamt bleibt der Markt stark fragmentiert. Es wurden fast 30 verschie-dene Tools genannt.Testmanagement-ToolsHP QC /ALM beherrscht weiterhin den Markt. Tricentis Tosca hat sich aberzu einer ernstzunehmenden Konkurrenz entwickelt. Dahinter ist der Marktangesichts der stetig wachsenden Zahl von Alternativen zersplittert.Weiterhin kommen oft mehrere Tools zum Einsatz (namentlich dieMS Office Palette).Testing Trends & Benchmarks Schweiz 2013 150% 20%3%1%2%3%3%4%6%7%20%38%52%9%14%40%HP QC / ALMMS OfficeTricentis ToscaEigene EntwicklungMS TFS Test ManagerPolarion QA / ALMBugzilla TestopiaIBM RationalQuality ManagerInflectra SpiraTestLinkSmartBear QACompleteSilkCentral Test Managerkeines0% 10% 20%34.5%27.2%24.1%15.3%8.8%18.0%5.0%4.2%4.2%4.2%3.4%2.3%30%HP Quick Test Professional (QTP)EigenentwicklungTricentis ToscaxUnit (z.B. jUnit, TestNG, ...)Selenium (RC/WebDriver)MS TFS / VisualstudioQF TestRanorexFitNesseLisaCanoo WebtestAndereIBM Rational Functional Tester(RFT)0% 20% 40%2012 2013HP Quick TestProfessional (QTP)EigenentwicklungSelenium(RC/WebDriver)Tricentis Tosca26.8%0% 20% 40% 60%2012 2013HP QC / ALMMS OfficeTricentis ToscaMS TFS TestManagerEigeneEntwicklung
  • 16. TESTAUTOMATISIERUNGKosteneinsparungenInsgesamt wird das Potential für Einsparungen durch Automatisierunghöher eingeschätzt als im Vorjahr. Wie schon im Vorjahr hat ein beachtlicherTeil der Teilnehmenden gesagt, dass keine Aussage möglich ist.Testautomatisierung pro TeststufeTesting Trends & Benchmarks Schweiz 2013 16Automatisierte Tests aufStufe Systemtest82%der Befragten habenautomatisierte Testsauf einer oder mehrerenStufen.% der Testfälle automatisiert0 – 10% 11 – 20% 21 – 50% 51 – 80% > 80%0%60%40%20%2011 2012 20137.3%0%10%20%30%40%23.7%21.8%10.2%16.1%33.3%24.9%10.7%2.8%22.6%19.5%Kostengestiegen6.9%KeineAussagemöglichbis 10% bis 50%bis 20% bis 80%2012 2013Unit Tests Systemtests Abnahmetests% der Testfälle automatisiert0% 1 – 10% 21 – 50%11 – 20% 51 – 80% über 80%14.2%21.5%8.8%22.2%34.5%22.2%14.9%13.8%8.8%12.3%22.2%9.2%0%20%40%60%80%13.8%5.4%12.6%6.1%12.6%44.8%
  • 17. ERHEBUNGSGRUNDLAGENAufgabenbereichViele Teilnehmende umschreiben ihre Tätigkeit mit mehr als einer Rolle.Das Spektrum der zu erfüllenden Aufgabenbereiche ist insgesamt sehr breitgefächert.WirtschaftssektorWenig überraschend ist, dass der Anteil an Finanzen und Versicherungenstetig sinkt. Von 35% im 2011 über 28.4% im 2012 zu 24.8% im 2013.Zeitgleich stieg der Anteil staatlicher Betriebe von 6.5% auf inzwischen 9%.Testing Trends & Benchmarks Schweiz 2013 170%2001–...501–2000251–50051–25011–501–105% 10% 15% 20% 25% 30% 35%29.0%14.9%13.7%23.8%13.7%5.0%0%ITFinanzen, VersicherungenStaatliche und staatsnahe BetriebeIndustrieTransport und VerkehrTelekomMedTechAndere10% 20% 30% 40%24.8%37.7%9.0%8.7%5.9%4.2%2.4%7.3%IT-MitarbeitendeÜber die Hälfte der Befragten arbeitet in Firmen mit mehr als250 IT-Mitarbeitenden.Test ManagerTest Engineer / Test Analyst / TesterBerater / ConsultantProjektleiterTeamleiterAbteilungsleiter / BereichsleiterRequirements EngineerBusiness AnalystQuality Manager / QS-VerantwortlicherSoftwareentwickler / DeveloperSW Engineer in Test / TestautomatisiererC-Level (CEO / CIO / ...)Scrum MasterProduct Owner0% 10% 20% 30% 40%35.5%27.8%18.6%18.3%17.8%13.5%14.0%12.6%12.0%5.2%5.7%6.0%6.6%7.4%
  • 18. Requirements Trends & Benchmarks Schweiz 2013Möchten Sie mehr wissen? Sie erhalten den detaillierten Report mit weiteren Analysen über Requirements Engineering über www.SwissQ.it.Requirements Trends & Benchmarks Schweiz 2013Viele weitere Zahlen und Details sind imRequirements Trends & Benchmark Report 2013 zu finden.Testing Trends & Benchmarks Schweiz 2013 18RE-Aufwand im Verhältnis zumGesamtaufwand< 5%0%10%20%10-15% 15-20% 20-30% 30-50% darüber5-10%24.7%22.6%20.4%RE Aufwand im Verhältnis zum Gesamtaufwand10.8%18.3%2.73%0.5%ZufriedenheitZufrieden Mittelmässig UnzufriedenErheben von AnforderungenAnalysieren von AnforderungenVerwalten von AnforderungenDokumentieren von AnforderungenPrüfen von Anforderungen0% 20% 40% 60% 80% 100%40.5%28.2%42.1%44.1% 13.8%33.3%48.7% 17.9%44.1%35.9% 20.0%41.0%36.4% 22.6%31.3%
  • 19. Möchten Sie mehr wissen? Sie erhalten den detaillierten Report mit weiteren Analysen über agile Trends über www.SwissQ.it.Agile Trends & Benchmarks Schweiz 2013Viele weitere Zahlen und Details sind imAgile Trends & Benchmark Report 2013 zu finden.Agile Trends & Benchmarks Schweiz 2013 Testing Trends & Benchmarks Schweiz 2013 19Management PracticesSprint Review / Product DemoDefinition of DonePlanning PokerDaily StandupRelease PlanningVelocity ChartCo-LocationBacklog ManagementRetrospektivenDedicated Product OwnerOn-Site CustomerBurndown ChartTaskboardDefinition of ReadyWork in Progress (WiP) Limits78.6%75.7%73.6%64.3%62.1%61.4%60.0%50.0%42.1%41.4%28.6%17.9%16.4%9.3%7.1%0% 20% 40%Verwendete Tools im agilen UmfeldMS Office (Word, Excel)MS Team Foundation ServerIBM Rational Team ConcertVersion OneAndereAtlassian JIRA / GreenhopperBugzillaScrumyInflectra SpiraDevelopmentHP QC / ALMEigene EntwicklungRally Software Development52.9%47.1%37.9%20.0%10.7%8.6%6.4%4.3%2.1%3.6%1.4%14.3%0% 20% 40% 60%
  • 20. Über UnsSwissQ unterstützt ihre Kunden in den Themen Requirements, Testing und Agilität.Wir stellen dabei sicher, dass die richtige Funktionalität schnell und richtig geliefertwird. Dies durch das Bereitstellen von Expertise, Ressourcen, Assessments, Methodenund Trainings.Unsere Vision ist es, die Wertsteigerung in der IT durch perfektes RequirementsEngineering, professionelles Software Testing und den bewussten Einsatz vonagilen Methoden zu verbessern. Nebst der Erbringung von hochqualitativen Services,verfolgen wir diese Vision durch die Schaffung von unabhängigen Plattformen wiedem Swiss Testing Day und dem Swiss Requirements Day, die den Wissens- undErfahrungsaustausch ermöglichen. Ausserdem helfen wir hellen Köpfen, ihr Wissendurch unsere Schulungen zu erweitern.© by SwissQ Consulting AG | Stadthaus-Quai 15 | CH-8001 Zürichwww.SwissQ.it | info@SwissQ.it | Tel +41 43 288 88 40 | Fax +41 43 288 88 39Twitter: @SwissQ | Facebook: swissqconsulting