Marc Müller 4tecture GmbH, Schweiz
Nico Orschel AIT GmbH & Co. KG, Deutschland
Alternativen zu Visual Studio Test Tools

Zielstellung
Überblick
Alternative Testing Tools
Integration von Test-Frameworks
Fazit
Agenda

No deep dive today!

Die Visual Studio Welt von früher

Die Visual Studio Welt von heute

Die Visual Studio Welt von heute

Testing Quadranten
Business Facing
SupportingTeam
Functional Tests
Examples
Story Test
Prototypes
Simulations
Explorative Testing
Scenarios
Usability Testing
UAT (User Acceptance Testing)
Alpha / Beta
CritiqueProduct
Unit Tests
Component Tests
Performance and Load Testing
Security Testing
“Ility Testing”
Technology-Facing

Frameworks sollten immer Technology-spezifisch gewählt warden
Bsp.:
Java – Junit
C++ - MSTest; Google C++ Test, …
PHP – PHPUnit, …
C# - MSTest, Nunit, Xunit , …
…
Link: https://de.wikipedia.org/wiki/Liste_von_Modultest-Software
Business + Data Acces Layer

Fluent Assertions

Fluent Assertions
Quelle: https://github.com/dennisdoomen/FluentAssertions/wiki/Documentation-(Release-2.2)

SpecFlow

SpecFlow – How it works
Business writes
SpecFlow scenarios
Coding
Test Steps
Re-use of coded
Test Steps

SpecFlow – How it works
SpecFlow Feature File Steps Implementation Test automation code
Generate
or
write by hand
Use any test
framework
Component
under test

SpecFlow Sample

UI Testing

UI Testing
Mobil Gerät
Windows
Mobile /
Phone
iOS
Android
Coded UI
Ranorex
Xamarin UITest
Perfecto Mobile
Squish
WebDriver /
Appium
PC
WinForms /
WPFCoded UI
Web
Selenium
/ WebDriver
/ Perfecto
Store Apps
Coded UI
Java
Ranorex /
Squish
Flash, SAP

Stärken:
- Support für alle
modernen Browser
(Chrome, Firefox, Edge)
- Open Source
- .NET Wrapper
vorhanden
Alternative Frameworks - Selenium

Stärken:
- Basiert auf Webdriver
Engine
- Berücksichtigt und
Abstrahiert Angular
Suchstrategien
- Testen wie Endnutzer
(Ausführung in richtigen
Browser)
Alternative Frameworks - Protractor

Selenium How-To
Client
Firefox
Driver
Chrome
Driver
Edge
Driver
Json Wire Protocol Proprietäres Protokoll

Beispiel: JSON Wire Protocol
{
"SessionId": "a433343ec6e678b1bc17a93bbbf6aea7",
"Status": 0,
"Value": { "AcceptSslCerts": true,
"ApplicationCacheEnabled": false,
"BrowserConnectionEnabled": false,
"BrowserName": "chrome",
"Chrome": { "UserDataDir":
"/var/folders/p6/ll1grbcs4jv_k7675qv47l6m0000gn/T/.org.chromium.Chromium.wEZRL6" },
"CssSelectorsEnabled": true,
"DatabaseEnabled": false,
"HandlesAlerts": true,
"JavascriptEnabled": true,
"LocationContextEnabled": true,
"NativeEvents": true,
"Platform": "Mac OS X",
"Rotatable": false,
"TakesHeapSnapshot": true,
"TakesScreenshot": true,
"Version": "38.0.2125.111",
"WebStorageEnabled": true } }
Quelle: https://app.codegrid.net/entry/selenium-1
Mehr Informationen:
https://github.com/Selenium
HQ/selenium/wiki/JsonWire
Protocol

Demo Selenium

Stärken:
- Support für Mobile Geräte
und andere Plattformen
(Java, SAP, Android, iOS, …)
- Trennung Aktionen und
Ansteuerung
- Geeignet auch für Nicht-
Programmierer
- .NET Engine
Alternative Frameworks - Ranorex

Technologie Unterstützung
http://www.ranorex.com/automate-testing-of-desktop-web-mobile-software.html

Demo Ranorex

Stärken:
- .NET API orientiert sich
an CodedUI
- .NET Abstraktion
(Alternative Python)
- Physische Geräte (iOS,
Android)
Alternative Frameworks – Xamarin Testcloud

Demo Xamarin

Stärken:
- Breite
Geräteunterstützung
- Multi Browser-Testing
- VSTS+VS Support
- Remote Manual Testing
Alternative Frameworks – Perfecto Mobile

Demo Perfecto Mobile

Stärken:
- Support für Mobile +
Desktop Browser (> 100)
- Selenium Cloud Testing
(C#, Java, … )
- Live Debugging
- Local Server Testing
Alternative Frameworks – BrowserStack

Integration in
die VS Test Tools

MSTest Extension
(Alles )Einpacken in MSTest (Unit)Test
Generic Test
Optionen zur Integration bei <= VS 2010

Beispiel: https://nunitforvs.codeplex.com/
MSTest Extension

Generic Tests

Generic Tests

MSTest Extension
Einpacken in MSTest (Unit)Test
Generic Test
VS Test Adapter (VS + Build Server only, Kein Lab)
Optionen zur Integration bei >= VS 2012

Bestandteile eines Testadapters
Test
Adapter
Test
Discoverer
Test
Executor
Test
Container
(non DLL +
EXE)

MSTest Extension
Einpacken in MSTest (Unit)Test
Generic Test
VS Test Adapter (VS, Build, Release Management)
Publish Test Results
Optionen zur Integration bei >= VS 2015

Publish Results Buildstep

Frameworks mit Junit Support
- Cucumber
(https://www.relishapp.com/cucumber/cucumber/docs/formatt
ers/junit-output-formatter )
- GoogleTest (C++ Unittest)
(http://www.yolinux.com/TUTORIALS/Cpp-GoogleTest.html
- …
Publish Results Buildstep – Junit Export

Publish Code Coverage Data

Demo
Importing 3rd Party Code Coverage and Test Data

- Es gibt nicht das “Universelle Werkzeug”
- Aufgaben-spezifisch das Framework wählen
- VSTS / TFS 2015 ist offen für viele Frameworks
- Integration
- VS Nutzer: Testadapter
- Alles andere: Publish Testresults
Fazit

KONTAKT
Nico.Orschel@aitgmbh.de
+49 151 55052624
@nicoorschel
AIT GmbH & Co. KG
Leitzstr. 45, 70469 Stuttgart
www.aitgmbh.de
BERATUNG
Agile ALM und TFS
.NET und Architektur
ENTWICKLUNG
Dienstleister für individuelle
Lösungen mit .NET und Azure
© AIT GmbH & Co. KG – Alle genannten und gezeigten Marken oder Warenzeichen sind eingetragene Marken oder eingetragene Warenzeichen ihrer jeweiligen Eigentümer und ggf. nicht gesondert gekennzeichnet. Aus dem Fehlen der
Kennzeichnung kann nicht geschlossen werden, daß es sich bei einem Begriff oder einem Bild nicht um eine eingetragene Marke oder ein eingetragenes Warenzeichen handelt.

Marc Müller
Principal Consultant
für DevOps, ALM, TFS /VS, .NET
E-Mail: marc.mueller@4tecture.ch
Webseite: http://www.4tecture.ch
Schulungen: http://4tecture.ch/trainings
Blog: http://4tecture.ch/blog
Twitter: @muellermarc