Testing Cloud Services - Kees Blokland and Jeroen Mengerink
1. Kees Blokland and Jeroen Mengerink, Polteq
Testing of Cloud Services
The Approach: From Risks to Test Measures
www.eurostarconferences.com
@esconfs
#esconfs
2. Testing of Cloud Services
The Approach: From Risks to Test
Measures
Kees Blokland
Jeroen Mengerink
Polteq Test Services BV
The Netherlands
10. US: National Institute of Standards and Technology
http://www.nist.gov
Essential characteristics
On-demand service
Self service provisioning, pay-per-use
No human interaction
11. US: National Institute of Standards and Technology
http://www.nist.gov
Essential characteristics
On-demand service
Broad network access
Standard mechanisms over networks
“Any” client
12. US: National Institute of Standards and Technology
http://www.nist.gov
Essential characteristics
On-demand service
Broad network access
Resource pooling
Multi-tenant
Storage, processing, memory, virtual machines, …
Location independent
13. US: National Institute of Standards and Technology
http://www.nist.gov
Essential characteristics
On-demand service
Broad network access
Resource pooling
Rapid elasticity
Rapid scale in and out
“Any quantity” at any time
14. US: National Institute of Standards and Technology
http://www.nist.gov
Essential characteristics
On-demand service
Broad network access
Resource pooling
Rapid elasticity
Measured service
Controlled resource use
Transparency, pay-per-use
15. US: National Institute of Standards and Technology
http://www.nist.gov
Essential characteristics
On-demand service
Broad network access
Resource pooling
Rapid elasticity
Measured service
Deployment models
– private cloud
– community cloud
– public cloud
– hybrid cloud
Service Models
Software as a Service
Platform as a Service
Infrastructure as a Service
19. 20
Everything over the web
The idea:
“it’s safe”
Home ground for
hackers
Performance
Security
Availability & Continuity
Functionality
Manageability
Legislation & Regulations
Suppliers & Outsourcing
Risks
20. 21
Bring Your Own Device
No free choice of
device.
Endless
possibilities.
Performance
Security
Availability & Continuity
Functionality
Manageability
Legislation & Regulations
Suppliers & Outsourcing
Risks
21. 22
Backup and recovery
Taken care of.
Who will support
me?
Performance
Security
Availability & Continuity
Functionality
Manageability
Legislation & Regulations
Suppliers & Outsourcing
Risks
22. 23
Updates, patches, fixes, …
Planned and
controlled
Do I have a
choice?
Performance
Security
Availability & Continuity
Functionality
Manageability
Legislation & Regulations
Suppliers & Outsourcing
Risks
23. 24
Where is my data?
Is it OK?
In house.
Somewhere…
Performance
Security
Availability & Continuity
Functionality
Manageability
Legislation & Regulations
Suppliers & Outsourcing
Risks
37. 38
Known measures
tuned and tweaked
New measures developed
Performance Testing
Security Testing
Manageability Testing
Availability & Continuity
Testing
Functional Testing
Migration Testing
Testing caused by
Legislation & Regulations
Testing in Production
Testing during Selection
TestMeasures
38. 39
Load Testing
YOUR
Operational Profile
YOUR
Operational Profile
PLUS
ACTUAL MOMENT
Performance Testing
Security Testing
Manageability Testing
Availability & Continuity
Testing
Functional Testing
Migration Testing
Testing caused by
Legislation & Regulations
Testing in Production
Testing during Selection
TestMeasures
39. 40
Online – Offline
Use case testing.
Global testing.
Performance Testing
Security Testing
Manageability Testing
Availability & Continuity
Testing
Functional Testing
Migration Testing
Testing caused by
Legislation & Regulations
Testing in Production
Testing during Selection
TestMeasures
40. 41
Any device – any platform
Multiplatform
testing.
Multiplatform
testing.
Performance Testing
Security Testing
Manageability Testing
Availability & Continuity
Testing
Functional Testing
Migration Testing
Testing caused by
Legislation & Regulations
Testing in Production
Testing during Selection
TestMeasures
41. 42
Internet Explorer 6
Internet Explorer 7
Internet Explorer 8
Firefox 3.5
Firefox 3.6
Firefox 4
Safari 4
Safari 5
Chrome11
Opera11
Windows XP
Windows Vista
Windows 7
Windows 2003 server
Windows 8
Windows CE
Linux
Unix
Mac OS Lion
Mac OS Snowleopard
iOS
Android
Operating Systems
Browsers
Multiplatform
Devices
Computer
Mobile
Tablet
PC
Macintosh
SUN
NOKIA …
Samsung …
Windows Mobile
iPhone ..
Xxx …
MOTOROLA…
Blackberry…
ASUS..
Xxx …
42. 43
Any device – any platform
Multiplatform
testing.
Multiplatform
testing.
Performance Testing
Security Testing
Manageability Testing
Availability & Continuity
Testing
Functional Testing
Migration Testing
Testing caused by
Legislation & Regulations
Testing in Production
Testing during Selection
TestMeasures
43. 44
Legislation + Regulations
=
Test basis
Incidental testing.
Compliancy testing.
Performance Testing
Security Testing
Manageability Testing
Availability & Continuity
Testing
Functional Testing
Migration Testing
Testing caused by
Legislation & Regulations
Testing in Production
Testing during Selection
TestMeasures
44. 45
European Commissioner Kroes, Sept 27
• Strategy document to promote cloud computing
• 2,5 million jobs, 160 billion Euros
• Major barriers:
– Many different standards
– Contract issues
– Many different rules and policies
• Privacy legislation: differences in 27(!) EU-countries
45. 46
Legislation + Regulations
=
Test basis
Incidental testing.
Compliancy testing.
Performance Testing
Security Testing
Manageability Testing
Availability & Continuity
Testing
Functional Testing
Migration Testing
Testing caused by
Legislation & Regulations
Testing in Production
Testing during Selection
TestMeasures
50. 51
Performance Testing
Security Testing
Manageability Testing
Availability & Continuity
Testing
Functional Testing
Migration Testing
Testing caused by
Legislation & Regulations
Testing in Production
Testing during Selection
TestMeasures
Performance
Security
Availability & Continuity
Functionality
Manageability
Legislation & Regulations
Suppliers & Outsourcing
Risks
Architecture
From “individual” risks
to
“individual” test measures
Test starts earlier
Test scope is widened
Test will never stop
Dit wordt meer.
Wat doen we allemaal met computers?
Wat is de cloud? Of cloud computing?
Wat is de cloud? Of cloud computing?
Wat is de cloud? Of cloud computing?
Wat is de cloud? Of cloud computing?
Wat is de cloud? Of cloud computing?
Wat is de cloud? Of cloud computing?
Wat is de cloud? Of cloud computing?
U wordt bij uw manager geroepen en die verteld: “we gaan naar de cloud” en we willen graag dat jij het testen voor je rekening neemt!
Allerlei vragen:
Welke delen gaan naar de cloud?
Wat is de impact?
Past mijn huidige testaanpak op deze nieuwe context?
Wat moet ik veranderen?
Na de eerste opwinding (of teleurstelling), grijp je al snel terug op de vertrouwde principes: laten we eens kijken welke risico’s er nou eigenlijk zijn verbonden aan het gebruiken van cloud services…
Misschien verdwijnen bekende risico's wel als sneeuw voor de zon… Maar goed, het kan ook zijn dat nieuwe risico hun plaats innemen en bestaande risico’s op een andere manier alsnog optreden…
KLIK
Het goede nieuws is dat wij dat ook gedaan hebben… Op basis van onze eigen praktijk en de ervaringen van onze mensen, aan de hand van allerhande informatiebronnen, uiteraard gezond verstand en onze ervaring in testen en IT, hebben wij de meest voorkomende risico's (143) hebben geïnventariseerd.
Vervolgens hebben we deze op een handige manier gegroepeerd. Er is gekozen voor een beperkt aantal groepen, ook om het ISO9126 horrorscenario te voorkomen (zo uitgebreid dat je niet weet waar te beginnen).
KLIK
Maar ook zodanig dat je gericht in gesprek kunt gaan met de diverse betrokkenen om alle noodzakelijk informatie over de risico’s in kaart te kunnen brengen.
Ja het is anders!
En dat concept – van risico’s naar testmaatregelen – vormt dan ook de basis en de architectuur van Cloutest en het bijbehorende boek.
En dat concept – van risico’s naar testmaatregelen – vormt dan ook de basis en de architectuur van Cloutest en het bijbehorende boek.
En dat concept – van risico’s naar testmaatregelen – vormt dan ook de basis en de architectuur van Cloutest en het bijbehorende boek.
En dat concept – van risico’s naar testmaatregelen – vormt dan ook de basis en de architectuur van Cloutest en het bijbehorende boek.
En dat concept – van risico’s naar testmaatregelen – vormt dan ook de basis en de architectuur van Cloutest en het bijbehorende boek.
Alle overige individuele risico’s – in totaal 143 – worden in Cloutest beschreven op een vergelijkbare manier…
De volgende stap die je dan gaat maken is het bedenken van een efficiente set van maatregelen om de risico’s af te dekken. Dat is en blijft immers ons doel: inzicht geven in de kwaliteit van de oplossing en de “resterende risico’s”
Maar “Klassiek” testen en het uitvoeren van een “intake” is niet voldoende…
KLIK
Dus ga je breder kijken… En komen andere preventieve en detectieve maatregelen nadrukkelijk in beeld.
De volgende stap die we hebben gezet is vergelijkbaar met de stap die ik net bij de risico’s heb laten zien: op welke wijze kunnen we al deze mogelijke testsoorten en vormen en activiteiten tot effectieve setjes van testmaatregelen groeperen zodanig dat we als tester op de juiste wijze de risico’s kunnen afdekken.
KLIK
Risico’s en maatregelen.
Wat Cloutest UNIEK maakt is de dat er een directe link wordt gelegd tussen INDIVIDUELE risico’s en de bijbehorende INDIVIDUELE maatregelen.
Kijk bijvoorbeeld naar performance.
Voor de meesten van ons als begrip weinig nieuws.
Wat blijkt is dat de performance eisen al nadrukkelijk tijdens de selectie moeten worden meegenomen. Maar ook dat naast de set van maatregelen voor het testen van performance, het testen van beheerbaarheid van belang is: heb ik een representatieve omgeving?
En tijdens productie? Meer dan voorheen moet de performance niet alleen gemonitord worden maar het kan zelfs van belang zijn om het regelmatig te testen. De cloud services veranderen continu, veel en vaak en ongecontroleerd en dit kan impact hebben op uw performance. Monitoring is dan niet voldoende maar regressietest op uw performance kan noodzakelijk zijn.
Neem nu bijvoorbeeld Beveiliging.
Hoewel daar niet bewust op gestuurd is, blijkt dat het testen van beveiliging in elke testmaatregele terug komt…
Van selectiecriteria (welke beveiligingsmaatregelen heeft de leverancier genomen en over welke certificaten beschikt hij),
via het testen van autorisatie en autenticatie (terug te vinden in het testen van beveiliging en het testen van functionaliteit),
Naar het testen van bv dataschoning: onbedoeld blijven gegevens bestaan die gewist hadden.
Tot en met het "live" bewaken want het gebeurt domweg dat er onbedoeld wijzigingen worden doorgevoerd die impact hebben op de beveiligingsmaatregelen.
De essentie van Cloutest is in feite: Testen begint eerder (tijdens selectie), kijkt breder (anders en met meer diepgang tijdens implementatie), gaat langer door…
“Doet de SW het volgens de specs?” verandert in “Gaat dit straks wel werken voor de gebruiker?”. Dus kruip al tijdens de selectie in de huid van de (eind)gebruiker.
Voorkom dat je achter de feiten aanloopt en dat je achteraf vaststelt dat je de verkeerde keuze hebt gemaakt. Dus moet je aanwezig zijn bij de selectie want DAAR worden belangrijke beslissingen genomen die grote invloed hebben op de risico’s bij gebruik van de service. Risico’s (de kans dat) veranderen in feiten (issues).
Goed en breed testen tijdens implementatie, voor life gang
En dan houdt het niet op, want ook nadat de service in productie is genomen blijven er taken voor test. Want als je services gaat afnemen uit de Cloud verdwijnt de vertrouwde rol die beheer tot nu toe heeft gehad.
Selectie wordt beheerst door de afdeling inkoop en die kijken – naast andere aspecten – met name naar kosten Hebben vaak minder ook voor de aansluiting op het business proces. En vergis u niet: SAP kent ABAP, maar uw service in de cloud kent helemaal niets…
Maar wie let op al die cloud risico’s? Het waren er 143, weet u nog wel. En vergeet niet: Na selectie zit je aan de service vast en is een risico geen risico meer maar een feit (issue).
Dus moet test moet zich in het selectieproces aan tafel “vechten”!
---
Wat speelt er dan allemaal?
Zorg dat de selectiecriteria compleet zijn (inclusief de cloudrisico’s)
Criteria gericht op de service: dat moet het doen
Criteria gericht op de leverancier: ook DAAR zit je straks aan vast
Leverancier waaraan je vast zit… door een slimme strategie
Gestapelde leveranciers – Hosting!
---
Een belangrijk pluspunt is overigens dat de een “life test” van de service kunt doen. Deze zogenaamde Proof of Concept is mogelijk door tijdelijk de service af te nemen.
Selectie wordt beheerst door de afdeling inkoop en die kijken – naast andere aspecten – met name naar kosten Hebben vaak minder ook voor de aansluiting op het business proces. En vergis u niet: SAP kent ABAP, maar uw service in de cloud kent helemaal niets…
Maar wie let op al die cloud risico’s? Het waren er 143, weet u nog wel. En vergeet niet: Na selectie zit je aan de service vast en is een risico geen risico meer maar een feit (issue).
Dus moet test moet zich in het selectieproces aan tafel “vechten”!
---
Wat speelt er dan allemaal?
Zorg dat de selectiecriteria compleet zijn (inclusief de cloudrisico’s)
Criteria gericht op de service: dat moet het doen
Criteria gericht op de leverancier: ook DAAR zit je straks aan vast
Leverancier waaraan je vast zit… door een slimme strategie
Gestapelde leveranciers – Hosting!
---
Een belangrijk pluspunt is overigens dat de een “life test” van de service kunt doen. Deze zogenaamde Proof of Concept is mogelijk door tijdelijk de service af te nemen.
Voorbeeld van aangescherpt, verdwenen en nieuw
Wat is implementatie?
Het lijkt op wat we gewend zijn maar in feite is het in productie maar nog niet life…
Het inrichten, aansluiten, configureren, in gebruik nemen, etc van de service
In de omgeving met bestaande informatiesystemen
Met alles erop en eraan
En dan met name het testen er van
Wordt waargemaakt waar de selectie op was gebaseerd?
Proof of the pudding is in the eating
Feitelijk constateren IN de productiesituatie
Voor performance, beveiliging, functionaliteit, migratie niet heel erg nieuw, maar op diverse onderdelen
Bewuster, scherper, completer, preciezer, kritischer, ook minder en anders.
Beheerbaarheid, continuiteit waren geen veeleisende onderwerpen voor testen
In de Cloud komen die veel nadrukkelijker op de agenda
Wet- en regelgeving is helemaal nieuw
Kortom: een combinatie van bestaande, aangescherpte en nieuwe aanpakken voor testen
Wat is implementatie?
Het lijkt op wat we gewend zijn maar in feite is het in productie maar nog niet life…
Het inrichten, aansluiten, configureren, in gebruik nemen, etc van de service
In de omgeving met bestaande informatiesystemen
Met alles erop en eraan
En dan met name het testen er van
Wordt waargemaakt waar de selectie op was gebaseerd?
Proof of the pudding is in the eating
Feitelijk constateren IN de productiesituatie
Voor performance, beveiliging, functionaliteit, migratie niet heel erg nieuw, maar op diverse onderdelen
Bewuster, scherper, completer, preciezer, kritischer, ook minder en anders.
Beheerbaarheid, continuiteit waren geen veeleisende onderwerpen voor testen
In de Cloud komen die veel nadrukkelijker op de agenda
Wet- en regelgeving is helemaal nieuw
Kortom: een combinatie van bestaande, aangescherpte en nieuwe aanpakken voor testen
Maar hoe kom je hier doorheen?
Wie kan zich veroorloven al die platformen te hebben staan en bij te houden?
De afnemer verwacht dat het gewoon allemaal werkt; dat is STANDAARD in de cloud, toch?
Er zijn bedrijven die dit als test service uit de cloud aanbieden! TaaS dus (Device anywhere)
Wat is implementatie?
Het lijkt op wat we gewend zijn maar in feite is het in productie maar nog niet life…
Het inrichten, aansluiten, configureren, in gebruik nemen, etc van de service
In de omgeving met bestaande informatiesystemen
Met alles erop en eraan
En dan met name het testen er van
Wordt waargemaakt waar de selectie op was gebaseerd?
Proof of the pudding is in the eating
Feitelijk constateren IN de productiesituatie
Voor performance, beveiliging, functionaliteit, migratie niet heel erg nieuw, maar op diverse onderdelen
Bewuster, scherper, completer, preciezer, kritischer, ook minder en anders.
Beheerbaarheid, continuiteit waren geen veeleisende onderwerpen voor testen
In de Cloud komen die veel nadrukkelijker op de agenda
Wet- en regelgeving is helemaal nieuw
Kortom: een combinatie van bestaande, aangescherpte en nieuwe aanpakken voor testen
Wat is implementatie?
Het lijkt op wat we gewend zijn maar in feite is het in productie maar nog niet life…
Het inrichten, aansluiten, configureren, in gebruik nemen, etc van de service
In de omgeving met bestaande informatiesystemen
Met alles erop en eraan
En dan met name het testen er van
Wordt waargemaakt waar de selectie op was gebaseerd?
Proof of the pudding is in the eating
Feitelijk constateren IN de productiesituatie
Voor performance, beveiliging, functionaliteit, migratie niet heel erg nieuw, maar op diverse onderdelen
Bewuster, scherper, completer, preciezer, kritischer, ook minder en anders.
Beheerbaarheid, continuiteit waren geen veeleisende onderwerpen voor testen
In de Cloud komen die veel nadrukkelijker op de agenda
Wet- en regelgeving is helemaal nieuw
Kortom: een combinatie van bestaande, aangescherpte en nieuwe aanpakken voor testen
Wat is implementatie?
Het lijkt op wat we gewend zijn maar in feite is het in productie maar nog niet life…
Het inrichten, aansluiten, configureren, in gebruik nemen, etc van de service
In de omgeving met bestaande informatiesystemen
Met alles erop en eraan
En dan met name het testen er van
Wordt waargemaakt waar de selectie op was gebaseerd?
Proof of the pudding is in the eating
Feitelijk constateren IN de productiesituatie
Voor performance, beveiliging, functionaliteit, migratie niet heel erg nieuw, maar op diverse onderdelen
Bewuster, scherper, completer, preciezer, kritischer, ook minder en anders.
Beheerbaarheid, continuiteit waren geen veeleisende onderwerpen voor testen
In de Cloud komen die veel nadrukkelijker op de agenda
Wet- en regelgeving is helemaal nieuw
Kortom: een combinatie van bestaande, aangescherpte en nieuwe aanpakken voor testen
Applicaties (Apps) veranderen voortdurend
Leveranciers en Services veranderen voortdurend
Business wil en kan voortdurend veranderen.
Veel meer ongecontroleerde changes vanuit de services…
Beheer van de service ligt bij de leverancier dus geen eigen beheerafdeling…
Na implementatie kan alles wel goed werken MAAR: er verandert van alles
DUS: risico’s komen terug
DUS: tester houdt een rol na live-gang
---
Zo goed mogelijke schaduw omgeving!
Door continue E2E/Ketentest detecteren van veranderingen
---
Functioneel; veranderingen in de functionaliteit
Performance: ook hier kunnen er veranderingen plaatsvinden
Beheerbaarheid: veranderingen in werk instructies
U wordt bij uw manager geroepen en die verteld: “we gaan naar de cloud” en we willen graag dat jij het testen voor je rekening neemt!
Allerlei vragen:
Welke delen gaan naar de cloud?
Wat is de impact?
Past mijn huidige testaanpak op deze nieuwe context?
Wat moet ik veranderen?
Na de eerste opwinding (of teleurstelling), grijp je al snel terug op de vertrouwde principes: laten we eens kijken welke risico’s er nou eigenlijk zijn verbonden aan het gebruiken van cloud services…
Misschien verdwijnen bekende risico's wel als sneeuw voor de zon… Maar goed, het kan ook zijn dat nieuwe risico hun plaats innemen en bestaande risico’s op een andere manier alsnog optreden…
KLIK
Het goede nieuws is dat wij dat ook gedaan hebben… Op basis van onze eigen praktijk en de ervaringen van onze mensen, aan de hand van allerhande informatiebronnen, uiteraard gezond verstand en onze ervaring in testen en IT, hebben wij de meest voorkomende risico's (143) hebben geïnventariseerd.
U wordt bij uw manager geroepen en die verteld: “we gaan naar de cloud” en we willen graag dat jij het testen voor je rekening neemt!
Allerlei vragen:
Welke delen gaan naar de cloud?
Wat is de impact?
Past mijn huidige testaanpak op deze nieuwe context?
Wat moet ik veranderen?
Na de eerste opwinding (of teleurstelling), grijp je al snel terug op de vertrouwde principes: laten we eens kijken welke risico’s er nou eigenlijk zijn verbonden aan het gebruiken van cloud services…
Misschien verdwijnen bekende risico's wel als sneeuw voor de zon… Maar goed, het kan ook zijn dat nieuwe risico hun plaats innemen en bestaande risico’s op een andere manier alsnog optreden…
KLIK
Het goede nieuws is dat wij dat ook gedaan hebben… Op basis van onze eigen praktijk en de ervaringen van onze mensen, aan de hand van allerhande informatiebronnen, uiteraard gezond verstand en onze ervaring in testen en IT, hebben wij de meest voorkomende risico's (143) hebben geïnventariseerd.