Load Testing in der Cloud − am Beispiel der «swisstopo Zeitreise»

  • 275 views
Uploaded on

The bandwidth consuming “Journey through time” mapping application, running …

The bandwidth consuming “Journey through time” mapping application, running
on top of the the IaaS powered Federal Spatial Geodata Infrastructure
(FSDI), has been successfully launched on January 17th 2013 in the scope of
swisstopo’s 175th anniversary. It is allowing a journey through time between
1938 and today and can be used to answer questions like: What did Bern look
like in 1950, or how far did the Aletsch glacier reach 20 years ago? This brandnew
application generated an outgoing internet traffic of more than 1.3TB,
served 40 million map tiles to 30’000 visitors in half a day and was perfectly
running even during the emission of the ”Tagesschau” from January 18th
covering this topic. The talk explains how the cloud service Load Impact has
been used to optimally prepare the application for the expected big rush
during the official go-live.

More in: Technology
  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Be the first to comment
    Be the first to like this
No Downloads

Views

Total Views
275
On Slideshare
0
From Embeds
0
Number of Embeds
2

Actions

Shares
Downloads
0
Comments
0
Likes
0

Embeds 0

No embeds

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
    No notes for slide

Transcript

  • 1. 2Hanspeter Christ, KOGISBundesamt für Landestopografie swisstopoLoad Testing in der Cloud – am Beispiel der «swisstopo Zeitreise»Open Cloud Day, 11. Juni 2013, ZHAW, WinterthurAgenda• Das Bundesamt für Landestopografie swisstopo• Die «swisstopo Zeitreise» zum Start der 175-Jahr-Jubiläums-Feierlichkeiten von swisstopo• Load Testing im Vorfeld des Go-Live der «swisstopoZeitreise» vom 17.01.2013• Fazit
  • 2. 3Hanspeter Christ, KOGISBundesamt für Landestopografie swisstopoLoad Testing in der Cloud – am Beispiel der «swisstopo Zeitreise»Open Cloud Day, 11. Juni 2013, ZHAW, Winterthur
  • 3. 4Hanspeter Christ, KOGISBundesamt für Landestopografie swisstopoLoad Testing in der Cloud – am Beispiel der «swisstopo Zeitreise»Open Cloud Day, 11. Juni 2013, ZHAW, Winterthur
  • 4. 5Hanspeter Christ, KOGISBundesamt für Landestopografie swisstopoLoad Testing in der Cloud – am Beispiel der «swisstopo Zeitreise»Open Cloud Day, 11. Juni 2013, ZHAW, Winterthur
  • 5. 6Hanspeter Christ, KOGISBundesamt für Landestopografie swisstopoLoad Testing in der Cloud – am Beispiel der «swisstopo Zeitreise»Open Cloud Day, 11. Juni 2013, ZHAW, Winterthur
  • 6. 7Hanspeter Christ, KOGISBundesamt für Landestopografie swisstopoLoad Testing in der Cloud – am Beispiel der «swisstopo Zeitreise»Open Cloud Day, 11. Juni 2013, ZHAW, Winterthur
  • 7. 8Hanspeter Christ, KOGISBundesamt für Landestopografie swisstopoLoad Testing in der Cloud – am Beispiel der «swisstopo Zeitreise»Open Cloud Day, 11. Juni 2013, ZHAW, Winterthur
  • 8. 9Hanspeter Christ, KOGISBundesamt für Landestopografie swisstopoLoad Testing in der Cloud – am Beispiel der «swisstopo Zeitreise»Open Cloud Day, 11. Juni 2013, ZHAW, Winterthur
  • 9. 10Hanspeter Christ, KOGISBundesamt für Landestopografie swisstopoLoad Testing in der Cloud – am Beispiel der «swisstopo Zeitreise»Open Cloud Day, 11. Juni 2013, ZHAW, Winterthur
  • 10. 11Hanspeter Christ, KOGISBundesamt für Landestopografie swisstopoLoad Testing in der Cloud – am Beispiel der «swisstopo Zeitreise»Open Cloud Day, 11. Juni 2013, ZHAW, Winterthur
  • 11. 12Hanspeter Christ, KOGISBundesamt für Landestopografie swisstopoLoad Testing in der Cloud – am Beispiel der «swisstopo Zeitreise»Open Cloud Day, 11. Juni 2013, ZHAW, Winterthur
  • 12. 13Hanspeter Christ, KOGISBundesamt für Landestopografie swisstopoLoad Testing in der Cloud – am Beispiel der «swisstopo Zeitreise»Open Cloud Day, 11. Juni 2013, ZHAW, Winterthur
  • 13. 14Hanspeter Christ, KOGISBundesamt für Landestopografie swisstopoLoad Testing in der Cloud – am Beispiel der «swisstopo Zeitreise»Open Cloud Day, 11. Juni 2013, ZHAW, WinterthurMotivation für die Durchführung von Load-Tests imVorfeld des Go-Live der «swisstopo Zeitreise»• Erfolgreichen Go-Live der «swisstopo Zeitreise»sicherstellen − kein Ausfall und stets gute Performanceauch während Zugriffspeak• Komplexes Gesamtsystem besser verstehen• System optimal dimensionieren (auch betr. Kosten)• Cloud Computing macht es möglich, auch sehr grosseLoad-Tests kostengünstig zu realisieren
  • 14. 15Hanspeter Christ, KOGISBundesamt für Landestopografie swisstopoLoad Testing in der Cloud – am Beispiel der «swisstopo Zeitreise»Open Cloud Day, 11. Juni 2013, ZHAW, WinterthurDimensionierung der Load-TestsKennzahlen Go-Live «geo.admin.ch» vom 19. August 2010 1 Varnish-Proxy m1.xlarge 400 Mbit/s Internet-Bandbreite während Lastspitze 1300 Map Tiles/s während LastspitzeDimensionierung der Infrastruktur für Go-Live «swisstopoZeitreise» vom 17. Januar 2013 4 Varnish-Proxies m1.xlarge 1.6 Gbit/s Internet-Bandbreite 5200 Map Tiles/s
  • 15. Load-Test-Setup im Vorfeld des Go-Live− ein Sytem lauter «black boxes»…service forload testing(SaaS)Amazon ElasticLoad BalancingserviceAmazonElasticComputeinstancesm1.xlarge
  • 16. Load-Test-Setup im Vorfeld des Go-Live mitLoadImpact
  • 17. Load-Test-Setup im Vorfeld des Go-Live mitLoadImpact
  • 18. 19Hanspeter Christ, KOGISBundesamt für Landestopografie swisstopoLoad Testing in der Cloud – am Beispiel der «swisstopo Zeitreise»Open Cloud Day, 11. Juni 2013, ZHAW, WinterthurTest vom 11.01.2013, Varnish-Cluster 4*m1.xlarge,«cold» ELB600 Mbit/s2’500 req/sUser load time steigt linear
  • 19. Test vom 16.01.2013, Varnish-Cluster 4*m1.xlarge«pre-warmed» ELB1.7 Gbit/s 7’000 req/sUser load time stabil
  • 20. 21Hanspeter Christ, KOGISBundesamt für Landestopografie swisstopoLoad Testing in der Cloud – am Beispiel der «swisstopo Zeitreise»Open Cloud Day, 11. Juni 2013, ZHAW, WinterthurTest vom 06.05.2013, Varnish-Cluster 4*m1.xlarge«pre-warmed» ELBUser load time steigt linear400 Mbit/s 2’000 req/s
  • 21. 22Hanspeter Christ, KOGISBundesamt für Landestopografie swisstopoLoad Testing in der Cloud – am Beispiel der «swisstopo Zeitreise»Open Cloud Day, 11. Juni 2013, ZHAW, Winterthur
  • 22. 23Hanspeter Christ, KOGISBundesamt für Landestopografie swisstopoLoad Testing in der Cloud – am Beispiel der «swisstopo Zeitreise»Open Cloud Day, 11. Juni 2013, ZHAW, WinterthurUnberechenbare Performance-Variationen?…insb. bei «gesharten» Ressourcen wie Disk I/O oder NetzwerkQuelle: http://hekafs.org/index.php/2013/05/performance-variation-in-the-cloud/IOPS DistributionSYNC 4KB writesSamples >= IOPStotal secondsIOPSIOPSEC2 h1.xlargeHost Virtual VR1EC2 h1.xlargeRackspace 30GB
  • 23. 24Hanspeter Christ, KOGISBundesamt für Landestopografie swisstopoLoad Testing in der Cloud – am Beispiel der «swisstopo Zeitreise»Open Cloud Day, 11. Juni 2013, ZHAW, WinterthurTest vom 06.05.2013, Varnish-Cluster 4*m1.xlarge«pre-warmed» ELB
  • 24. 25Hanspeter Christ, KOGISBundesamt für Landestopografie swisstopoLoad Testing in der Cloud – am Beispiel der «swisstopo Zeitreise»Open Cloud Day, 11. Juni 2013, ZHAW, WinterthurArchitektur von «geo.admin.ch» und der«swisstopo Zeitreise» (vereinfacht)Infrastrukturhorizontal skalierbarin < 1hKennzahlen desGo-Live «Zeitreise»(während Tagesschau vom 17. Januar 2013) 30‘000 Besucher in 1/2 Tag 1 Gbit/s Bandbreite 2’600 ausgelieferte MapTiles pro Sekunde Verfügbarkeit > 99.95% 7*24(seit Go-Live geo.admin.ch im Autust 2010)
  • 25. 26Hanspeter Christ, KOGISBundesamt für Landestopografie swisstopoLoad Testing in der Cloud – am Beispiel der «swisstopo Zeitreise»Open Cloud Day, 11. Juni 2013, ZHAW, WinterthurFazit• viele «black boxes» machen die Interpretation derMessergebnisse von Load Tests in der Cloud zu einemanspruchsvollen Unterfangen• «eine Messung ist keine Messung» (alte Vermesserweisheit)• Plausibilitätsprüfungen mit weiteren Metriken, z.B. iotop,collectd, etc. sind notwendig• Gesamtsystem in überblickbare Einzelteile zerlegen istunumgänglich• der Support von LoadImpact und Amazon war stetsvorbildlich• offene Clouds (mehr «white boxes») würden das LoadTesting in der Cloud erheblich vereinfachen
  • 26. 28Hanspeter Christ, KOGISBundesamt für Landestopografie swisstopoLoad Testing in der Cloud – am Beispiel der «swisstopo Zeitreise»Open Cloud Day, 11. Juni 2013, ZHAW, WinterthurANHANG
  • 27. 29Hanspeter Christ, KOGISBundesamt für Landestopografie swisstopoLoad Testing in der Cloud – am Beispiel der «swisstopo Zeitreise»Open Cloud Day, 11. Juni 2013, ZHAW, Winterthur«geo.admin.ch: das Geoportal des Bundes»in Zahlen
  • 28. 30Hanspeter Christ, KOGISBundesamt für Landestopografie swisstopoLoad Testing in der Cloud – am Beispiel der «swisstopo Zeitreise»Open Cloud Day, 11. Juni 2013, ZHAW, WinterthurHanspeter ChristHanspeter ChristBundesamt für Landestopografie swisstopoSeftigenstrasse 264Postfach3084 WabernTel: +41 31 963 23 83E-Mail: hanspeter.christ@swisstopo.chWeb: www.swisstopo.admin.chwww.geo.admin.chTwitter: http://twitter.com/#!/hpchristHanspeter Christ studierte an der ETH Zürich und trat im Oktober 2000 als dipl.Kulturingenieur ETH ins Bundesamt für Landestopografie swisstopo ein. Während vierJahren arbeitete er im Bereich Forschung und Entwicklung des Fachbereichs Geodäsie undwar dort als Softwareentwickler für das Design und die Implementierung von java- undwebbasierten Spezialanwendungen für die Schweizerische Landesvermessung und dieamtliche Vermessung verantwortlich. 2004 übernahm er den technischen Lead für den Aufbauund die Weiterentwicklung der gesamten auf Linux und Open Source Software gehostetenWebinfrastruktur von swisstopo und der Bundes Geodaten-Infrastruktur (BGDI). Seit 2008befasst er sich intensiv mit verteilten Cloud Computing Architekturen und IT Service DeliveryManagement und verantwortete als IT-Projektleiter die Migration der gesamten BundesGeodaten-Infrastruktur in die Amazon Public Cloud.