Load Testing in der Cloud − am Beispiel der «swisstopo Zeitreise»

529 views

Published on

The bandwidth consuming “Journey through time” mapping application, running
on top of the the IaaS powered Federal Spatial Geodata Infrastructure
(FSDI), has been successfully launched on January 17th 2013 in the scope of
swisstopo’s 175th anniversary. It is allowing a journey through time between
1938 and today and can be used to answer questions like: What did Bern look
like in 1950, or how far did the Aletsch glacier reach 20 years ago? This brandnew
application generated an outgoing internet traffic of more than 1.3TB,
served 40 million map tiles to 30’000 visitors in half a day and was perfectly
running even during the emission of the ”Tagesschau” from January 18th
covering this topic. The talk explains how the cloud service Load Impact has
been used to optimally prepare the application for the expected big rush
during the official go-live.

Published in: Technology
0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total views
529
On SlideShare
0
From Embeds
0
Number of Embeds
17
Actions
Shares
0
Downloads
0
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide

Load Testing in der Cloud − am Beispiel der «swisstopo Zeitreise»

  1. 1. 2Hanspeter Christ, KOGISBundesamt für Landestopografie swisstopoLoad Testing in der Cloud – am Beispiel der «swisstopo Zeitreise»Open Cloud Day, 11. Juni 2013, ZHAW, WinterthurAgenda• Das Bundesamt für Landestopografie swisstopo• Die «swisstopo Zeitreise» zum Start der 175-Jahr-Jubiläums-Feierlichkeiten von swisstopo• Load Testing im Vorfeld des Go-Live der «swisstopoZeitreise» vom 17.01.2013• Fazit
  2. 2. 3Hanspeter Christ, KOGISBundesamt für Landestopografie swisstopoLoad Testing in der Cloud – am Beispiel der «swisstopo Zeitreise»Open Cloud Day, 11. Juni 2013, ZHAW, Winterthur
  3. 3. 4Hanspeter Christ, KOGISBundesamt für Landestopografie swisstopoLoad Testing in der Cloud – am Beispiel der «swisstopo Zeitreise»Open Cloud Day, 11. Juni 2013, ZHAW, Winterthur
  4. 4. 5Hanspeter Christ, KOGISBundesamt für Landestopografie swisstopoLoad Testing in der Cloud – am Beispiel der «swisstopo Zeitreise»Open Cloud Day, 11. Juni 2013, ZHAW, Winterthur
  5. 5. 6Hanspeter Christ, KOGISBundesamt für Landestopografie swisstopoLoad Testing in der Cloud – am Beispiel der «swisstopo Zeitreise»Open Cloud Day, 11. Juni 2013, ZHAW, Winterthur
  6. 6. 7Hanspeter Christ, KOGISBundesamt für Landestopografie swisstopoLoad Testing in der Cloud – am Beispiel der «swisstopo Zeitreise»Open Cloud Day, 11. Juni 2013, ZHAW, Winterthur
  7. 7. 8Hanspeter Christ, KOGISBundesamt für Landestopografie swisstopoLoad Testing in der Cloud – am Beispiel der «swisstopo Zeitreise»Open Cloud Day, 11. Juni 2013, ZHAW, Winterthur
  8. 8. 9Hanspeter Christ, KOGISBundesamt für Landestopografie swisstopoLoad Testing in der Cloud – am Beispiel der «swisstopo Zeitreise»Open Cloud Day, 11. Juni 2013, ZHAW, Winterthur
  9. 9. 10Hanspeter Christ, KOGISBundesamt für Landestopografie swisstopoLoad Testing in der Cloud – am Beispiel der «swisstopo Zeitreise»Open Cloud Day, 11. Juni 2013, ZHAW, Winterthur
  10. 10. 11Hanspeter Christ, KOGISBundesamt für Landestopografie swisstopoLoad Testing in der Cloud – am Beispiel der «swisstopo Zeitreise»Open Cloud Day, 11. Juni 2013, ZHAW, Winterthur
  11. 11. 12Hanspeter Christ, KOGISBundesamt für Landestopografie swisstopoLoad Testing in der Cloud – am Beispiel der «swisstopo Zeitreise»Open Cloud Day, 11. Juni 2013, ZHAW, Winterthur
  12. 12. 13Hanspeter Christ, KOGISBundesamt für Landestopografie swisstopoLoad Testing in der Cloud – am Beispiel der «swisstopo Zeitreise»Open Cloud Day, 11. Juni 2013, ZHAW, Winterthur
  13. 13. 14Hanspeter Christ, KOGISBundesamt für Landestopografie swisstopoLoad Testing in der Cloud – am Beispiel der «swisstopo Zeitreise»Open Cloud Day, 11. Juni 2013, ZHAW, WinterthurMotivation für die Durchführung von Load-Tests imVorfeld des Go-Live der «swisstopo Zeitreise»• Erfolgreichen Go-Live der «swisstopo Zeitreise»sicherstellen − kein Ausfall und stets gute Performanceauch während Zugriffspeak• Komplexes Gesamtsystem besser verstehen• System optimal dimensionieren (auch betr. Kosten)• Cloud Computing macht es möglich, auch sehr grosseLoad-Tests kostengünstig zu realisieren
  14. 14. 15Hanspeter Christ, KOGISBundesamt für Landestopografie swisstopoLoad Testing in der Cloud – am Beispiel der «swisstopo Zeitreise»Open Cloud Day, 11. Juni 2013, ZHAW, WinterthurDimensionierung der Load-TestsKennzahlen Go-Live «geo.admin.ch» vom 19. August 2010 1 Varnish-Proxy m1.xlarge 400 Mbit/s Internet-Bandbreite während Lastspitze 1300 Map Tiles/s während LastspitzeDimensionierung der Infrastruktur für Go-Live «swisstopoZeitreise» vom 17. Januar 2013 4 Varnish-Proxies m1.xlarge 1.6 Gbit/s Internet-Bandbreite 5200 Map Tiles/s
  15. 15. Load-Test-Setup im Vorfeld des Go-Live− ein Sytem lauter «black boxes»…service forload testing(SaaS)Amazon ElasticLoad BalancingserviceAmazonElasticComputeinstancesm1.xlarge
  16. 16. Load-Test-Setup im Vorfeld des Go-Live mitLoadImpact
  17. 17. Load-Test-Setup im Vorfeld des Go-Live mitLoadImpact
  18. 18. 19Hanspeter Christ, KOGISBundesamt für Landestopografie swisstopoLoad Testing in der Cloud – am Beispiel der «swisstopo Zeitreise»Open Cloud Day, 11. Juni 2013, ZHAW, WinterthurTest vom 11.01.2013, Varnish-Cluster 4*m1.xlarge,«cold» ELB600 Mbit/s2’500 req/sUser load time steigt linear
  19. 19. Test vom 16.01.2013, Varnish-Cluster 4*m1.xlarge«pre-warmed» ELB1.7 Gbit/s 7’000 req/sUser load time stabil
  20. 20. 21Hanspeter Christ, KOGISBundesamt für Landestopografie swisstopoLoad Testing in der Cloud – am Beispiel der «swisstopo Zeitreise»Open Cloud Day, 11. Juni 2013, ZHAW, WinterthurTest vom 06.05.2013, Varnish-Cluster 4*m1.xlarge«pre-warmed» ELBUser load time steigt linear400 Mbit/s 2’000 req/s
  21. 21. 22Hanspeter Christ, KOGISBundesamt für Landestopografie swisstopoLoad Testing in der Cloud – am Beispiel der «swisstopo Zeitreise»Open Cloud Day, 11. Juni 2013, ZHAW, Winterthur
  22. 22. 23Hanspeter Christ, KOGISBundesamt für Landestopografie swisstopoLoad Testing in der Cloud – am Beispiel der «swisstopo Zeitreise»Open Cloud Day, 11. Juni 2013, ZHAW, WinterthurUnberechenbare Performance-Variationen?…insb. bei «gesharten» Ressourcen wie Disk I/O oder NetzwerkQuelle: http://hekafs.org/index.php/2013/05/performance-variation-in-the-cloud/IOPS DistributionSYNC 4KB writesSamples >= IOPStotal secondsIOPSIOPSEC2 h1.xlargeHost Virtual VR1EC2 h1.xlargeRackspace 30GB
  23. 23. 24Hanspeter Christ, KOGISBundesamt für Landestopografie swisstopoLoad Testing in der Cloud – am Beispiel der «swisstopo Zeitreise»Open Cloud Day, 11. Juni 2013, ZHAW, WinterthurTest vom 06.05.2013, Varnish-Cluster 4*m1.xlarge«pre-warmed» ELB
  24. 24. 25Hanspeter Christ, KOGISBundesamt für Landestopografie swisstopoLoad Testing in der Cloud – am Beispiel der «swisstopo Zeitreise»Open Cloud Day, 11. Juni 2013, ZHAW, WinterthurArchitektur von «geo.admin.ch» und der«swisstopo Zeitreise» (vereinfacht)Infrastrukturhorizontal skalierbarin < 1hKennzahlen desGo-Live «Zeitreise»(während Tagesschau vom 17. Januar 2013) 30‘000 Besucher in 1/2 Tag 1 Gbit/s Bandbreite 2’600 ausgelieferte MapTiles pro Sekunde Verfügbarkeit > 99.95% 7*24(seit Go-Live geo.admin.ch im Autust 2010)
  25. 25. 26Hanspeter Christ, KOGISBundesamt für Landestopografie swisstopoLoad Testing in der Cloud – am Beispiel der «swisstopo Zeitreise»Open Cloud Day, 11. Juni 2013, ZHAW, WinterthurFazit• viele «black boxes» machen die Interpretation derMessergebnisse von Load Tests in der Cloud zu einemanspruchsvollen Unterfangen• «eine Messung ist keine Messung» (alte Vermesserweisheit)• Plausibilitätsprüfungen mit weiteren Metriken, z.B. iotop,collectd, etc. sind notwendig• Gesamtsystem in überblickbare Einzelteile zerlegen istunumgänglich• der Support von LoadImpact und Amazon war stetsvorbildlich• offene Clouds (mehr «white boxes») würden das LoadTesting in der Cloud erheblich vereinfachen
  26. 26. 28Hanspeter Christ, KOGISBundesamt für Landestopografie swisstopoLoad Testing in der Cloud – am Beispiel der «swisstopo Zeitreise»Open Cloud Day, 11. Juni 2013, ZHAW, WinterthurANHANG
  27. 27. 29Hanspeter Christ, KOGISBundesamt für Landestopografie swisstopoLoad Testing in der Cloud – am Beispiel der «swisstopo Zeitreise»Open Cloud Day, 11. Juni 2013, ZHAW, Winterthur«geo.admin.ch: das Geoportal des Bundes»in Zahlen
  28. 28. 30Hanspeter Christ, KOGISBundesamt für Landestopografie swisstopoLoad Testing in der Cloud – am Beispiel der «swisstopo Zeitreise»Open Cloud Day, 11. Juni 2013, ZHAW, WinterthurHanspeter ChristHanspeter ChristBundesamt für Landestopografie swisstopoSeftigenstrasse 264Postfach3084 WabernTel: +41 31 963 23 83E-Mail: hanspeter.christ@swisstopo.chWeb: www.swisstopo.admin.chwww.geo.admin.chTwitter: http://twitter.com/#!/hpchristHanspeter Christ studierte an der ETH Zürich und trat im Oktober 2000 als dipl.Kulturingenieur ETH ins Bundesamt für Landestopografie swisstopo ein. Während vierJahren arbeitete er im Bereich Forschung und Entwicklung des Fachbereichs Geodäsie undwar dort als Softwareentwickler für das Design und die Implementierung von java- undwebbasierten Spezialanwendungen für die Schweizerische Landesvermessung und dieamtliche Vermessung verantwortlich. 2004 übernahm er den technischen Lead für den Aufbauund die Weiterentwicklung der gesamten auf Linux und Open Source Software gehostetenWebinfrastruktur von swisstopo und der Bundes Geodaten-Infrastruktur (BGDI). Seit 2008befasst er sich intensiv mit verteilten Cloud Computing Architekturen und IT Service DeliveryManagement und verantwortete als IT-Projektleiter die Migration der gesamten BundesGeodaten-Infrastruktur in die Amazon Public Cloud.

×