Logstash, Kibana, Elasticsearch: Im Dreiklang Performance sichtbar machen

2,564 views

Published on

Moderne Applikationen setzen auf eine verteilte und skalierbare Architektur, in der unterschiedliche Technologien und Komponenten zum Einsatz kommen. Durch dieses Vorgehen gestaltet sich die Messung und Bewertung von Performance einer gesamten Infrastruktur schwierig. Mit Hilfe von Logstash, Elasticsearch und Kibana kann man ein zentrales Reporting über die gesamte Infrastruktur aufbauen. (Performance-) Daten aus unterschiedlichen Quellen werden so für eine zentrale Analyse zusammengeführt und transparent dargestellt. Im Vortrag wird der Aufbau und Nutzen am Beispiel von Performance Reporting (PEx – Performance Exposure) der Payback GmbH deutlich gemacht.

Vortrag auf der Developer Conference 2013 von Thomas Falkenberg und Kai Wilken

Published in: Technology
0 Comments
1 Like
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total views
2,564
On SlideShare
0
From Embeds
0
Number of Embeds
25
Actions
Shares
0
Downloads
17
Comments
0
Likes
1
Embeds 0
No embeds

No notes for slide

Logstash, Kibana, Elasticsearch: Im Dreiklang Performance sichtbar machen

  1. 1. Cassini I Guiding ahead
  2. 2. Im Dreiklang Performance sichtbar machen Logstash, Kibana, Elasticsearch Kai Wilken I Cassini & Thomas Falkenberg | Payback Version 1.0 © 2013 Cassini Consulting
  3. 3. Thomas Falkenberg ! Performance Engineer, Payback GmbH ! ! ! #performance #devops #opensource ! ! @falkenbt falkenbt@gmail.com 3 15.11.13 Cassini Consulting
  4. 4. Kai Wilken ! Consultant bei Cassini Consulting ! ! ! #physik #devops #performance ! ! @dervanil kai.wilken@cassini.de 4 15.11.13 Cassini Consulting
  5. 5. Maisfeld + Intro + Homer ??? 5 15.11.13 Cassini Consulting
  6. 6. 6 15.11.13 Cassini Consulting
  7. 7. Und das Maisfeld bei Payback... 7 15.11.13 Cassini Consulting
  8. 8. Warum brauche ich Metriken? Überprüfung / Bestätigung der Effekte durch Optimierung Neue oder veränderte Features und Funktionen Validierung Entwicklung Metrik Cycle Optimierung Analyse Verbesserung auf Basis der Beobachtungen 8 15.11.13 Cassini Consulting Analyse der Auswirkungen und Sammlung von Metriken
  9. 9. Ziele von zentraler Logsammlung und Auswertung ! Überblick in komplexen Umgebungen behalten ! Unterstützung bei der Ursachenforschung ! in Fehler- / Problemfällen Verhalten des Systems unter realen Bedingungen beobachten ! Ressourcennutzung und mögliche Engpässe kennen, Trends ableiten können ! Auswirkungen von Veränderungen (z.B. neues Release) transparent machen und bewerten können ! Kontrolle von vertraglichen Verpflichtungen (SLAs) 9 15.11.13 Cassini Consulting
  10. 10. Wie arbeitet logstash? Redis Logfile TCP Graphite Filter Redis 10 15.11.13 Elasticsearch Cassini Consulting Logfile TCP Twitter •  •  •  •  •  Graphite SVN … Grok Multiline (z.B. für Stacktrace) Bedingungen Key-value (z.B. Request Parameter) … Twitter SVN …
  11. 11. Grok it! logfile grok pattern 11 … 2013-11-06 09:42:13,274;INFO;d3e7a1db;getAccountTransactions;admin;196;0; 2013-11-06 09:42:13,375;INFO;8f72ea2c;getAccountBalance;admin;121;0; 2013-11-06 09:42:13,454;INFO;caab93cd;updateMember;admin;653;COR-00011; %{DATA:timestamp};%{DATA:loglevel};%{DATA:requestId};%{DATA:service};%{DATA:consumer};%{INT:responseTime:int};%{DATA:errorCode}; 15.11.13 Cassini Consulting
  12. 12. Baukasten: logstash, elasticsearch, kibana, graphite, PeX PErformance eXposure PayLoad 2. Warmup 3. Load-Test 1. Preload System under Test Database 12 4. Report 15.11.13 Cassini Consulting Metrics sampler kibana
  13. 13. DEMO 13 15.11.13 Cassini Consulting
  14. 14. Wie geht es weiter… QA OPS DEV "Big Data" 14 15.11.13 Cassini Consulting
  15. 15. Lessons learned ? Lernkurve Integration Support Spaß 15 15.11.13 Cassini Consulting Security Hausaufgaben Performance Housekeeping Interpretation !
  16. 16. Fragen? Fragen! 16 15.11.13 Cassini Consulting
  17. 17. Links ! Elasticsearch: http://www.elasticsearch.org/ ! Kibana: http://www.elasticsearch.org/overview/kibana/ ! Logstash: http://logstash.net/ ! Graphite: https://github.com/graphite-project ! Statsd: https://github.com/etsy/statsd/ ! MetricsSampler: https://github.com/dimovelev/metrics-sampler 17 15.11.13 Cassini Consulting
  18. 18. Cassini Consulting Niederlassung Hamburg Kai Wilken Alle Angaben basieren auf dem derzeitigen Kenntnisstand. Änderungen vorbehalten. Johannisbollwerk 16 20459 Hamburg Deutschland T +49 (0)151 11 44 38 53 kai.wilken@cassini.de visit www.cassini.de 18 15.11.13 Dieses Dokument von Cassini Consulting ist ausschließlich für den Adressaten bzw. Auftraggeber bestimmt. Es bleibt bis zur einer ausdrücklichen Übertragung von Nutzungsrechten Eigentum von Cassini. Jede Bearbeitung, Verwertung, Vervielfältigung und/oder gewerbsmäßige Verbreitung des Werkes ist nur mit Einverständnis von Cassini zulässig. Cassini Consulting

×