Logstash: Open Source Log-Management (Webinar vom 20.02.2014)

1,559 views

Published on

Mit Logstash erhält man eine sehr gute Open Source Lösung, wenn es um das archivieren und sammeln von Logfiles geht. Nicht nur Syslog oder klassische Logfiles können abgegriffen werden, sondern auch das Windows Event-Log oder SNMP-Traps. Diese können anschließend in einem intuitiven Webinterface gefiltert und ausgewertet werden.

Webinare
Archiv Link: https://www.netways.de/webinare/archiv/logstash_webinare/logstash_open_source_log_management/
Aktuell: https://www.netways.de/webinare/webinare_aktuell/

NETWAYS
Konferenzen: https://www.netways.de/events_schulungen/home/
Schulungen: https://www.netways.de/events_schulungen/schulungen/home/
Shop: https://shop.netways.de/
Blog: http://blog.netways.de/

Social Media
YouTube: https://www.youtube.com/channel/UC8nIBEFmjzXjXeJV_hkkeIQ
Facebook: https://www.facebook.com/netways
Google+: https://plus.google.com/+netways/
Twitter: https://twitter.com/netways

Published in: Technology
0 Comments
1 Like
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total views
1,559
On SlideShare
0
From Embeds
0
Number of Embeds
698
Actions
Shares
0
Downloads
13
Comments
0
Likes
1
Embeds 0
No embeds

No notes for slide

Logstash: Open Source Log-Management (Webinar vom 20.02.2014)

  1. 1. www.netways.de // blog.netways.de // @netways We love Open Source 20.02.2014 | WEBINAR LOGSTASH OPEN SOURCE LOG-MANAGEMENT BLERIM SHEQA | CHRISTIAN STEIN | NETWAYS GMBH
  2. 2. www.netways.de // blog.netways.de // @netways We love Open Source VORSTELLUNG MITARBEITER ■ Christian Stein  Account Manager  Bei NETWAYS seit 2012 ■ Blerim Sheqa  Systems Engineer  Bei NETWAYS seit 2013
  3. 3. www.netways.de // blog.netways.de // @netways We love Open Source AGENDA ■ Vorstellung NETWAYS ■ Logstash ■ Logstash Architektur ■ Integration in die IT-Landschaft ■ Live Demo ■ Fragen und Antworten
  4. 4. www.netways.de // blog.netways.de // @netways We love Open Source VORSTELLUNG NETWAYS
  5. 5. www.netways.de // blog.netways.de // @netways We love Open Source VORSTELLUNG NETWAYS ■ Firmengründung 1995 ■ Open Source seit 1997 ■ Aktuell 38 Mitarbeiter ■ Spezialisierung in den Bereichen Open Source Systems Management und Open Source Datacenter
  6. 6. www.netways.de // blog.netways.de // @netways We love Open Source NETWAYS KOMPETENZEN ■ Monitoring ■ Graphing ■ Logmanagement ■ Konfigurationsmanagement ■ Reporting ■ Private Cloud ■ Reporting ■ Backup ■ Projektmanagement ■ Consulting ■ Hosting ■ Managed Services ■ Development ■ Support ■ Betrieb ■ Schulungen ■ Konferenzen ■ Monitoring Hardware
  7. 7. www.netways.de // blog.netways.de // @netways We love Open Source NETWAYS PRODUKTE GRAPHITE
  8. 8. www.netways.de // blog.netways.de // @netways We love Open Source NETWAYS KONFERENZEN CeBIT 2014 ■ 10. – 14. März 2014 in Hannover ■ Halle 6, Stand E16 (310) Open Source Data Center Conference ■ 09. – 10. April 2014 in Berlin ■ 2 Tracks mit Vorträgen & Workshops ■ “Simplifying Complex IT Infrastructures with Open Source”
  9. 9. www.netways.de // blog.netways.de // @netways We love Open Source NETWAYS KONFERENZEN Puppet Camp ■ 11. April 2014 in Berlin ■ “Current state of Puppet, best practices and upcoming features” ■ Open Source Monitoring Conference • 18. – 20. November 2014 • 250 Teilnehmer (2013) • Monitoring Best Practices
  10. 10. www.netways.de // blog.netways.de // @netways We love Open Source NETWAYS SCHULUNGEN
  11. 11. www.netways.de // blog.netways.de // @netways We love Open Source NETWAYS COMMUNITY www.netways.org ■ NETWAYS Addons ■ NETWAYS Plugins www.icinga.org ■ Development ■ Hosting www.monitoringexchange.org ■ Icinga / Nagios Addons und Plugins ■ > 2000 Projekte
  12. 12. www.netways.de // blog.netways.de // @netways We love Open Source NETWAYS KUNDEN – CONSULTING (AUSZUG)
  13. 13. www.netways.de // blog.netways.de // @netways We love Open Source NETWAYS KUNDEN – HOSTING (AUSZUG)
  14. 14. www.netways.de // blog.netways.de // @netways We love Open Source UNSERE LEISTUNGEN IM ÜBERBLICK ■ Konzeptionierung und Planung ■ Workshops & Consulting zur Implementierung vor Ort ■ Betrieb  Komplette Logmanagementsysteme  Teilweise Betriebsunterstützung ■ Entwicklungsleistungen  Plugins und Filter  Systemintegration ■ Schulungen  Standardisierte Schulungsmodule  Individuell vor Ort ■ Support  Standardverträge  Individuelle Supportkonzepte ■ Konferenzen
  15. 15. www.netways.de // blog.netways.de // @netways We love Open Source OPEN SOURCE LOGMANAGEMENT LOGSTASH
  16. 16. www.netways.de // blog.netways.de // @netways We love Open Source LOGSTASH ■ Ziele  Logdateien in großen Mengen behandeln  Analyse der Daten  Anbindung an Monitoringsysteme  Dashboards für Visualisierung und Analyse  Weiterleitung der Daten an Drittsyteme
  17. 17. www.netways.de // blog.netways.de // @netways We love Open Source PROBLEMSTELLUNG ■ 91.198.2.65 - - [04/Dec/2013:08:53:10 +0100] "POST /_all/_search HTTP/1.1" 200 6666 "https://logstash.demo.netways.de/" "Mozilla/5.0 (X11; Linux x86_64; rv:25.0) Gecko/20100101 Firefox/25.0" ■ 91.198.2.65 - - [04/Dec/2013:08:53:10 +0100] "POST /_all/_search HTTP/1.1" 200 492955 "https://logstash.demo.netways.de/" "Mozilla/5.0 (X11; Linux x86_64; rv:25.0) Gecko/20100101 Firefox/25.0" ■ 91.198.2.65 - logstash [04/Dec/2013:08:53:10 +0100] "GET /app/partials/inspector.html HTTP/1.1" 304 245 "https://logstash.demo.netways.de/" "Mozilla/5.0 (X11; Linux x86_64; rv:25.0) Gecko/20100101 Firefox/25.0" ■ 91.198.2.65 - - [04/Dec/2013:08:53:10 +0100] "POST /_all/_search HTTP/1.1" 200 17140 "https://logstash.demo.netways.de/" "Mozilla/5.0 (X11; Linux x86_64; rv:25.0) Gecko/20100101 Firefox/25.0" ■ 91.198.2.65 - - [04/Dec/2013:08:53:10 +0100] "POST /_all/_search HTTP/1.1" 200 498624 "https://logstash.demo.netways.de/" "Mozilla/5.0 (X11; Linux x86_64; rv:25.0) Gecko/20100101 Firefox/25.0" ■ 91.198.2.65 - logstash [04/Dec/2013:08:53:11 +0100] "GET /app/panels/table/micropanel.html HTTP/1.1" 304 245 "https://logstash.demo.netways.de/" "Mozilla/5.0 (X11; Linux x86_64; rv:25.0) Gecko/20100101 Firefox/25.0" ■ 91.198.2.65 - logstash [04/Dec/2013:08:53:11 +0100] "GET /app/panels/histogram/styleEditor.html HTTP/1.1" 304 245 "https://logstash.demo.netways.de/" "Mozilla/5.0 (X11; Linux x86_64; rv:25.0) Gecko/20100101 Firefox/25.0" ■ 91.198.2.65 - logstash [04/Dec/2013:08:53:11 +0100] "GET /app/panels/table/editor.html HTTP/1.1" 304 245 "https://logstash.demo.netways.de/" "Mozilla/5.0 (X11; Linux x86_64; rv:25.0) Gecko/20100101 Firefox/25.0" ■ 91.198.2.65 - logstash [04/Dec/2013:08:53:11 +0100] "GET /app/panels/histogram/queriesEditor.html HTTP/1.1" 304 245 "https://logstash.demo.netways.de/" "Mozilla/5.0 (X11; Linux x86_64; rv:25.0) Gecko/20100101 Firefox/25.0" ■ 91.198.2.65 - logstash [04/Dec/2013:08:53:11 +0100] "GET /app/panels/histogram/editor.html HTTP/1.1" 304 245 "https://logstash.demo.netways.de/" "Mozilla/5.0 (X11; Linux x86_64; rv:25.0) Gecko/20100101 Firefox/25.0" ■ 91.198.2.65 - logstash [04/Dec/2013:08:53:11 +0100] "GET /app/panels/table/pagination.html HTTP/1.1" 304 245 "https://logstash.demo.netways.de/" "Mozilla/5.0 (X11; Linux x86_64; rv:25.0) Gecko/20100101 Firefox/25.0"
  18. 18. www.netways.de // blog.netways.de // @netways We love Open Source VORGEHEN OHNE LOGMANGEMENT ■ Regex Magic ^([d.]+) (S+) (S+) [([w:/]+s[+- ]d{4})] "(.+?)" (d{3}) (d+) "([^"]+)" "([^"]+)" ■ Pro Logformat eine eigene Regex ■ Aufwendig und zeitintensiv ■ Nur für technisch Versierte ■ Schlecht für die Teamarbeit
  19. 19. www.netways.de // blog.netways.de // @netways We love Open Source SORTIERUNG UND VISUALSIERUNG DER DATEN MIT LOGSTASH
  20. 20. www.netways.de // blog.netways.de // @netways We love Open Source LOGSTASH ARCHITEKTUR
  21. 21. www.netways.de // blog.netways.de // @netways We love Open Source LOGSTASH ARCHITEKTUR Logstash: Pipe on Steroids Input Filter Output
  22. 22. www.netways.de // blog.netways.de // @netways We love Open Source SORTIERUNG DER DATEN ■ Vorher  192.168.1.10 – guest [04/Dec/2013:08:54:23 +0100] "POST /icinga-web/web/api/json HTTP/1.1" 200 788 "https://icinga-private.demo.netways.de/icinga- web/modules/web/portal" "Mozilla/5.0 (X11; Linux x86_64; rv:22.0) Gecko/20100101 Firefox/22.0" ■ Nachher  "http_clientip": "192.168.1.10",  "http_ident": "-",  "http_auth": "guest",  "timestamp": "04/Dec/2013:08:54:23 +0100",  "http_verb": "POST",  "http_request": "/icinga-web/web/api/json",  "http_httpversion": "1.1",  "http_response": "200",  "http_bytes": "788",  "http_referrer": "https://icinga-private.demo.netways.de/icinga- web/modules/web/portal",  "http_agent": "Mozilla/5.0 (X11; Linux x86_64; rv:22.0) Gecko/20100101 Firefox/22.0" ■ Pattern  "%{COMBINEDAPACHELOG}"
  23. 23. www.netways.de // blog.netways.de // @netways We love Open Source LOGSTASH ARCHITEKTUR Server Switch Webapplikation • Input • Output • Key-Value Store • Puffer • Input • Filter • Output • Index • Queries
  24. 24. www.netways.de // blog.netways.de // @netways We love Open Source INTEGRATION IN DIE IT-LANDSCHAFT
  25. 25. www.netways.de // blog.netways.de // @netways We love Open Source LOGSTASH PLUGINS UND FILTER ■ drupal_dblog ■ elasticsearch ■ eventlog ■ exec ■ file ■ ganglia ■ gelf ■ gemfire ■ generator ■ graphite ■ heroku ■ imap ■ irc ■ log4j ■ lumberjack ■ pipe ■ rabbitmq ■ redis ■ relp ■ s3 ■ snmptrap ■ sqlite ■ sqs ■ stdin ■ stomp ■ syslog ■ tcp ■ twitter ■ udp ■ unix ■ varnishlog ■ websocket ■ wmi ■ xmpp ■ zenoss ■ zeromq ■ advisor ■ alter ■ anonymize ■ checksum ■ cidr ■ cipher ■ clone ■ collate ■ csv ■ date ■ dns ■ drop ■ environment ■ extractnumbers ■ gelfify ■ geoip ■ grep ■ grok ■ grokdiscovery ■ json ■ json_encode ■ kv ■ metaevent ■ metrics ■ multiline ■ mutate ■ noop ■ prune ■ railsparallel- request ■ range ■ ruby ■ sleep ■ split ■ syslog_pri ■ translate ■ urldecode ■ useragent ■ uuid ■ xml ■ zeromq ■ boundary ■ circonus ■ cloudwatch ■ datadog ■ datadog_metrics ■ elasticsearch ■ elasticsearch_http ■ elasticsearch_river ■ email ■ exec ■ file ■ ganglia ■ gelf ■ gemfire ■ google_cloud_stor age ■ graphite ■ graphtastic ■ hipchat ■ http ■ irc ■ jira ■ juggernaut ■ librato ■ loggly ■ lumberjack ■ metriccatcher ■ mongodb ■ nagios ■ nagios_nsca ■ null ■ opentsdb ■ pagerduty ■ pipe ■ rabbitmq ■ redis ■ riak ■ riemann ■ s3 ■ sns ■ sqs ■ statsd ■ stdout ■ stomp ■ syslog ■ tcp ■ udp ■ websocket ■ xmpp ■ zabbix ■ zeromq Input (36) Filter (40) Output (50)
  26. 26. www.netways.de // blog.netways.de // @netways We love Open Source ■ Integration in nahezu jede Umgebungen  Syslog  TCP / UDP  Lumberjack  fertige Pattern  Elasticsearch ■ Skalierbarkeit  Auslagerung auf dedizierte Server  Multiple Redis-Server  Mehrere Logstash-Indexer möglich  Elasticsearch ist clusterfähig (Nodes, Shards, Replika)
  27. 27. www.netways.de // blog.netways.de // @netways We love Open Source ANWENDUNGSMÖGLICHKEITEN ■ Systemlogs (Problemanalyse) ■ Webserver Access- und Errorlogs ■ Logs der eigenen Applikation (Profiling) ■ Alerts via Icinga, E-Mail, XMPP, … ■ Statistiken (Graphite)
  28. 28. www.netways.de // blog.netways.de // @netways We love Open Source LIVE DEMO
  29. 29. www.netways.de // blog.netways.de // @netways We love Open Source FRAGEN UND ANTWORTEN
  30. 30. www.netways.de // blog.netways.de // @netways We love Open Source KONTAKTDATEN 10. – 14. März 2014 Halle 6, Stand E16 (310) NETWAYS GmbH Deutschherrnstrasse 15-19 90429 Nürnberg Tel: +49 911 92885-0 Fax: +49 911 92885-77 E-Mail: info@netways.de Website: www.netways.de Twitter: twitter.com/netways Facebook: facebook.com/netways Blog: blog.netways.de

×