• Save
Setting-up Elasticsearch, Logstash, Kibana für agile Datenanalyse
 

Like this? Share it with your network

Share

Setting-up Elasticsearch, Logstash, Kibana für agile Datenanalyse

on

  • 1,025 views

Logdaten sind wie das Rohöl. Erst die Verarbeitung macht sie richtig wertvoll. Mit Logstash, Elasticsearch und Kibana hat uns und die Community genau dafür ein starkes und äußerst agiles ...

Logdaten sind wie das Rohöl. Erst die Verarbeitung macht sie richtig wertvoll. Mit Logstash, Elasticsearch und Kibana hat uns und die Community genau dafür ein starkes und äußerst agiles Dreiergespann geschenkt. Logstash für Datenakquisition und Normalisierung. Elasticsearch für Indexierung, Speicherung und Suche. Und nicht zuletzt Kibana für Visualisierung. Das ist das Fundament für viele hoch aktuelle und interessante Anwendungsfälle, die Echtzeitfähigkeit und Agilität erfordern: Sentiment Analyse, Systemüberwachung oder Benutzertracking. In diesem Webinar lernen Sie, wie Logstash, Elasticsearch und Kibana installiert und konfiguriert werden. Gerüstet mit diesem Wissen können Sie eigene Projekte zur Datenanalyse umsetzen!

Folgendes erfahren Sie aus dem Webinar:
• Das Ökosystem rund um Suche, Big Data, Analyse
• Alles alter Käse? Oder was Logstash, Elasticsearch und Kibana anders machen.
• Was ist Elasticsearch?
• Elasticsearch Setup durchführen
• Was ist Logstash?
• Logstash Setup durchführen
• Was ist Kibana?
• Kibana Setup durchführen
• Berechtigungen abbilden
• Demonstration

Statistics

Views

Total Views
1,025
Views on SlideShare
1,009
Embed Views
16

Actions

Likes
0
Downloads
3
Comments
0

1 Embed 16

http://www.slideee.com 16

Accessibility

Categories

Upload Details

Uploaded via as Microsoft PowerPoint

Usage Rights

© All Rights Reserved

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Processing…
Post Comment
Edit your comment
  • Betreiben Sie Analytics? (Ja/Nein) <br /> Was für eine Analyse betreiben Sie (Performance/LogFile/User Verhalten/Relevanz Analyse/Sontiges) <br /> <br /> <br /> <br /> <br /> Bedarf an kibana4solr
  • Deutsche Folien? <br />
  • Analyse/ Monitoring <br /> Service-Levels zu verbessern <br /> IT-Betriebskosten zu reduzieren <br /> Sicherheitsrisiken zu verringern <br /> Transparenz betrieblicher Prozesse erhöhen <br />
  • Datenströme kommen überall her, <br /> - logs <br /> - click events auf websites <br /> -
  • <br /> Nagios <br /> Netzwerk Monitoring <br /> Splunk <br /> <br /> Graylog2 <br /> <br /> Syslog-ng <br /> Log Auswertung <br /> <br /> <br /> Cloudera??? <br /> logstash
  • http://www.elasticsearch.org/videos/ <br /> http://www.elasticsearch.org/webinars/introduction-to-logstash/ <br /> http://www.elasticsearch.org/videos/make-sense-of-your-big-data/ <br /> <br /> Ein Tool um unterschiedlischste Daten (technische Infos & Business Infos) miteinander in Verbindung zu bringen <br /> (herr der ringe)
  • What is ES <br /> Document oriented search engine <br /> JSON based, Apache Lucene <br /> Schema Free <br /> Yet enables control of it when needed <br /> Distributed <br /> Scales Up+Out, Highly Available <br /> Multi-tenancy <br /> Dynamically create/delete indices <br /> API centric <br /> Most functionality is exposed through an API <br /> <br /> What can i do ! <br /> Unstructured Search <br /> Find all companies in the ‘search’ domain <br /> Structured Search <br /> Find all companies founded between 2010 and 2012 <br /> Facets <br /> Return the average annual revenue for all companies <br /> Combine <br /> Return the average annual revenue for all companies founded between 2010 and 2012 in the ‘search’ domain <br /> All in (near) Realtime
  • diverse Uis <br /> - head <br /> -
  • Download: http://logstash.net/ <br /> <br /> Unzip <br /> Create config file <br /> <br /> java -jar logstash-1.3.3-flatjar.jar agent -f logstash.conf <br /> <br /> <br /> <br /> http://localhost:9292/index.html
  • <br /> Seamless integration with Logstash, Apache Flume, Fluentd and others <br />
  • Download: http://logstash.net/ <br /> <br /> Unzip <br /> Create config file <br /> <br /> java -jar logstash-1.3.3-flatjar.jar agent -f logstash.conf <br />
  • Wenn Interesse an Fortsetzungen bzw. bestimmten verwandten Themen besteht, können Sie uns gerne schreiben. Es ist durchaus möglich, dass es ein weiteres Webinar aus dieser Reihe gibt. Wir verfolgen Ideen von Zuhörern natürlich gerne weiter, denn dort wissen wir schon sicher von Interessenten. <br /> <br /> Wenn es Themen gibt, die eher technischer Natur sind und arg in die Tiefe gehen, kann es sein, dass "nur" ein Blog-Beitrag veröffentlicht wird.

Setting-up Elasticsearch, Logstash, Kibana für agile Datenanalyse Presentation Transcript

  • 1. Technology Drives Business SETTING-UP ELASTICSEARCH LOGSTASH, KIBANA FÜR AGILE DATENANALYSE Webinar am 13. Februar 2014 Apache Solr, Solr, Apache Lucene, Lucene and their logos are trademarks of the Apache Software Foundation. Elasticsearch, Kibana, Marvel, Logstash are trademarks of Elasticsearch BV, registered in the U.S. and in other countries.
  • 2. SHI & Me Agile Datenanalyse Elasticsearch Logstash Kibana Blick über den Tellerrand Demonstration Q & A AGENDA
  • 3. MARKUS KLOSE Expertise in Elasticsearch, Solr, Lucene, Fast ESP Certified Solr Trainer Speaker, Blogger Author Contributor markus.klose@shi-gmbh.com @markus_klose
  • 4. UNSERE MISSION Seit 1994 hersteller-unabhängiges Unternehmen für IT Consulting und Software Engineering. Wir bieten Lösungen rund um Semantic Search, Big Data und Explorative Datenanalyse auf der Basis etablierter Open-Source Software. Wir stellen Werkzeuge bereit, die durch optimale Nutzung der Technologie und Daten unsere Kunden beim Erreichen Ihrer Geschäftsziele unterstützen.
  • 5. WAS WIR TUN MIT SERVICES DURCH ANWENDUNG DES KNOW-HOWS REALISIEREN LÖSUNGEN ZUR OPTIMALEN NUTZUNG VON DATEN • Strategy Consulting • Technical Consulting • Architecture Review • Development Support • Team Enablement Through Workshops and Trainings • Technology Comparison • Tuning & Troubleshooting • Migration Services • Experts to Hire • Service Level Agreements • Software Architecture • Coding Services for Java, C++/C, .NET, PHP for multiple OSs. • Continuous Integration and Test Driven Development • Managing Software Project Lifecycle • Explorative Data Analytics • Commerce Search • Identity Search • Call Center Search • Cyber Security • Website Search • Fraud Detection • Governance and Compliance UND ETABLIERTEN PRODUKTEN UND PARTNERN • Apache Solr/Lucene • Apache Mahout • Apache Hadoop, Pig, Hive • LucidWorks Search • LucidWorks Search Big Data
  • 6. UP-COMING EVENTS 24.02.-27.02.2014: Apache Solr Trainings (zwei Module je zwei Tage) 27.02.2014: Suche und Navigation in Online-Shops. Mit Solr und Elasticsearch 06.03.2014: Elasticsearch Monitoring mit Elasticsearch Marvel Q2 2014: Sentiment Analysis von Twitter Streams Q2 2014 : Benutzerverhalten in Echtzeit analysieren Q2 2014 : Analyse von Datenströmen & Fraud Detection Q3 2014 : Scalable architectures for massive data acquisition & analysis
  • 7. Was ist passiert ???
  • 8. DATEN SIND ROHÖL
  • 9. DAS ÖKOSYSTEM
  • 10. WAS ELK ANDERS MACHT Ein Stack um alle „Logs“ zu knechten … • alles aus einer Hand • keine Kosten -> Apache 2 Lizenz • flexibel in der Anwendung • umfangreiche Konfiguration und Darstellungsmöglichkeiten • Hochskalierbar • minimale technische Kenntnisse nötig … unterschiedliche Daten (technisch & business) mit einander in Verbindung zu bringen
  • 11. ELASTICSEARCH IN A NUTSHELL Was ist Elasticsearch • dokumentorientierte Search-Engine / Data Store • Schema frei • skalierbar & verteilt • Near Real Time – fähig • erweiterbar Was kann man mit Elasticsearch machen • (un)strukturierte Suche • Daten „speichern“
  • 12. ELASTICSEARCH IN BILD
  • 13. SETUP Herunterladen & entpacken Starten Indexieren Suchen 1 2 3 4 bin/elasticsearch curl –XPUT 'http://localhost:9200/webinar/comments/1' –d '{ „speaker“ : „Markus Klose“, „comment“ : „Elasticsearch is pretty easy!“ }' curl -XGET 'http://localhost:9200/webinar/_search?q=speaker:markus'
  • 14. LOGSTASH IN A NUTSHELL Was ist Logstash • Framework zur Verarbeitung und Visualisierung von Log Dateien • konfigurierbar (Input, Filter, Output) • Erweiterbar durch Plugins Was kann man mit Logstash machen • Log Dateien sammeln / parsen / speichern / durchsuchen • Daten transformieren
  • 15. LOGSTASH IN BILD Logstash – Standalone LOG LOG LOG Logstash - Shipper Broker
  • 16. Herunterladen Konfigurieren Starten 1 2 3 input { SETUP stdin { } } output { stdout { } } java -jar logstash-1.3.3-flatjar.jar agent -f logstash.conf -- web
  • 17. KIBANA IN A NUTSHELL Was ist Kibana • Web-Interface für Elasticsearch/Logstash • konfigurierbare und wiederverwendbare Dashboards Was kann man mit Kibana machen • System- / Performance Monitoring • Sentiment Analyse • …
  • 18. KIBANA IN BILD
  • 19. Herunterladen & entpacken Konfigurieren Webserver installieren Deploy in einem Webserver 1 2 3 … elasticsearch: „http://localhost:9200“, … 4 SETUP
  • 20. ÜBER DEN TELLERRAND Elasticsearch Cluster Monitoring • RealTime Cluster Status • Hardware Monitoring • Historische Fehleranalyse
  • 21. ÜBER DEN TELLERRAND - SOLR Logstash4Solr • Logstash Output Solr • Vorgefertigte Konfiguration für Solr Kibana4Solr • „Translator“ für Elasticsearch DSL • Slides Lucene/Solr Revolution 2014 http://de.slideshare.net/lucenerevolution/2013- dublin-kibana4solr
  • 22. SETUP Demonstration - Trend-Analyse http://www.infochimps.com/datasets/projected-online-retail-sales-2006- to-2011
  • 23. Q & A
  • 24. KONTAKT SHI GmbH & Co. KG Curt-Frenzel-Str. 12 D - 86167 Augsburg info@shi-gmbh.com +49.821.74 82 633 - 0 @SHIEngineers Michael Marheineke Markus Klose Daniel Wrigley
  • 25. WEITERFÜHRENDE INFOS SHI Blog: www.shi-gmbh.com/blog Elasticsearch: www.elasticsearch.org & www.elasticsearch.com Elasticsearch Resources: http://www.elasticsearch.org/resources/ Download Elasticsearch/Logstash/Kibana: http://www.elasticsearch.org/overview/elkdownloads/ Monitoring Elasticsearch – Marvel: http://www.elasticsearch.com/marvel LucidWorks: http://www.lucidworks.com/support-services/
  • 26. BILDERNACHWEIS Amazon Error - http://geekswithblogs.net/MainaD/archive/2008/06/06/122674.aspx Öl Pumpstation - http://www.flickr.com/photos/paul_lowry/2770193028/ Lord Of The Ring - http://www.flickr.com/photos/cosmic_bandita/2218419160/sizes/l/