Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Setting-up Elasticsearch, Logstash, Kibana für agile Datenanalyse

2,636 views

Published on

Logdaten sind wie das Rohöl. Erst die Verarbeitung macht sie richtig wertvoll. Mit Logstash, Elasticsearch und Kibana hat uns und die Community genau dafür ein starkes und äußerst agiles Dreiergespann geschenkt. Logstash für Datenakquisition und Normalisierung. Elasticsearch für Indexierung, Speicherung und Suche. Und nicht zuletzt Kibana für Visualisierung. Das ist das Fundament für viele hoch aktuelle und interessante Anwendungsfälle, die Echtzeitfähigkeit und Agilität erfordern: Sentiment Analyse, Systemüberwachung oder Benutzertracking. In diesem Webinar lernen Sie, wie Logstash, Elasticsearch und Kibana installiert und konfiguriert werden. Gerüstet mit diesem Wissen können Sie eigene Projekte zur Datenanalyse umsetzen!

Folgendes erfahren Sie aus dem Webinar:
• Das Ökosystem rund um Suche, Big Data, Analyse
• Alles alter Käse? Oder was Logstash, Elasticsearch und Kibana anders machen.
• Was ist Elasticsearch?
• Elasticsearch Setup durchführen
• Was ist Logstash?
• Logstash Setup durchführen
• Was ist Kibana?
• Kibana Setup durchführen
• Berechtigungen abbilden
• Demonstration

Published in: Software
  • Be the first to comment

Setting-up Elasticsearch, Logstash, Kibana für agile Datenanalyse

  1. 1. Technology Drives Business SETTING-UP ELASTICSEARCH LOGSTASH, KIBANA FÜR AGILE DATENANALYSE Webinar am 13. Februar 2014 Apache Solr, Solr, Apache Lucene, Lucene and their logos are trademarks of the Apache Software Foundation. Elasticsearch, Kibana, Marvel, Logstash are trademarks of Elasticsearch BV, registered in the U.S. and in other countries.
  2. 2. SHI & Me Agile Datenanalyse Elasticsearch Logstash Kibana Blick über den Tellerrand Demonstration Q & A AGENDA
  3. 3. MARKUS KLOSE Expertise in Elasticsearch, Solr, Lucene, Fast ESP Certified Solr Trainer Speaker, Blogger Author Contributor markus.klose@shi-gmbh.com @markus_klose
  4. 4. UNSERE MISSION Seit 1994 hersteller-unabhängiges Unternehmen für IT Consulting und Software Engineering. Wir bieten Lösungen rund um Semantic Search, Big Data und Explorative Datenanalyse auf der Basis etablierter Open-Source Software. Wir stellen Werkzeuge bereit, die durch optimale Nutzung der Technologie und Daten unsere Kunden beim Erreichen Ihrer Geschäftsziele unterstützen.
  5. 5. WAS WIR TUN MIT SERVICES DURCH ANWENDUNG DES KNOW-HOWS REALISIEREN LÖSUNGEN ZUR OPTIMALEN NUTZUNG VON DATEN • Strategy Consulting • Technical Consulting • Architecture Review • Development Support • Team Enablement Through Workshops and Trainings • Technology Comparison • Tuning & Troubleshooting • Migration Services • Experts to Hire • Service Level Agreements • Software Architecture • Coding Services for Java, C++/C, .NET, PHP for multiple OSs. • Continuous Integration and Test Driven Development • Managing Software Project Lifecycle • Explorative Data Analytics • Commerce Search • Identity Search • Call Center Search • Cyber Security • Website Search • Fraud Detection • Governance and Compliance UND ETABLIERTEN PRODUKTEN UND PARTNERN • Apache Solr/Lucene • Apache Mahout • Apache Hadoop, Pig, Hive • LucidWorks Search • LucidWorks Search Big Data
  6. 6. UP-COMING EVENTS 24.02.-27.02.2014: Apache Solr Trainings (zwei Module je zwei Tage) 27.02.2014: Suche und Navigation in Online-Shops. Mit Solr und Elasticsearch 06.03.2014: Elasticsearch Monitoring mit Elasticsearch Marvel Q2 2014: Sentiment Analysis von Twitter Streams Q2 2014 : Benutzerverhalten in Echtzeit analysieren Q2 2014 : Analyse von Datenströmen & Fraud Detection Q3 2014 : Scalable architectures for massive data acquisition & analysis
  7. 7. Was ist passiert ???
  8. 8. DATEN SIND ROHÖL
  9. 9. DAS ÖKOSYSTEM
  10. 10. WAS ELK ANDERS MACHT Ein Stack um alle „Logs“ zu knechten … • alles aus einer Hand • keine Kosten -> Apache 2 Lizenz • flexibel in der Anwendung • umfangreiche Konfiguration und Darstellungsmöglichkeiten • Hochskalierbar • minimale technische Kenntnisse nötig … unterschiedliche Daten (technisch & business) mit einander in Verbindung zu bringen
  11. 11. ELASTICSEARCH IN A NUTSHELL Was ist Elasticsearch • dokumentorientierte Search-Engine / Data Store • Schema frei • skalierbar & verteilt • Near Real Time – fähig • erweiterbar Was kann man mit Elasticsearch machen • (un)strukturierte Suche • Daten „speichern“
  12. 12. ELASTICSEARCH IN BILD
  13. 13. SETUP Herunterladen & entpacken Starten Indexieren Suchen 1 2 3 4 bin/elasticsearch curl –XPUT 'http://localhost:9200/webinar/comments/1' –d '{ „speaker“ : „Markus Klose“, „comment“ : „Elasticsearch is pretty easy!“ }' curl -XGET 'http://localhost:9200/webinar/_search?q=speaker:markus'
  14. 14. LOGSTASH IN A NUTSHELL Was ist Logstash • Framework zur Verarbeitung und Visualisierung von Log Dateien • konfigurierbar (Input, Filter, Output) • Erweiterbar durch Plugins Was kann man mit Logstash machen • Log Dateien sammeln / parsen / speichern / durchsuchen • Daten transformieren
  15. 15. LOGSTASH IN BILD Logstash – Standalone LOG LOG LOG Logstash - Shipper Broker
  16. 16. Herunterladen Konfigurieren Starten 1 2 3 input { SETUP stdin { } } output { stdout { } } java -jar logstash-1.3.3-flatjar.jar agent -f logstash.conf -- web
  17. 17. KIBANA IN A NUTSHELL Was ist Kibana • Web-Interface für Elasticsearch/Logstash • konfigurierbare und wiederverwendbare Dashboards Was kann man mit Kibana machen • System- / Performance Monitoring • Sentiment Analyse • …
  18. 18. KIBANA IN BILD
  19. 19. Herunterladen & entpacken Konfigurieren Webserver installieren Deploy in einem Webserver 1 2 3 … elasticsearch: „http://localhost:9200“, … 4 SETUP
  20. 20. ÜBER DEN TELLERRAND Elasticsearch Cluster Monitoring • RealTime Cluster Status • Hardware Monitoring • Historische Fehleranalyse
  21. 21. ÜBER DEN TELLERRAND - SOLR Logstash4Solr • Logstash Output Solr • Vorgefertigte Konfiguration für Solr Kibana4Solr • „Translator“ für Elasticsearch DSL • Slides Lucene/Solr Revolution 2014 http://de.slideshare.net/lucenerevolution/2013- dublin-kibana4solr
  22. 22. SETUP Demonstration - Trend-Analyse http://www.infochimps.com/datasets/projected-online-retail-sales-2006- to-2011
  23. 23. Q & A
  24. 24. KONTAKT SHI GmbH & Co. KG Curt-Frenzel-Str. 12 D - 86167 Augsburg info@shi-gmbh.com +49.821.74 82 633 - 0 @SHIEngineers Michael Marheineke Markus Klose Daniel Wrigley
  25. 25. WEITERFÜHRENDE INFOS SHI Blog: www.shi-gmbh.com/blog Elasticsearch: www.elasticsearch.org & www.elasticsearch.com Elasticsearch Resources: http://www.elasticsearch.org/resources/ Download Elasticsearch/Logstash/Kibana: http://www.elasticsearch.org/overview/elkdownloads/ Monitoring Elasticsearch – Marvel: http://www.elasticsearch.com/marvel LucidWorks: http://www.lucidworks.com/support-services/
  26. 26. BILDERNACHWEIS Amazon Error - http://geekswithblogs.net/MainaD/archive/2008/06/06/122674.aspx Öl Pumpstation - http://www.flickr.com/photos/paul_lowry/2770193028/ Lord Of The Ring - http://www.flickr.com/photos/cosmic_bandita/2218419160/sizes/l/

×