• Like

Elasticsearch und Big Data - Webinar vom 23.07.2014

  • 424 views
Uploaded on

Immer mehr Unternehmen stehen vor der Herausforderung, Daten analysieren zu müssen, die aus sehr unterschiedlichen Quellen kommen. Grundsätzlich sind Big-Data-Systeme genau richtig für diese Aufgabe - …

Immer mehr Unternehmen stehen vor der Herausforderung, Daten analysieren zu müssen, die aus sehr unterschiedlichen Quellen kommen. Grundsätzlich sind Big-Data-Systeme genau richtig für diese Aufgabe - aber diese Systeme können beliebig komplex werden und rentieren sich nicht bei jedem Use Case. Mit Elasticsearch ist es ohne großen Aufwand möglich, heterogene Datenquellen zu kombinieren und interaktiv zu analysieren. Im Zusammenspiel mit Kibana als Frontend bietet Elasticsearch einen sehr einfachen, aber gleichzeitig höchst leistungsfähigen Einstieg in Big-Data-Szenarien.

So möchte beispielsweise unser Kunde ProSiebenSat.1 wissen, was die Schaltung von TV-Spots für den Traffic auf den beworbenen Portalen bringt. Zwei Datenquellen sind für die Klärung der Fragestellung relevant: WebTrekk-Daten und Informationen über die Schaltzeiten der TV Spots. Diese notwendige Kombination der beiden Quellsysteme und das Erstellen einer interaktiven Analysemöglichkeit für das Gewinnen von „Data Insights" ist mit Elasticsearch & Kibana in nur wenigen Tagen realisierbar.

In unserem Webinar "Elasticsearch und Big Data" geben wir eine kurze Einführung in Elasticsearch und zeigen dann am Beispiel der Lösung für ProSiebenSat.1 konkret, wie leicht sich Elasticsearch für die Analyse von heterogenen Daten einsetzen lässt. Anschließend stehen wir Ihnen für Ihre Fragen gerne zur Verfügung.

Referent

Bernhard Pflugfelder arbeitet bei der inovex GmbH als Big Data Engineer im Bereich Search-based Applications und Data Analytics. Dort beschäftigt er sich vor allem mit Java Technolologien wie u.a. Apache Hadoop, Apache Mahout, Apache Lucene sowie Elasticsearch und Apache Solr.

More in: Technology
  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Be the first to comment
No Downloads

Views

Total Views
424
On Slideshare
0
From Embeds
0
Number of Embeds
0

Actions

Shares
Downloads
0
Comments
0
Likes
2

Embeds 0

No embeds

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
    No notes for slide

Transcript

  • 1. “Elasticsearch und Big Data” Bernhard Pflugfelder inovex GmbH 23.07.2014
  • 2. 2 ‣ Big Data Engineer @ inovex ‣ Erfahren in den Bereichen: ‣ search ‣ analytics ‣ big data ‣ bi ‣ Arbeite u.a. mit: ‣ Lucene ‣ Solr ‣ Elasticsearch ‣ Hadoop Ecosystem ‣ bpflugfelder@inovex.de Bernhard Pflugfelder
  • 3. ‣ Demo “media analytics” @ ProsiebenSat.1 ‣ “Elasticsearch in a nutshell” ‣ Import von Daten in Elasticsearch ‣ Datananalyse mit Elasticsearch Agenda
  • 4. 4 “media analytics” @ ProsiebenSat.1
  • 5. 5 Analyse von Big Data mit Elasticsearch
  • 6. 6 Elasticsearch in a nutshell Lucene “unter der Haube” skalierbar dokumenten orientiert Plugin Architektur Multi tenancy REST & JSON
  • 7. 7 Überblick Architektur Hochverfügbarkeit + Fehlertoleranz Primary Shard Replica Shard 1 2 3 Master node 321 Node 21 3 Node JSON Input JSON Output
  • 8. 8 real-time get Datentypen Mapping (Schema) Queries insert, update, delete snapshot & backup Elasticsearch – eine dokumentenorientierte Datenbank
  • 9. 9 Import von Daten in Elasticsearch…
  • 10. 10 Import von Daten in Elasticsearch flume index api http bindings logstash spring-data- elasticsearch hadoop- elasticsearch
  • 11. 11logstash logstash log collection and management tool collects, parses and stores log events became part of the ELK stack seamless integration with elasticsearch plugin architecture expect that logstash will be promoted to a more general ingestion pipeline Plugin Architektur Verarbeitung v. Logdaten Integration mit ES inputs, codecs, filters, outputs
  • 12. 12 getting data into elasticsearch elasticsearch & hadoop from http://www.elasticsearch.org/blog/elasticsearch-and-hadoop/ MapReduce Hive Pig Spark
  • 13. 13 Datananalyse mit Elasticsearch …
  • 14. 14 Datananalyse mit Elasticsearch Sie kennen Facetten?
  • 15. 15 Datananalyse mit Elasticsearch Visualisierung von Facetten für explorative Analyse
  • 16. 16 Datananalyse mit Elasticsearch Das Aggregations Framework (aggs) ‣ explorative Analyse ‣ slicing & dicing ‣ drilldown ‣ interaktiv ‣ schnelle Berechnung durch in- memory Datenstruktur field data ‣ über search api ausführbar ‣ json in / json out
  • 17. Bucket aggs Für das Aufteilen der originalen Menge an Dokumenten in separate Teilmengen von Dokumenten (buckets). Metric aggs Für die Berechnung von spezifischen Metriken über eine Menge von Dokumenten. Die Berechnung basiert auf einer Aggregation über alle Dokumente pro “bucket”. 17 Das Aggregations Framework (aggs) 2 Aggregationstypen
  • 18. ‣ terms ‣ range ‣ date range ‣ histogram ‣ date histogram ‣ geo distance ‣ geohash grid ‣ ... ‣ min ‣ max ‣ sum ‣ avg ‣ value count ‣ percentiles ‣ cardinality ‣ ... 18 Das Aggregations Framework (aggs) Viele Aggregators adhoc verfügbar
  • 19. my_aggregation: 19 Das Aggregations Framework (aggs) spezifische Analysen durch “nested aggregators” realisierbar "aggregations": { "<aggregation_name>": { "<aggregation_type>": { <aggregation_body> }, ["aggregations": { [<sub_aggregation>]* }] } [,"<aggregation_name_2>": { … }]* } bucket 1 bucket 2 bucket n metrics…
  • 20. 20 ‣ Elasticsearch für Datenanalyse: ‣ Aggregations Framework ‣ Analyse auch von Streamdaten ‣ ELK stack (ingestion + analysis + visualization) ‣ Plus: gemeinsame Analyse von strukturieren & unstrukturierten Daten ‣ Elasticsearch für Big Data ‣ skalierbarer & hochverfügbarer Document Store für Suche / Analyse ‣ Hadoop-Integration (CDH5, Hortenworks HDP, MapR) ‣ Import von großen Datenmengen über logstash oder flume Zusammenfassung
  • 21. 21 Vielen Dank für Ihre Aufmerksamkeit! Kontakt inovex GmbH Bernhard Pflugfelder Big Data Engineer Cell: +49 173 3181-088 Mail: bernhard.pflugfelder@inovex.de inovex GmbH Ludwig-Erhard-Allee 6 76131 Karlsruhe Tel.: +49 721 619 021-0 info@inovex.de www.inovex.de