Your SlideShare is downloading. ×
0
Big Data: Online Analysemit Elastic Search                           Folie 1                           23. Januar 2013    ...
Elastic Search
Szenario FlottenmanagementTransport Status:•      Kartendarstellung•      Aktuelle Informationen•      Verspätung / Panne?...
Übertragene Daten (Event)"VID" : "ZE000002","Timestamp" : "2012-05-21T11:11:11.123","Sequence" : "123","Driver" : "Sven","...
Heterogene Anforderungen                   Flexible AuswertungenSich änderndes Datenformat                Wachsendes Daten...
Elastic SearchYou know, for search
Elastic Search: Datenspeicherung                                   © Zühlke 2013
Elastic Search: Datenspeicherung                                                    ▼                                     ...
Elastic Search: Inverted Index                   OOP Conference Integration Track         3         Elastic Seach      Con...
Features: Elastic Search1. Suchfilter        Suche nach Fahrer        Niedriger Benzinstand        UmkreissucheBig Data...
Features: Elastic Search1. Suchfilter                                                                  Term Query        ...
Features: Elastic Search1. Suchfilter                                                                  Range Query       ...
Features: Elastic Search1. Suchfilter                                                                      Geo Filter     ...
Features: Elastic Search1. Suchfilter        Suche nach Fahrer        Niedriger Benzinstand        Umkreissuche2. Aggre...
Features: Elastic Search1. Suchfilter                                                                  Statistical Facet  ...
Features: Elastic Search1. Suchfilter                                                                  Date Histogram Face...
Features: Elastic Search1. Suchfilter                                                                    Term Facet       ...
Features: Elastic Search1. Suchfilter                                                                   Range Facet       ...
Features: Elastic Search1. Suchfilter        Suche nach Fahrer        Niedriger Benzinstand        Umkreissuche2. Aggre...
Features: Elastic Search1. Suchfilter                                                                       Scripting     ...
Elastic Search: Implementierung• RESTful                       API• JSON                   Message Body• Beispiel:        ...
Elastic Search: Implementierung                                                                               {           ...
Elastic Search: Implementierung                                                                               {• RESTful  ...
Vergleich mit NoSQL DatenbankenDocument Store Mongo DB:• Sekundärindizes, Geospatial Index• Aggregationen und Map Reduce• ...
Wie wachsen ?
Elastic Search: Architektur und SkalierungIndexpartitionierung                P1                                          ...
Elastic Search: Architektur und SkalierungClusterkonfiguration           R1/1                                             ...
Elastic Search: Architektur und SkalierungSuchanfrage           R1/1                                              P2      ...
Elastic Search: Architektur und SkalierungIndizierung           R1/1                                              P2      ...
Elastic Search ClusterBig Data: Online Analyse mit Elastic Search | Alexander Appel, Jochen Reber   23. Januar 2013   Foli...
Elastic Search ClusterBig Data: Online Analyse mit Elastic Search | Alexander Appel, Jochen Reber   23. Januar 2013   Foli...
Elastic Search ClusterBig Data: Online Analyse mit Elastic Search | Alexander Appel, Jochen Reber   23. Januar 2013   Foli...
Elastic Search ClusterBig Data: Online Analyse mit Elastic Search | Alexander Appel, Jochen Reber   23. Januar 2013   Foli...
Elastic Search ClusterBig Data: Online Analyse mit Elastic Search | Alexander Appel, Jochen Reber   23. Januar 2013   Foli...
Vergleich mit Mongo DB•     Auto Sharding mit Master Slave ReplikationBig Data: Elastic Search in the Amazon Cloud | Alexa...
Amazon Web ServicesElastic Compute Cloud (EC2)Instanztypen•      Large (m1.large)                                         ...
Amazon Web ServicesEC2 PersistenzInstance Storage•      Lokaler Festplattenspeicher, Größe abhängig vom Instanztyp•      F...
Amazon Web ServicesAutomatisierungWieso braucht man das?•      Unterschiedliche Cluster Konfigurationen•      Von 6 bis 24...
Szenario Architektur                                Transport Status                                   Dashboard          ...
Gewählte Infrastruktur                              Event     9 Instanzen (m2.2xlarge)                            Generato...
Bild ErgebnisseBig Data: Online Analyse mit Elastic Search | Alexander Appel, Jochen Reber   23. Januar 2013   Folie 42   ...
Szenario Kennzahlen„Labor Aufbau“ •       Events: 500.000.000 •       Eventgröße: 1 kByte •       Indexgröße (1 Replica): ...
Messergebnisse Indizierung            a) 1 Master 5 Data         b) 1 Master/Data      c) 4 Master 20 Data               (...
Messergebnisse Suche  Suchanfrage                                                                 Genutzte Features       ...
Kosten für SzenarioDienst                    Anzahl Knoten   Laufzeit   Kosten                                          (T...
Lessons Learned•    Frühzeitig Account Limits erhöhen!•    Kosten: Provisioned IOPS vs Standard EBS•    Spot Request Insta...
Nicht umsonstLeicht skalierbare Suchmaschine                                  Ideal für EvaluationenAlternativer Document ...
Alexander Appel   Jochen Reberaap@zuehlke.com   jre@zuehlke.com
OOP2013 Online Analyse mit Elastic Search
OOP2013 Online Analyse mit Elastic Search
OOP2013 Online Analyse mit Elastic Search
Upcoming SlideShare
Loading in...5
×

OOP2013 Online Analyse mit Elastic Search

1,978

Published on

Big Data: Online-Analyse mit Elastic Search
Vortrag auf der OOP 2013 von Jochen Reber und Alexander Appel (Zühlke Engineering)

Elastic Search bietet eine leicht skalierbare, cloudfähige Lösung für die echtzeitnahe Indizierung und Suche, sowie statistische Analyse großer Datenmengen. Der Vortrag zeigt anhand von Erfahrungen in der Amazon Cloud, wie in einem Flottenmanagementsystem mit mehreren Millionen aktiven Fahrzeugen laufende Aktualisierungen von Sensordaten schnell verarbeitet werden können.
Der Vortrag geht auch auf alternativen Technologien wie NoSQL Datenbanken ein und zeigt die Vor- und Nachteile der verschiedenen Ansätze auf.

Sie lernen: Praxisbericht Big Data - Nutzung von Suchmaschinentechnologie - Online Analytics mit Elastic Search im Vergleich zu klassischen Ansätzen

Published in: Technology
0 Comments
1 Like
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total Views
1,978
On Slideshare
0
From Embeds
0
Number of Embeds
2
Actions
Shares
0
Downloads
11
Comments
0
Likes
1
Embeds 0
No embeds

No notes for slide

Transcript of "OOP2013 Online Analyse mit Elastic Search"

  1. 1. Big Data: Online Analysemit Elastic Search Folie 1 23. Januar 2013 Alexander Appel, Jochen Reber © Zühlke 2013
  2. 2. Elastic Search
  3. 3. Szenario FlottenmanagementTransport Status:• Kartendarstellung• Aktuelle Informationen• Verspätung / Panne?Historieninformationen:• Zeitlicher Verlauf von Fahrzeugmesswerte (Verbrauch, Geschwindigkeit)• Statistiken (Pannen, Verspätungen …)Big Data: Online Analyse mit Elastic Search | Alexander Appel, Jochen Reber 23. Januar 2013 Folie 3 © Zühlke 2013
  4. 4. Übertragene Daten (Event)"VID" : "ZE000002","Timestamp" : "2012-05-21T11:11:11.123","Sequence" : "123","Driver" : "Sven","Message" : "Jag är på väg!","Type" : "TRUCK","Model" : "MAN TGX 18.680, V 8","Status" : "driving","Position" : { "Delivery" : { zukünftige Änderungen möglich! "lat" : 57.767972, "Region" : "EUR", "lon" : 12.269754 "Description" : "Gothenburg to Alingsas",}, "RemainingDistance" : "30.654","Speed" : "0", "From" : {"Fuel" : "111.66", "Start" : "Gothenburg","Consumption" : "11.0", "Time" : "2012-05-21T08:00:00„,"Temperature" : „92.3", "Location" : { … }"Pressure" : "7.3", },... "To" : { "Destination" : "Alingsas", "Time" : "2012-05-21T10:00:00„, "Location" : { … } }Big Data: Online Analyse mit Elastic Search | Alexander Appel, Jochen Reber 23. Januar 2013 Folie 4 © Zühlke 2013
  5. 5. Heterogene Anforderungen Flexible AuswertungenSich änderndes Datenformat Wachsendes Datenvolumen © Zühlke 2013
  6. 6. Elastic SearchYou know, for search
  7. 7. Elastic Search: Datenspeicherung © Zühlke 2013
  8. 8. Elastic Search: Datenspeicherung ▼ Pre Consumpti Temperatu Descriptio remaining _index _type _id VID Timestamp Sequence Type Model Status Driver Speed Fuel ssu Region Name Time _score on re n Distance re P1PE4oxK 2013-01- 6.2 from 2013-01- oopevents history T_GzJTqn 1ZE_1652 12T17:48: 14TRUCK GAZ 3308 DRIVING Mindy 81null 19.8325 89.19 05EUR Madrid to 2321.929Berlin 14T01:43: QDBIHw 03.105 5 Berlin 01 mlvbWoyz 2013-01- 2013-01- BMW R 2.2 from Wien oopevents history SemN0GiT 1ZE_1655 12T17:48: 14BIKE DRIVING Mittens 134null 7.8305 118.35 EUR 1344.383Kiew 13T04:45: 1200 GS 5 to Kiew akS0OA 03.477 02 N52BVXft 2013-01- Saab- from 2013-01- 5.9 oopevents history Qf6fg0B_ 1ZE_1650 12T17:48: 14TRUCK Scania DRIVING Mildred 78null 19.672 82.615 EUR Madrid to 4181.266Moskau 15T04:46: 1 1boAtw 02.905 114-L Moskau 01 OMJvGBU 2013-01- from 2013-01- Yamaha Morgana oopevents history mTYGYtG 1ZE_1659 12T17:48: 14BIKE DRIVING 127null 10.474 133.22 2.5EUR Moskau to 1963.21Wien 13T09:20: XJ6 McCawber 7oddLQsw 03.973 Wien 02 mzWjNIJcT 2013-01- 2013-01- A- BMW F Mahra the from Paris oopevents history 1ZE_1638 12T17:48: 14BIKE DRIVING 124null 7.384 119.67 2.3EUR 2749.217Istanbul 13T17:14: T0JcHZw5f 800 R Baboon to Istanbul 01.461 00 eQ © Zühlke 2013
  9. 9. Elastic Search: Inverted Index OOP Conference Integration Track 3 Elastic Seach Conference 3 7 12 Elastic 3 Integration 1 3 OOP 1 3 7 12 Search 3 7 Track 1 3Big Data: Elastic Search in the Amazon Cloud | Alexander Appel, Jochen Reber 21. Dezember 2012 Folie 9 © Zühlke 2013
  10. 10. Features: Elastic Search1. Suchfilter  Suche nach Fahrer  Niedriger Benzinstand  UmkreissucheBig Data: Elastic Search in the Amazon Cloud | Alexander Appel, Jochen Reber 21. Dezember 2012 Folie 10 © Zühlke 2013
  11. 11. Features: Elastic Search1. Suchfilter Term Query  Suche nach Fahrer  Niedriger Benzinstand  UmkreissucheBig Data: Elastic Search in the Amazon Cloud | Alexander Appel, Jochen Reber 21. Dezember 2012 Folie 11 © Zühlke 2013
  12. 12. Features: Elastic Search1. Suchfilter Range Query  Suche nach Fahrer  Niedriger Benzinstand  UmkreissucheBig Data: Elastic Search in the Amazon Cloud | Alexander Appel, Jochen Reber 21. Dezember 2012 Folie 12 © Zühlke 2013
  13. 13. Features: Elastic Search1. Suchfilter Geo Filter  Suche nach Fahrer  Niedriger Benzinstand  UmkreissucheBig Data: Elastic Search in the Amazon Cloud | Alexander Appel, Jochen Reber 21. Dezember 2012 Folie 13 © Zühlke 2013
  14. 14. Features: Elastic Search1. Suchfilter  Suche nach Fahrer  Niedriger Benzinstand  Umkreissuche2. Aggregation  Durchschnitt Geschwindigkeit, Reifendruck  Entwicklung Benzinverbrauch  Verteilung nach Fahrzeugtyp  GeschwindigkeitsverteilungBig Data: Elastic Search in the Amazon Cloud | Alexander Appel, Jochen Reber 21. Dezember 2012 Folie 14 © Zühlke 2013
  15. 15. Features: Elastic Search1. Suchfilter Statistical Facet  Suche nach Fahrer  Niedriger Benzinstand  Umkreissuche2. Aggregation  Durchschnitt Geschwindigkeit, Reifendruck  Entwicklung Benzinverbrauch  Verteilung nach Fahrzeugtyp  GeschwindigkeitsverteilungBig Data: Elastic Search in the Amazon Cloud | Alexander Appel, Jochen Reber 21. Dezember 2012 Folie 15 © Zühlke 2013
  16. 16. Features: Elastic Search1. Suchfilter Date Histogram Facet  Suche nach Fahrer  Niedriger Benzinstand  Umkreissuche2. Aggregation  Durchschnitt Geschwindigkeit, Reifendruck  Entwicklung Benzinverbrauch  Verteilung nach Fahrzeugtyp  GeschwindigkeitsverteilungBig Data: Elastic Search in the Amazon Cloud | Alexander Appel, Jochen Reber 21. Dezember 2012 Folie 16 © Zühlke 2013
  17. 17. Features: Elastic Search1. Suchfilter Term Facet  Suche nach Fahrer  Niedriger Benzinstand  Umkreissuche2. Aggregation  Durchschnitt Geschwindigkeit, Reifendruck  Entwicklung Benzinverbrauch  Verteilung nach Fahrzeugtyp  GeschwindigkeitsverteilungBig Data: Elastic Search in the Amazon Cloud | Alexander Appel, Jochen Reber 21. Dezember 2012 Folie 17 © Zühlke 2013
  18. 18. Features: Elastic Search1. Suchfilter Range Facet  Suche nach Fahrer  Niedriger Benzinstand  Umkreissuche2. Aggregation  Durchschnitt Geschwindigkeit, Reifendruck  Entwicklung Benzinverbrauch  Verteilung nach Fahrzeugtyp  GeschwindigkeitsverteilungBig Data: Elastic Search in the Amazon Cloud | Alexander Appel, Jochen Reber 21. Dezember 2012 Folie 18 © Zühlke 2013
  19. 19. Features: Elastic Search1. Suchfilter  Suche nach Fahrer  Niedriger Benzinstand  Umkreissuche2. Aggregation  Durchschnitt Geschwindigkeit, Reifendruck  Entwicklung Benzinverbrauch  Verteilung nach Fahrzeugtyp  Geschwindigkeitsverteilung3. Berechnungen  Verspätungen berechnenBig Data: Elastic Search in the Amazon Cloud | Alexander Appel, Jochen Reber 21. Dezember 2012 Folie 19 © Zühlke 2013
  20. 20. Features: Elastic Search1. Suchfilter Scripting  Suche nach Fahrer  Niedriger Benzinstand  Umkreissuche2. Aggregation  Durchschnitt Geschwindigkeit, Reifendruck  Entwicklung Benzinverbrauch  Verteilung nach Fahrzeugtyp  Geschwindigkeitsverteilung3. Berechnungen  Verspätungen berechnenBig Data: Elastic Search in the Amazon Cloud | Alexander Appel, Jochen Reber 21. Dezember 2012 Folie 20 © Zühlke 2013
  21. 21. Elastic Search: Implementierung• RESTful API• JSON Message Body• Beispiel: Geofilter• Beispiel: Term FacetBig Data: Elastic Search in the Amazon Cloud | Alexander Appel, Jochen Reber 21. Dezember 2012 Folie 21 © Zühlke 2013
  22. 22. Elastic Search: Implementierung { "query": {• RESTful API "match_all": {} },• JSON Message Body "filter": { "geo_distance": {• Beispiel: Geofilter "distance": "200km", "Position": {• Beispiel: Term Facet "lat": 48.13 "lon": 11.69 } } } }Big Data: Elastic Search in the Amazon Cloud | Alexander Appel, Jochen Reber 21. Dezember 2012 Folie 22 © Zühlke 2013
  23. 23. Elastic Search: Implementierung {• RESTful API "query": { "match_all": {}• JSON Message Body }, "facets": {• Beispiel: Geofilter “models": { “terms": {• Beispiel: Term Facet "field": “model" } } } }Big Data: Elastic Search in the Amazon Cloud | Alexander Appel, Jochen Reber 21. Dezember 2012 Folie 23 © Zühlke 2013
  24. 24. Vergleich mit NoSQL DatenbankenDocument Store Mongo DB:• Sekundärindizes, Geospatial Index• Aggregationen und Map Reduce• Stored Procedures in Java Script• Speicherung von BinärdatenVorteile:• Unique Index• Komplexe Auswertungen über Map ReduceNachteile:• Keine Volltextsuche• Keine vorgefertigten AuswertungenBig Data: Elastic Search in the Amazon Cloud | Alexander Appel, Jochen Reber 21. Dezember 2012 Folie 24 © Zühlke 2013
  25. 25. Wie wachsen ?
  26. 26. Elastic Search: Architektur und SkalierungIndexpartitionierung P1 P2 P3 P4 Partitionsgruppe R1/1 R2/1 R3/1 R4/1 Primary Shard R1/2 R2/2 R3/2 R4/2 Replica ShardBig Data: Online Analyse mit Elastic Search | Alexander Appel, Jochen Reber 23. Januar 2013 Folie 26 © Zühlke 2013
  27. 27. Elastic Search: Architektur und SkalierungClusterkonfiguration R1/1 P2 R3/1 R4/1 Cluster-Knoten R1/2 R2/1 P3 P4 Primary Shard P1 R2/2 R3/2 R4/2 Replica ShardBig Data: Online Analyse mit Elastic Search | Alexander Appel, Jochen Reber 23. Januar 2013 Folie 27 © Zühlke 2013
  28. 28. Elastic Search: Architektur und SkalierungSuchanfrage R1/1 P2 R3/1 R4/1 Cluster-Knoten R1/2 R2/1 P3 P4 Primary Shard P1 R2/2 R3/2 R4/2 Replica ShardBig Data: Online Analyse mit Elastic Search | Alexander Appel, Jochen Reber 23. Januar 2013 Folie 28 © Zühlke 2013
  29. 29. Elastic Search: Architektur und SkalierungIndizierung R1/1 P2 R3/1 R4/1 Cluster-Knoten R1/2 R2/1 P3 P4 Primary Shard P1 R2/2 R3/2 R4/2 Replica ShardBig Data: Online Analyse mit Elastic Search | Alexander Appel, Jochen Reber 23. Januar 2013 Folie 29 © Zühlke 2013
  30. 30. Elastic Search ClusterBig Data: Online Analyse mit Elastic Search | Alexander Appel, Jochen Reber 23. Januar 2013 Folie 30 © Zühlke 2013
  31. 31. Elastic Search ClusterBig Data: Online Analyse mit Elastic Search | Alexander Appel, Jochen Reber 23. Januar 2013 Folie 31 © Zühlke 2013
  32. 32. Elastic Search ClusterBig Data: Online Analyse mit Elastic Search | Alexander Appel, Jochen Reber 23. Januar 2013 Folie 32 © Zühlke 2013
  33. 33. Elastic Search ClusterBig Data: Online Analyse mit Elastic Search | Alexander Appel, Jochen Reber 23. Januar 2013 Folie 33 © Zühlke 2013
  34. 34. Elastic Search ClusterBig Data: Online Analyse mit Elastic Search | Alexander Appel, Jochen Reber 23. Januar 2013 Folie 34 © Zühlke 2013
  35. 35. Vergleich mit Mongo DB• Auto Sharding mit Master Slave ReplikationBig Data: Elastic Search in the Amazon Cloud | Alexander Appel, Jochen Reber 21. Dezember 2012 Folie 35 © Zühlke 2013
  36. 36. Amazon Web ServicesElastic Compute Cloud (EC2)Instanztypen• Large (m1.large) $ 0,340 pro Stunde 7,5 GB RAM 4 EC2 Compute Units (2 virtual cores) I/O Performance: High• High I/O Quadruple Extra Large (hi1.4xlarge) $ 3,410 pro Stunde 60,5 GB RAM 35 EC2 Compute Units (16 virtual cores) I/O Performance: Very High (10 Gigabit Ethernet) 2 SSD-based volumes each with 1024 GB of instance storageBig Data: Online Analyse mit Elastic Search | Alexander Appel, Jochen Reber 23. Januar 2013 Folie 37 © Zühlke 2013
  37. 37. Amazon Web ServicesEC2 PersistenzInstance Storage• Lokaler Festplattenspeicher, Größe abhängig vom Instanztyp• Flüchtig! Existiert so lange Instanz läuft• Keine Zusatzkosten für E/A OperationenElastic Block Store (EBS)• Netzwerk Speicher Medien• Persistent – unabhängig von Instanz-Lebenszyklus• Kosten abhängig vom Datenvolumen und E/A Operationen• Option: Zugesicherte E/A pro Sekunde (provisioned IOPS)Big Data: Online Analyse mit Elastic Search | Alexander Appel, Jochen Reber 23. Januar 2013 Folie 38 © Zühlke 2013
  38. 38. Amazon Web ServicesAutomatisierungWieso braucht man das?• Unterschiedliche Cluster Konfigurationen• Von 6 bis 24 Cluster Instanzen• Arbeitsverteilung über mehrere Instanzen Manuell aufwendig und fehleranfällig!„Infrastructure as code“ spart Kosten!• Es müssen weniger Ressourcen vorgehalten werden• Es gehen keine Konfigurationen verloren Ein Muß für die Arbeit in der Cloud!Big Data: Online Analyse mit Elastic Search | Alexander Appel, Jochen Reber 23. Januar 2013 Folie 39 © Zühlke 2013
  39. 39. Szenario Architektur Transport Status Dashboard Master Nodes Data Nodes Elastic Search Cluster Event Scheduler instances Event Generator instancesAlexander Appel, Jochen Reber 6. Januar 2013 Folie 40 © Zühlke 2013
  40. 40. Gewählte Infrastruktur Event 9 Instanzen (m2.2xlarge) Generator Event 8 Instanzen (m1.xlarge) Scheduler a) 1 Master 5 Data (m1.large) 5 shards + 1 replica b) 1 Master/Data (hi1.4xlarge) 5 shards Master Nodes c) 4 Master 20 Data (m1.large) 20 shards + 1 replica Data Nodes (provisioned IOPS) • Monitoring (2 x m1.small), Suchanfragen (m1.large)  Größte Ausbaustufe: 35 Instanzen gleichzeitigAlexander Appel, Jochen Reber 6. Januar 2013 Folie 41 © Zühlke 2013
  41. 41. Bild ErgebnisseBig Data: Online Analyse mit Elastic Search | Alexander Appel, Jochen Reber 23. Januar 2013 Folie 42 © Zühlke 2013
  42. 42. Szenario Kennzahlen„Labor Aufbau“ • Events: 500.000.000 • Eventgröße: 1 kByte • Indexgröße (1 Replica): 1,7 TB • Verhältnis: 1 : 3,5 Das entspricht real: • 100.000 Fahrzeuge (DHL: 80.000) • Aktualisierung: 1 x pro Minute 1660 Aktualisierungen/s über 16 StundenBig Data: Elastic Search in the Amazon Cloud | Alexander Appel, Jochen Reber 21. Dezember 2012 Folie 43 © Zühlke 2013
  43. 43. Messergebnisse Indizierung a) 1 Master 5 Data b) 1 Master/Data c) 4 Master 20 Data (m1.large) (hi1.4xlarge) (m1.large) 5 shards +1 replica 5 shards 20 shards + 1 replica (provisioned IOPS)t (ms)6000 550050004000 3200 3100 30003000 22002000 1500 1660 9001000 0 Single Single Bulk Single Bulk Single Bulk Indexing Index mit Indexing Indexing Indexing Indexing Indexing Suche
  44. 44. Messergebnisse Suche Suchanfrage Genutzte Features Anfragedauer Auswertung aktuell Scripting 120 ms verspäteter Fahrzeuge Range Facet Alle Events von einem bestimmten Term Query 400 ms Fahrer Zeitliche Pannenstatistik zu einem Term Query 620 ms bestimmten Fahrzeugtyp Date Histogram Facet Verteilung der Status aller Fahrzeuge Geo Range Filter 7690 ms im Umkreis von 200km Facet Filter Durchschnitt Geschwindigkeit, Date Histogram 14550 ms Reifendruck, Motortemperatur aller Statistik EventsBig Data: Online Analyse mit Elastic Search | Alexander Appel, Jochen Reber 23. Januar 2013 Folie 45 © Zühlke 2013
  45. 45. Kosten für SzenarioDienst Anzahl Knoten Laufzeit Kosten (Tage) ($)Large Instance 25 2,16 440Extra Large Instance 8 1,75 175Provisioned IOPS 20 9,5 500Weiteres (IO, Netzwerk, 145Small Instances, …)Gesamt 1260
  46. 46. Lessons Learned• Frühzeitig Account Limits erhöhen!• Kosten: Provisioned IOPS vs Standard EBS• Spot Request Instanzen: Markt kleiner als gedacht• Ausfälle passieren!Big Data: Elastic Search in the Amazon Cloud | Alexander Appel, Jochen Reber 21. Dezember 2012 Folie 48 © Zühlke 2013
  47. 47. Nicht umsonstLeicht skalierbare Suchmaschine Ideal für EvaluationenAlternativer Document Store Flexibel
  48. 48. Alexander Appel Jochen Reberaap@zuehlke.com jre@zuehlke.com
  1. A particular slide catching your eye?

    Clipping is a handy way to collect important slides you want to go back to later.

×