Sascha Dittmann, Ernst & Young: Big Data in der Cloud

1,078 views

Published on

Lightning Talk anlässlich des zweiten CloudCamp Frankfurt am 24.5.2012 in der Brotfabrik in Hausen.

Published in: Technology
0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total views
1,078
On SlideShare
0
From Embeds
0
Number of Embeds
4
Actions
Shares
0
Downloads
2
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide

Sascha Dittmann, Ernst & Young: Big Data in der Cloud

  1. 1. * Sascha Dittmann Software Developer / Solution Architect Twitter: @SaschaDittmann Blog: http://www.sascha-dittmann.de
  2. 2. * Seit über 13 Jahren: * Software Developer * Solution Architect* Seit über 7 Jahren: * Trainer für technische Trainings * Sprecher auf Konferenzen * IT Consulting *
  3. 3. 180.000.000.000.000.000.0001.800.000.000.000.000.000.000 *
  4. 4. 180.000.000.000.000.000.000 = 0,18 ZB (Zettabytes) - Stand 2006 1.800.000.000.000.000.000.000 = 1,8 ZB (Zettabytes) - Stand 2011* Quelle: IDC – Analyze the Future
  5. 5. Vertikale Skalierung Horizontale Skalierung *
  6. 6. Atomicy BasicallyConsistecy AvailableIsolation Soft StateDurabilty Eventually Consistent *
  7. 7. *
  8. 8. DataNode DataNode DataNode 0067011990999991950051507004+68750 0043011990999991950051512004+68750 0043011990999991950051518004+68750 0043012650999991949032412004+62300 0043012650999991949032418004+62300 1949,0 1952,-11 Map Map Map 1950,22 1950,55 1950,33 Sort Sort Sort 1949,0 1950,[22,33,55] Shuffle Shuffle Shuffle 1952,-11 Reduce 1949,0 1950,55 1952,-11 *
  9. 9. DataNode DataNode DataNode 0067011990999991950051507004+68750 0043011990999991950051512004+68750 0043011990999991950051518004+68750 0043012650999991949032412004+62300 0043012650999991949032418004+62300 1949,0 1952,-11 Map Map Map 1950,22 1950,55 1950,33 1949,0 1952,-11Combine Combine Combine 1950,55 1950,33 Sort Sort Sort 1949,0 1950,[33,55] Shuffle Shuffle Shuffle 1952,-11 Reduce 1949,0 1950,55 1952,-11 *
  10. 10. RDBMS Map/ReduceDatenmenge Gigabytes PetabytesZugriff Interaktiv und Batch BatchLese- / Schreibzugriffe Viele Lese- und Einmaliges Schreiben Schreibzugriffe Viele LesezugriffeDatenstruktur Statisches Schema Dynamisches SchemaDatenintegrität Hoch NiedrigSkalierverhalten Nicht-Linear Linear *
  11. 11. *

×