Big Data 2.0: retos y tendencias tecnológicas del Big Data

2,937 views
2,721 views

Published on

Published in: Lifestyle
1 Comment
8 Likes
Statistics
Notes
No Downloads
Views
Total views
2,937
On SlideShare
0
From Embeds
0
Number of Embeds
7
Actions
Shares
0
Downloads
173
Comments
1
Likes
8
Embeds 0
No embeds

No notes for slide

Big Data 2.0: retos y tendencias tecnológicas del Big Data

  1. 1. Big Data 2.0retos y tendencias tecnológicas del Big Data Jordi Torres, UPC/BSC www.JordiTorres.eu Madrid - 19/06/2012
  2. 2. Source: Economist , Feb 25th, 2010 http://www.economist.com/node/15579717
  3. 3. Twitter: (redes sociales) 90 millones de Tweets por día que representa 8 Terabytes. Boeing: (industria) Vuelo transoceanico de un jumbo puede generar 640 Terabytes. Wal-Mart: (comercio) 1 millón de transacciones por hora que se estima que alimenta una base de datos de 2.5 Petabytes.Source: Economist , Feb 25th, 2010 http://www.economist.com/node/15579717
  4. 4. ¿Big Data? • Explosión del volumen de los datos 2009: 2020: 0,8 35,2 Zettabytes Zettabytes • 3 V : Volumen, Velocidad y Variedad (*) 1 Zettabyte (ZB) = 1.000.000.000.000 (GB)
  5. 5. Retos tecnológicos• Se ha desbordado la capacidad actual – Almacenamiento – Gestión – Procesado Tiempo de respuesta – Análisis GBs Volum de dades PBs
  6. 6. Retos tecnológicos• Se ha desbordado la capacidad actual – Almacenamiento – Gestión – Procesado Tiempo de respuesta – Análisis ? In-memory GBs Volum de dades PBs
  7. 7. Almacenamiento • Nuevas tecnologías de almacenamiento HHD 100 más barato que RAM – RAM vs HHD Pero 1000 veces más lento – Solución actual Solid- state drive (SSD) además no volátil – Investigación Storage Class Memory (SCM)
  8. 8. Gestión • Limitaciones de las BD relacionales Solución actual: Tiempo de respuesta “NoSQL systems” GBs Volum de dades PBs
  9. 9. Gestión • Limitación de propiedad ACID de BD Atomicity, Consistency, Isolation & Durability • Nueva propiedad: BASE Basically Available, Soft state, Eventual consistency Ejemplo Consistencia eventual: Facebook • Investigación: Self-* NoSQL systems
  10. 10. Procesado • Nuevos modelos de programación – Solución actual: Tiempo de respuesta GBs Volum de dades PBs
  11. 11. Procesado • Solución Open Source: – Hadoop • Mercado: – Distribuciones propias
  12. 12. MapReduce+NoSQL • Difícil pensar en MapReduce+NoSQL Hace falta “desaprender” • Solución: Niveles de abstracción Hbase Hive (SQL based language) Pig (Data Flow Language)
  13. 13. SQL+NoSQL• Propuestas de la industria SQL+NoSQL – Integrar funcionalidades MapReduce – conectores Hadoop para DW Data ETL Normalized data Data ETL Normalized data DataWarehouse Hadoop ODBC Business Users Data driver Business Analysts Data Etc. Data
  14. 14. MapReduce+NoSQL • Investigación: Gestión jerarquía de almacenamiento APPLICATION IN-MEMORY RDBMS Storage Hierarchy Management GBs PBs
  15. 15. Análisis - datos + Valor Volumen información + conocimiento - • Hace falta conocimiento accionable
  16. 16. Análisis • Solución: Data Mining Asociación Clasificación Clustering Predicción ... • Investigación: La mayoría de algoritmos se ejecutan bien en miles de registros, pero son hoy por hoy impracticables en miles de millones.
  17. 17. Análisis • Solución Open Source: • ¿Reflejo de los avances? Source: http://www.smartplanet.com/blog/business-brains/retailer-or-a-data-company-wal-mart-is-now-both/20850
  18. 18. ¿Y el Cloud? Recursos usados T
  19. 19. ¿Y el Cloud? Capacidad CPD Recursos usados T
  20. 20. ¿Y el Cloud? Capacidad CPD recursos NO usados Recursos usados T
  21. 21. ¿Y el Cloud? Elasticidad del Cloud T
  22. 22. Oportunidades Hace una década: WEB 2.0 ecosistema LAMP – Linux – Apache – MySQL – PHP hoy: DATA 2.0 ecosistema Hadoop
  23. 23. Conclusiones • Está llegando el Big Data – La tecnología se está preparando para ello – ¿Y ustedes? • Prepárense para subirse al Big Data – Un reto y una oportunidad para ustedes
  24. 24. Para saber más … • Blog www.JordiTorres.org/blog • Próximo libro “Del Cloud Computing al Big Data” Editorial UOC, septiembre 2012 Creative Commons 3.0
  25. 25. Y especial gracias a www.bsc.es/eBusiness Autonomic Systems and e-Business Platforms research group
  26. 26. ¡Gracias por su atención!
  27. 27. Y otro libro … http://www.librosdecabecera.com/empresas-en-la-nube

×