Big Data 2.0: retos y tendencias tecnológicas del Big Data

Big Data 2.0retos y tendencias tecnológicas del Big Data Jordi Torres, UPC/BSC www.JordiTorres.eu Madrid - 19/06/2012

Source: Economist , Feb 25th, 2010 http://www.economist.com/node/15579717

Twitter: (redes sociales) 90 millones de Tweets por día que representa 8 Terabytes. Boeing: (industria) Vuelo transoceanico de un jumbo puede generar 640 Terabytes. Wal-Mart: (comercio) 1 millón de transacciones por hora que se estima que alimenta una base de datos de 2.5 Petabytes.Source: Economist , Feb 25th, 2010 http://www.economist.com/node/15579717

¿Big Data? • Explosión del volumen de los datos 2009: 2020: 0,8 35,2 Zettabytes Zettabytes • 3 V : Volumen, Velocidad y Variedad (*) 1 Zettabyte (ZB) = 1.000.000.000.000 (GB)

Retos tecnológicos• Se ha desbordado la capacidad actual – Almacenamiento – Gestión – Procesado Tiempo de respuesta – Análisis GBs Volum de dades PBs

Retos tecnológicos• Se ha desbordado la capacidad actual – Almacenamiento – Gestión – Procesado Tiempo de respuesta – Análisis ? In-memory GBs Volum de dades PBs

Almacenamiento • Nuevas tecnologías de almacenamiento HHD 100 más barato que RAM – RAM vs HHD Pero 1000 veces más lento – Solución actual Solid- state drive (SSD) además no volátil – Investigación Storage Class Memory (SCM)

Gestión • Limitaciones de las BD relacionales Solución actual: Tiempo de respuesta “NoSQL systems” GBs Volum de dades PBs

Gestión • Limitación de propiedad ACID de BD Atomicity, Consistency, Isolation & Durability • Nueva propiedad: BASE Basically Available, Soft state, Eventual consistency Ejemplo Consistencia eventual: Facebook • Investigación: Self-* NoSQL systems

Procesado • Nuevos modelos de programación – Solución actual: Tiempo de respuesta GBs Volum de dades PBs

Procesado • Solución Open Source: – Hadoop • Mercado: – Distribuciones propias

MapReduce+NoSQL • Difícil pensar en MapReduce+NoSQL Hace falta “desaprender” • Solución: Niveles de abstracción Hbase Hive (SQL based language) Pig (Data Flow Language)

SQL+NoSQL• Propuestas de la industria SQL+NoSQL – Integrar funcionalidades MapReduce – conectores Hadoop para DW Data ETL Normalized data Data ETL Normalized data DataWarehouse Hadoop ODBC Business Users Data driver Business Analysts Data Etc. Data

MapReduce+NoSQL • Investigación: Gestión jerarquía de almacenamiento APPLICATION IN-MEMORY RDBMS Storage Hierarchy Management GBs PBs

Análisis - datos + Valor Volumen información + conocimiento - • Hace falta conocimiento accionable

Análisis • Solución: Data Mining Asociación Clasificación Clustering Predicción ... • Investigación: La mayoría de algoritmos se ejecutan bien en miles de registros, pero son hoy por hoy impracticables en miles de millones.

Análisis • Solución Open Source: • ¿Reflejo de los avances? Source: http://www.smartplanet.com/blog/business-brains/retailer-or-a-data-company-wal-mart-is-now-both/20850

¿Y el Cloud? Recursos usados T

¿Y el Cloud? Capacidad CPD Recursos usados T

¿Y el Cloud? Capacidad CPD recursos NO usados Recursos usados T

¿Y el Cloud? Elasticidad del Cloud T

Oportunidades Hace una década: WEB 2.0 ecosistema LAMP – Linux – Apache – MySQL – PHP hoy: DATA 2.0 ecosistema Hadoop

Conclusiones • Está llegando el Big Data – La tecnología se está preparando para ello – ¿Y ustedes? • Prepárense para subirse al Big Data – Un reto y una oportunidad para ustedes

Para saber más … • Blog www.JordiTorres.org/blog • Próximo libro “Del Cloud Computing al Big Data” Editorial UOC, septiembre 2012 Creative Commons 3.0

Y especial gracias a www.bsc.es/eBusiness Autonomic Systems and e-Business Platforms research group

¡Gracias por su atención!

Y otro libro … http://www.librosdecabecera.com/empresas-en-la-nube

Big Data 2.0: retos y tendencias tecnológicas del Big Data

by Barcelona Tech UPC - Barcelona Supercomputer Center BSC on Jun 21, 2012

Accessibility

Categories

Upload Details

Usage Rights

1 Embed 4

Statistics

Big Data 2.0: retos y tendencias tecnológicas del Big Data Presentation Transcript