OpenAnalytics - BigData por Ivan del Prado (Datasalt)

1,993 views

Published on

Iván del Prado, CEO de Datasalt y uno de los creadores de Pangool Hadoop API y Splout SQL repasó las necesidades de usar tecnologías y procesos BigData y las alternativas libres para abordar proyectos de diversa índole.

Published in: Technology
0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total views
1,993
On SlideShare
0
From Embeds
0
Number of Embeds
1,438
Actions
Shares
0
Downloads
27
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide

OpenAnalytics - BigData por Ivan del Prado (Datasalt)

  1. 1. Iván de Prado Alonso – CEO of Datasalt www.datasalt.es @ivanprado @datasalt Big Data Una visión pragmática
  2. 2. Consultoría y formación Big Data
  3. 3. Success stories Deep Knowledge Analyzing credit card transactions Pangool Revamped Hadoop API Extracting insights from Social Networks Splout SQL Making Hadoop data accessible Dealing with thousands of millions of classifieds Managing billions of events per day Building the future ICDM 2012
  4. 4. Big Data Hype
  5. 5. Copyright © 2012 Datasalt Systems S.L. All rights reserved. Not to be reproduced without prior written consent. BIG “MAC” DATA 5 / 27
  6. 6. 1. Definición de Big Data 2. Lo disruptivo 3. Ejemplos sectoriales 4. Conclusiones Copyright © 2012 Datasalt Systems S.L. All rights reserved. Not to be reproduced without prior written consent. Agenda 6 / 27
  7. 7. ● Datos – – – ● ● – – Variedad Cruce de datos ● ● Redes sociales Sensores, etc ● Esquemas en lectura – Velocidad No tires ni un dato – Volumen Inteligencia de negocio Filosofía de desarrollo Tolerancia a fallos humanos Herramientas – Hadoop – NoSQL – Sistemas distribuidos 7 / 27 Copyright © 2012 Datasalt Systems S.L. All rights reserved. Not to be reproduced without prior written consent. Definición del Big Data – 4 puntos de vista
  8. 8. Copyright © 2012 Datasalt Systems S.L. All rights reserved. Not to be reproduced without prior written consent. Confusión 8 / 27
  9. 9. Big Da ta La “caja” del Big Data pinta muy bien ...
  10. 10. ¿Pero hay algo realmente nuevo y disruptivo dentro?
  11. 11. 1. Definición de Big Data 2. Lo disruptivo 3. Ejemplos sectoriales 4. Conclusiones Copyright © 2012 Datasalt Systems S.L. All rights reserved. Not to be reproduced without prior written consent. Agenda 12 / 27
  12. 12. ● ● ● ● Big Data → Nuevas tecnologías relevantes – Capaces de hacer viable lo que antes era inviable Distribuidas – Aprovechan el potencial de varias máquinas – Abstraen al programador de las complejidades de coordinación ● Pero siguen siendo complejas Open Source (la mayoría) De bajo coste 13 / 27 Copyright © 2012 Datasalt Systems S.L. All rights reserved. Not to be reproduced without prior written consent. Tecnologías disruptivas
  13. 13. 1. Definición de Big Data 2. Lo disruptivo 3. Ejemplos sectoriales 4. Conclusiones Copyright © 2012 Datasalt Systems S.L. All rights reserved. Not to be reproduced without prior written consent. Agenda 16 / 27
  14. 14. ● Lo que se podía antes del Big Data – Hacer portales de clasificados (inmobiliarios, etc) a nivel de un país – Tecnologías principales: ● ● Bases de datos relacionales (i.e. MySQL) Lo que era casi imposible y ahora es muy razonable – Hacer un buscador de clasificados de escala mundial – Tecnologías principales: ● ● ● Hadoop, Hbase, Storm Solr, ElasticSearch Ejemplos 17 / 27 Copyright © 2012 Datasalt Systems S.L. All rights reserved. Not to be reproduced without prior written consent. Anuncios clasificados (I)
  15. 15. Copyright © 2012 Datasalt Systems S.L. All rights reserved. Not to be reproduced without prior written consent. Anuncios clasificados (II) 18 / 27
  16. 16. ● Lo que se podía antes del Big Data – Restringido al poder de una máquina (análisis locales) – Tecnologías principales: ● Bases de datos relacionales (i.e. MySQL) ● ● Analítica monomáquina Lo que era casi imposible y ahora es muy razonable – Analizar la influencia de todos los individuos en una red social – Tecnologías principales: ● Hadoop, Hbase, Storm ● NoSQL: Voldemort, Cassandra ● ● Copyright © 2012 Datasalt Systems S.L. All rights reserved. Not to be reproduced without prior written consent. Análisis de influencia online y en redes sociales (I) Hamma, Giraph Ejemplos 19 / 27
  17. 17. Copyright © 2012 Datasalt Systems S.L. All rights reserved. Not to be reproduced without prior written consent. Análisis de influencia online y en redes sociales (II) 20 / 27
  18. 18. ● Lo que se podía antes del Big Data – Datos en silos – Presos de los DW (muy poco flexibles) – Tecnologías principales: ● ● EDW MPP Lo que era casi imposible y ahora es muy razonable – Explotar de nuevas maneras los datos y dar valor a terceros – Tecnologías principales: ● Hadoop ● NoSQL ● ● Copyright © 2012 Datasalt Systems S.L. All rights reserved. Not to be reproduced without prior written consent. Explotar datos agregados (I) Gestores geográficos Ejemplos 21 / 27
  19. 19. Copyright © 2012 Datasalt Systems S.L. All rights reserved. Not to be reproduced without prior written consent. Explotar datos agregados (II) 22 / 27
  20. 20. ● Lo que se podía antes del Big Data – Estadísticas básicas en Bds relacionales a clientes – Agregados de muy alto nivel (se pierde el grano fino) – Tecnologías principales: ● ● Bds relacionales (i.e. MySql, Oracle) Lo que era casi imposible y ahora es muy razonable – No tirar un sólo dato – Estadísticas muy ricas y de gran detalle para cada cliente – Tecnologías principales: ● Hadoop ● ● Copyright © 2012 Datasalt Systems S.L. All rights reserved. Not to be reproduced without prior written consent. Redes de anuncios (Ad networks) NoSQL, Splout SQL Ejemplos 23 / 27
  21. 21. ● Lo que se podía antes del Big Data – Recibir y procesar el gran nivel de eventos era casi imposible – Tecnologías principales: ● Bds relacionales (i.e. MySql, Oracle) ● ● Sistema de colas con consumidores Lo que era casi imposible y ahora es muy razonable – Estadísticas y respuesta a eventos en tiempo real – Tecnologías principales: ● Storm, Erlang ● ● Copyright © 2012 Datasalt Systems S.L. All rights reserved. Not to be reproduced without prior written consent. Juegos online NoSQL Ejemplos 24 / 27
  22. 22. 1. Definición de Big Data 2. Lo disruptivo 3. Ejemplos sectoriales 4. Conclusiones Copyright © 2012 Datasalt Systems S.L. All rights reserved. Not to be reproduced without prior written consent. Agenda 25 / 27
  23. 23. ● ● ● ● ● El Big Data es algo disruptivo Razón principal: Nuevas tecnologías – Que hacen posibles aplicaciones antes casi imposibles Tecnologías aún no maduras y muy dispersas – Salvo Hadoop, con alto grado de madurez y que resuelve gran parte de problemas Oportunidad: arriesgar y abrazar estas tecnologías – Hay cierto riesgo (bajo grado de madurez) – Pero puede suponer una ventaja estratégica – Apostar por equipos pequeños pero capaces No centrarse únicamente en tecnología – Preparar equipos humanos Big Data (científicos de datos) 26 / 27 Copyright © 2012 Datasalt Systems S.L. All rights reserved. Not to be reproduced without prior written consent. Conclusión
  24. 24. Gracias Creative Commons images: http://www.flickr.com/photos/83633410@N07/7658298768/ http://www.flickr.com/photos/meatheadmovers/5346219239/in/photostream/ http://www.flickr.com/photos/meatheadmovers/5346220901/in/photostream/ http://www.flickr.com/photos/jepoirrier/8319130269/ Iván de Prado Alonso ivan@datasalt.com @ivanprado www.datasalt.com

×