Your SlideShare is downloading. ×
0
BIG DATA: Extraer y visualizar grandes volúmenes de datos                        Visualizaciones en tiempo real           ...
Acerca de Zauber                        •    Somos una boutique de software y lab con base en Argentina y                 ...
Nuestra experiencia con Twitter APIs     Al Jazeera - Twitter Dashboard                        CABA - Elecciones legislati...
Análisis de                                                                                     audiencias                ...
Visualizacio-                                                                                     nes animadas            ...
Cómo lo construimos      FRONTEND                                                                       BACKEND           ...
Desafíos tecnológicos                        •    Límites API Twitter                        •    Big Data                ...
Límites API Twitter                        •    Rest API limitada a 350 requests por ahora por IP                        •...
Big Data                            •    Twitter en #                                     •    400M tweets por dia (http:/...
Manejo de datos no estructurados                           •    Ubicación                               •     5% de tweets...
Inferencia de atributos ocultos                                •     Datos demográficos de usuarios no están presentes     ...
Demos                 Rio+20                                                             Malvinas                  Boca vs...
Gracias!                                                             Preguntas?                        Visualizaciones en ...
Upcoming SlideShare
Loading in...5
×

Big Data : Extraer y visualizar grandes volúmenes de datos

1,328

Published on

Presentación en HacksHackers Buenos Aires #HHBA de nuestra experencia construyendo Tribatics.com y Flowics.com aplicando tecnologías de Big Data.

0 Comments
1 Like
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total Views
1,328
On Slideshare
0
From Embeds
0
Number of Embeds
1
Actions
Shares
0
Downloads
19
Comments
0
Likes
1
Embeds 0
No embeds

No notes for slide

Transcript of "Big Data : Extraer y visualizar grandes volúmenes de datos"

  1. 1. BIG DATA: Extraer y visualizar grandes volúmenes de datos Visualizaciones en tiempo real sobre Twitter Fernando Zunino Pauline Morrison Fell @fzunino @polinmfThursday, June 21, 12
  2. 2. Acerca de Zauber • Somos una boutique de software y lab con base en Argentina y Estados Unidos que provee servicios a una alta gama de líderes de la industria y startups de internet en América Latina y Silicon Valley. • Nos especializamos en proyectos de Consumer Web, Social Analytics y Big Data. Combinamos nuestros servicios de desarrollo boutique con un laboratorio de I+D para desarrollar nuevos emprendimientos y productos. Visualizaciones en tiempo real sobre Twitter Big Data: Extraer y visualizar grandes volúmenes de datosThursday, June 21, 12
  3. 3. Nuestra experiencia con Twitter APIs Al Jazeera - Twitter Dashboard CABA - Elecciones legislativas 2011 JSConfAr - Visualizing Tweets Coca Cola - Social World Cup La Nacion - Elecciones presidenciales 2011 Zauberlabs - Tweet Discover Visualizaciones en tiempo real sobre Twitter Big Data: Extraer y visualizar grandes volúmenes de datosThursday, June 21, 12
  4. 4. Análisis de audiencias online Value insights on social audiences and conversations Plataforma online que: • Procesa social media data a gran escala para entregar reportes en tiempo real • Identifica patrones demográficos y de comportamiento de seguidores y conversaciones en Twitter • Usa ML y NLP para entregar perfiles sociales aumentados con información nueva respecto de APIs existentes o perfiles de usuarios. Diseñada para: • Investigación de mercado online • Monitoreo de marcas en tiempo real • ROI en Social Media • Estrategias en Social Media Visualizaciones en tiempo real sobre Twitter Big Data: Extraer y visualizar grandes volúmenes de datosThursday, June 21, 12
  5. 5. Visualizacio- nes animadas de Twitter Build your own Twitter real-time visualizations Plataforma online que permite: • Construir infografías animadas sobre temas en Twitter • Enriquecer noticias con contenido social • Ofrecer una segunda pantalla para un programa de TV • Aumentar la participación en un evento • Cubrir el buzz en eventos grandes o internacionales Diseñada para: • Periodistas, Bloggers, Directores de Contenido, Marketeers, Organizadores de Eventos, Emisoras Visualizaciones en tiempo real sobre Twitter Big Data: Extraer y visualizar grandes volúmenes de datosThursday, June 21, 12
  6. 6. Cómo lo construimos FRONTEND BACKEND Storm Oozie INFRAESTRUCTURA TWITTER API Rest API ELB, EC2, S3 Streaming API Elastic Map Reduce Route53, CloudWatch Visualizaciones en tiempo real sobre Twitter Big Data: Extraer y visualizar grandes volúmenes de datosThursday, June 21, 12
  7. 7. Desafíos tecnológicos • Límites API Twitter • Big Data • Manejo de datos no estructurados • Inferencia de atributos ocultos Visualizaciones en tiempo real sobre Twitter Big Data: Extraer y visualizar grandes volúmenes de datosThursday, June 21, 12
  8. 8. Límites API Twitter • Rest API limitada a 350 requests por ahora por IP • Streaming API (statuses/filter) está limitada si tweets exceden el 1% del Firehose • Partners de Twitter (Gnip, DataSift) pueden ser una opción para obtener un acceso mayor Visualizaciones en tiempo real sobre Twitter Big Data: Extraer y visualizar grandes volúmenes de datosThursday, June 21, 12
  9. 9. Big Data • Twitter en # • 400M tweets por dia (http://www.theverge.com/ 2012/6/6/3069424/twitter-400-million-total-daily-tweets) • 140M usuarios activos (http://blog.twitter.com/2012/03/twitter- turns-six.html) • Generación de estadísticas en tiempo real • Stream Processing => Storm • Generación de estadísticas sobre los usuarios • Batch Processing => Hadoop (Map Reduce, Pig) Visualizaciones en tiempo real sobre Twitter Big Data: Extraer y visualizar grandes volúmenes de datosThursday, June 21, 12
  10. 10. Manejo de datos no estructurados • Ubicación • 5% de tweets utilizan GeoLocation API • 72% Ingresan datos de ubicación en forma no estructurada • Utilizamos técnicas de NLP e Information Retrieval para detectar ubicación Visualizaciones en tiempo real sobre Twitter Big Data: Extraer y visualizar grandes volúmenes de datosThursday, June 21, 12
  11. 11. Inferencia de atributos ocultos • Datos demográficos de usuarios no están presentes • Tipo de Usuario • Hombre/Mujer/Compañia • Rango etario • Machine Learning al rescate! • Se utilizan técnicas de aprendizaje supervisado para detectar dichos atributos Visualizaciones en tiempo real sobre Twitter Big Data: Extraer y visualizar grandes volúmenes de datosThursday, June 21, 12
  12. 12. Demos Rio+20 Malvinas Boca vs Universidad de Chile Elecciones en Mexico Visualizaciones en tiempo real sobre Twitter Big Data: Extraer y visualizar grandes volúmenes de datosThursday, June 21, 12
  13. 13. Gracias! Preguntas? Visualizaciones en tiempo real sobre Twitter Big Data: Extraer y visualizar grandes volúmenes de datosThursday, June 21, 12
  1. A particular slide catching your eye?

    Clipping is a handy way to collect important slides you want to go back to later.

×