Es la presentación que se mostró en el latin america geospatial forum 2015, incluye novedades en el análisis #GeoBigData con Apache Spark

1. Big Data en el INEGI
UNA VISIÓN TECNOLÓGICA
11 de Noviembre 2015

2. 4 mil Empleados en Aguascalientes y 18 mil en todo el País

3. COLABORACIÓN INTERINSTITUCIONAL
• Nacional • Internacional
@abxda

4. Considerar las Nuevas Fuentes de Datos para
Complementar a las Tradicionales.
Fuentes sin un diseño original, en una diversidad
de fines posibles, normalmente ajenos a las
causas que permitieron la generación
@abxda

5. Las Fuentes de Información siguen
creciendo

6. Internet de las Personas
Internet de las Cosas
Sensores
{ json }
< xml >
c,s,v
Redes Sociales
Internet de las Ideas
Crowdsourcing
Sistemas de Archivos
Distribuidos
Computo Paralelo y
Concurrente
Programación Funcional
Razonamiento Algebraico
Estadística
Análisis Multivariado
Machine Learning
Análisis de Interacción Espacial
{ json }
< xml >
c,s,v
{ json }
< xml >
c,s,v
Bases de Datos
NoSQL
Visualización
Panorama Tecnológico
Infraestructura de Cómputo

7. %Acceso a Internet, %Pc, %Telefono Celular, %Automovil @abxda
Estratificación de 1.2 M de Manzanas (2013)
En la misma Pc de 4 Procesadores:
(2013)
Software Tiempo Manzanas
Big Data 8 Seg. 1’221,180
Tradicional
(R)
8 Seg. 2,666
https://spark.apache.org/

8. TWITTER COMO FUENTE DE BIG DATA
Para medir el pulso emotivo de México
…y mucho más …
@abxda

9. 2009 2010 2011 2012 2013 2014 2015
(Junio) GIVAS =
Global Pulse
(2010) UNECE-
CES crea HLG-
BAS = HLG on
Modernisation
of Statistical
Production and
Services
(Oct. 2010) Día Mundial
de la Estadística.
“Tendencias actuales
de la estadística
aplicada”, por John
Brocklebank, SAS
(Agosto 2011)
ISI Dublin sesión
sobre Análisis
Estadístico de
Redes Sociales.
(Nov. 2012)
HLG_BAS
“IDENTIFYING KEY
PRIORITIES FOR
2013 AND
BEYOND”
menciona, por fin,
Big Data y Open
Data.
(Agosto 2013)
propuesta BigData
– Fondo Conacyt
Inegi.
DGAI Inicia
con
Herramientas
Big Data
(Octubre 2013)
Encuentro con
Seligman en
Monterrey en
evento de Tec
Milenio Institu
to de ciencias
de la felicidad.
(Diciembre
2013) Visita
de Upenn a
INEGI
(Febrero
2014) Inicia
recolección
de Tuits
(Hydra)
(Junio 2014)
Seminario
Internacional
Inegi Big Data
en INFOTEC
(Julio 2014)
SECTUR y
mapa
resultado y
paper.
(Agosto
2014) Inicia
Pioanálisis
(Nov.
2014)
Concluye
clasificac
ión de
Twits.
(Diciembre
2014)
Involucramien
to Infotec-
Geo etiquetad
o de tuits
(Febrero
2015) Viaje
a UPenn
(Febrero
2015)
Seminario
Infotec-
CentroGeo-
Inegi.
(Abril 2015)
Herramienta
de Medición
de Bienestar
en Tiempo
Real
(Junio 2015)
Entrega del
primer conjunto
de 60M
clasificado por
INFOTEC
(Julio 2015)
Herramienta
de
Visualización
@abxda

10. OBJETIVO DEL PROYECTO
Generar indicadores experimentales, nuevos o que
complementen los generados por métodos tradicionales,
utilizando técnicas de Big Data para la extracción,
almacenamiento, procesamiento, análisis y visualización de
los datos.
@abxda

11. Colaboración
Y el apoyo de:
@abxda

12. Todos los tuits están disponibles para su
recolección en tiempo real.
@abxda

13. Incluso permite consultas geográficas
@abxda

14. Hydra
1 año 8 meses
@abxda
https://www.elastic.co

15. http://cienciadedatos.inegi.org.mx/pioanalisis
@hbcolectivo @ricardoaolvera
@abxda

16. Proceso de Machine Learning
Muestra de Tuits
Etiquetado Manual
Representación numérica
http://scikit-learn.org/
http://www.r-project.org/
Machine Learning
Tuits en Tiempo Real
Clasificador
Indicador
de sentimiento
@abxda
Entrenamiento
Producción

17. @abxda
http://www.inegi.org.mx/inegi/contenidos/investigacion/experimentales/animotuitero/default.aspx

19. MAS ALLÁ DEL ANÁLISIS DEL SENTIMIENTO
Apache Spark
http://spark.apache.org/

20. Visualización de la Base de Datos
+120 Millones de Tuits
@abxda

21. 60 Millones de Tuits
@abxda
Visualización de la Base de Datos

22. Frecuencia de Tuiteo
# Tuits
Frecuencia por hora del día
~1,000,000 Tuiteros generaron
+ 60 Millones de Tuits
@abxda

23. Movilidad de los Tuiteros
4’469,550 de desplazamientos inter-municipales
347,157 Tuiteros
@abxda

24. @abxda
Red Nacional de Caminos (Open Data) y
Twitter

25. Red Nacional de Caminos y Twitter
@abxda

26. DENUE & Twitter
@abxda

27. DENUE & Twitter
@abxda

28. DENUE & Twitter
@abxda

29. DENUE & Twitter
@abxda

30. ¿De dónde provienen los tuiteros de los
hoteles?

31. Qué se dijo cerca de los Hoteles

32. Horarios de Tuiteo cerca de algún sector
@abxda

33. Que se dijo cerca de los Bares

34. PRIMER EJERCICIO NACIONAL
DENUE - TWITTER

35. 4.9 M de Polígonos de Voronoi (DENUE)

36. Big Spatial Join
(4.9 M DENUE +60 M Tweets)

37. SpatialSpark

38. SpatialSpark: Open Source

39. Runing Code into Local Apache Spark

41. DENUE - Twitter

42. abel.coronado@inegi.org.mx @abxda