Platica impartida a funcionarios de SEDESOL y Nielsen de México, en el contexto del diplomado de Minería de Datos del INEGI.

1. &
Ciencia de Datos

3. ¿Qué es Big Data?
@abxda

4. ¿Qué es Big Data?
http://datascience.berkeley.edu/what-is-big-data/
@abxda

5. ¿Qué es Big Data?
@abxda

6. ¿Qué es Big Data?
@abxda

7. ¿Qué es Big Data?
Diciembre 2004
Octubre 2003
@abxda

8. ¿Qué es Big Data?
2006
> 100,000 Artículos
2007
@abxda

9. Hadoop (2006 - 2008)
@abxda

10. Hadoop (2006 - 2008)
@abxda

11. ¿Qué es Big Data? (2009 – 2016…)
@abxda

12. Matei Zaharia Ion Stoica
(2009 – 2016…)
@abxda

13. Big Money 2014
@abxda

14. (2013)
@abxda

15. Big Data en las Oficinas Nacionales de
Estadística
http://www1.unece.org/stat/platform/download/attachments/58492100/Big+Data+HLG+Final.docx?version=1&modificationDate=1362939424184
Comisión Económica de las Naciones Unidas para Europa
@abxda

16. • It is clear that during the next two years there is
a need to identify a few pilot projects that will
serve as proof of concept.
• Statistical organisations are, therefore,
encouraged to address formally Big data issues
in their annual and multi-annual work
programmes by undertaking research and pilot
projects in selected areas and by allocating
appropriate resources for that purpose.
Big Data en las Oficinas Nacionales de
Estadística
@abxda

17. • 'new' exploration and analysis methods are
required: Visualization methods, Text mining, and
High Performance Computing.
• To use Big data, statisticians are needed with a
different mind-set and new skills. The
processing of more and more data for official
statistics requires statistically aware people with an
analytical mind-set, an affinity for IT (e.g.
programming skills)
Big Data en las Oficinas Nacionales de
Estadística
@abxda

18. @abxda

19. Experto en
computación y
desarrollo
avanzados
(Big Data)
Experto en
Modelado
Estadístico
Experto en
el dominio de
datos
Unicornio
Zona
peligrosa!
Investigación
tradicional
Machine
learning
CIENCIA
DE
DATOS
http://www.anlytcs.com/2014/01/data-science-venn-diagram-v20.html
@abxda

20. Internet de las cosas
Internet de las personas
Internet de las ideas
Internet del todo
Datos
Crudos
hdfs://
Información
(Significado)
Tomar
Decisiones
Actuar
¿quién?
¿cuántos?
¿por qué?
¿qué?¿Dónde?
Análisis de Datos
Estadística Machine Learning
Estratificaciones
Análisis de Regresión
Muestreo
Mucho más…
Análisis de Redes (Grafos)
Minería de Datos
Volumen
Ciencia de Datos
(Transforma/Modela)
Cómputo Distribuido y Paralelo
Arquitectura
Big Data & Ciencia de Datos
@abxda

22. ¿Qué clase de #BigData es esta?
En operaciones de Machine Learning, una sola tarjeta de Video, es 45 veces
mas poderosa que el XEON mas rápido.
2560 CUDA CORES
@abxda

23. Producto de Datos 2012
Estratificador INEGI

24. %Acceso a Internet, %Pc, %Telefono Celular, %Automovil
https://spark.apache.org/
2013
@abxda

25. Twitter como fuente de Big Data (Primer
Proyecto Piloto)
Para medir el pulso emotivo de México
…y mucho más …
@abxda

26. Hydra
Octubre 2013
INEGI
@abxda

27. Consulta Geográfica

28. Visualización de la Base de Datos
200 Millones de Tuits
400 Gb
800 Mb Diarios
@abxda

29. Visualización de la Base de Datos
~100 Millones de Tuits
@abxda

30. Frecuencia de Tuiteo
# Tuits
Frecuencia por hora del día
~1,000,000 Tuiteros generaron
~ 100 Millones de Tuits

31. Movilidad de los Tuiteros
4’469,550 de desplazamientos inter-municipales
347,157 Tuiteros
@abxda

32. Equipo de Trabajo
Y el apoyo de:
Y en la parte de visualización:
@abxda

33. http://cienciadedatos.inegi.org.mx/pioanalisis
@hbcolectivo @ricardoaolvera
@abxda

34. Proceso de Machine Learning
Muestra de Tuits
Etiquetado Manual
Representación numérica
http://scikit-learn.org/
http://www.r-project.org/
Machine Learning
Tuits en Tiempo Real
Clasificador
Indicador
de sentimiento
@abxda
Entrenamiento
Producción

35. @abxda

36. Análisis del Sentimiento
(Diario)
C#
{RESTful:API}
{NoSQL}

38. DENUE & Twitter
@abxda

39. DENUE & Twitter
@abxda

40. DENUE & Twitter
@abxda

41. Horarios de Tuiteo cerca de algún sector
@abxda

42. 4.9 M de Polígonos de Voronoi (DENUE)
@abxda

43. Big Spatial Join
(4.9 M DENUE +60 M Tweets)
@abxda

44. SpatialSpark (Nov. 2015)
@abxda

45. SpatialSpark: Open Source
@abxda

46. Runing Code into Local Apache Spark

48. DENUE - Twitter
@abxda

49. Proceso de Machine Learning
Imágenes de Satélite
Imágenes
Etiquetado
por Expertos
Representación numérica
http://scikit-learn.org/
http://www.r-project.org/
Machine Learning
Aprendizaje Estadístico
Imágenes Continuas
Clasificador
Automático
Clases de Cobertura
De Suelo
@abxda
Entrenamiento
Producción

50. Proceso de Machine Learning
Imágenes de Satélite
@abxda

51. Siguientes Pasos
• Colaboraciones Internacionales con ONU, para
explorar el uso de Big Data en el calculo de los
Indicadores de Desarrollo Sostenible.
• Ampliar los trabajos a mas Fuentes de Big Data:
Datos de Telefonía Móvil, Imágenes de Satélite, etc.
• Salud Mental en Adolescentes con Data2x y
Instituto Nacional de Psiquiatría
@abxda

52. Preguntas
@abxda

53. abel.coronado@inegi.org.mx
@abxda