Big Data en México

1. Realidades y sueños de
en México
Marzo 2015

2. abel.coronado @ inegi.org.mx

4. @abxda

5. @abxda
¿Qué es Big Data?

6. @abxda
¿Qué es Big Data?

7. http://datascience.berkeley.edu/what-is-big-data/ @abxda
¿Qué es Big Data?

8. http://datascience.berkeley.edu/what-is-big-data/ @abxda
¿Qué es Big Data?

9. http://datascience.berkeley.edu/what-is-big-data/ @abxda
¿Qué es Big Data?

10. http://datascience.berkeley.edu/what-is-big-data/ @abxda
¿Qué es Big Data?

11. http://datascience.berkeley.edu/what-is-big-data/ @abxda
¿Qué es Big Data?

12. Según Gartner
Big data es información en altos
volúmenes, alta velocidad o alta
variedad que demanda formas
creativas y viables económicamente
para procesarla con el fin de contribuir
a tomar decisiones, actuar y crear
valor.
http://www.ft.com/intl/cms/e91a32d0-2bac-11e3-bfe2-00144feab7de.pdf
¿Qué es Big Data?
@abxda

13. Existen Nuevas Fuentes de Datos que
Complementan las Tradicionales
@abxda

14. http://upload.wikimedia.org/wikipedia/commons/5/5b/Samurai_award.jpg
Tomar decisiones, actuar y crear valor

15. http://www.r-bloggers.com/data-science-toolbox-survey-results-surprise-r-and-python-win/
Comprender
Recolectar
Explorar, Visualizar
Limpiar
Transformar/
Caracterizar
Modelar / Entrenar
Validar
Comunicar ?
Imaginar /
Considerar la
Integración
de Otras Fuentes
Analizar
Fuente(s) Conceptualizar
Un Proceso de Ciencia de Datos

16. Experto en
computación y
desarrollo
avanzados
Experto en
estadística
matemática
Experto en
el dominio de
datos
CIENCIA
DE
DATOS
Zona
peligrosa!
Investigación
tradicional
Machine
learning
Ciencia de Datos
@abxda

17. Experto en
computación y
desarrollo
avanzados
Experto en
estadística
matemática
Experto en
el dominio de
datos
Unicornio
Zona
peligrosa!
Investigación
tradicional
Machine
learning
Ciencia de Datos
@abxda
CIENCIA
DE
DATOS

18. Científico de Datos
Ingeniero de Datos
@abxda
Productos
de Datos
Manejar
las 3 v’s
vs
Visualización
Modelado
Contar
Historias
Científico de Datos
Administración
de Sistemas
Programación
Matemáticas
Estadística
Ingeniero de Datos
Administración de
Bases de Datos
Almacenamiento de
Datos

19. Equipo de Big Data y Ciencia de Datos
Estadística
Matemáticas
Machine Learning
Minería de Texto
Interfaces de Usuario
Experiencia del Usuario
First Mobile
Visualización de Datos
Ingeniería de Software
Administradores de Sistemas
Bases de datos NoSQL
Arquitecturas Big Data
Arquitecturas de Software
Crowdsourcing
@abxda

20. Internet de las cosas
Internet de las personas
Internet de las ideas
Internet del todo
Datos
Crudos
hdfs://
Información
(Significado)
Tomar
Decisiones
Actuar
¿quién?
¿cuántos?
¿por qué?
¿qué?¿Dónde?
Análisis de Datos
Estadística Machine Learning
Estratificaciones
Análisis de Regresión
Muestreo
Mucho más…
Análisis de Redes (Grafos)
Minería de Datos
Volumen
Ciencia de Datos
(Transforma/Modela)
Cómputo Concurrente y Paralelo
Arquitectura para
Ciencia de Datos y Big Data
@abxda@hbcolectivo

21. Internet de las Personas
Internet de las Cosas
Sensores
{ json }
< xml >
c,s,v
Redes Sociales
Internet de las Ideas
Crowdsourcing
Sistemas de Archivos
Distribuidos
Computo Paralelo y
Concurrente
Programación Funcional
Razonamiento Algebraico
Estadística
Análisis Multivariado
Machine Learning
Análisis de Interacción Espacial
{ json }
< xml >
c,s,v
{ json }
< xml >
c,s,v
Bases de Datos
NoSQL
Visualización
Panorama Tecnológico
Infraestructura de Cómputo

22. Big Data en las Oficinas Nacionales de
Estadística
http://www1.unece.org/stat/platform/download/attachments/58492100/Big+Data+HLG+Final.docx?version=1&modificationDate=1362939424184
@abxda

23. • It is clear that during the next two years there
is a need to identify a few pilot projects that
will serve as proof of concept.
• Statistical organisations are, therefore,
encouraged to address formally Big data
issues in their annual and multi-annual work
programmes by undertaking research and pilot
projects in selected areas and by allocating
appropriate resources for that purpose.
@abxda
Big Data en las Oficinas Nacionales de
Estadística

24. • 'new' exploration and analysis methods are
required: Visualization methods, Text mining, and
High Performance Computing.
• To use Big data, statisticians are needed with a
different mind-set and new skills. The
processing of more and more data for official
statistics requires statistically aware people with
an analytical mind-set, an affinity for IT (e.g.
programming skills)
@abxda
Big Data en las Oficinas Nacionales de
Estadística

25. ESTRATIFICADOR INEGI
Qué es un producto de datos

26. Ciencia de Datos
www.inegi.org.mx/est/contenidos/Proyectos/estratificador/
@abxda

27. Tecnologías Involucradas (2013)
@abxda
D3.js Librería JavaScript para creación de los
gráficos vectoriales interactivos.
Librería JavaScript facilita la incorporación del patrón
MVC en aplicaciones web de una sola página
Diseño de estructura de la página y habilitación
responsiva via Twitter Bootstrap.
JSON formato de intercambio de datos.
Motor de análisis estadístico,
habilitador de la inteligencia
estadística.

28. Ciencia de Datos

29. @abxda
Ciencia de Datos

30. @abxda
Ciencia de Datos

31. %Acceso a Internet, %Pc, %Telefono Celular, %Automovil @abxda
Estratificación de 1.2 M de Manzanas
En la misma Pc de 4 Procesadores:
(2013)
Software Tiemp
o
Manzana
s
Big Data 8 Seg. 1’221,18
0
Tradicional 8 Seg. 2,666
https://spark.apache.org/

32. @hbcolectivo
TWITTER COMO FUENTE DE BIG DATA

33. ¿Cuántos caracteres?
@abxda

34. 140 ???
@abxda

35. Todo listo para la presentación de #BigData en el @FSLmx .
1482
Json: Formato de Intercambio

36. Nuestra huella en las Redes Sociales
@abxda

37. Todos los tuits están disponibles para su
recolección en tiempo real.
@abxda

38. Incluso permite consultas geográficas
@abxda

39. ¿Dónde recolectar?
@abxda

40. http://www.elasticsearch.org/
@abxda

41. ¿Por qué ElasticSearch?
@abxda

42. Switch
Puertos (a) 10.200.2.x
Puertos (b)10.1.1.X
Hydra 2 – [10.1.1.X | 10.200.X.X]
Hydra1 – Master 10.1.1.X
Acceso a Internet
[Recolecta información Redes Sociales]
< ESCALABILIDAD HORIZONTAL >
¿Por qué ElasticSearch?
@abxda

43. Hydra
@abxda< ESCALABILIDAD HORIZONTAL >

45. – El 22 de enero cumplimos 1 año de estar recolectando las 24
horas 7 días de la semana.
– Mas de 121 millones de tuits recolectados
Recolección de tuits en Archivos
Distribuidos con Bases de Datos NoSQL.

46. Visualización de la Base de Datos
121 Millones de Tuits

47. Frecuencia de Tuiteo
# Tuits
Frecuencia por hora del día
882,007 Tuiteros generaron
43’079,312 de Tuits

48. Frecuencia de Tuiteo

49. Movilidad de los Tuiteros
4’469,550 de desplazamientos de
347,157 Tuiteros

50. Movilidad hacia Pueblos Mágicos

51. Contenido de los Tuits

52. @abxda
Red Nacional de Caminos y Twitter

53. Red Nacional de Caminos y Twitter

54. Horarios de Tuiteo cerca de algún sector
@abxda

55. PIO ANÁLISIS Y LA MEDICIÓN DEL
BIENESTAR A TRAVÉS DE TWITTER
MACHINE LEARNING
Qué es un producto de datos

56. Indicador de sentimiento
…
…
Proceso de Machine Learning
Objetivo:

57. Proceso de Machine Learning
Muestra de Tuits
Etiquetado Manual
Representación numérica
http://scikit-learn.org/
http://www.r-project.org/
Machine Learning
Tuits en Tiempo Real
Modelo Clasificador
Indicador
de sentimiento
@abxda

58. http://cienciadedatos.inegi.org.mx/pioanalisis
@hbcolectivo @ricardoaolvera
@abxda

59. @abxda
D3.js Librería JavaScript para creación de los
gráficos vectoriales interactivos.
Librería JavaScript facilita la incorporación del patrón
MVC en aplicaciones web de una sola página
Diseño de estructura de la página y habilitación
responsiva via Twitter Bootstrap.
JSON formato de intercambio de datos.
Web Api 2 / Interface REST
Tecnologías Involucradas

60. Resultados
@hbcolectivo
@ricardoaolvera
@abxda

61. Seguimos trabajando…
• Seguimos trabajando en la definición de la
estrategia y entrenamiento de los algoritmos
de Machine Learning…

62. IMPLEMENTACIÓN DE BIG DATA

63. Hadoop / Apache Spark
@abxda
ó
Procesamiento
70 Cores > 3 Ghz
>250 Gb Ram
5 TB
+
Recolección
20 Cores > 3 Ghz
100 Gb Ram
1 TB

64. • Tecnología de procesamiento en paralelo para
Ciencia de Datos
Apache Spark
@abxda

65. @abxda

66. Reflexión
@abxda

67. http://www.scidev.net/global/data/feature/big-data-for-development-facts-and-figures.html
Reflexión
@abxda

68. Preguntas
@abxda

69. abel.coronado@inegi.org.mx