Este documento describe el uso del Mapa de Crisis de Google para centralizar información durante el terremoto del 19 de septiembre en la Ciudad de México. Voluntarios crearon el equipo #Verificado19s para verificar reportes ciudadanos y mapear daños, albergues y centros de acopio en tiempo real. El mapa se actualizaba diariamente con datos recolectados a través de formularios y se compartió con el gobierno para coordinar la respuesta de emergencia.

1. Paco Mekler. The Data Pub
4 de abril de 2018
Verificado19s: Pipeline de datos

2. Contexto
“La tragedia desnudó la frivolidad del discurso y las graves omisiones con las que operaba el
gobierno capitalino. Frente al vacío, los ciudadanos respondieron. En cosa de horas,
voluntarios reunidos en torno a #verificado19s implementaron un protocolo de información
y respuesta rápida para los sitios colapsados. De hecho, en medio del desastre la noche del 21
de septiembre, el propio equipo del jefe de Gobierno llamó a voluntarios de #verificado19s
desde el C5 —su centro de operaciones— para pedirles que ojalá actualizaran más rápido la
información en su plataforma digital porque ellos —sí, los innovadores funcionarios de la
smart city— la estaban usando para evaluar necesidades y daños. De ese tamaño.”
Fuente: http://www.eluniversal.com.mx/columna/ana-francisca-vega/nacion/el-fracaso-de-la-smart-city#.WgGkv8UJBSc.twitter

3. ● Falta de comunicación
● Falta de organización
● Usamos herramientas como My Maps para hacer el primer mapeo de
edificios colapsados
¿A qué nos enfrentamos durante las primeras
24hrs?

4. La tecnología se adapta a las personas.
En momentos de crisis...

5. Las buenas prácticas se quedan en casa. El objetivo es
ayudar, no ser purista.
En momentos de crisis...

6. Se utiliza la tecnología que la mayoría conozca.
En momentos de crisis...

7. ● Muchas fuentes de información que generaban ruido
● Muchas manos para brindar ayuda
● Mucha demanda de ayuda
● Muchas vidas por salvar
● Margen pequeño para cometer errores
¿A qué nos enfrentamos después de las primeras 24hrs?

8. Para centralizar información, el éxito radica en la
comunicación entre equipos y la generación de procesos.
En momentos de crisis...

9. Los procesos deben ser flexibles porque las necesidades
cambian rápidamente.
En momentos de crisis...

10. Aplicaciones de tecnología mal enfocadas desgastan los
procesos y provocan que se pierda agilidad.
En momentos de crisis...

11. Lo más importante: generar información confiable en
tiempo real.
En momentos de crisis...

12. ● Python
● Python pandas
● Bash
● Google
○ Geocoding API
○ gcloud cli
○ BigQuery
○ Google Docs
○ Google Crisis Maps
● Amazon AWS
○ EC2
Stack tecnológico

13. ETL v1.0
1
Python
+
Google
Spreadsheet
Bash
invoca
un
archivo
python
que
se
encarga
de
descargary
lim
piarlas
bases.La
salida
es
un
archivo
CSV
2
Respaldo
en
Google
Cloud
Storage
(GCS)
Subim
os
elarchivo
CSV
a
GCS
en
duplicado:
un
archivo
que
se
sobreescribe
y
otro
que
contiene
eltim
estam
p.Esto
para
tenerun
registro
histórico
de
lo
que
subim
os.
3
ActualizarGoogle
BigQuery
(GBQ)A
partirdelarchivo
CSV
en
GCS
reem
plazam
os
una
tabla
dentro
de
GBQ.
4
ActualizarCrisisM
ap
Dado
que
ya
estaba
dada
de
alta
la
capa
dentro
de
CrisisM
aps,m
odificam
os
m
anualm
ente
la
ruta
alarchivo
para
poder
m
ostrarla
inform
ación
actualizada.

14. ETL v2.0
5
ActualizarCrisis
M
ap
Dado
que
ya
estaba
dada
de
alta
la
capa
dentro
de
Crisis
M
ap,m
odificam
os
m
anualm
ente
la
ruta
alarchivo
para
poder
m
ostrarla
inform
ación
actualizada.
4
ActualizarGoogle
BigQuery
(GBQ)A
partirdelarchivo
CSV
en
GCS
reem
plazam
os
una
tabla
dentro
de
GBQ.
3
Respaldo
en
Google
Cloud
Storage
(GCS)
Subim
os
elarchivo
CSV
a
GCS
en
duplicado:
un
archivo
que
se
sobreescribe
y
otro
que
contiene
eltim
estam
p.Esto
para
tenerun
registro
histórico
de
lo
que
subim
os.
Lim
pieza
y
unificación
geoespacial
Filtrado
de
puntos
fuera
de
las
zonas
afectadas
y
proceso
de
condensación
de
necesidades
basado
en
cercanía
entre
puntos.
21
Python
+
Google
Spreadsheet+
ventana
de
tiem
po
Archivo
python
que
se
encarga
de
descargar
y
lim
piarlas
bases.Se
le
aplica
un
filtro
de
24
horas
para
no
regresarpuntos
históricos.La
salida
es
un
archivo
CSV

15. Proceso en el tiempo

16. Red de
confianza
Reportes
civiles MyMaps
19 de septiembre

17. 20 de septiembre
Formatos
externos
Reportes
civiles
Google
Sheets
Punteo y
anonimización MyMaps

18. 22 de septiembre
Descifra
Presidencia
Integración de
formato
C5
Manos a la
obra
MyMaps
Forms
Reportes
civiles
Sheets
Punteo y
anonimización

19. 23 de septiembre
Forms
Reportes
civiles Sheets
Punteo y
anonimizaciónDescifra
Presidencia
Integración de
formato
MyMaps
Proceso de Crisis Map
C5
Manos a la
obra
Grupo
Walmart

20. Código

21. ● Linux/Unix en dispositivos móviles e Internet de las cosas.
● Linux en supercomputadoras
● Cloud computing
● Hadoop y sus amigos
● Emprendimiento y nuevos modelos de negocio
Open Source/Free Software cambiaron el mundo

22. ● Hay muchas tecnologías de código abierto alrededor del movimiento.
Más importante aun, existe una comunidad de Científicos e Ingenieros de
Datos en México que consume todas estas tecnologías.
● Defendemos el uso adecuado de los análisis estadísticos y matemáticos.
● Valoramos que el conocimiento sea abierto y accesible para todas
aquellas personas que tengan la curiosidad e intención de aprender.
● Aplicar la ciencia y tecnología en momentos de crisis nos regresa el lado
humano.
Open Source/Free Software en #Verificado19s

23. ● Si hay un apocalipsis de alguna manera y el mundo puede ser salvado por
científicos de datos/ingeniero de datos/ingenieros de software, la
selección de tecnología está ponderada por la experiencia en el uso de X
tecnología que tengan.
● La mayor pérdida de tiempo en el proceso de integración fue en
debugguear aquellas herramientas que no conocíamos y tenían poca
documentación (... Crisis Maps)
○ Recibimos todo el apoyo por parte de más de un equipo de Google.
○ Si hubiéramos usado otras tecnologías propietarias… ¿?
Algunas ideas

24. MANUAL PARA MONITORES VERIFICADOS
Mapa de Crisis #Verificado19s
http://google.org/crisismap/a/gmail.com/v19s

25. Capas de datos Mapa #Verificado19s
● El Mapa de Crisis es una plataforma de Google que permite la incorporación de capas de Información para visualizarlas sobre un Mapa de Google.
● Las Capas de Información que se tienen cargadas en el Mapa de Crisis de #Verificado19s son las siguientes:
○ #Verificado 19s : Datos Verificados por nosotros con nuestro equipo en campo y son:
■ Daños últimas 24 horas: Daños reportados en las últimas 24 horas que pueden ser derrumbes, fugas etc.
■ Acopio últimas 24 horas: Centros de Acopio.
■ Albergues últimas 24 horas: Albergues reportados últimas 24 horas.
○ Datos por Verificar: Datos que recibimos vía encuestas externas y otras fuentes pendientes de validar, una vez validados pasan a la capa de #Verificado19s
○ Municipios en estado de emergencia: Señalados por gobernación.
○ Centros de acopio: Fuente proporcionada por Grupo Walmart
■ Superama
■ Walmart Supercenter
■ Sam’s Club
○ Derrumbes: Capa de información tomada de gob.mx
○ Puntos de acceso a Internet libre en CDMX
○ Reportes de necesidades actualizadas: Capa de Información proveniente de (Sismo México)
○ Ofrezco - Necesito: Ofrezco / Necesito (Manos a la obra) : Capa de información de un esfuerzo colaborativo entre el MIT, HARVARD y otros.
#Verificado19s

26. Proceso para subir información #Verificado19s
● El Mapa se nutre de la información que suben los Monitores Verificados que están en campo, ya sea en Centros de Acopio, Albergues, etc.
● La tarea de recolección de datos se realiza a través de tres formularios:
○ Para reporte de DAÑOS: bit.ly/Verificado19s_Interno
○ Para reporte de necesidades de CENTROS DE ACOPIO: bit.ly/Verificado19sCENTRO_Interno
○ Para reporte de necesidades de ALBERGUES: bit.ly/Verificado19sALBERGUE_Interno
● Si no sabes cuál formulario tienes que completar, usa por favor el de DAÑOS: bit.ly/Verificado19s_Interno
● Este relevamiento tiene que realizarse una vez por día y solamente por los Monitores Verificados. Si no se realiza una vez cada 24 horas como
mínimo, la información desaparece del mapa. Esto es a los efectos de mantener el mapa actualizado.
#Verificado19s

27. ¿Cómo usarlo? - Vista Inicial
Campo para Introducir
direcciones o sitios de
interés
Click en Capas para dirigirse
a las Capas de Información
del Mapa
Zoom-In & Zoom Out del
Mapa
#Verificado19s

28. ¿Cómo usarlo? - Capas #Verificado 19s
Haciendo click en las capas se
prenden o se apagan
#Verificado19s

29. ¿Cómo usarlo? - Detalle de puntos en el mapa
Haciendo click en un
punto del mapa se
despliega el detalle del
mismo.
Detalle del punto
seleccionado
#Verificado19s

30. ¿Cómo usarlo?
Búsqueda para visualizar en el
mapa direcciones o zonas
específicas
#Verificado19s

31. ¿Cómo usarlo? - Datos por verificar
Puntos que se han
reportado por encuestas y
que aún no se han verificado
#Verificado19s

32. ¿Cómo usarlo? - Descarga de datos
Algunos datos pueden
descargarse en formato CSV ó
KMZ
#Verificado19s