Real-Time y Big Data: descubre el poder de tus datos

CONFERENCIA ESRI ESPAÑA 2018
24-25 DE OCTUBRE | IFEMA, MADRID
REAL-TIME Y BIG DATA:
DESCUBRE EL PODER DE TUS
DATOS
MARTA DÁVILA Y LUIS RODRÍGUEZ
ESRI ESPAÑA

Agenda
1. Introducción
2. Flujo de trabajo con Real-Time y Big Data
• Captura de información en tiempo real
• Análisis y enriquecimiento de los datos
• Seguimiento de eventos y generación de alertas
• Consulta y visualización de Big Data
• Análisis con Big Data
3. Casos de uso
4. Conclusiones

CONFERENCIA ESRI ESPAÑA 2018CONFERENCIA ESRI ESPAÑA 2018
Introducción

¿Qué es el GIS hoy?
Un sistema para gestionar, analizar y aplicar
información geográfica
…y resolver problemas
Comunicación
…mapas y visualización
Utilizar la ubicación…
…y la tecnología
Integración
Ciencia geográfica…
…y modelización
Análisis
Comprender…
Una plataforma para organizaciones…
….y para la sociedad

Integración
Información en tiempo real
• Integración de datos en tiempo real
• Flujos de datos de alta velocidad
• Monitorización y alertas
• Análisis en tiempo real
GeoEvent
Server
Datos
tiempo real
Monitorización
Análisis Alertas

Análisis GIS avanzado
Big Data
Geoprocesamiento y
Análisis Espacial
Big Data
GeoAnalytics
Exploración
Interactiva

Comunicación
Integrado en la plataforma ArcGIS
Operaciones
Trabajadores de campo
Profesionales del
GIS
Técnicos
Ejecutivos
Usuarios
Apps
Analistas
Ciudadanos

Flujo de trabajo con Real-
Time y Big Data

Real-Time y Big Data en la plataforma
ArcGIS
Enterprise
GeoEvent
Server
spatiotemporal
big data store
ingesta
actuación
GeoAnalytics
Server
análisisalmacenamiento
visualización
Entidades en tiempo
real
Stream services
Tiempo real e
histórico
Agregaciones y
entidades
Apps
Desktop
APIs

Captura de información en
tiempo real
ArcGIS GeoEvent Server

¿Qué tipos de datos hay en tiempo real?
Cosas que se mueven
aviones
barcos
vehículos
satélites
Sensores estacionarios
estaciones meteorológicas
sensores del tráfico
calidad del aire
válvulas
Cosas que ocurren “de
pronto”
crímenes
rayos
accidentes
tweets
tormentas
trenes
animales
gente

Arquitectura conceptual
GeoEvent Server
Entradas
Inputs
GeoEvent Definitions
Outputs
GeoEvent Services
ArcGIS Enterprise
Base Deployment
Salidas

Ingesta de datos
Inputs
GeoEvent Services
Inputs
Outputs
Puedes crear
tus propios
conectores de entrada
Poll an ArcGIS Server for Features
OutoftheBox
Poll an external website for GeoJSON, JSON, or XMLHTTP
Receive Features, GeoJSON, JSON, or XML on a REST endpointREST
Receive GeoJSON or JSON on a WebSocketWS
Receive RSS
Receive Text from a TCP or UDP Socket
Subscribe to an external WebSocket for GeoJSON or JSONWS
Watch a Folder for new CSV, GeoJSON, or JSON Files.csv
EsriGallery
ActiveMQ
AIS
Common Alerting Protocol
Cursor-on-Target
Exploitation Support Data
Transit Feeds (GTFS)
Instagram
Kafka
KML
MQTT
NMEA 0183
RabbitMQ
Sierra Wireless (RAP)
Trimble (TAIP)
Twitter
AIS
Amazon IoT
Azure IoT
CompassLDE
enviroCar
exactEarth AIS
FAA (ASDI)
GNIP
Networkfleet
OSIsoft
Valarm
Waze
Zonar
PartnerGallery

Captura de datos en
tiempo real
Waze

Análisis y enriquecimiento de
los datos

Análisis en tiempo real
• Un servicio de GeoEvent configura un flujo de geoeventos
• Filtros y procesos encadenados
• Entradas
• Salidas

Procesadores para analizar en tiempo real
Processors
GeoEvent Services
Inputs
Outputs
Buffer Creator
Convex Hull Creator
Difference Creator
Envelope Creator
Field Calculator
Field Enricher
Field Mapper
Geotagger
Incident Detector
Intersector
Projector
Simplifier
Symmetric Difference
Track Gap Detector
Field Reducer Union Creator
OutoftheBox
Add XYZ
EsriGallery
Bearing
Ellipse
Event Volume Control
Extent Enricher
Field Grouper
GeoNames Lookup
Range Fan
Reverse Geocoder
Service Area Creator
Symbol Lookup
Track Idle Detector
Unit Converter
Visibility
Motion Calculator Query Report
Puedes crear
tus propios
procesadores

Operadores espaciales
intersect disjoint
touches contains
crosses equals
overlaps within
inside outside
enter exit

Geofences
Sincronización
• Desde un feature service
• Importar - geofences estáticos
• Sincronizar - geofences dinámicos
• Desde un stream service
• Actualización constante – geofences dinámicos
Evento
Geometry Inside Any
RestrictedZone/.*
Evento
filtrado
GeoFences
• Category (e.g. “RestricedZone”)
o SecurityPavilion
o LoadingDock
o ObservationHanger
Importar
(una vez)
Sincronizar
(polling)
Feature Service

Seguimiento de eventos en
tiempo real

Salida de datos en tiempo real
Outputs
GeoEvent Services
Inputs
Outputs
Puedes crear
tus propios
conectores de salida
OutoftheBox
Add or Update a Feature
Publish Text to a UDP Socket
Push GeoJSON or JSON to an external WebsiteHTTP
Push GeoJSON or JSON to an external WebSocketWS
Push Text to an external TCP Socket
Send a Text Message
Send an Email
Send an Instant Messageim
Send Features to a Stream Service
Write to a CSV, GeoJSON, or JSON File.csv
Add a Feature to a spatiotemporal big data store
Update a feature in a spatiotemporal big data store
EsriGallery
Amazon IoT
Azure IoT
ActiveMQ
Cursor-on-Target
Hadoop
Kafka
MongoDB
MQTT
RabbitMQ
Twitter

Visualización y seguimiento de eventos
• Stream Layers
• Apps se suscriben para visualizar inmediatamente las observaciones
• No requiere almacenamiento, baja latencia, siempre se accede al último dato
• Map & Feature Layer
• Apps realizan peticiones periódicamente para mostrar las observaciones más recientes
• Requiere una BBDD (Enterprise GDB) o un Spatiotemporal big data store (SBDS)
• Se puede acceder al dato histórico
Stream Layer
Map Layer
Feature Layer
ArcGIS
Enterprise
Stream Service
Enviar entidades a un Stream Service subscribe (push)
polling (pull)
Map Service
Feature Service
Añadir una entidad a BDS
Actualizar una entidad en BDS
spatiotemporal
big data store
Añadir o actualizar una entidad
EGDBGeoEvent
Server Apps
Desktop
APIs

Análisis y seguimiento
de datos en tiempo real
Waze, balsa minera

Consulta y visualización de
Big Data
Spatiotemporal Big Data Store

Visualización de datos en Spatiotemporal Big Data Store
• Almacenando en Spatiotemporal Big Data Store
• Agregaciones al vuelo
• 4 tipos de índices
geohash
square
triangle
pointy
triangle
flat
hexagon
flat
hexagon
pointy

Replicación en nodos
spatiotemporal
big data store
GeoEvent
Server
GeoAnalytics
Server
node 1
node 2
node 3node 4
node 5
T1
T3
T2
T2
r = 1
T1
T3

Rebalanceado automático
spatiotemporal
big data store
node 2
node 3node 4
node 5
T1
T3
T2
T2
r = 1
x
T1
T3
T1
T1T3
GeoEvent
Server
GeoAnalytics
Server

Consulta de datos en
Spatiotemporal Big
Data Store
Waze

Análisis de Big Data
ArcGIS GeoAnalytics Server

ArcGIS GeoAnalytics Server
ArcGIS GeoAnalytics Server utiliza la potencia
de la computación distribuida para procesar y
analizar rápidamente grandes cantidades de
datos vectoriales y tabulares con componente
espacial y temporal.

¿Por qué GeoAnalytics?
Responde preguntas difíciles con grandes volúmenes de datos en minutos u horas en lugar de días o
semanas.
Análisis potentes Procesado y análisis
distribuidos
Modelo de geoinformación de
ArcGIS Enterprise

¿Qué tipos de análisis ofrece GeoAnalytics?
Aggregate Points
Build Multi-Variable Grid
Join Features
Reconstruct Tracks
Summarize Attributes
Summarize Within
Resumir datos Buscar ubicacionesAnalizar patrones
Utilizar proximidadGestionar datos
Detect Incidents
Find Similar Locations
Geocode Locations
Calculate Density
Create Space Time Cube
Find Hot Spots
Find Point Clusters
Create BuffersAppend Data
Calculate Field
Copy to Data Store
Overlay Layers

¿Cómo funciona GeoAnalytics?
Web GIS Layers
Utiliza las capas de
resultados desde
toda la plataforma
ArcGIS Data Store
Feature
Services
ArcGIS
Relational
Data Store
ArcGIS
Spatiotemporal
Big Data Store
Big Data
File Share
Portal for ArcGIS
GeoAnalytics
Server

¿Con qué datos trabaja GeoAnalytics?
• Entrada
• Datos GIS
• Capas que ya estén en tu Web GIS
• Fuentes de datos big data: big data file shares
• Fuentes soportadas
• Ficheros compartidos
• HDFS
• Hive
• Cloud Stores
• AWS S3
• Microsoft Azure Blob container/Data Lake
• Formato ficheros
• Delimited files (.csv, .tsv, .txt)
• Shapefiles
• Parquet files
• ORC files
• Salida
• Hosted feature layer
• Por defecto, los datos de los resultados se
almacenan en Spatiotemporal Big Data Store
• Fichero local NetCDF (Create Space Time Cube)
feature tabular real-time

¿Cómo interactúo con las herramientas de GeoAnalytics?
ArcGIS Pro

ArcGIS Pro
Visor de mapa de
ArcGIS Enterprise

ArcGIS Pro
Visor de mapa de
ArcGIS Enterprise
ArcGIS API for Python

ArcGIS Pro
Visor de mapa de
ArcGIS Enterprise
ArcGIS API for Python
ArcGIS REST API

Análisis de datos
históricos
Waze, BiciMAD

Casos de uso reales

EMT Madrid
• Inputs: Colas RabbitMQ
• Outputs: Ultima posición e histórico de
posiciones
• Consumo de los datos: GeoAnalytics,
Cuadros de mando e Insights

SASEMAR (Salvamento Marítimo)
• Inputs: Tráfico marítimo AIS,
WebService de INAER y
WebServices SASEMAR
• Análisis en tiempo real
• Outputs: Ultima posición e
histórico de posiciones
• Consumo de los datos:
Cuadros de mando y
aplicaciones Web
desarrolladas con Web
AppBuilder

Conclusiones

Flujo de trabajo con Real-Time y Big Data
Spatiotemporal
Big Data Store
GeoAnalytics Server
IoT GeoEvent Server Big
Data
System of Insight
Visualización

SESIÓN SALA HORARIO
Otras ponencias relacionadas
Integrando BIM y GIS en la gestión de
ciudades inteligentes
Selecciona la app correcta para los
trabajos en campo de tu organización:
ArcGIS Apps
• Sala 106
• Sala 105
• 12:30 – 13:30
• 12:30 – 13:30

Real-Time y Big Data: descubre el poder de tus datos

Recommended

Recommended

More Related Content

What's hot

What's hot (10)

Similar to Real-Time y Big Data: descubre el poder de tus datos

Similar to Real-Time y Big Data: descubre el poder de tus datos (20)

More from Esri España

More from Esri España (20)

Recently uploaded

Recently uploaded (20)

Real-Time y Big Data: descubre el poder de tus datos