2. Presentación corporativa BEEVA 2014 2
Segmentación y analítica avanzada
Conocimiento íntegro multivariable
Predicción y prescripción
Venta mejorada digitalmente
Marketing predictivo y comportamientos
Reducción procesos cliente
Customer centric
Multicanalidad
Autoservicio
Mejora del rendimiento
Nuevas carácterísticas y funciones
Trabajar en cualquier momento y lugar
Comunicaciones ágiles y rápidas
Expertos y comunidades de KM
Trasnsparencia
Unificación
Decisiones Data-driven
Aumento del producto/servicios
Integración mundo físico y virtual
Digital wrappers
Productos digitales
Economía colaborativa
Negocios basados en datos y servicios
Integración digital corporativa
Toma de decisiones distribuida
Servicios digitales distribuidos
Integración Negocio & IT
Desarrollo de soluciones integrales
Unificación de procesos y datos
Capacidades analíticas
4. Presentación corporativa BEEVA 2014 4
Fuentes de datos internas, limitadas y ya estructuradas
Necesidad de estructurar los datos antes de ser analizados
La mayoría de la analítica es descriptiva o reporting
Alto coste
La preparación de datos para modelos analíticos es un proceso pesado
Analistas separados de los responsables y decisiones de negocio
Time-to-market
lento
Vendor lock-in
Bajo
rendimiento
Cuellos de
botella en ETL
5. Presentación corporativa BEEVA 2014 5
Acceso total a la información: “High resolution view”
Infraestructura flexible. Costes racionalizados
Usuarios expertos en Negocio, no tecnología
Perfiles analíticos avanzados. Data Scientist
Dar respuesta al Negocio, sin limitar la visión de negocio
7. Presentación corporativa BEEVA 2014 7
Esta analítica avanzada solo puede desarrollarse sobre una plataforma que permita
disponer de la información como un nuevo activo REAL de la empresa
► Ingesta de
nuevas fuentes
► Escalabilidad
► Concurrencia
► Disponibilidad
► Seguridad
► Operativa
► Data Cleaning
► Potencia de
procesamiento:
Hadoop
► ELT
► Potenciador de
Nuevos Servicios
y modelos de
negocio
► Herramientas
analíticas,
interactivas
10. Presentación corporativa BEEVA 2014 10
► Filesystem distrubuido (HDFS) + framework de programación (MapReduce)
► Paralelización automática de la ejecución en clústeres de servidores
► Aísla al programador de la definición de la paralelización; es tolerante a fallos
► Sin esquema de BBDD: no hay separación de código y estructura de datos
► Herramientas de alto nivel sobre MapReduce:
Hadoop en AWS
► El filesystem distribuido reside en S3: abstrae más aún de la configuración de infraestructura
► Los programas MapReduce se cargan y ejecutan en un servicio de AWS: Elastic MapReduce Amazon
EMR
S3
Hadoop como herramienta que facilita el ELT
Pseudo SQL
Sripting para
tratamiento de
datos
11. Presentación corporativa BEEVA 2014 11
► NoSQL: “not only SQL”.
► Sin esquema prefijado (schema-less); sin relación preestablecida
► No existe un estándar en cuanto a estructura o lenguaje de consultas (cuando se permite).
Clave-valor
Cada fila puede tener distinta
configuración de columnas
Columnares
Documentales
Familias principales de bases de datos NoSQL
Grafos
Las filas se indexan con una clave
Los datos son una colección de
documentos
Representan relaciones
Casos de uso Ejemplos
Analítica: queries,
reports, dashboards
APIs; alto rendimiento
Índices para
geolocalización
Sets de objetos
relacionados (RR SS)
Amazon
Redshift
DynamoDB
12. Presentación corporativa BEEVA 2014 12
Explotación
• Entorno para la analítica y construcción de
servicios de terceros
Carga incremental
Capa de Servicio: Data Warehouse
Real Time Streaming
Capa de Velocidad
Capa Batch sobre Hadoop: carga y persistencia
Explotación y
visualización
Desarrollo de
aplicaciones
Integración de
datos
Aplicaciones & Analítica
BI /
Reporting
Visualización /
Exploración
App Funcional /
Sectorial
Análisis
Predictivo
Análisis
Semántico
Integración
• Conectores con herramientas de BI, con
aplicativos y APIs para servicios de datos
Core de la plataforma
• Arquitectura en 3 capas: total escalabilidad
• Cada capa ofrece distintos niveles de
agregación de información y de latencia
Ingesta de datos
• Posibilidad de carga batch o por streaming
13. Presentación corporativa BEEVA 2014 13
CargaincrementalRealTimeStreaming
Amazon
Redshift
DynamoDB
Amazon
EMR
S3
• Capa de velocidad
• Data Warehouse
• Capa batch
De ETL a Cloud ELT
14. Presentación corporativa BEEVA 2014 14
Extracción y carga de archivosETL
CRM Legacy Supply
Chain
ERP SW de
3ºs
Social
Media
Webs Logs Texto Sensores
BI Tools Developer Tools
Power User Business User Desarrollador Data Scientist
Datos tratados
Data Warehouse
RDBMS Capa de Servicio
Vistas de negocio
Hadoop
Plataforma BEEVA
Business User
BI Tools
15. Presentación corporativa BEEVA 2014 15
ELT
Plataforma
Big Data
EMR Data Pipeline
AWS S3
Extrac,CargayProcesam
SW de
3ºs
ERP
Supply
Chain
Legacy
Meta Datos
Data Mart 1…N
ETL
Fuentes ODS Business Warehouse Explotación
Plataforma BI
Estándard
BI / Data Analysts
End users
Regulatorio
Otros Sistemas…
Salidas
CRM
ETL
MdN
Data Warehouse
RDBMS
ETLCarga
16. Presentación corporativa BEEVA 2014 16
ELT
Plataforma
Big Data
EMR Data Pipeline
AWS S3
Extrac,CargayProcesam
SW de
3ºs
ERP
Supply
Chain
Legacy
Meta Datos
Data Mart 1…N
ETL
Fuentes ODS Business Warehouse Explotación
Plataforma BI
Estándard
BI / Data Analysts
End users
Regulatorio
Otros Sistemas…
Salidas
CRM
ETL
MdN
Data Warehouse
RDBMS
ETL
Amazon Redshift
DynamoDB
17. Presentación corporativa BEEVA 2014 17
ELT
Plataforma
Big Data
EMR Data Pipeline
AWS S3
Extrac,CargayProcesam
SW de
3ºs
ERP
Supply
Chain
Legacy
Meta Datos
Data Mart 1…N
ETL
Fuentes ODS Business Warehouse Explotación
Plataforma BI
Estándard
BI / Data Analysts
End users
Regulatorio
Otros Sistemas…
Salidas
CRM
ETL
MdN
Data Warehouse
RDBMS
ETL
Amazon Redshift
DynamoDB
BI / Data
Analysts
End users
APIsDesarrollador
Procesos…
Sensores
Logs
Webs
Social
Media
18. Presentación corporativa BEEVA 2014 18
ELT
Transformación - Agregación
Data Collection
Levantamiento – Ingesta(real time) - Limpieza
APIs
Visualización
Analítica
APIs
Api Manager
APIs
Aplicación Aplicación Aplicación Aplicación
Back-End
Capa de Almacenamiento
ODS
Staging Area
Transaccionales
API’s de Datos
19. Presentación corporativa BEEVA 2014 19
Analítica de nueva generación y Big Data
aplicados a los sistemas informacionales