1.
GROUP DIGITAL 1
La estandarización y
automatización como factores
clave para el éxito de una
arquitectura data driven.

2.
GROUP DIGITAL 2
2015
2017
2018
2021
2016
2017
2020
2022
Definición Estrategia digital
global
¿Cómo contribuye la IT al
Desarrollo de negocio?
Reflexion Organizativa,
arquitectura, modelo sourcing,
gobernanza….
AGILE – DEVOPS STRATEGY
Creación Área de arquitectura
Empresarial
Primer Proyecto gestionado en
agile
Automatización y Low code
Estandarización y digitalización de
Procesos
2020 - 2022 Democratización
digitalización
CLOUD FIRST
Ventajas del cloud para el
negocio
Readyness, Landing zones,
gobernanza, roadmap
NUEVA ESTRATEGIA DE SOURCING
Outsourcing Transformacional
Eliminación modelos tradicionales
ESCALADO AGILE (SAFE)
Gestión del Portfolio,
priorización por valor,
gestion de trenes (RTE),
Cambios Organizativos IT
ORGANIZACION DATA
DRIVEN
“el Dato como element
vertebrador de la
transformación”
Tranformación función IT
Vehículo para tangibilizar la gestion
del cambio inherente a la T/D
Digital Metering Cloud
Nuevo Sistema Cloud para la
gestión de contadores
Despliegue masivo 2M
Contadores gestionados
Modernización de la función IT en AGBAR

3.
GROUP DIGITAL 3
A
Z
U
R
E
A
K
S
Firewall + WAF
VPN
A
P
I
M
a
n
a
g
e
r
A
p
p
l
i
c
a
t
i
o
n
G
a
t
e
w
a
y
W
e
b
a
p
p
s
+
f
u
n
c
t
i
o
n
s
C
I
/
C
D
T
o
o
l
s
i
o
c
k
e
t
(
R
e
m
e
d
y
)
+
J
I
R
A
+
C
o
n
f
l
u
e
n
t
M
o
n
i
t
o
r
i
n
g
+
f
i
n
o
p
s
Python +
Jupyter
Snowflake
Confluent
Trans + quality
script generator
SOP
+
ViRed
Data
Goverance
tool +
scripts
Visualization
tools
DBT
Airflow
RAW
Data
Enterprise
model
Delivery
marts
Metadata
Observability
data
Reglas de
gobierno
Configuración
Ingesta
(confluent) +
Scripts
Scripts
Trasnformació
n
DBT + Airflow
Desarrollo
Transformacion
es
ML Models
Dashboards
Componentes de la plataforma de datos
• Plataforma basada en Modern Data stack
• Adopción del modelado en Data Vault 2.0
• Automatización de las transformaciones de datos
basados en la metadata.
• Potenciación del autoservicio de datos
• La adquisición de datos en crudo sin
transformación
• Adquisición en tiempo real para todos los
sistemas
• Industrialización del sistema de ingesta

4.
GROUP DIGITAL 4
INGESTA
DQ -
VALIDACIÓN
TÉCNICA (HBR)
CONSOLIDACIÓN / MODELO
DQ - VALIDACIÓN BUSSINES
RULES
DELIVERY DE MODELOS
SELF-
SERVI
CE
Reporting
Dashboards
Self-Service
LANDING Information
Marts
(Model
Delivery)
Raw Data
Vault
(EDW)
STAGING HASHED
STAGING
Business Data
Vault
LANDING
PSA NPSA RDV BDV IM
CDC
APIs
…
DATA
SOURCES
Kafka Connector
Snowflake
( Internal Stages & Snowpipe)
KAFKA
Kafka
Connector
Gen2
corporate/operations/
ab/sitec/
produccion|transporte/
YYYY/MM/DD/MI/
*.json
05/04/22
06/04/22
corporate/operations/
sector/aquacisga
/
YYYY/MM/DD/MI
/
*.json
05/04/22
06/04/22
Stream
Stream
Stream
Stream
HBR
HBR
HBR
JERARQUÍA
TÉCNICA
TIPO
VARIABLE
TIEMPO
MEDIDAS
LINK
SA
T
SA
T
HUB
SAT LINK
PI
T
BRIDGE
COMPUTED
SAT
HBR
HUB
ORCHESTRATION
Azure Data Lake
Storage Gen2
Snowflake Snowflake Snowflake Snowflake Snowflake Snowflake
DATA OBSERVABILITY
Industrialización de la ingesta y la transformación

5.
GROUP DIGITAL 5
5
Diseño del proceso de ingesta
KAFKA CLUSTER
(ENTORNO PRODUCTIVO)
FUENTES
DE DATOS
(ENTORNOS PRODUCTIVOS)
SNOWFLAKE - LAKEHOUSE
DATABASE PERSISTENT STAGING AREA (PSA)
(ENTORNO PRODUCTIVO)
SOURCE
CONNECTOR
(ENTORNO PRODUCTIVO)
CONFLUENT
SINK CONNECTOR
(ENTORNO PRODUCTIVO)
DEBEZIUM
SQL SERVER
CDC
ORACLE CDC
PREMIUM
CONNECTOR
SNOWFLAKE
SINK KAFKA
CONNECTOR
AQUACIS-GA
SCADAS
ENTIDAD OPC SERVER
KA_OM_UNIT
ENTIDAD N
AQ_GA_ATRIBUTOS
AQ_GA_ACTIVOS
Topics Kafka (Avro)
SAP
ENTIDAD A
ENTIDAD C
ENTIDAD N
ENTIDAD B
SITEC
ENTIDAD TRANSPORTE
JERARQUIA PROD
JERARQUIA TRANSPORTE
ENTIDAD PRODUCCIÓN
IZEUS
EN_REGISTRADORES
ENTIDAD N
FE_CONTEC_LECT
FE_CONTEC_TABLA
FORM.IO
ENTIDAD A
ENTIDAD C
ENTIDAD N
ENTIDAD B
FUENTE DATOS N
ENTIDAD A
ENTIDAD C
ENTIDAD N
ENTIDAD B
HTTP
SOURCE
CONNECTOR
SCHEMA SCADAS
ENTIDAD OPC SERVER ENTIDAD OPC SERVER
SCHEMA AQUACIS-GA
KA_OM_UNIT
ENTIDAD N
AQ_GA_ATRIBUTOS
AQ_GA_ACTIVOS
KA_OM_UNIT
ENTIDAD N
AQ_GA_ATRIBUTOS
AQ_GA_ACTIVOS
SCHEMA SAP
ENTIDAD A
ENTIDAD C
ENTIDAD N
ENTIDAD B
ENTIDAD A
ENTIDAD C
ENTIDAD N
ENTIDAD B
SCHEMA SITEC
ENTIDAD TRANSPORTE
JERARQUIA PRODUCCIÓN
JERARQUIA TRANSPORTE
ENTIDAD PRODUCCIÓN
ENTIDAD TRANSPORTE
JERARQUIA PRODUCCIÓN
JERARQUIA TRANSPORTE
ENTIDAD PRODUCCIÓN
SCHEMA IZEUS
EN_REGISTRADORES
ENTIDAD N
FE_CONTEC_LECT
FE_CONTEC_TABLA
KEN_REGISTRADORES
ENTIDAD N
FE_CONTEC_LECT
FE_CONTEC_TABLA
SCHEMA FORM.IO
ENTIDAD A
ENTIDAD C
ENTIDAD N
ENTIDAD B
ENTIDAD A
ENTIDAD C
ENTIDAD N
ENTIDAD B
SCHEMA FUENTE DATOS N
ENTIDAD A
ENTIDAD C
ENTIDAD N
ENTIDAD B
ENTIDAD A
ENTIDAD C
ENTIDAD N
ENTIDAD B
Internal Stage
PIPE
Internal Stage
PIPE
Internal Stage
PIPE
Internal Stage
PIPE
Internal Stage
PIPE
Internal Stage
PIPE
Internal Stage
PIPE
Internal Stage
PIPE
Internal Stage
PIPE
Internal Stage
PIPE
Internal Stage
PIPE
Internal Stage
PIPE
Internal Stage
PIPE
Internal Stage
PIPE
Internal Stage
PIPE
Internal Stage
PIPE
Internal Stage
PIPE
Internal Stage
PIPE
Internal Stage
PIPE
Internal Stage
PIPE
Internal Stage
PIPE
Internal Stage
PIPE
Internal Stage
PIPE
Internal Stage
PIPE
Internal Stage
PIPE
MONGODB
SOURCE
CONNECTOR
OTROS
SOURCE
CONNECTOR
SAP
SOURCE
CONNECTOR
AQUACIS-GA
SCADAS
ENTIDAD OPC SERVER
KA_OM_UNIT
ENTIDAD N
AQ_GA_ATRIBUTOS
AQ_GA_ACTIVOS
Topics Kafka (Avro)
SAP
ENTIDAD A
ENTIDAD C
ENTIDAD N
ENTIDAD B
SITEC
ENTIDAD TRANSPORTE
JERARQUIA PROD
JERARQUIA TRANSPORTE
ENTIDAD PRODUCCIÓN
IZEUS
EN_REGISTRADORES
ENTIDAD N
FE_CONTEC_LECT
FE_CONTEC_TABLA
FORM.IO
ENTIDAD A
ENTIDAD C
ENTIDAD N
ENTIDAD B
FUENTE DATOS N
ENTIDAD A
ENTIDAD C
ENTIDAD N
ENTIDAD B
No
implementado
No
implementado
No
implementado

6.
GROUP DIGITAL 6
Proceso de creación de sistemas analíticos
Proceso de desarrollo sistemas analiticos
Preparación Ingesta de fuentes Creación modelos Presentación
• Identificación
fuentes de origen
• Análisis de alto nivel
procesos a
desarrollar
• Ingesta de datos fuentes
• Validación hipótesis de partida
• Desarrollo de modelos claves y tablas
de traducción
• Definición Metadata origen
• Generación transformaciones automáticas a
modelo común (EMD)
• Modelo de seguridad acceso a los datos
• Desarrollo metadata de negocio
• Desarrollo de test calidad del dato
• Desarrollo Data marts
• Desarrollo capa semántica
• Implementación catalogo de datos
(usuario final)
• Desarrollo de visualizaciones,
extracciones
• Implantación modelos ML
Inicio Ingesta Creación del modelo Global y datamarts Visualización de datos
Conocimiento
negocio
Conocimiento Infraestructura Enterprise datamodel Casos de Uso
Validación agile del
dato
Data scientist y
especialista negocio
diseña modelo
Desarrollo de
productos de
consumo de datos
Data Engineer
configura extracción
datos origen

7.
GROUP DIGITAL 7
Beneficios del uso de Confluent en la arquitectura AGBAR
1. Industrialización de la ingesta
2. Soporte al tiempo real
3. Homogenización de tecnologias y procesos
4. Soporte SaaS
5. No code / Low code
6. Reducción impacto en sistemas origenes:
• No sobrecarga en los sistemas origen
• Independiente cambios en origen
• No require cambios en los sistemas
origenes
7. Gestión de Metadata
8. Estandard de la industria
9. Gestionado con procesos CI/CD