Este documento resume una presentación sobre Azure Data Factory. La presentación explorará las principales características de Azure Data Factory para la migración de datos entre la nube y localmente, así como la creación de tareas ELT. El orador, Raúl Martín Saráchaga Díaz, es un consultor de inteligencia de negocios y plataforma de datos con experiencia en integración, modelado, análisis y visualización de datos.

1. Explorando los Sabores de Azure Data Factory
09 de Agosto (12 pm GMT -5)
Raúl Martín Saráchaga Díaz
Resumen:
En esta charla se explorarán las principales características que nos brinda este
servicio de Data Factory para la migración de datos ubicados on premises o en la
nube, así como la creación de tareas ELT para la migración de datos locales.
Está por comenzar:
Moderador: Kenneth Ureña

2. Manténgase conectado a nosotros!
Visítenos en http://globalspanish.sqlpass.org
/SpanishPASSVC
lnkd.in/dtYBzev
/user/SpanishPASSVC
/SpanishPASSVC

3. 3

4. 4
Oportunidades de Voluntariado
PASS no pudiera existir sin personas apasionadas y
dedicadas de todas partes del mundo que dan de su
tiempo como voluntarios.
Se un voluntario ahora!!
Para identificar oportunidades locales visita
volunteer.sqlpass.org
Recuerda actualizar tu perfil en las secciones de
“MyVolunteering” y MyPASS para mas detalles.

5. Sigan Participando!
• Obtén tu membresía gratuita en sqlpass.org
• Linked In: http://www.sqlpass.org/linkedin
• Facebook: http://www.sqlpass.org/facebook
• Twitter: @SQLPASS
• PASS: http://www.sqlpass.org

6. Explorando los Sabores de Azure Data Factory
Agosto 9 de 2017
Raúl Martín Saráchaga Díaz
Consultor en Inteligencia de Negocios y Plataforma de Datos con experiencia en áreas de
salud y retail, donde he realizado proyectos que incluyen integración, modelado, análisis y
visualización de datos, teniendo como base fundamental la plataforma de datos de
Microsoft. Ponente habitual en eventos organizados por la comunidad del SQLPASS Lima ,
Peru Bi & Analytics Group y el Power BI User Group Lima.
Moderador: Kenneth Ureña

7. AGENDA DE HOY
7
05 IMPLEMENTAR LO APRENDIO CON AZ. DATA FACTORY
Demos colocándonos en varios escenarios de integración.
04 CARACTERÍSTICAS CLAVES DE AZURE DATA FACTORY
Por donde comenzar con este servicio en la nube
03 UNA LUZ AL FINAL DEL CAMINO CON AZ. DATA FACTORY
Como el servicio de Data Factory nos ayuda para la integración.
02 SOLUCIONES DE DW A LA NUBE , SUPER RETO
Que variantes existen cuando se lleva una solución de DW a la nube.
01 SOLUCIONES DE DW, VAYA RETO
Explorar las características de una solución de DW Tradicional
06 PREGUNTAS & RESPUESTAS
Tú preguntas… Yo respondo
Conocer cómo es que Azure Data Factory puede ayudarnos
en la integración de datos en nuestra organización.

8. 8
LES PASA A MUCHOS, LES PASA A TODOS
ESTE ESCENARIO APOCALÍPTICO DE INTEGRACIÓN NO ES EXCLUSIVO DE TU EMPRESA

9. Data Warehouse Tradicional
9
Acceso a Datos Visualización de
Datos
On-premises Data
Sources
SQL Database
XLS / XLSX / CSV /
TXT / PBIX / +
Modelo
Semántico
Metadata
Integración Almacenamiento
Data
Warehouse
Staging

10. 10
Capa de Integración
Modern BI & Analytics
Integración
Staging
▪ Esta capa de integración servirá de almacén de
los orígenes de datos.
▪ Almacenará por un determinado periodo de
tiempo los datos de las diferentes cargas.
▪ Me permitirá realizar transformación antes de ser
cargados al Data Warehouse.

11. 11
Capa de Almacenamiento
Modern BI & Analytics
Integración
Staging
▪ Esta capa de almacenamiento contendrá algunos
datos de la capa de integración.
▪ La data es transformada antes de llegar a esta
capa.
▪ Se almacenan de forma normalizada.
▪ Los datos de los distintos orígenes de datos se
encuentran centralizados.
Almacenamient
o
Data
Warehouse

12. 12
Capa de Acceso a Datos
Modern BI & Analytics
Integración
Staging
▪ En esta capa de acceso a datos se encontrarán
los repositorios desde donde los usuarios finales
se conectarán para poder analizar los datos.
▪ Esta data se encuentra des normalizada para
lograr un mejor rendimiento en tiempo de
respuesta.
▪ Se encuentra con un lenguaje natural para el
usuario final.
Acceso a Datos
Modelo
Semántico

13. 13
Capa de Metadata
Modern BI & Analytics
▪ En esta capa de metadata almacena información
sobre los procesos ejecutados al llevar datos de una
capa a otra.
▪ Se pueden realizar consultas a esta capa para
verificar si los procesos de Extracción , Carga y
Transformación finalizaron correctamente.
Metadata

14. 14
ES HORA DE LLEVAR
EL DATA WAREHOUSE A LA NUBE
VAMOS , SI SE PUEDE !!!!

15. Data Warehouse en la Nube
15
Acceso a Datos Visualización de
Datos
On-premises Data
Sources
CSV / TXT
Azure
Analysis Services
Metadata
Integración Almacenamiento
Azure SQL Data
Warehouse
Azure Data
Lake Store
Power BI
Excel
Azure SQL Data
Base
Azure
Storage
Blob

16. 16
On-premises Data
Modern BI & Analytics
▪ Se recomienda que los archivos de orígenes sean
archivos planos como .csv o .txt.
On-premises
Data Sources

17. 17
Acceso a Datos
Integración
Modern BI & Analytics
▪ Azure Data Lake Store:
▪ Almacenamiento optimizado para grandes
cargas de trabajo de análisis de datos
▪ Azure Storage Blob:
▪ Almacén de objetos de propósito general
para una amplia variedad de escenarios de
almacenamiento.
▪ Las tecnologías podría utilizarse como capas de
stage.
Integración
Azure Data
Lake Store
Azure
Storage
Blob

18. 18
Acceso a Datos
Almacenamiento
Modern BI & Analytics
▪ Azure Data Warehouse:
▪ Solución especializada para grandes
volúmenes de datos.
▪ Procesamiento MPP (Massively Parallel
Processing).
▪ Mejor tiempo de respuesta en el
procesamiento de datos.
▪ Puede encenderse o apagar el servicio para
reducción de costos.
Almacenamient
o
Azure SQL Data
Warehouse

19. 19
Acceso a Datos
Almacenamiento
Modern BI & Analytics
▪ Azure Analysis Services:
▪ Solución que tiene como base un motor
analítico de eficacia probada de Microsoft
SQL Server Analysis Services.
▪ Permite crear un modelo semántico con un
lenguaje más cercano al usuario final.
▪ Servicio especializado en la creación KPIs.
Acceso a Datos
Azure
Analysis Services

20. 20
Acceso a Datos
Almacenamiento
Modern BI & Analytics
▪ Azure SQL Database:
▪ Base de Datos transaccional de Microsoft.
▪ Permite almacenar información de los distintos
procesos que con ejecutados durante el proceso
de ELT en la solución de Data Warehouse.
Metadata
Azure SQL Data
Base

21. Integración de Data en la Nube
21
Acceso a Datos Visualización de
Datos
On-premises Data
Sources
CSV / TXT
Azure
Analysis Services
Metadata
Integración Almacenamiento
Azure SQL Data
Warehouse
Azure Data
Lake Store
Power BI
Excel
Azure SQL Data
Base
PolybaseAzure Data
Factory
Azure
Storage
Blob
Azure Data
Factory
Azure Data
Factory

22. Azure Data Factory
22
SERVICIO
AZURE
Servicio de movimiento
de datos globalmente
implementado en la nube.
Permite conectarse a orígenes
en nube y locales
ANALIZAR &
TRANSFORMAR
Programe y administre el
proceso de transformación
y análisis de datos
PUBLICAR &
CONSUMIR
Utilice canalizaciones de datos
para transformar datos
sin procesar en datos finalizados o
formados preparados para
que las aplicaciones o herramientas
de BI los consuman.

23. Relación entre Entidades de Azure Data Factory
23
PIPELINE
Una canalización es
un grupo de actividades
ACTIVITY
Definen las acciones
que se van a realizar en los datos
DATA SET
Cada actividad toma
cero o más conjuntos
de datos como entrada y
genera uno o varios conjuntos
de datos como salida
LINKED
SERVICE
Son muy similares a las cadenas de
conexión que definen
la información de conexión

24. Linked Service
Categoría Almacén de datos Se admite como origen Se admite como receptor
Las tablas de Azure Almacenamiento de blobs de Azure ✓ ✓
Azure Cosmos DB (API de DocumentDB) ✓ ✓
Almacén de Azure Data Lake ✓ ✓
Azure SQL Database ✓ ✓
Azure SQL Data Warehouse ✓ ✓
Índice de Azure Search ✓
Azure Table Storage ✓ ✓
Bases de datos Amazon Redshift ✓
DB2* ✓
MySQL* ✓
Oracle* ✓ ✓
PostgreSQL* ✓
SAP Business Warehouse* ✓
SAP HANA* ✓
SQL Server* ✓ ✓
Sybase* ✓
24

25. Activity
Actividad de transformación de datos Entorno de procesos
Hive HDInsight [Hadoop]
Pig HDInsight [Hadoop]
MapReduce HDInsight [Hadoop]
Hadoop Streaming HDInsight [Hadoop]
Spark HDInsight [Hadoop]
Actividades de Machine Learning: ejecución de Batch y recurso de
actualización
MV de Azure
Procedimiento almacenado SQL Azure, Almacenamiento de datos SQL de Azure o SQL Server
U-SQL de análisis con Data Lake Análisis con Azure Data Lake
DotNet HDInsight [Hadoop] o Lote de Azure
25

26. DEMO
26
Azure Data
Factory

27. DEMO
27
Azure Data
Factory
CSV / TXT
Azure Data
Management Gateway

28. DEMO
28
Azure Data
Factory / Activity con
Data Lake Analytics

29. 29

30. Referencias
https://docs.microsoft.com/es-es/azure/data-factory/data-factory-introduction
https://docs.microsoft.com/es-es/azure/data-factory/data-factory-use-custom-activities
https://aprendebi.wordpress.com/category/azure-data-factory/
30

31. Me puedes encontrar como :
Raúl Saráchaga
Correo : raulsarachaga@kaitsconsulting.com
Blog: aprendebi.wordpress.com
Facebook: Aprende BI
31
GRACIAS.