SlideShare uses cookies to improve functionality and performance, and to provide you with relevant advertising. If you continue browsing the site, you agree to the use of cookies on this website. See our User Agreement and Privacy Policy.
SlideShare uses cookies to improve functionality and performance, and to provide you with relevant advertising. If you continue browsing the site, you agree to the use of cookies on this website. See our Privacy Policy and User Agreement for details.
Successfully reported this slideshow.
Activate your 14 day free trial to unlock unlimited reading.
En lugar de aprovisionar grandes recursos para tu DW, Azure ofrece una versión especial de SQL Server como DataWarehouse. Si está familiarizado con el appliance APS, SQLDW en Azure viene a ser su versión como servicio. Usted crea su DW desde el portal de Azure y ya puede empezar a cargar datos y explotarlos. En esta sesión veremos cómo habilitar el servicio y cómo empezar a explotar SQLDW como tu DW en la nube.
Technical Leader at @SolidQ and Microsoft Data Platform MVP
En lugar de aprovisionar grandes recursos para tu DW, Azure ofrece una versión especial de SQL Server como DataWarehouse. Si está familiarizado con el appliance APS, SQLDW en Azure viene a ser su versión como servicio. Usted crea su DW desde el portal de Azure y ya puede empezar a cargar datos y explotarlos. En esta sesión veremos cómo habilitar el servicio y cómo empezar a explotar SQLDW como tu DW en la nube.
5.
#TechSum
Microsoft SQL Server
Entorno escalable SMP y
NUMA en cualquier
hardware
OnPremise y Azure IaaS
Ideal para datamarts desde
pequeños a “medianos”
Solo software
10s de TB
Microsoft Analytics
Platform System (APS)
Appliance para entornos
datawarehouse de alto
rendimiento MPP
Solo OnPremise
Ideal para alto rendimiento
y alta escalabilidad de DW
Applicance (SW y HW)
10s de TB – 6 PB (PDW)
24TB – 1.2 PB (Hadoop)
Microsoft Azure SQL
Data Warehouse
(SQLDW)
Cloud data warehouse para
entornosd de alto
rendimiento MPP
Solo cloud
Ideal para alto
rendimiento, alta
escalabilidad en cloud
Solución completa PaaS
10s de TB – PBs
30.
#TechSum
BCP
SSIS
Polybase
PolyBase BCP SQLBulkCopy/ADF SSIS
Load Rate
Rate increase as you increase DWU Yes No No No
Rate increase as you add concurrent load No Yes Yes Yes
FASTEST============>>>>>>>>>>SLOWEST
Pero si que se incrementa en
Polybase cuando tenemos muchos
ficheros por carpeta
34.
#TechSum
NOTA: Todos los tipos de datos tienen workaround, la mayoría
valen con varbinary(8000)
35.
#TechSum
ANSI joins on updates
ANSI joins on deletes
merge statement
cursors
SELECT..INTO
INSERT..EXEC
common table expressions
recursive common table
expressions (CTE)
• $partition function
• table variables
• table value parameters
• distributed transactions
• commit / rollback work
• save transaction
• execution contexts (EXECUTE AS)
• group by clause with rollup / cube /
grouping sets options
• nesting levels beyond 8
• updating through views
• use of select for variable assignment
• no MAX data type for dynamic SQL
strings
36.
#TechSum
• E
• T
• L
ETL SERVER
DATA
WAREHOUSE
SERVER
EXTRACT
TRANSFORM
LOAD
ELT SERVER
DATA
WAREHOUSE
SERVER
EXTRACT
TRANSFORM
LOAD
ELTETL
IN-MEMORY
TRANSFORMS
FEWER CPUS
IN-DB
MORE CPUS
GOOD SORT
39.
#TechSum
Pruebas y
mediciones
• Empezar en
400DTW
• Probar con
1000DTW
Cambio
ETL a ELT
• Fuera SSIS
• PowerBI/Reporting
Patron de
subida
• Marcas de cambios
• OnPrem a SQLDW
Carga de
datos
• Ajustes del modelo
40.
#TechSum
Exportar datos a
CSV
• SSIS
• Automatizacion
• BIML
Subir CSVs a Azure
Storage
• AzCopy
• PowerShell
Cargar CSVs en
SQLDW
• Create Table
from Select As…
• Automatizacion
• t4dacfx2tsql
45.
#TechSum
Diseña pensando en distribucion de datos
Crea estadísticas tras CREATE TABLE
Actualiza estadísticas tras carga de datos
Particiona tus objetos
Comienza por DTW 300
46.
#TechSum
Utiliza BIML
Carga mediante
Polybase
Crea tus objetos
mediante T4
Separador
complejo $|x
47.
#TechSum
Dinero
• No es un problema
• Prefiero parar y arrancar
BI
• Si no tengo solución BI
• O no quiero invertir más y quiero la via del hierro
Tiempo
• Hay mucho dato y necesito saltarme transformacion
• Ocasionalmente pido información que necesito
rapido