SlideShare a Scribd company logo
1 of 80
José Redondo
Microsoft SQL Server MVP | CEO EntornoDB | DPA SolidQ
redondoj@gmail.com | @redondoj | redondoj.wordpress.com
Introducción a
Microsoft Azure
SQL Data Warehouse
Expositor
• CEO de EntornoDB, USA
• Arquitecto de Datos – Especialista en Inteligencia de Negocio, Análisis de Datos y Big Data
• Desarrollador de aplicaciones de Escritorio, Web y Bases de Datos en .NET y Java
• Desarrollador y DBA en plataformas de datos Microsoft, SyBase, IBM y Oracle
• Conferencista en eventos tecnológicos de Microsoft y PASS en Latinoamérica y Estados Unidos
• SQL Server MCP - MSTS – MTA
• DPA SolidQ
• Contributing Technical Reviewer Packt Publishing
• Microsoft SQL Server MVP
Introducción a Microsoft Azure
SQL Data Warehouse
• Análisis: La Tradicional "Bodega de datos" y La Moderna "Bodega de datos"
• Arquitectura: Microsoft APS (Analytics Platform System)
• Hadoop & PolyBase
• Performance y Escalabilidad
• Beneficios
• Resumen
• Preguntas y Respuestas
Agenda
Análisis:
La Tradicional "Bodega de datos“ y
La Moderna "Bodega de datos"
Microsoft & Bodega de Datos
Parallel
Data Warehouse
v1
Data Allegro en Windows y SQL.
Primera aplicación de DW por
MSFT en colaboración con Dell
y HP
Microsoft Adquiere
Data Allegro
Empresas han consultado la
forma mas eficiente de llevar
MPP (Massively Parallel
Processing) al entorno de SQL
Server
Lanzamiento de
Fast Track
Data Warehouse
Arquitectura de referencia DW
basadas en las mejores
prácticas SMP DW (Symmetric
Multi-Processing Data
Warehousing) ofrecidas con los
principales socios de H/W
2008 2010 2011
Microsoft & Bodega de Datos
Azure SQL
Data Warehouse
Service
Introducción del servicio de
Azure SQL Data Warehouse
basado en las capacidades MPP
(Massively Parallel Processing)
de APS (Analytics Platform
System)
Parallel
Data Warehouse
v2
Producto rediseñado ofreciendo
nuevos factores de forma y una
mejor relación
Precio/Rendimiento.
Analytics Platform
System
(APS)
Introducción de Hadoop a la
región dentro de la aplicación y
nuevo nombramiento para
reflejar las más amplias
capacidades de Big Data
2013 2014 2015
APS y SQL DW: Estrategia Hibrida
APS (On-Premises)
APS y SQL DW: Estrategia Hibrida
La Tradicional Bodega de Datos
Orígenes de Datos
Incrementando el
volumen de datos
1
Datos No Relacionales
Nuevos orígenes
y tipos de datos
2
La tradicional Bodega de Datos
Datos originados
desde la nube
3
La tradicional Bodega de Datos
Consumidores
de datos
44
El Moderno Almacén de Datos

Orígenes de Datos Datos No Relacionales
Paralelismo
• Utiliza muchos CPU's separados en paralelo para ejecutar un solo programa
• Nada Compartido: Cada CPU tiene su propia memoria y disco (Scale-Out)
• Los Segmentos se comunican a través de la red de alta velocidad entre
Nodos
MPP -
Procesamiento en
Paralelo Masivo
• Múltiples CPU's solía completar distintos procesos simultáneamente
• Todas las CPU comparten la misma memoria, los discos y los controladores de
red (Scale-Up)
• Todas las implementaciones de SQL Server hasta ahora han sido SMP
• Sobre todo, la solución se encuentra en un SAN compartido
SMP -
Multiprocesamiento
Simétrico
Arquitectura:
Microsoft APS
(Analytics Platform System)
Arquitectura lógica
Nodo “Control”
SQL
DMS
Nodo “Control” – La “Razón de Ser”
de SQL Data Warehouse
• También funciona con Azure SQL
Server DB
• Mantiene una copia del "Interprete
de comando o Shell" de cada base
de datos
• Metadatos, Estadísticas, etc.
• El "Rostro Público" de la Aplicación
Arquitectura lógica
Nodo “Compute”
Almacenamiento
BalanceadoSQL
DMS
Nodo “Compute”
Almacenamiento
BalanceadoSQL
DMS
Nodo “Compute”
Almacenamiento
BalanceadoSQL
DMS
Nodo “Compute”
Almacenamiento
BalanceadoSQL
DMS
Nodo de Computo - La "Abeja
Obrera" de SQL Data Warehouse
• Ejecuta Azure SQL Server DB
• Contiene una “Parte o Slice" de
cada base de datos
• CPU está saturado por el
almacenamiento
Arquitectura lógica
Data Movement Services (DMS)
• Parte del "Condimento secreto" de
SQL Data Warehouse
• Mueve los datos alrededor de su
contexto según sea necesario
• Permite operaciones paralelas entre
los nodos de cómputo (Consultas,
cargas, etc.)
Nodo “Compute”
Almacenamiento
BalanceadoSQL
Nodo “Compute”
Almacenamiento
BalanceadoSQL
Nodo “Compute”
Almacenamiento
BalanceadoSQL
DMS
Nodo “Compute”
Almacenamiento
BalanceadoSQL
DMS
DMS
DMS
Arquitectura lógica
Nodo “Compute”
Almacenamiento
Balanceado
SQL
Nodo “Control”
SQL
Nodo “Compute”
Almacenamiento
Balanceado
SQL
Nodo “Compute”
Almacenamiento
Balanceado
SQL
Nodo “Compute”
Almacenamiento
Balanceado
SQL
DMS
DMS
DMS
DMS
DMS
Opciones de la capa de datos
Nodo “Compute”
Almacenamiento
BalanceadoSQL
Almacenamiento
Balanceado
Nodo “Compute”
SQL
Nodo “Compute”
SQL
Nodo “Compute”
SQL
DMS
DMS
DMS
DMS
Time Dim
Date Dim ID
Calendar Year
Calendar Qtr
Calendar Mo
Calendar Day
Store Dim
Store Dim ID
Store Name
Store Mgr
Store Size
Product Dim
Prod Dim ID
Prod Category
Prod Sub Cat
Prod Desc
Customer Dim
Cust Dim ID
Cust Name
Cust Addr
Cust Phone
Cust Email
Sales Fact
Date Dim ID
Store Dim ID
Prod Dim ID
Cust Dim ID
Qty Sold
Dollars Sold
T
D
P
D
S
D
C
D
T
D
S
D
T
D
P
D
S
D
C
D
T
D
S
D
SalesFact
Replicado
Tabla copiada a cada "Nodo Compute"
Distribuido
Publicación de la Tabla a través de los nodos de cómputo basado en el "Hash"
Esquema Estrella
Almacenamiento
Balanceado
Almacenamiento
Balanceado
P
D
C
D
P
D
C
D
Distribución de los datos
FactSales_
A
FactSales_
B
FactSales_
C
FactSales_
D
FactSales_
E
FactSales_
F
FactSales_
G
FactSales_
H
FactSales_
A
FactSales_
B
FactSales_
C
FactSales_
D
FactSales_
E
FactSales_
F
FactSales_
G
FactSales_
H
FactSales_
A
FactSales_
B
FactSales_
C
FactSales_
D
FactSales_
E
FactSales_
F
FactSales_
G
FactSales_
H
FactSales_
A
FactSales_
B
FactSales_
C
FactSales_
D
FactSales_
E
FactSales_
F
FactSales_
G
FactSales_
H
FactSales_
A
FactSales_
B
FactSales_
C
FactSales_
D
FactSales_
E
FactSales_
F
FactSales_
G
FactSales_
H
FactSales_
A
FactSales_
B
FactSales_
C
FactSales_
D
FactSales_
E
FactSales_
F
FactSales_
G
FactSales_
H
FactSales_
A
FactSales_
B
FactSales_
C
FactSales_
D
FactSales_
E
FactSales_
F
FactSales_
G
FactSales_
H
FactSales_
A
FactSales_
B
FactSales_
C
FactSales_
D
FactSales_
E
FactSales_
F
FactSales_
G
FactSales_
H
FactSales_
A
FactSales_
B
FactSales_
C
FactSales_
D
FactSales_
E
FactSales_
F
FactSales_
G
FactSales_
H
FactSales_
A
FactSales_
B
FactSales_
C
FactSales_
D
FactSales_
E
FactSales_
F
FactSales_
G
FactSales_
H
FactSales_
A
FactSales_
B
FactSales_
C
FactSales_
D
FactSales_
E
FactSales_
F
FactSales_
G
FactSales_
H
FactSales_
A
FactSales_
B
FactSales_
C
FactSales_
D
FactSales_
E
FactSales_
F
FactSales_
G
FactSales_
H
FactSales_
A
FactSales_
B
FactSales_
C
FactSales_
D
FactSales_
E
FactSales_
F
FactSales_
G
FactSales_
H
FactSales_
A
FactSales_
B
FactSales_
C
FactSales_
D
FactSales_
E
FactSales_
F
FactSales_
G
FactSales_
H
FactSales_
A
FactSales_
B
FactSales_
C
FactSales_
D
FactSales_
E
FactSales_
F
FactSales_
G
FactSales_
H
FactSales_
A
FactSales_
B
FactSales_
C
FactSales_
D
FactSales_
E
FactSales_
F
FactSales_
G
FactSales_
H
FactSales_
A
FactSales_
B
FactSales_
C
FactSales_
D
FactSales_
E
FactSales_
F
FactSales_
G
FactSales_
H
FactSales_
A
FactSales_
B
FactSales_
C
FactSales_
D
FactSales_
E
FactSales_
F
FactSales_
G
FactSales_
H
Nodo Control
…Nodo Compute 1 Nodo Compute 2 Nodo Compute X
Envia Create Table SQL a cada “Nodo Compute”
Create Table FactSales_A
Create Table FactSales_B
Create Table FactSales_C
……
Create Table FactSales_H
FactSalesA
FactSalesB
FactSalesC
FactSalesD
FactSalesE
FactSalesF
FactSalesG
FactSalesH
FactSalesA
FactSalesB
FactSalesC
FactSalesD
FactSalesE
FactSalesF
FactSalesG
FactSalesH
FactSalesA
FactSalesB
FactSalesC
FactSalesD
FactSalesE
FactSalesF
FactSalesG
FactSalesH
La metadata del Create
Table en el Nodo Control
CREATE TABLE FactSales
(
ProductKey INT NOT NULL ,
OrderDateKey INT NOT NULL ,
DueDateKey INT NOT NULL ,
ShipDateKey INT NOT NULL ,
ResellerKey INT NOT NULL ,
EmployeeKey INT NOT NULL ,
PromotionKey INT NOT NULL ,
CurrencyKey INT NOT NULL ,
SalesTerritoryKey INT NOT NULL ,
SalesOrderNumber VARCHAR(20) NOT NULL,
) WITH
(
DISTRIBUTION = HASH(ProductKey),
CLUSTERED INDEX(OrderDateKey) ,
PARTITION
(OrderDateKey RANGE RIGHT FOR VALUES
( 19950601,
19950901,
) ) );
APS
Balanceo equilibrado
de carga entre
servidores
Tablas mas grandes 600,000,000,000
Distribuidos aleatoriamente entre 40 nodos de cómputo (5 racks) 15,000,000,000
En cada servidor aleatoriamente distribuido en 8 tablas (Por consiguiente
hasta 320 tablas en total)
1,875,000,000
Cada partición = 2 años de datos particionados por semana (Beneficiando
todas las consultas por fecha)
18,028,846
APS
Balanceo equilibrado de carga entre servidores
Como un usuario final o un DBA que piensa en 1 tabla.
Ejemplo: LineItem.
“SELECT * FROM LineItem” está dividido en 320
consultas en paralelo contra 320 (1.875 billones de
registros) tablas.
“SELECT * FROM LineItem WHERE OrderDate =
‘1/1/2012’" son 320 consultas en 320 (18 millones de
registros) tablas.
Es totalmente irrelevante el saber que en realidad existan
320 tablas que representan 1 tabla lógica.
CCI (Clustered Columnstore Index) puede agregar mayor
rendimiento mediante la eliminación del segmento.
Introduciendo el Servicio Azure SQL DW
Un almacén de datos relacionales "as-a-service",
totalmente gestionado por Microsoft.
La primera empresa con servicios flexible de
almacenamiento de datos en la nube con
capacidades de nivel empresarial.
Soporte a su más pequeñas necesidades de
almacenamiento de datos más grandes durante la
gestión de consultas hasta 100 veces más rápido.
Introduciendo el Servicio Azure SQL DW
Desplegar rápidamente y obtener una visión
Ship Disks
Azure Storage
HDInsight
Herramientas
de migración
Todos los Tipos de
Datos Analíticos con
Power BI + ML
Flexibilidad en tiempo real
• Produzca alternativas de grandes cargas
de trabajo, generando períodos bajos de
actividad diaria.
• Obtenga tiempo de visualizar
requerimientos basado en lo que usted
necesita, cuando usted lo necesita.
• Elija el combo de cálculo y
almacenamiento de información que
satisfaga sus necesidades.
Flexibilidad en tiempo real
Cuando está en Pausa, Pague sólo por
Almacenamiento
Utilícelo sólo cuando lo necesite, sin recargar o
restaurar datos
Ahorre costos con paradas dinámicas y reinicios inmediatos
• Cuando está en pausa, el almacenamiento en la nube a
gran escala es de costo mínimo.
• Basado en políticas (Es decir, noches y fines de semana)
• Automatice mediante PowerShell & REST API
• Los datos permanecen en su lugar
SQL DW:
Desarrollado sobre SQL DB Foundation
Flexible
Escalabilidad a Petabytes
Optimizado para DW
99.99% de tiempo de actividad SLA*
Geo-Restauración
Cumplimiento de normas en Azure
(ISO, HIPAA, EU, etc.)
Verdadera Experiencia SQL Server
Magnificas herramientas de trabajo
SQL DW
SQL DB
Niveles de servicio
* Service Level Agreement - Acuerdo de nivel de servicio
Unidad de Almacenamiento de Datos (DWU)
Basta con adquirir el rendimiento que se necesitan en las consultas, no solo de
hardware
Cuantificados mediante objetivos de volumen de trabajo: cómo rápidamente las
filas de registros son escaneadas, cargadas, copiadas, etc.
Medidas de Poder
Transparencia
Primer servicio de DW para ofrecer potencia de cálculo bajo demanda,
independientemente de almacenamiento a requerir.
Bajo Demanda
Unidad de Almacenamiento de Datos (DWU)
*
100 DWU = 297 seg
400 DWU = 74 seg
800 DWU = 37 seg
1,600 DWU = 19 seg
*
Velocidad de Lectura 3.36M reg/seg
Tasa de Carga 130K reg/seg
Table Copy Rate 350K reg/seg
*
Hadoop & PolyBase
Qué es Hadoop?
34
Core Services
OPERATIONAL
SERVICES
DATA
SERVICES
HDFS
SQOOP
FLUME
NFS
LOAD &
EXTRACT
WebHDFS
OOZIE
AMBARI
YARN
MAP
REDUCE
HIVE &
HCATALOG
PIG
HBASEFALCON
Hadoop Cluster
compute
&
storage . . .
. . .
. .
compute
&
storage
.
.
Hadoop Clusters proporcionan
almacenamiento de
escalabilidad horizontal y
procesamiento de datos
distribuido en el hardware en
cada uno de los servicios
básicos
.
.
.
Qué es Hadoop?
 Distribuido, Sistema Escalable en
componentes de Hardware
 Compuesto de unas pocas partes:
 HDFS – Sistema Distribuido de
Archivos
 MapReduce – Modelo de
Programación
 Otras herramientas: Hive, Pig, SQOOP,
HCatalog, HBase, Flume, Mahout,
YARN, Tez, Spark, Stinger, Oozie,
ZooKeeper, Flume, Storm
Qué es Hadoop?
 Los principales actores son
Hortonworks, Cloudera, MapR
 ADVERTENCIA: Hadoop es ideal
para el procesamiento de grandes
volúmenes de datos PERO es
insuficiente para el análisis de los
datos en tiempo real (Las
empresas hacen análisis de lotes
en su lugar)
Consulta de datos no estructurados mediante
Polybase/T-SQL
Instancia SQL DW
Escalabilidad de computo
Hadoop VMs /
Azure StoragePolyBase
Consulta de datos no estructurados mediante
Polybase/T-SQL
• Permite capacidades de consultar a través
de distribuciones de Hadoop comunes
(HDP y Cloudera) y formatos de archivo de
Hadoop en Azure Storage.
• Permite el aprovechamiento de las
habilidades de SQL existentes y
herramientas de BI
• Soporta múltiples formatos de archivo no
relacionales
• Mejora el ciclo de conocimiento y
conceptualización de ideas y generación
de ETL simplificado
Polybase para consultar y administrar datos no relacionales de Hadoop y datos relacionales
Consultar datos Hadoop con T-SQL
utilizando PolyBase
Reunir a todos los paradigmas de
almacenamiento o Big Data y a los
repositorios de datos en conjunto para
los usuarios finales e IT
Select… Result set
SQL DW
Cloudera CHD Linux 4.6
Hortonworks HDP 2.1
(Windows, Linux)
Windows Azure
HDInsight (HDP 2.1)
(HDFS)
PolyBase
SQL DW
Otros (SQL Server, DB2,
Oracle)?
Verdaderos motores de
consultas federadas
Windows Azure Storage-Blob
(WASB)
Consultar datos Hadoop con T-SQL utilizando
PolyBase
Reunir a todos los paradigmas de almacenamiento o Big Data y a los repositorios de datos
en conjunto para los usuarios finales e IT
• Proporciona un modelo único de consulta T-SQL
("Capa semántica") para APS y Hadoop con ricas
características de T-SQL, incluyendo uniones sin
ETL
• Utiliza el poder del MPP para mejorar el
rendimiento de ejecución de consultas
• Compatible con Windows Azure HDInsight para
habilitar nuevos escenarios de nube híbrida
• Proporciona la capacidad de consulta de las
distribuciones de Hadoop no Microsoft, como
Hortonworks y Cloudera
• Usar habilidades SQL existente, sin intervención
de personal IT
Use cases where PolyBase
simplifies using Hadoop data
Bringing islands of Hadoop data together
High performance queries against Hadoop data
(Predicate pushdown)
Archiving data warehouse data to Hadoop (move)
(Hadoop as cold storage)
Los casos de uso donde
PolyBase simplifica los datos
utilizando Hadoop
Recopilar todos los escollos de datos Hadoop
Exportación datos relacionales a Hadoop (Copia)
(Hadoop como Copia de seguridad,
Análisis, Uso On-Premise)
Importación de datos Hadoop dentro del data warehouse
(Copia)
(Hadoop como área Staging, Sandbox,
Data Lake)
Comprendiendo Big Data para cualquier
persona
Integración nativa de Microsoft BI para crear nuevos competencias con herramientas
conocidas
Herramientas
como Power BI
reduce al mínimo
la intervención
para descubrir
datos
T-SQL para DBA
y Usuarios para
unirse a datos
relacionales y
Hadoop
Herramientas
Hadoop como
Map-Reduce,
Hive y Pig para
Data Scientists
Aprovecha alta
adopción de
Excel, Power
View, Power Pivot
y SSSA
Usuarios Finales
Data Scientist
Todo el mundo utilizando
herramientas de Microsoft BI
Comprendiendo Big Data para cualquier
persona
Integración nativa de Microsoft BI para crear nuevos competencias con herramientas
conocidas
Tecnologías de escalabilidad en SQL Data Warehouse
 Procesamiento Paralelo Masivo (MPP)
paraleliza las consultas (No basada en la
capacidad impulsada por velocidad)
 Múltiples nodos con CPU dedicada,
memoria, almacenamiento "No
compartido"
 Añade incrementalmente Hardware para
la escala casi lineal al multi-PB (No es
necesario eliminar los datos más
antiguos entre otros)
 Maneja escalablemente la complejidad
de las consultas y las concurrencia a las
mismas
 No "Forklift" del almacén antes
de aumentar la capacidad
 Comenzar con unos almacenes
de tamaño de Terabyte
 Soporte mixto para la carga de
trabajo: Consulta mientras se
carga (250GB/hora por nodo).
No hay necesidad de activar una
ventana de mantenimiento
Tecnologías de escalabilidad en SQL Data Warehouse
Performance y Escalabilidad
MPP y In-Memory Columnstore para un rendimiento de próxima generación
Representación del índice de Columnstore
C1 C3 C5C4C2 C6
Ejecución de consultas en paralelo
Query
Resultados
iento
MPP y In-Memory Columnstore para un
rendimiento de próxima generación
• Almacenar datos en formato de
columnas para la compresión masiva
• Cargar datos dentro o fuera de la
memoria para un rendimiento de
próxima generación
• Actualizable y agrupado para carga
lenta en tiempo real
• No hay índices secundarios requeridos
Consultas más rápidas
de hasta 100x
Columnstore agrupados actualizable vs. Tablas con indexación habitual
Hasta compresión
de mas de 15x
Resultados de los Servicios de Negocios de la
Empresa antes y después
SMP vs. APS
54x
de mejora
cargando datos
(48 horas vs. 53
minutos)
25x, 193x, de
mejora en la
ejecución de las
consultas (4 días
y 6 horas vs. 32
minutos)
1.4 TB/hr tiempo
de carga (7
billones de
registros) (1.21TB
en 53:20)
Con las misma
herramientas de
trabaja de
Microsoft BI
conocidas
Resultados de los Servicios de Negocios de la
Empresa antes y después
SMP vs. APS
Las DWU serán
de doble
rendimiento
9.4x
compresión (7
billones de
registros) (De
1.7TB a 179GB)
Resultados de los Servicios de Negocios de la
Empresa antes y después
SMP vs. APS
Visión y Arquitectura general del flujo de datos
Stream Analytics
TransformaciónCapturar
Web logs
Presentación &
Toma de decisiones
IoT, Dispositivos
móviles, etc.
Social Data
Event Hubs HDInsight
Azure Data
Factory
Azure SQL DB
Azure Blob Storage
Azure Machine
Learning
(Detección de
Fraude, etc.)
Power BI
Web
dashboards
Dispositivos móviles
DW /
Almacenamiento a
Largo Plazo
Análisis Predictivo
Eventos &
Producción de
datos
Azure SQL DW
Llevar fácilmente tu DW a la nube
• Migración transparente de una
variedad de orígenes On-Premise y
Cloud
• Carga rápida, coherente y estable para
la migración
• Herramientas de migración integradas
con soporte para todos las cargas de
trabajo
Enviar
grandes
volúmenes
de datos en
medios
físicos.
Hacer la
migración a
Azure, simple y
completamente
administrado.
Traslado con
conexiones
privadas,
aceleradas a
Azure.
Llevar fácilmente tu DW a la nube
Migración SQL Data Warehouse Services - Detalles
1. Acelerador de Migración
2. Importar/Exportar
3. ExpressRoute/Herramientas de Carga
Opciones de Carga de Datos
• Gran ecosistema de potentes herramientas
ETL
• Cargar directamente de una variedad de
fuentes de orígenes
• Cargas de forma transparente paralelizados
• Estabilidad y consistencia garantizada
Ecosistema de socios muy bien extensible de
SQL Server
+ Establecido con Azure ML, HDInsight,
PowerBI, ADF, y mas.
+ El Ecosistema más amplio de la industria de
los socios de Data Warehouse, incluyendo
Tableau, Informatica, Attunity, y SAP. Azure ML
Azure Event Hub
Azure Stream
Analytics
Azure
HDInsight
Power BI
Microsoft
Ecosistema de socios muy bien extensible de
SQL Server
Despliegue optimizado con el Portal de
Azure.
Integración profunda con las herramientas
de los principales socios incluyendo:
• Configuración con un solo clic
• Movimiento de datos optimizado
• Pushdown lógico
Azure SQL DW
Líder en el mercado Precio/Rendimiento
• La mejor oferta del mercado
Precio/Rendimiento
• Ventajas en elasticidad y pausa
para reducir costos al cliente
• Iniciando con pequeño SQL
DW, pudiendo crecer a PB
rápidamente sin inconveniente
alguno
• Pagar por el rendimiento
mediante la ampliación de
cómputo contra el
almacenamiento 100GB 1TB 2TB 1+PB
Performance
Beneficios
Diferencias de SQL DW y Amazon Redshift?
Elasticidad
Amazon Redshift Azure SQL DW
Pausa/
Reanudar
Simplicidad
Híbrido
Compatibilidad
Analítica Avanzada definida
Ejemplo de Análisis
Descriptivo: ¿Cuántos de nuestros
clientes persisten en el último
mes? ¿Cuántos de estos clientes
son rentable?
Diagnostico: Por qué dejaron
estos clientes el ser rentables??
Predictivo: Cuántos clientes
rentables son propensos a dejar
el mes que viene?
Prescriptivo: Cómo podemos
reducir esta tasa de rotación de
clientes rentables?
Copia de seguridad automática y Geo-Restore
Recuperarse de eliminación de datos o la alteración o desastre
Geo-Replicado
Restauración desde
las copias de
seguridad
SQL Data Warehouse
Backups
sabcp01bl21
Azure Storage
sabcp01bl21
Copias de seguridad automática cada
4 horas, en el Azure Storage
("Recuperación de desastres") y Geo-
Replicado ("alta disponibilidad")
Copias de seguridad On-Demand en
Azure Storage donde el usuario final
puede habilitar la Geo-Replicación
REST API, PowerShell o El Portal de
Azure
Exportaciones programadas para la
retención a largo plazo
Copia de seguridad automática y Geo-Restore
Recuperarse de eliminación de datos o la alteración o desastre
Copia de Seguridad y Restauración en
línea basado en copias instantáneas de
almacenamiento
Política de retención de Copias de
Seguridad:
• Copia de Seguridad automáticas
hasta 35 días
• Copias de seguridad bajo demanda
retenidas indefinidamente
Copia de seguridad automática y Geo-Restore
Recuperarse de eliminación de datos o la alteración o desastre
Resumen
Menos mantenimiento y monitoreo del DBA
• No hay creación de índice
• No hay datos eliminados o archivados
para ahorrar espacio
• Simplicidad de gestión (System Center,
Consola de Administración, DMVs)
• Sin bloqueo
• Sin registros de transacciones
• Sin sugerencias de consulta
• Sin estados de espera
• Sin tuning de IO
Menos mantenimiento y monitoreo del DBA
• No hay optimización de consulta /
Tuning
• No hay índice para reorganizarlos /
reconstruirlos
• No particiones
• No hay grupos de archivos que
gestionan
• No hay bases de datos para
contraer o expandir
• No hay gestión de servidores físicos
• No hay servidores y software de
parchado
RESULTADO: DBA invierten más de su
tiempo como arquitectos y no
perdedera de tiempo en tonterías!
Mejor juntos – SQL DW
con APS
SQL Server
Parallel Data
Warehouse
Microsoft
HDInsight
(Hadoop)
PolyBase
Azure ML
Azure Event Hub
Azure HDInsight
SQL DW Service
Analytics Platform System
Mejor juntos – SQL DW con APS
Utilizar el servicio de SQL DW o APS
como su solución de recuperación
ante desastres con carga Dual
Recuperación
de Desastres
Los Datos Históricos al Servicio de SQL
DW pero manteniendo completo el
poder de MPP en ejecución
Datos
Históricos
Restricciones y
políticas de las
Empresas
Pruebas /
Desarrollo o
Producción
Almacenar datos en APS que la política
de la empresa prohíbe estar en la nube
Poner a prueba nuevas ideas en el
servicio de SQL DW antes de salir a
producción en APS
Lo que esta por venir…
Verano 2015
Preview Publica
• Pausada y Reanudada Dinámica
• Integración con la Plataforma de Servicio de Azure
(CloudML, ADF, HDInsight, SQL-IP)
• Integración con todo el ecosistema de los Partners de
SQL Server
• Geo-Restauración
• Servicio o Aplicación híbrida
• PolyBase para la integración a Big Data
• T-SQL preparado para las empresas
• Primera ola de socio certificados en SQL
A finales 2015/ A comienzo
2016
Acuerdo a esperar
• Certificado ISO, PCI
• Clausula de Modelo HIPAA, BAA, &
EU
Acuerdo de Nivel de Servicio
• 99.99% SLA
Demo
SQL Data Warehouse
Preguntas y Respuestas
Preguntas & Respuestas
Recursos
• SQL Data Warehouse PREVIEW -
http://bit.ly/1EFEkLz
• Partners for Azure SQL Data Warehouse -
http://bit.ly/1EkhcCp
• TechEd Europe - http://bit.ly/1EFEyT4
José Redondo
Microsoft SQL Server MVP | CEO EntornoDB | DPA SolidQ
redondoj@gmail.com | @redondoj | redondoj.wordpress.com
CloudFirst Campus
Latinoamérica
www.facebook.com/cloudfirstcampus

More Related Content

What's hot

MongoDB SoCal 2020: A Complete Methodology of Data Modeling for MongoDB
MongoDB SoCal 2020: A Complete Methodology of Data Modeling for MongoDBMongoDB SoCal 2020: A Complete Methodology of Data Modeling for MongoDB
MongoDB SoCal 2020: A Complete Methodology of Data Modeling for MongoDBMongoDB
 
Some Iceberg Basics for Beginners (CDP).pdf
Some Iceberg Basics for Beginners (CDP).pdfSome Iceberg Basics for Beginners (CDP).pdf
Some Iceberg Basics for Beginners (CDP).pdfMichael Kogan
 
SRV405 Deep Dive Amazon Redshift & Redshift Spectrum at Cardinal Health
SRV405 Deep Dive Amazon Redshift & Redshift Spectrum at Cardinal HealthSRV405 Deep Dive Amazon Redshift & Redshift Spectrum at Cardinal Health
SRV405 Deep Dive Amazon Redshift & Redshift Spectrum at Cardinal HealthAmazon Web Services
 
Introduction to Stream Processing
Introduction to Stream ProcessingIntroduction to Stream Processing
Introduction to Stream ProcessingGuido Schmutz
 
MongoDB vs. Postgres Benchmarks
MongoDB vs. Postgres Benchmarks MongoDB vs. Postgres Benchmarks
MongoDB vs. Postgres Benchmarks EDB
 
Building Event-Driven (Micro) Services with Apache Kafka
Building Event-Driven (Micro) Services with Apache KafkaBuilding Event-Driven (Micro) Services with Apache Kafka
Building Event-Driven (Micro) Services with Apache KafkaGuido Schmutz
 
Pinot: Enabling Real-time Analytics Applications @ LinkedIn's Scale
Pinot: Enabling Real-time Analytics Applications @ LinkedIn's ScalePinot: Enabling Real-time Analytics Applications @ LinkedIn's Scale
Pinot: Enabling Real-time Analytics Applications @ LinkedIn's ScaleSeunghyun Lee
 
Introduction to AWS Glue: Data Analytics Week at the SF Loft
Introduction to AWS Glue: Data Analytics Week at the SF LoftIntroduction to AWS Glue: Data Analytics Week at the SF Loft
Introduction to AWS Glue: Data Analytics Week at the SF LoftAmazon Web Services
 
[236] 카카오의데이터파이프라인 윤도영
[236] 카카오의데이터파이프라인 윤도영[236] 카카오의데이터파이프라인 윤도영
[236] 카카오의데이터파이프라인 윤도영NAVER D2
 
The AWS Big Data Platform – Overview
The AWS Big Data Platform – OverviewThe AWS Big Data Platform – Overview
The AWS Big Data Platform – OverviewAmazon Web Services
 
Building a Data Pipeline using Apache Airflow (on AWS / GCP)
Building a Data Pipeline using Apache Airflow (on AWS / GCP)Building a Data Pipeline using Apache Airflow (on AWS / GCP)
Building a Data Pipeline using Apache Airflow (on AWS / GCP)Yohei Onishi
 
Data Engineer's Lunch #83: Strategies for Migration to Apache Iceberg
Data Engineer's Lunch #83: Strategies for Migration to Apache IcebergData Engineer's Lunch #83: Strategies for Migration to Apache Iceberg
Data Engineer's Lunch #83: Strategies for Migration to Apache IcebergAnant Corporation
 
Streaming Data and Stream Processing with Apache Kafka
Streaming Data and Stream Processing with Apache KafkaStreaming Data and Stream Processing with Apache Kafka
Streaming Data and Stream Processing with Apache Kafkaconfluent
 
The Heart of the Data Mesh Beats in Real-Time with Apache Kafka
The Heart of the Data Mesh Beats in Real-Time with Apache KafkaThe Heart of the Data Mesh Beats in Real-Time with Apache Kafka
The Heart of the Data Mesh Beats in Real-Time with Apache KafkaKai Wähner
 
Moving to Databricks & Delta
Moving to Databricks & DeltaMoving to Databricks & Delta
Moving to Databricks & DeltaDatabricks
 
Bighead: Airbnb’s End-to-End Machine Learning Platform with Krishna Puttaswa...
 Bighead: Airbnb’s End-to-End Machine Learning Platform with Krishna Puttaswa... Bighead: Airbnb’s End-to-End Machine Learning Platform with Krishna Puttaswa...
Bighead: Airbnb’s End-to-End Machine Learning Platform with Krishna Puttaswa...Databricks
 
An overview of BigQuery
An overview of BigQuery An overview of BigQuery
An overview of BigQuery GirdhareeSaran
 
Making Data Timelier and More Reliable with Lakehouse Technology
Making Data Timelier and More Reliable with Lakehouse TechnologyMaking Data Timelier and More Reliable with Lakehouse Technology
Making Data Timelier and More Reliable with Lakehouse TechnologyMatei Zaharia
 
Building data-driven microservices
Building data-driven microservicesBuilding data-driven microservices
Building data-driven microservicesStreamlio
 

What's hot (20)

MongoDB SoCal 2020: A Complete Methodology of Data Modeling for MongoDB
MongoDB SoCal 2020: A Complete Methodology of Data Modeling for MongoDBMongoDB SoCal 2020: A Complete Methodology of Data Modeling for MongoDB
MongoDB SoCal 2020: A Complete Methodology of Data Modeling for MongoDB
 
Some Iceberg Basics for Beginners (CDP).pdf
Some Iceberg Basics for Beginners (CDP).pdfSome Iceberg Basics for Beginners (CDP).pdf
Some Iceberg Basics for Beginners (CDP).pdf
 
SRV405 Deep Dive Amazon Redshift & Redshift Spectrum at Cardinal Health
SRV405 Deep Dive Amazon Redshift & Redshift Spectrum at Cardinal HealthSRV405 Deep Dive Amazon Redshift & Redshift Spectrum at Cardinal Health
SRV405 Deep Dive Amazon Redshift & Redshift Spectrum at Cardinal Health
 
Introduction to Stream Processing
Introduction to Stream ProcessingIntroduction to Stream Processing
Introduction to Stream Processing
 
MongoDB vs. Postgres Benchmarks
MongoDB vs. Postgres Benchmarks MongoDB vs. Postgres Benchmarks
MongoDB vs. Postgres Benchmarks
 
Building Event-Driven (Micro) Services with Apache Kafka
Building Event-Driven (Micro) Services with Apache KafkaBuilding Event-Driven (Micro) Services with Apache Kafka
Building Event-Driven (Micro) Services with Apache Kafka
 
Pinot: Enabling Real-time Analytics Applications @ LinkedIn's Scale
Pinot: Enabling Real-time Analytics Applications @ LinkedIn's ScalePinot: Enabling Real-time Analytics Applications @ LinkedIn's Scale
Pinot: Enabling Real-time Analytics Applications @ LinkedIn's Scale
 
Architecting a datalake
Architecting a datalakeArchitecting a datalake
Architecting a datalake
 
Introduction to AWS Glue: Data Analytics Week at the SF Loft
Introduction to AWS Glue: Data Analytics Week at the SF LoftIntroduction to AWS Glue: Data Analytics Week at the SF Loft
Introduction to AWS Glue: Data Analytics Week at the SF Loft
 
[236] 카카오의데이터파이프라인 윤도영
[236] 카카오의데이터파이프라인 윤도영[236] 카카오의데이터파이프라인 윤도영
[236] 카카오의데이터파이프라인 윤도영
 
The AWS Big Data Platform – Overview
The AWS Big Data Platform – OverviewThe AWS Big Data Platform – Overview
The AWS Big Data Platform – Overview
 
Building a Data Pipeline using Apache Airflow (on AWS / GCP)
Building a Data Pipeline using Apache Airflow (on AWS / GCP)Building a Data Pipeline using Apache Airflow (on AWS / GCP)
Building a Data Pipeline using Apache Airflow (on AWS / GCP)
 
Data Engineer's Lunch #83: Strategies for Migration to Apache Iceberg
Data Engineer's Lunch #83: Strategies for Migration to Apache IcebergData Engineer's Lunch #83: Strategies for Migration to Apache Iceberg
Data Engineer's Lunch #83: Strategies for Migration to Apache Iceberg
 
Streaming Data and Stream Processing with Apache Kafka
Streaming Data and Stream Processing with Apache KafkaStreaming Data and Stream Processing with Apache Kafka
Streaming Data and Stream Processing with Apache Kafka
 
The Heart of the Data Mesh Beats in Real-Time with Apache Kafka
The Heart of the Data Mesh Beats in Real-Time with Apache KafkaThe Heart of the Data Mesh Beats in Real-Time with Apache Kafka
The Heart of the Data Mesh Beats in Real-Time with Apache Kafka
 
Moving to Databricks & Delta
Moving to Databricks & DeltaMoving to Databricks & Delta
Moving to Databricks & Delta
 
Bighead: Airbnb’s End-to-End Machine Learning Platform with Krishna Puttaswa...
 Bighead: Airbnb’s End-to-End Machine Learning Platform with Krishna Puttaswa... Bighead: Airbnb’s End-to-End Machine Learning Platform with Krishna Puttaswa...
Bighead: Airbnb’s End-to-End Machine Learning Platform with Krishna Puttaswa...
 
An overview of BigQuery
An overview of BigQuery An overview of BigQuery
An overview of BigQuery
 
Making Data Timelier and More Reliable with Lakehouse Technology
Making Data Timelier and More Reliable with Lakehouse TechnologyMaking Data Timelier and More Reliable with Lakehouse Technology
Making Data Timelier and More Reliable with Lakehouse Technology
 
Building data-driven microservices
Building data-driven microservicesBuilding data-driven microservices
Building data-driven microservices
 

Viewers also liked

Generando Toma de Decisiones Inteligente con Microsoft Big Data
Generando Toma de Decisiones Inteligente con Microsoft Big DataGenerando Toma de Decisiones Inteligente con Microsoft Big Data
Generando Toma de Decisiones Inteligente con Microsoft Big DataJoseph Lopez
 
Inteligencia de Negocio - Que Planeta es eso?
Inteligencia de Negocio - Que Planeta es eso?Inteligencia de Negocio - Que Planeta es eso?
Inteligencia de Negocio - Que Planeta es eso?Joseph Lopez
 
Building The Modern Architecture of Hybrid Data for Big Data with Microsoft D...
Building The Modern Architecture of Hybrid Data for Big Data with Microsoft D...Building The Modern Architecture of Hybrid Data for Big Data with Microsoft D...
Building The Modern Architecture of Hybrid Data for Big Data with Microsoft D...Joseph Lopez
 
Pfc itziar angoitia_espinosa
Pfc itziar angoitia_espinosaPfc itziar angoitia_espinosa
Pfc itziar angoitia_espinosaCesar Crespo
 
Recetas Curso de cocina mayo 2016
Recetas Curso de cocina mayo 2016Recetas Curso de cocina mayo 2016
Recetas Curso de cocina mayo 2016BioAlai
 
Introducción a Power BI bajo escenarios empresariales híbridos con SQL Server...
Introducción a Power BI bajo escenarios empresariales híbridos con SQL Server...Introducción a Power BI bajo escenarios empresariales híbridos con SQL Server...
Introducción a Power BI bajo escenarios empresariales híbridos con SQL Server...Joseph Lopez
 
Servicio de Moderación Sourtech
Servicio de Moderación SourtechServicio de Moderación Sourtech
Servicio de Moderación SourtechSourtech
 
MIP 2010 - Genitori channel
MIP 2010 - Genitori channel MIP 2010 - Genitori channel
MIP 2010 - Genitori channel MatteiDigit
 
Manual Para Inscripcion en IVSS Venezolano.
Manual Para Inscripcion en IVSS Venezolano.Manual Para Inscripcion en IVSS Venezolano.
Manual Para Inscripcion en IVSS Venezolano.Erika Sanchez
 
CV_Imed_Eddine_Bouchoucha
CV_Imed_Eddine_BouchouchaCV_Imed_Eddine_Bouchoucha
CV_Imed_Eddine_BouchouchaImed Bouchoucha
 
Observatorio Redes Sociales: Empresas del IBEX 35
Observatorio Redes Sociales: Empresas del IBEX 35Observatorio Redes Sociales: Empresas del IBEX 35
Observatorio Redes Sociales: Empresas del IBEX 35Medialuna
 
Guarani ñe’e ha iñe’eporahaipyre
Guarani ñe’e ha iñe’eporahaipyreGuarani ñe’e ha iñe’eporahaipyre
Guarani ñe’e ha iñe’eporahaipyrebenja_2013
 
BI y Data Warehouse - Conociendo orígenes
BI y Data Warehouse - Conociendo orígenesBI y Data Warehouse - Conociendo orígenes
BI y Data Warehouse - Conociendo orígenesJoseph Lopez
 
Big Data - Desarrollando soluciones efectivas
Big Data - Desarrollando soluciones efectivasBig Data - Desarrollando soluciones efectivas
Big Data - Desarrollando soluciones efectivasJoseph Lopez
 

Viewers also liked (20)

Azure data lake sql konf 2016
Azure data lake   sql konf 2016Azure data lake   sql konf 2016
Azure data lake sql konf 2016
 
Desayuno de arquitectos: Big data en azure
Desayuno de arquitectos: Big data en azureDesayuno de arquitectos: Big data en azure
Desayuno de arquitectos: Big data en azure
 
Generando Toma de Decisiones Inteligente con Microsoft Big Data
Generando Toma de Decisiones Inteligente con Microsoft Big DataGenerando Toma de Decisiones Inteligente con Microsoft Big Data
Generando Toma de Decisiones Inteligente con Microsoft Big Data
 
Inteligencia de Negocio - Que Planeta es eso?
Inteligencia de Negocio - Que Planeta es eso?Inteligencia de Negocio - Que Planeta es eso?
Inteligencia de Negocio - Que Planeta es eso?
 
Building The Modern Architecture of Hybrid Data for Big Data with Microsoft D...
Building The Modern Architecture of Hybrid Data for Big Data with Microsoft D...Building The Modern Architecture of Hybrid Data for Big Data with Microsoft D...
Building The Modern Architecture of Hybrid Data for Big Data with Microsoft D...
 
Pfc itziar angoitia_espinosa
Pfc itziar angoitia_espinosaPfc itziar angoitia_espinosa
Pfc itziar angoitia_espinosa
 
D wh.introj
D wh.introjD wh.introj
D wh.introj
 
Recetas Curso de cocina mayo 2016
Recetas Curso de cocina mayo 2016Recetas Curso de cocina mayo 2016
Recetas Curso de cocina mayo 2016
 
Introducción a Power BI bajo escenarios empresariales híbridos con SQL Server...
Introducción a Power BI bajo escenarios empresariales híbridos con SQL Server...Introducción a Power BI bajo escenarios empresariales híbridos con SQL Server...
Introducción a Power BI bajo escenarios empresariales híbridos con SQL Server...
 
Servicio de Moderación Sourtech
Servicio de Moderación SourtechServicio de Moderación Sourtech
Servicio de Moderación Sourtech
 
MIP 2010 - Genitori channel
MIP 2010 - Genitori channel MIP 2010 - Genitori channel
MIP 2010 - Genitori channel
 
guille
guilleguille
guille
 
Manual Para Inscripcion en IVSS Venezolano.
Manual Para Inscripcion en IVSS Venezolano.Manual Para Inscripcion en IVSS Venezolano.
Manual Para Inscripcion en IVSS Venezolano.
 
CV_Imed_Eddine_Bouchoucha
CV_Imed_Eddine_BouchouchaCV_Imed_Eddine_Bouchoucha
CV_Imed_Eddine_Bouchoucha
 
Observatorio Redes Sociales: Empresas del IBEX 35
Observatorio Redes Sociales: Empresas del IBEX 35Observatorio Redes Sociales: Empresas del IBEX 35
Observatorio Redes Sociales: Empresas del IBEX 35
 
Guarani ñe’e ha iñe’eporahaipyre
Guarani ñe’e ha iñe’eporahaipyreGuarani ñe’e ha iñe’eporahaipyre
Guarani ñe’e ha iñe’eporahaipyre
 
Entradas uff
Entradas   uffEntradas   uff
Entradas uff
 
BI y Data Warehouse - Conociendo orígenes
BI y Data Warehouse - Conociendo orígenesBI y Data Warehouse - Conociendo orígenes
BI y Data Warehouse - Conociendo orígenes
 
Videoforum2
Videoforum2Videoforum2
Videoforum2
 
Big Data - Desarrollando soluciones efectivas
Big Data - Desarrollando soluciones efectivasBig Data - Desarrollando soluciones efectivas
Big Data - Desarrollando soluciones efectivas
 

Similar to Introducción a Microsoft Azure SQL Data Warehouse

Casos de bodegas de datos con SQL Server
Casos de bodegas de datos con SQL ServerCasos de bodegas de datos con SQL Server
Casos de bodegas de datos con SQL ServerEduardo Castro
 
Business Intelligence en Azure
Business Intelligence en AzureBusiness Intelligence en Azure
Business Intelligence en AzureiT Synergy
 
Mejores prácticas de Data Warehouse con SQL Server
Mejores prácticas de Data Warehouse con SQL ServerMejores prácticas de Data Warehouse con SQL Server
Mejores prácticas de Data Warehouse con SQL ServerSpanishPASSVC
 
24 HOP edición Español - Patrones de escalalidad en microsoft azure sql datab...
24 HOP edición Español - Patrones de escalalidad en microsoft azure sql datab...24 HOP edición Español - Patrones de escalalidad en microsoft azure sql datab...
24 HOP edición Español - Patrones de escalalidad en microsoft azure sql datab...SpanishPASSVC
 
Introducción a Azure DocumentDB
Introducción a Azure DocumentDBIntroducción a Azure DocumentDB
Introducción a Azure DocumentDBJoseph Lopez
 
Azure SQL Data Warehouse desde cada_angulo
Azure SQL Data Warehouse desde cada_anguloAzure SQL Data Warehouse desde cada_angulo
Azure SQL Data Warehouse desde cada_anguloAdrian Miranda
 
Datawarehouse como servicio en Azure (sqldw)
Datawarehouse como servicio en Azure (sqldw)Datawarehouse como servicio en Azure (sqldw)
Datawarehouse como servicio en Azure (sqldw)SolidQ
 
Datawarehouse como servicio en azure (sqldw)
Datawarehouse como servicio en azure (sqldw)Datawarehouse como servicio en azure (sqldw)
Datawarehouse como servicio en azure (sqldw)Enrique Catala Bañuls
 
Sql azure data warehouse gab jorge muchaypina
Sql azure data warehouse gab   jorge muchaypinaSql azure data warehouse gab   jorge muchaypina
Sql azure data warehouse gab jorge muchaypinaMUG Perú
 
Sql server analysis services 2008
Sql server analysis services 2008Sql server analysis services 2008
Sql server analysis services 2008Will Flores Soto
 
Data Platform de BEEVA
Data Platform de BEEVAData Platform de BEEVA
Data Platform de BEEVABEEVA_es
 
Sql Saturday Guatemala 2018 - Azure SQL Data Warehouse
Sql Saturday Guatemala 2018 - Azure SQL Data WarehouseSql Saturday Guatemala 2018 - Azure SQL Data Warehouse
Sql Saturday Guatemala 2018 - Azure SQL Data WarehouseJOSE AHIAS LOPEZ PORTILLO
 

Similar to Introducción a Microsoft Azure SQL Data Warehouse (20)

Casos de bodegas de datos con SQL Server
Casos de bodegas de datos con SQL ServerCasos de bodegas de datos con SQL Server
Casos de bodegas de datos con SQL Server
 
Business Intelligence en Azure
Business Intelligence en AzureBusiness Intelligence en Azure
Business Intelligence en Azure
 
Mejores prácticas de Data Warehouse con SQL Server
Mejores prácticas de Data Warehouse con SQL ServerMejores prácticas de Data Warehouse con SQL Server
Mejores prácticas de Data Warehouse con SQL Server
 
24 HOP edición Español - Patrones de escalalidad en microsoft azure sql datab...
24 HOP edición Español - Patrones de escalalidad en microsoft azure sql datab...24 HOP edición Español - Patrones de escalalidad en microsoft azure sql datab...
24 HOP edición Español - Patrones de escalalidad en microsoft azure sql datab...
 
Servicios de Bases de Datos de AWS
Servicios de Bases de Datos de AWSServicios de Bases de Datos de AWS
Servicios de Bases de Datos de AWS
 
Introducción a Azure DocumentDB
Introducción a Azure DocumentDBIntroducción a Azure DocumentDB
Introducción a Azure DocumentDB
 
Azure SQL Data Warehouse desde cada_angulo
Azure SQL Data Warehouse desde cada_anguloAzure SQL Data Warehouse desde cada_angulo
Azure SQL Data Warehouse desde cada_angulo
 
Datawarehouse como servicio en Azure (sqldw)
Datawarehouse como servicio en Azure (sqldw)Datawarehouse como servicio en Azure (sqldw)
Datawarehouse como servicio en Azure (sqldw)
 
Datawarehouse como servicio en azure (sqldw)
Datawarehouse como servicio en azure (sqldw)Datawarehouse como servicio en azure (sqldw)
Datawarehouse como servicio en azure (sqldw)
 
SQL Azure Datawarehouse
SQL Azure DatawarehouseSQL Azure Datawarehouse
SQL Azure Datawarehouse
 
AWS Analytics Experience Argentina
AWS Analytics Experience Argentina AWS Analytics Experience Argentina
AWS Analytics Experience Argentina
 
Sql azure data warehouse gab jorge muchaypina
Sql azure data warehouse gab   jorge muchaypinaSql azure data warehouse gab   jorge muchaypina
Sql azure data warehouse gab jorge muchaypina
 
Sistema de Bases de Datos AWS
Sistema de Bases de Datos AWSSistema de Bases de Datos AWS
Sistema de Bases de Datos AWS
 
Base de datos
Base de datosBase de datos
Base de datos
 
Azure SQL Data Warehouse - 24 horas de PASS
Azure SQL Data Warehouse - 24 horas de PASS Azure SQL Data Warehouse - 24 horas de PASS
Azure SQL Data Warehouse - 24 horas de PASS
 
Sql server analysis services 2008
Sql server analysis services 2008Sql server analysis services 2008
Sql server analysis services 2008
 
Data Platform de BEEVA
Data Platform de BEEVAData Platform de BEEVA
Data Platform de BEEVA
 
Explorando los Sabores de Azure Data Factory
Explorando los Sabores de Azure Data FactoryExplorando los Sabores de Azure Data Factory
Explorando los Sabores de Azure Data Factory
 
Sql Saturday Guatemala 2018 - Azure SQL Data Warehouse
Sql Saturday Guatemala 2018 - Azure SQL Data WarehouseSql Saturday Guatemala 2018 - Azure SQL Data Warehouse
Sql Saturday Guatemala 2018 - Azure SQL Data Warehouse
 
Base de datos
Base de datosBase de datos
Base de datos
 

More from Joseph Lopez

Entorno de datos Microsoft Cloud
Entorno de datos Microsoft CloudEntorno de datos Microsoft Cloud
Entorno de datos Microsoft CloudJoseph Lopez
 
Microsoft Azure Data Environment
Microsoft Azure Data EnvironmentMicrosoft Azure Data Environment
Microsoft Azure Data EnvironmentJoseph Lopez
 
Aplicando SQL Server 2016 en Microsoft Azure Virtual Machine
Aplicando SQL Server 2016 en Microsoft Azure Virtual MachineAplicando SQL Server 2016 en Microsoft Azure Virtual Machine
Aplicando SQL Server 2016 en Microsoft Azure Virtual MachineJoseph Lopez
 
Conociendo Dynamic Data Masking en entornos de producción con SQL Server 2016...
Conociendo Dynamic Data Masking en entornos de producción con SQL Server 2016...Conociendo Dynamic Data Masking en entornos de producción con SQL Server 2016...
Conociendo Dynamic Data Masking en entornos de producción con SQL Server 2016...Joseph Lopez
 
Conociendo los cambios de SQL Server a partir de 2012 a 2016
Conociendo los cambios de SQL Server a partir de 2012 a 2016Conociendo los cambios de SQL Server a partir de 2012 a 2016
Conociendo los cambios de SQL Server a partir de 2012 a 2016Joseph Lopez
 
Aplicando Azure Search en Sistemas Hibridos
Aplicando Azure Search en Sistemas HibridosAplicando Azure Search en Sistemas Hibridos
Aplicando Azure Search en Sistemas HibridosJoseph Lopez
 
Performance Tuning en Azure SQL Database
Performance Tuning en Azure SQL DatabasePerformance Tuning en Azure SQL Database
Performance Tuning en Azure SQL DatabaseJoseph Lopez
 
Tablas temporales en SQL Server 2016 y Azure SQL Database v12
Tablas temporales en SQL Server 2016 y Azure SQL Database v12Tablas temporales en SQL Server 2016 y Azure SQL Database v12
Tablas temporales en SQL Server 2016 y Azure SQL Database v12Joseph Lopez
 
Perspectiva de Microsoft Business Intelligence a partir de la integracion con...
Perspectiva de Microsoft Business Intelligence a partir de la integracion con...Perspectiva de Microsoft Business Intelligence a partir de la integracion con...
Perspectiva de Microsoft Business Intelligence a partir de la integracion con...Joseph Lopez
 
Recuperación ante desastres y continuidad del negocio con Azure SQL Database
Recuperación ante desastres y continuidad del negocio con Azure SQL DatabaseRecuperación ante desastres y continuidad del negocio con Azure SQL Database
Recuperación ante desastres y continuidad del negocio con Azure SQL DatabaseJoseph Lopez
 
DBA para SharePoint
DBA para SharePointDBA para SharePoint
DBA para SharePointJoseph Lopez
 
In-Memory OLTP en SQL Server 2016
In-Memory OLTP en SQL Server 2016In-Memory OLTP en SQL Server 2016
In-Memory OLTP en SQL Server 2016Joseph Lopez
 
Introduccion a Power BI
Introduccion a Power BIIntroduccion a Power BI
Introduccion a Power BIJoseph Lopez
 
Introduccion a las Bodegas de Datos
Introduccion a las Bodegas de DatosIntroduccion a las Bodegas de Datos
Introduccion a las Bodegas de DatosJoseph Lopez
 
Microsoft Azure SQL Database
Microsoft Azure SQL DatabaseMicrosoft Azure SQL Database
Microsoft Azure SQL DatabaseJoseph Lopez
 
Configuring SharePoint Server 2013 environment for Business Intelligence Plat...
Configuring SharePoint Server 2013 environment for Business Intelligence Plat...Configuring SharePoint Server 2013 environment for Business Intelligence Plat...
Configuring SharePoint Server 2013 environment for Business Intelligence Plat...Joseph Lopez
 
Configurar su entorno SharePoint para Business Intelligence
Configurar su entorno SharePoint para Business IntelligenceConfigurar su entorno SharePoint para Business Intelligence
Configurar su entorno SharePoint para Business IntelligenceJoseph Lopez
 
Instalando y configurando PowerPivot para SharePoint 2013 y SQL Server 2014
Instalando y configurando PowerPivot para SharePoint 2013 y SQL Server 2014Instalando y configurando PowerPivot para SharePoint 2013 y SQL Server 2014
Instalando y configurando PowerPivot para SharePoint 2013 y SQL Server 2014Joseph Lopez
 
MS SQL Server 2014 - In-Memory OLTP
MS SQL Server 2014 - In-Memory OLTPMS SQL Server 2014 - In-Memory OLTP
MS SQL Server 2014 - In-Memory OLTPJoseph Lopez
 
MS SQL Server 2014 - In-Memory ColumnStore Index - Haciendo un almacén de datos
MS SQL Server 2014 - In-Memory ColumnStore Index - Haciendo un almacén de datosMS SQL Server 2014 - In-Memory ColumnStore Index - Haciendo un almacén de datos
MS SQL Server 2014 - In-Memory ColumnStore Index - Haciendo un almacén de datosJoseph Lopez
 

More from Joseph Lopez (20)

Entorno de datos Microsoft Cloud
Entorno de datos Microsoft CloudEntorno de datos Microsoft Cloud
Entorno de datos Microsoft Cloud
 
Microsoft Azure Data Environment
Microsoft Azure Data EnvironmentMicrosoft Azure Data Environment
Microsoft Azure Data Environment
 
Aplicando SQL Server 2016 en Microsoft Azure Virtual Machine
Aplicando SQL Server 2016 en Microsoft Azure Virtual MachineAplicando SQL Server 2016 en Microsoft Azure Virtual Machine
Aplicando SQL Server 2016 en Microsoft Azure Virtual Machine
 
Conociendo Dynamic Data Masking en entornos de producción con SQL Server 2016...
Conociendo Dynamic Data Masking en entornos de producción con SQL Server 2016...Conociendo Dynamic Data Masking en entornos de producción con SQL Server 2016...
Conociendo Dynamic Data Masking en entornos de producción con SQL Server 2016...
 
Conociendo los cambios de SQL Server a partir de 2012 a 2016
Conociendo los cambios de SQL Server a partir de 2012 a 2016Conociendo los cambios de SQL Server a partir de 2012 a 2016
Conociendo los cambios de SQL Server a partir de 2012 a 2016
 
Aplicando Azure Search en Sistemas Hibridos
Aplicando Azure Search en Sistemas HibridosAplicando Azure Search en Sistemas Hibridos
Aplicando Azure Search en Sistemas Hibridos
 
Performance Tuning en Azure SQL Database
Performance Tuning en Azure SQL DatabasePerformance Tuning en Azure SQL Database
Performance Tuning en Azure SQL Database
 
Tablas temporales en SQL Server 2016 y Azure SQL Database v12
Tablas temporales en SQL Server 2016 y Azure SQL Database v12Tablas temporales en SQL Server 2016 y Azure SQL Database v12
Tablas temporales en SQL Server 2016 y Azure SQL Database v12
 
Perspectiva de Microsoft Business Intelligence a partir de la integracion con...
Perspectiva de Microsoft Business Intelligence a partir de la integracion con...Perspectiva de Microsoft Business Intelligence a partir de la integracion con...
Perspectiva de Microsoft Business Intelligence a partir de la integracion con...
 
Recuperación ante desastres y continuidad del negocio con Azure SQL Database
Recuperación ante desastres y continuidad del negocio con Azure SQL DatabaseRecuperación ante desastres y continuidad del negocio con Azure SQL Database
Recuperación ante desastres y continuidad del negocio con Azure SQL Database
 
DBA para SharePoint
DBA para SharePointDBA para SharePoint
DBA para SharePoint
 
In-Memory OLTP en SQL Server 2016
In-Memory OLTP en SQL Server 2016In-Memory OLTP en SQL Server 2016
In-Memory OLTP en SQL Server 2016
 
Introduccion a Power BI
Introduccion a Power BIIntroduccion a Power BI
Introduccion a Power BI
 
Introduccion a las Bodegas de Datos
Introduccion a las Bodegas de DatosIntroduccion a las Bodegas de Datos
Introduccion a las Bodegas de Datos
 
Microsoft Azure SQL Database
Microsoft Azure SQL DatabaseMicrosoft Azure SQL Database
Microsoft Azure SQL Database
 
Configuring SharePoint Server 2013 environment for Business Intelligence Plat...
Configuring SharePoint Server 2013 environment for Business Intelligence Plat...Configuring SharePoint Server 2013 environment for Business Intelligence Plat...
Configuring SharePoint Server 2013 environment for Business Intelligence Plat...
 
Configurar su entorno SharePoint para Business Intelligence
Configurar su entorno SharePoint para Business IntelligenceConfigurar su entorno SharePoint para Business Intelligence
Configurar su entorno SharePoint para Business Intelligence
 
Instalando y configurando PowerPivot para SharePoint 2013 y SQL Server 2014
Instalando y configurando PowerPivot para SharePoint 2013 y SQL Server 2014Instalando y configurando PowerPivot para SharePoint 2013 y SQL Server 2014
Instalando y configurando PowerPivot para SharePoint 2013 y SQL Server 2014
 
MS SQL Server 2014 - In-Memory OLTP
MS SQL Server 2014 - In-Memory OLTPMS SQL Server 2014 - In-Memory OLTP
MS SQL Server 2014 - In-Memory OLTP
 
MS SQL Server 2014 - In-Memory ColumnStore Index - Haciendo un almacén de datos
MS SQL Server 2014 - In-Memory ColumnStore Index - Haciendo un almacén de datosMS SQL Server 2014 - In-Memory ColumnStore Index - Haciendo un almacén de datos
MS SQL Server 2014 - In-Memory ColumnStore Index - Haciendo un almacén de datos
 

Recently uploaded

Presentación guía sencilla en Microsoft Excel.pptx
Presentación guía sencilla en Microsoft Excel.pptxPresentación guía sencilla en Microsoft Excel.pptx
Presentación guía sencilla en Microsoft Excel.pptxLolaBunny11
 
Refrigerador_Inverter_Samsung_Curso_y_Manual_de_Servicio_Español.pdf
Refrigerador_Inverter_Samsung_Curso_y_Manual_de_Servicio_Español.pdfRefrigerador_Inverter_Samsung_Curso_y_Manual_de_Servicio_Español.pdf
Refrigerador_Inverter_Samsung_Curso_y_Manual_de_Servicio_Español.pdfvladimiroflores1
 
Avances tecnológicos del siglo XXI 10-07 eyvana
Avances tecnológicos del siglo XXI 10-07 eyvanaAvances tecnológicos del siglo XXI 10-07 eyvana
Avances tecnológicos del siglo XXI 10-07 eyvanamcerpam
 
EL CICLO PRÁCTICO DE UN MOTOR DE CUATRO TIEMPOS.pptx
EL CICLO PRÁCTICO DE UN MOTOR DE CUATRO TIEMPOS.pptxEL CICLO PRÁCTICO DE UN MOTOR DE CUATRO TIEMPOS.pptx
EL CICLO PRÁCTICO DE UN MOTOR DE CUATRO TIEMPOS.pptxMiguelAtencio10
 
Global Azure Lima 2024 - Integración de Datos con Microsoft Fabric
Global Azure Lima 2024 - Integración de Datos con Microsoft FabricGlobal Azure Lima 2024 - Integración de Datos con Microsoft Fabric
Global Azure Lima 2024 - Integración de Datos con Microsoft FabricKeyla Dolores Méndez
 
Desarrollo Web Moderno con Svelte 2024.pdf
Desarrollo Web Moderno con Svelte 2024.pdfDesarrollo Web Moderno con Svelte 2024.pdf
Desarrollo Web Moderno con Svelte 2024.pdfJulian Lamprea
 
Presentación de elementos de afilado con esmeril
Presentación de elementos de afilado con esmerilPresentación de elementos de afilado con esmeril
Presentación de elementos de afilado con esmerilJuanGallardo438714
 
EPA-pdf resultado da prova presencial Uninove
EPA-pdf resultado da prova presencial UninoveEPA-pdf resultado da prova presencial Uninove
EPA-pdf resultado da prova presencial UninoveFagnerLisboa3
 
Trabajo Mas Completo De Excel en clase tecnología
Trabajo Mas Completo De Excel en clase tecnologíaTrabajo Mas Completo De Excel en clase tecnología
Trabajo Mas Completo De Excel en clase tecnologíassuserf18419
 
PROYECTO FINAL. Tutorial para publicar en SlideShare.pptx
PROYECTO FINAL. Tutorial para publicar en SlideShare.pptxPROYECTO FINAL. Tutorial para publicar en SlideShare.pptx
PROYECTO FINAL. Tutorial para publicar en SlideShare.pptxAlan779941
 
pruebas unitarias unitarias en java con JUNIT
pruebas unitarias unitarias en java con JUNITpruebas unitarias unitarias en java con JUNIT
pruebas unitarias unitarias en java con JUNITMaricarmen Sánchez Ruiz
 
Avances tecnológicos del siglo XXI y ejemplos de estos
Avances tecnológicos del siglo XXI y ejemplos de estosAvances tecnológicos del siglo XXI y ejemplos de estos
Avances tecnológicos del siglo XXI y ejemplos de estossgonzalezp1
 
guía de registro de slideshare por Brayan Joseph
guía de registro de slideshare por Brayan Josephguía de registro de slideshare por Brayan Joseph
guía de registro de slideshare por Brayan JosephBRAYANJOSEPHPEREZGOM
 
Modulo-Mini Cargador.................pdf
Modulo-Mini Cargador.................pdfModulo-Mini Cargador.................pdf
Modulo-Mini Cargador.................pdfAnnimoUno1
 
presentacion de PowerPoint de la fuente de poder.pptx
presentacion de PowerPoint de la fuente de poder.pptxpresentacion de PowerPoint de la fuente de poder.pptx
presentacion de PowerPoint de la fuente de poder.pptxlosdiosesmanzaneros
 

Recently uploaded (15)

Presentación guía sencilla en Microsoft Excel.pptx
Presentación guía sencilla en Microsoft Excel.pptxPresentación guía sencilla en Microsoft Excel.pptx
Presentación guía sencilla en Microsoft Excel.pptx
 
Refrigerador_Inverter_Samsung_Curso_y_Manual_de_Servicio_Español.pdf
Refrigerador_Inverter_Samsung_Curso_y_Manual_de_Servicio_Español.pdfRefrigerador_Inverter_Samsung_Curso_y_Manual_de_Servicio_Español.pdf
Refrigerador_Inverter_Samsung_Curso_y_Manual_de_Servicio_Español.pdf
 
Avances tecnológicos del siglo XXI 10-07 eyvana
Avances tecnológicos del siglo XXI 10-07 eyvanaAvances tecnológicos del siglo XXI 10-07 eyvana
Avances tecnológicos del siglo XXI 10-07 eyvana
 
EL CICLO PRÁCTICO DE UN MOTOR DE CUATRO TIEMPOS.pptx
EL CICLO PRÁCTICO DE UN MOTOR DE CUATRO TIEMPOS.pptxEL CICLO PRÁCTICO DE UN MOTOR DE CUATRO TIEMPOS.pptx
EL CICLO PRÁCTICO DE UN MOTOR DE CUATRO TIEMPOS.pptx
 
Global Azure Lima 2024 - Integración de Datos con Microsoft Fabric
Global Azure Lima 2024 - Integración de Datos con Microsoft FabricGlobal Azure Lima 2024 - Integración de Datos con Microsoft Fabric
Global Azure Lima 2024 - Integración de Datos con Microsoft Fabric
 
Desarrollo Web Moderno con Svelte 2024.pdf
Desarrollo Web Moderno con Svelte 2024.pdfDesarrollo Web Moderno con Svelte 2024.pdf
Desarrollo Web Moderno con Svelte 2024.pdf
 
Presentación de elementos de afilado con esmeril
Presentación de elementos de afilado con esmerilPresentación de elementos de afilado con esmeril
Presentación de elementos de afilado con esmeril
 
EPA-pdf resultado da prova presencial Uninove
EPA-pdf resultado da prova presencial UninoveEPA-pdf resultado da prova presencial Uninove
EPA-pdf resultado da prova presencial Uninove
 
Trabajo Mas Completo De Excel en clase tecnología
Trabajo Mas Completo De Excel en clase tecnologíaTrabajo Mas Completo De Excel en clase tecnología
Trabajo Mas Completo De Excel en clase tecnología
 
PROYECTO FINAL. Tutorial para publicar en SlideShare.pptx
PROYECTO FINAL. Tutorial para publicar en SlideShare.pptxPROYECTO FINAL. Tutorial para publicar en SlideShare.pptx
PROYECTO FINAL. Tutorial para publicar en SlideShare.pptx
 
pruebas unitarias unitarias en java con JUNIT
pruebas unitarias unitarias en java con JUNITpruebas unitarias unitarias en java con JUNIT
pruebas unitarias unitarias en java con JUNIT
 
Avances tecnológicos del siglo XXI y ejemplos de estos
Avances tecnológicos del siglo XXI y ejemplos de estosAvances tecnológicos del siglo XXI y ejemplos de estos
Avances tecnológicos del siglo XXI y ejemplos de estos
 
guía de registro de slideshare por Brayan Joseph
guía de registro de slideshare por Brayan Josephguía de registro de slideshare por Brayan Joseph
guía de registro de slideshare por Brayan Joseph
 
Modulo-Mini Cargador.................pdf
Modulo-Mini Cargador.................pdfModulo-Mini Cargador.................pdf
Modulo-Mini Cargador.................pdf
 
presentacion de PowerPoint de la fuente de poder.pptx
presentacion de PowerPoint de la fuente de poder.pptxpresentacion de PowerPoint de la fuente de poder.pptx
presentacion de PowerPoint de la fuente de poder.pptx
 

Introducción a Microsoft Azure SQL Data Warehouse

  • 1. José Redondo Microsoft SQL Server MVP | CEO EntornoDB | DPA SolidQ redondoj@gmail.com | @redondoj | redondoj.wordpress.com Introducción a Microsoft Azure SQL Data Warehouse
  • 2. Expositor • CEO de EntornoDB, USA • Arquitecto de Datos – Especialista en Inteligencia de Negocio, Análisis de Datos y Big Data • Desarrollador de aplicaciones de Escritorio, Web y Bases de Datos en .NET y Java • Desarrollador y DBA en plataformas de datos Microsoft, SyBase, IBM y Oracle • Conferencista en eventos tecnológicos de Microsoft y PASS en Latinoamérica y Estados Unidos • SQL Server MCP - MSTS – MTA • DPA SolidQ • Contributing Technical Reviewer Packt Publishing • Microsoft SQL Server MVP
  • 3. Introducción a Microsoft Azure SQL Data Warehouse
  • 4. • Análisis: La Tradicional "Bodega de datos" y La Moderna "Bodega de datos" • Arquitectura: Microsoft APS (Analytics Platform System) • Hadoop & PolyBase • Performance y Escalabilidad • Beneficios • Resumen • Preguntas y Respuestas Agenda
  • 5. Análisis: La Tradicional "Bodega de datos“ y La Moderna "Bodega de datos"
  • 6. Microsoft & Bodega de Datos Parallel Data Warehouse v1 Data Allegro en Windows y SQL. Primera aplicación de DW por MSFT en colaboración con Dell y HP Microsoft Adquiere Data Allegro Empresas han consultado la forma mas eficiente de llevar MPP (Massively Parallel Processing) al entorno de SQL Server Lanzamiento de Fast Track Data Warehouse Arquitectura de referencia DW basadas en las mejores prácticas SMP DW (Symmetric Multi-Processing Data Warehousing) ofrecidas con los principales socios de H/W 2008 2010 2011
  • 7. Microsoft & Bodega de Datos Azure SQL Data Warehouse Service Introducción del servicio de Azure SQL Data Warehouse basado en las capacidades MPP (Massively Parallel Processing) de APS (Analytics Platform System) Parallel Data Warehouse v2 Producto rediseñado ofreciendo nuevos factores de forma y una mejor relación Precio/Rendimiento. Analytics Platform System (APS) Introducción de Hadoop a la región dentro de la aplicación y nuevo nombramiento para reflejar las más amplias capacidades de Big Data 2013 2014 2015
  • 8. APS y SQL DW: Estrategia Hibrida APS (On-Premises)
  • 9. APS y SQL DW: Estrategia Hibrida
  • 10. La Tradicional Bodega de Datos Orígenes de Datos Incrementando el volumen de datos 1 Datos No Relacionales Nuevos orígenes y tipos de datos 2
  • 11. La tradicional Bodega de Datos Datos originados desde la nube 3
  • 12. La tradicional Bodega de Datos Consumidores de datos 44
  • 13. El Moderno Almacén de Datos  Orígenes de Datos Datos No Relacionales
  • 14. Paralelismo • Utiliza muchos CPU's separados en paralelo para ejecutar un solo programa • Nada Compartido: Cada CPU tiene su propia memoria y disco (Scale-Out) • Los Segmentos se comunican a través de la red de alta velocidad entre Nodos MPP - Procesamiento en Paralelo Masivo • Múltiples CPU's solía completar distintos procesos simultáneamente • Todas las CPU comparten la misma memoria, los discos y los controladores de red (Scale-Up) • Todas las implementaciones de SQL Server hasta ahora han sido SMP • Sobre todo, la solución se encuentra en un SAN compartido SMP - Multiprocesamiento Simétrico
  • 16. Arquitectura lógica Nodo “Control” SQL DMS Nodo “Control” – La “Razón de Ser” de SQL Data Warehouse • También funciona con Azure SQL Server DB • Mantiene una copia del "Interprete de comando o Shell" de cada base de datos • Metadatos, Estadísticas, etc. • El "Rostro Público" de la Aplicación
  • 17. Arquitectura lógica Nodo “Compute” Almacenamiento BalanceadoSQL DMS Nodo “Compute” Almacenamiento BalanceadoSQL DMS Nodo “Compute” Almacenamiento BalanceadoSQL DMS Nodo “Compute” Almacenamiento BalanceadoSQL DMS Nodo de Computo - La "Abeja Obrera" de SQL Data Warehouse • Ejecuta Azure SQL Server DB • Contiene una “Parte o Slice" de cada base de datos • CPU está saturado por el almacenamiento
  • 18. Arquitectura lógica Data Movement Services (DMS) • Parte del "Condimento secreto" de SQL Data Warehouse • Mueve los datos alrededor de su contexto según sea necesario • Permite operaciones paralelas entre los nodos de cómputo (Consultas, cargas, etc.) Nodo “Compute” Almacenamiento BalanceadoSQL Nodo “Compute” Almacenamiento BalanceadoSQL Nodo “Compute” Almacenamiento BalanceadoSQL DMS Nodo “Compute” Almacenamiento BalanceadoSQL DMS DMS DMS
  • 19. Arquitectura lógica Nodo “Compute” Almacenamiento Balanceado SQL Nodo “Control” SQL Nodo “Compute” Almacenamiento Balanceado SQL Nodo “Compute” Almacenamiento Balanceado SQL Nodo “Compute” Almacenamiento Balanceado SQL DMS DMS DMS DMS DMS
  • 20. Opciones de la capa de datos Nodo “Compute” Almacenamiento BalanceadoSQL Almacenamiento Balanceado Nodo “Compute” SQL Nodo “Compute” SQL Nodo “Compute” SQL DMS DMS DMS DMS Time Dim Date Dim ID Calendar Year Calendar Qtr Calendar Mo Calendar Day Store Dim Store Dim ID Store Name Store Mgr Store Size Product Dim Prod Dim ID Prod Category Prod Sub Cat Prod Desc Customer Dim Cust Dim ID Cust Name Cust Addr Cust Phone Cust Email Sales Fact Date Dim ID Store Dim ID Prod Dim ID Cust Dim ID Qty Sold Dollars Sold T D P D S D C D T D S D T D P D S D C D T D S D SalesFact Replicado Tabla copiada a cada "Nodo Compute" Distribuido Publicación de la Tabla a través de los nodos de cómputo basado en el "Hash" Esquema Estrella Almacenamiento Balanceado Almacenamiento Balanceado P D C D P D C D
  • 21. Distribución de los datos FactSales_ A FactSales_ B FactSales_ C FactSales_ D FactSales_ E FactSales_ F FactSales_ G FactSales_ H FactSales_ A FactSales_ B FactSales_ C FactSales_ D FactSales_ E FactSales_ F FactSales_ G FactSales_ H FactSales_ A FactSales_ B FactSales_ C FactSales_ D FactSales_ E FactSales_ F FactSales_ G FactSales_ H FactSales_ A FactSales_ B FactSales_ C FactSales_ D FactSales_ E FactSales_ F FactSales_ G FactSales_ H FactSales_ A FactSales_ B FactSales_ C FactSales_ D FactSales_ E FactSales_ F FactSales_ G FactSales_ H FactSales_ A FactSales_ B FactSales_ C FactSales_ D FactSales_ E FactSales_ F FactSales_ G FactSales_ H FactSales_ A FactSales_ B FactSales_ C FactSales_ D FactSales_ E FactSales_ F FactSales_ G FactSales_ H FactSales_ A FactSales_ B FactSales_ C FactSales_ D FactSales_ E FactSales_ F FactSales_ G FactSales_ H FactSales_ A FactSales_ B FactSales_ C FactSales_ D FactSales_ E FactSales_ F FactSales_ G FactSales_ H FactSales_ A FactSales_ B FactSales_ C FactSales_ D FactSales_ E FactSales_ F FactSales_ G FactSales_ H FactSales_ A FactSales_ B FactSales_ C FactSales_ D FactSales_ E FactSales_ F FactSales_ G FactSales_ H FactSales_ A FactSales_ B FactSales_ C FactSales_ D FactSales_ E FactSales_ F FactSales_ G FactSales_ H FactSales_ A FactSales_ B FactSales_ C FactSales_ D FactSales_ E FactSales_ F FactSales_ G FactSales_ H FactSales_ A FactSales_ B FactSales_ C FactSales_ D FactSales_ E FactSales_ F FactSales_ G FactSales_ H FactSales_ A FactSales_ B FactSales_ C FactSales_ D FactSales_ E FactSales_ F FactSales_ G FactSales_ H FactSales_ A FactSales_ B FactSales_ C FactSales_ D FactSales_ E FactSales_ F FactSales_ G FactSales_ H FactSales_ A FactSales_ B FactSales_ C FactSales_ D FactSales_ E FactSales_ F FactSales_ G FactSales_ H FactSales_ A FactSales_ B FactSales_ C FactSales_ D FactSales_ E FactSales_ F FactSales_ G FactSales_ H Nodo Control …Nodo Compute 1 Nodo Compute 2 Nodo Compute X Envia Create Table SQL a cada “Nodo Compute” Create Table FactSales_A Create Table FactSales_B Create Table FactSales_C …… Create Table FactSales_H FactSalesA FactSalesB FactSalesC FactSalesD FactSalesE FactSalesF FactSalesG FactSalesH FactSalesA FactSalesB FactSalesC FactSalesD FactSalesE FactSalesF FactSalesG FactSalesH FactSalesA FactSalesB FactSalesC FactSalesD FactSalesE FactSalesF FactSalesG FactSalesH La metadata del Create Table en el Nodo Control CREATE TABLE FactSales ( ProductKey INT NOT NULL , OrderDateKey INT NOT NULL , DueDateKey INT NOT NULL , ShipDateKey INT NOT NULL , ResellerKey INT NOT NULL , EmployeeKey INT NOT NULL , PromotionKey INT NOT NULL , CurrencyKey INT NOT NULL , SalesTerritoryKey INT NOT NULL , SalesOrderNumber VARCHAR(20) NOT NULL, ) WITH ( DISTRIBUTION = HASH(ProductKey), CLUSTERED INDEX(OrderDateKey) , PARTITION (OrderDateKey RANGE RIGHT FOR VALUES ( 19950601, 19950901, ) ) );
  • 22. APS Balanceo equilibrado de carga entre servidores Tablas mas grandes 600,000,000,000 Distribuidos aleatoriamente entre 40 nodos de cómputo (5 racks) 15,000,000,000 En cada servidor aleatoriamente distribuido en 8 tablas (Por consiguiente hasta 320 tablas en total) 1,875,000,000 Cada partición = 2 años de datos particionados por semana (Beneficiando todas las consultas por fecha) 18,028,846
  • 23. APS Balanceo equilibrado de carga entre servidores Como un usuario final o un DBA que piensa en 1 tabla. Ejemplo: LineItem. “SELECT * FROM LineItem” está dividido en 320 consultas en paralelo contra 320 (1.875 billones de registros) tablas. “SELECT * FROM LineItem WHERE OrderDate = ‘1/1/2012’" son 320 consultas en 320 (18 millones de registros) tablas. Es totalmente irrelevante el saber que en realidad existan 320 tablas que representan 1 tabla lógica. CCI (Clustered Columnstore Index) puede agregar mayor rendimiento mediante la eliminación del segmento.
  • 24. Introduciendo el Servicio Azure SQL DW Un almacén de datos relacionales "as-a-service", totalmente gestionado por Microsoft. La primera empresa con servicios flexible de almacenamiento de datos en la nube con capacidades de nivel empresarial. Soporte a su más pequeñas necesidades de almacenamiento de datos más grandes durante la gestión de consultas hasta 100 veces más rápido.
  • 26. Desplegar rápidamente y obtener una visión Ship Disks Azure Storage HDInsight Herramientas de migración Todos los Tipos de Datos Analíticos con Power BI + ML
  • 27. Flexibilidad en tiempo real • Produzca alternativas de grandes cargas de trabajo, generando períodos bajos de actividad diaria. • Obtenga tiempo de visualizar requerimientos basado en lo que usted necesita, cuando usted lo necesita. • Elija el combo de cálculo y almacenamiento de información que satisfaga sus necesidades.
  • 29. Cuando está en Pausa, Pague sólo por Almacenamiento Utilícelo sólo cuando lo necesite, sin recargar o restaurar datos Ahorre costos con paradas dinámicas y reinicios inmediatos • Cuando está en pausa, el almacenamiento en la nube a gran escala es de costo mínimo. • Basado en políticas (Es decir, noches y fines de semana) • Automatice mediante PowerShell & REST API • Los datos permanecen en su lugar
  • 30. SQL DW: Desarrollado sobre SQL DB Foundation Flexible Escalabilidad a Petabytes Optimizado para DW 99.99% de tiempo de actividad SLA* Geo-Restauración Cumplimiento de normas en Azure (ISO, HIPAA, EU, etc.) Verdadera Experiencia SQL Server Magnificas herramientas de trabajo SQL DW SQL DB Niveles de servicio * Service Level Agreement - Acuerdo de nivel de servicio
  • 31. Unidad de Almacenamiento de Datos (DWU) Basta con adquirir el rendimiento que se necesitan en las consultas, no solo de hardware Cuantificados mediante objetivos de volumen de trabajo: cómo rápidamente las filas de registros son escaneadas, cargadas, copiadas, etc. Medidas de Poder Transparencia Primer servicio de DW para ofrecer potencia de cálculo bajo demanda, independientemente de almacenamiento a requerir. Bajo Demanda
  • 32. Unidad de Almacenamiento de Datos (DWU) * 100 DWU = 297 seg 400 DWU = 74 seg 800 DWU = 37 seg 1,600 DWU = 19 seg * Velocidad de Lectura 3.36M reg/seg Tasa de Carga 130K reg/seg Table Copy Rate 350K reg/seg *
  • 34. Qué es Hadoop? 34 Core Services OPERATIONAL SERVICES DATA SERVICES HDFS SQOOP FLUME NFS LOAD & EXTRACT WebHDFS OOZIE AMBARI YARN MAP REDUCE HIVE & HCATALOG PIG HBASEFALCON Hadoop Cluster compute & storage . . . . . . . . compute & storage . . Hadoop Clusters proporcionan almacenamiento de escalabilidad horizontal y procesamiento de datos distribuido en el hardware en cada uno de los servicios básicos . . .
  • 35. Qué es Hadoop?  Distribuido, Sistema Escalable en componentes de Hardware  Compuesto de unas pocas partes:  HDFS – Sistema Distribuido de Archivos  MapReduce – Modelo de Programación  Otras herramientas: Hive, Pig, SQOOP, HCatalog, HBase, Flume, Mahout, YARN, Tez, Spark, Stinger, Oozie, ZooKeeper, Flume, Storm
  • 36. Qué es Hadoop?  Los principales actores son Hortonworks, Cloudera, MapR  ADVERTENCIA: Hadoop es ideal para el procesamiento de grandes volúmenes de datos PERO es insuficiente para el análisis de los datos en tiempo real (Las empresas hacen análisis de lotes en su lugar)
  • 37. Consulta de datos no estructurados mediante Polybase/T-SQL Instancia SQL DW Escalabilidad de computo Hadoop VMs / Azure StoragePolyBase
  • 38. Consulta de datos no estructurados mediante Polybase/T-SQL • Permite capacidades de consultar a través de distribuciones de Hadoop comunes (HDP y Cloudera) y formatos de archivo de Hadoop en Azure Storage. • Permite el aprovechamiento de las habilidades de SQL existentes y herramientas de BI • Soporta múltiples formatos de archivo no relacionales • Mejora el ciclo de conocimiento y conceptualización de ideas y generación de ETL simplificado Polybase para consultar y administrar datos no relacionales de Hadoop y datos relacionales
  • 39. Consultar datos Hadoop con T-SQL utilizando PolyBase Reunir a todos los paradigmas de almacenamiento o Big Data y a los repositorios de datos en conjunto para los usuarios finales e IT Select… Result set SQL DW Cloudera CHD Linux 4.6 Hortonworks HDP 2.1 (Windows, Linux) Windows Azure HDInsight (HDP 2.1) (HDFS) PolyBase SQL DW Otros (SQL Server, DB2, Oracle)? Verdaderos motores de consultas federadas Windows Azure Storage-Blob (WASB)
  • 40. Consultar datos Hadoop con T-SQL utilizando PolyBase Reunir a todos los paradigmas de almacenamiento o Big Data y a los repositorios de datos en conjunto para los usuarios finales e IT • Proporciona un modelo único de consulta T-SQL ("Capa semántica") para APS y Hadoop con ricas características de T-SQL, incluyendo uniones sin ETL • Utiliza el poder del MPP para mejorar el rendimiento de ejecución de consultas • Compatible con Windows Azure HDInsight para habilitar nuevos escenarios de nube híbrida • Proporciona la capacidad de consulta de las distribuciones de Hadoop no Microsoft, como Hortonworks y Cloudera • Usar habilidades SQL existente, sin intervención de personal IT
  • 41. Use cases where PolyBase simplifies using Hadoop data Bringing islands of Hadoop data together High performance queries against Hadoop data (Predicate pushdown) Archiving data warehouse data to Hadoop (move) (Hadoop as cold storage)
  • 42. Los casos de uso donde PolyBase simplifica los datos utilizando Hadoop Recopilar todos los escollos de datos Hadoop Exportación datos relacionales a Hadoop (Copia) (Hadoop como Copia de seguridad, Análisis, Uso On-Premise) Importación de datos Hadoop dentro del data warehouse (Copia) (Hadoop como área Staging, Sandbox, Data Lake)
  • 43. Comprendiendo Big Data para cualquier persona Integración nativa de Microsoft BI para crear nuevos competencias con herramientas conocidas Herramientas como Power BI reduce al mínimo la intervención para descubrir datos T-SQL para DBA y Usuarios para unirse a datos relacionales y Hadoop Herramientas Hadoop como Map-Reduce, Hive y Pig para Data Scientists Aprovecha alta adopción de Excel, Power View, Power Pivot y SSSA
  • 44. Usuarios Finales Data Scientist Todo el mundo utilizando herramientas de Microsoft BI Comprendiendo Big Data para cualquier persona Integración nativa de Microsoft BI para crear nuevos competencias con herramientas conocidas
  • 45. Tecnologías de escalabilidad en SQL Data Warehouse  Procesamiento Paralelo Masivo (MPP) paraleliza las consultas (No basada en la capacidad impulsada por velocidad)  Múltiples nodos con CPU dedicada, memoria, almacenamiento "No compartido"  Añade incrementalmente Hardware para la escala casi lineal al multi-PB (No es necesario eliminar los datos más antiguos entre otros)  Maneja escalablemente la complejidad de las consultas y las concurrencia a las mismas
  • 46.  No "Forklift" del almacén antes de aumentar la capacidad  Comenzar con unos almacenes de tamaño de Terabyte  Soporte mixto para la carga de trabajo: Consulta mientras se carga (250GB/hora por nodo). No hay necesidad de activar una ventana de mantenimiento Tecnologías de escalabilidad en SQL Data Warehouse
  • 48. MPP y In-Memory Columnstore para un rendimiento de próxima generación Representación del índice de Columnstore C1 C3 C5C4C2 C6 Ejecución de consultas en paralelo Query Resultados
  • 49. iento MPP y In-Memory Columnstore para un rendimiento de próxima generación • Almacenar datos en formato de columnas para la compresión masiva • Cargar datos dentro o fuera de la memoria para un rendimiento de próxima generación • Actualizable y agrupado para carga lenta en tiempo real • No hay índices secundarios requeridos Consultas más rápidas de hasta 100x Columnstore agrupados actualizable vs. Tablas con indexación habitual Hasta compresión de mas de 15x
  • 50. Resultados de los Servicios de Negocios de la Empresa antes y después SMP vs. APS 54x de mejora cargando datos (48 horas vs. 53 minutos) 25x, 193x, de mejora en la ejecución de las consultas (4 días y 6 horas vs. 32 minutos)
  • 51. 1.4 TB/hr tiempo de carga (7 billones de registros) (1.21TB en 53:20) Con las misma herramientas de trabaja de Microsoft BI conocidas Resultados de los Servicios de Negocios de la Empresa antes y después SMP vs. APS
  • 52. Las DWU serán de doble rendimiento 9.4x compresión (7 billones de registros) (De 1.7TB a 179GB) Resultados de los Servicios de Negocios de la Empresa antes y después SMP vs. APS
  • 53. Visión y Arquitectura general del flujo de datos Stream Analytics TransformaciónCapturar Web logs Presentación & Toma de decisiones IoT, Dispositivos móviles, etc. Social Data Event Hubs HDInsight Azure Data Factory Azure SQL DB Azure Blob Storage Azure Machine Learning (Detección de Fraude, etc.) Power BI Web dashboards Dispositivos móviles DW / Almacenamiento a Largo Plazo Análisis Predictivo Eventos & Producción de datos Azure SQL DW
  • 54. Llevar fácilmente tu DW a la nube • Migración transparente de una variedad de orígenes On-Premise y Cloud • Carga rápida, coherente y estable para la migración • Herramientas de migración integradas con soporte para todos las cargas de trabajo
  • 55. Enviar grandes volúmenes de datos en medios físicos. Hacer la migración a Azure, simple y completamente administrado. Traslado con conexiones privadas, aceleradas a Azure. Llevar fácilmente tu DW a la nube
  • 56. Migración SQL Data Warehouse Services - Detalles 1. Acelerador de Migración 2. Importar/Exportar 3. ExpressRoute/Herramientas de Carga
  • 57. Opciones de Carga de Datos • Gran ecosistema de potentes herramientas ETL • Cargar directamente de una variedad de fuentes de orígenes • Cargas de forma transparente paralelizados • Estabilidad y consistencia garantizada
  • 58. Ecosistema de socios muy bien extensible de SQL Server + Establecido con Azure ML, HDInsight, PowerBI, ADF, y mas. + El Ecosistema más amplio de la industria de los socios de Data Warehouse, incluyendo Tableau, Informatica, Attunity, y SAP. Azure ML Azure Event Hub Azure Stream Analytics Azure HDInsight Power BI Microsoft
  • 59. Ecosistema de socios muy bien extensible de SQL Server Despliegue optimizado con el Portal de Azure. Integración profunda con las herramientas de los principales socios incluyendo: • Configuración con un solo clic • Movimiento de datos optimizado • Pushdown lógico Azure SQL DW
  • 60. Líder en el mercado Precio/Rendimiento • La mejor oferta del mercado Precio/Rendimiento • Ventajas en elasticidad y pausa para reducir costos al cliente • Iniciando con pequeño SQL DW, pudiendo crecer a PB rápidamente sin inconveniente alguno • Pagar por el rendimiento mediante la ampliación de cómputo contra el almacenamiento 100GB 1TB 2TB 1+PB Performance
  • 62. Diferencias de SQL DW y Amazon Redshift? Elasticidad Amazon Redshift Azure SQL DW Pausa/ Reanudar Simplicidad Híbrido Compatibilidad
  • 64. Ejemplo de Análisis Descriptivo: ¿Cuántos de nuestros clientes persisten en el último mes? ¿Cuántos de estos clientes son rentable? Diagnostico: Por qué dejaron estos clientes el ser rentables?? Predictivo: Cuántos clientes rentables son propensos a dejar el mes que viene? Prescriptivo: Cómo podemos reducir esta tasa de rotación de clientes rentables?
  • 65. Copia de seguridad automática y Geo-Restore Recuperarse de eliminación de datos o la alteración o desastre Geo-Replicado Restauración desde las copias de seguridad SQL Data Warehouse Backups sabcp01bl21 Azure Storage sabcp01bl21
  • 66. Copias de seguridad automática cada 4 horas, en el Azure Storage ("Recuperación de desastres") y Geo- Replicado ("alta disponibilidad") Copias de seguridad On-Demand en Azure Storage donde el usuario final puede habilitar la Geo-Replicación REST API, PowerShell o El Portal de Azure Exportaciones programadas para la retención a largo plazo Copia de seguridad automática y Geo-Restore Recuperarse de eliminación de datos o la alteración o desastre
  • 67. Copia de Seguridad y Restauración en línea basado en copias instantáneas de almacenamiento Política de retención de Copias de Seguridad: • Copia de Seguridad automáticas hasta 35 días • Copias de seguridad bajo demanda retenidas indefinidamente Copia de seguridad automática y Geo-Restore Recuperarse de eliminación de datos o la alteración o desastre
  • 69. Menos mantenimiento y monitoreo del DBA • No hay creación de índice • No hay datos eliminados o archivados para ahorrar espacio • Simplicidad de gestión (System Center, Consola de Administración, DMVs) • Sin bloqueo • Sin registros de transacciones • Sin sugerencias de consulta • Sin estados de espera • Sin tuning de IO
  • 70. Menos mantenimiento y monitoreo del DBA • No hay optimización de consulta / Tuning • No hay índice para reorganizarlos / reconstruirlos • No particiones • No hay grupos de archivos que gestionan • No hay bases de datos para contraer o expandir • No hay gestión de servidores físicos • No hay servidores y software de parchado RESULTADO: DBA invierten más de su tiempo como arquitectos y no perdedera de tiempo en tonterías!
  • 71. Mejor juntos – SQL DW con APS SQL Server Parallel Data Warehouse Microsoft HDInsight (Hadoop) PolyBase Azure ML Azure Event Hub Azure HDInsight SQL DW Service Analytics Platform System
  • 72. Mejor juntos – SQL DW con APS Utilizar el servicio de SQL DW o APS como su solución de recuperación ante desastres con carga Dual Recuperación de Desastres Los Datos Históricos al Servicio de SQL DW pero manteniendo completo el poder de MPP en ejecución Datos Históricos Restricciones y políticas de las Empresas Pruebas / Desarrollo o Producción Almacenar datos en APS que la política de la empresa prohíbe estar en la nube Poner a prueba nuevas ideas en el servicio de SQL DW antes de salir a producción en APS
  • 73. Lo que esta por venir… Verano 2015 Preview Publica • Pausada y Reanudada Dinámica • Integración con la Plataforma de Servicio de Azure (CloudML, ADF, HDInsight, SQL-IP) • Integración con todo el ecosistema de los Partners de SQL Server • Geo-Restauración • Servicio o Aplicación híbrida • PolyBase para la integración a Big Data • T-SQL preparado para las empresas • Primera ola de socio certificados en SQL A finales 2015/ A comienzo 2016 Acuerdo a esperar • Certificado ISO, PCI • Clausula de Modelo HIPAA, BAA, & EU Acuerdo de Nivel de Servicio • 99.99% SLA
  • 74.
  • 78. Recursos • SQL Data Warehouse PREVIEW - http://bit.ly/1EFEkLz • Partners for Azure SQL Data Warehouse - http://bit.ly/1EkhcCp • TechEd Europe - http://bit.ly/1EFEyT4
  • 79. José Redondo Microsoft SQL Server MVP | CEO EntornoDB | DPA SolidQ redondoj@gmail.com | @redondoj | redondoj.wordpress.com