Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Dawarehouse como servicio en azure (sqldw)

En lugar de aprovisionar grandes recursos para tu DW, Azure ofrece una versión especial de SQL Server como DataWarehouse. Si está familiarizado con el appliance APS, SQLDW en Azure viene a ser su versión como servicio. Usted crea su DW desde el portal de Azure y ya puede empezar a cargar datos y explotarlos. En esta sesión veremos cómo habilitar el servicio y cómo empezar a explotar SQLDW como tu DW en la nube.

  • Login to see the comments

  • Be the first to like this

Dawarehouse como servicio en azure (sqldw)

  1. 1. #TechSum ecatala@solidq.com www.solidq.com @enriquecatala
  2. 2. #TechSum
  3. 3. #TechSum ecatala@solidq.com | www.solidq.com @enriquecatala | www.enriquecatala.com MASTER BI EMPIEZA EN 14 DIAS! http://www.solidq.com/es/masterbi
  4. 4. #TechSum
  5. 5. #TechSum Microsoft SQL Server Entorno escalable SMP y NUMA en cualquier hardware OnPremise y Azure IaaS Ideal para datamarts desde pequeños a “medianos” Solo software 10s de TB Microsoft Analytics Platform System (APS) Appliance para entornos datawarehouse de alto rendimiento MPP Solo OnPremise Ideal para alto rendimiento y alta escalabilidad de DW Applicance (SW y HW) 10s de TB – 6 PB (PDW) 24TB – 1.2 PB (Hadoop) Microsoft Azure SQL Data Warehouse (SQLDW) Cloud data warehouse para entornosd de alto rendimiento MPP Solo cloud Ideal para alto rendimiento, alta escalabilidad en cloud Solución completa PaaS 10s de TB – PBs
  6. 6. #TechSum
  7. 7. #TechSum
  8. 8. #TechSum PaaS Escalable horizontal Arquitectura MPP Integrado (SSDT, TSQL) Hibrido (Polybase) Coste efectivo
  9. 9. #TechSum
  10. 10. #TechSum
  11. 11. #TechSum Un único cerebro Requiere un motor relacional distribuido
  12. 12. #TechSum Muchos elementos “músculo” No podemos conectar a él
  13. 13. #TechSum Pero muchos nodos de procesamiento! Pequeñas queries Divide y vencerás
  14. 14. #TechSum
  15. 15. #TechSum
  16. 16. #TechSum Load rate • Records/sec • Network+CPU Scan/Aggregationrate • Records/sec leyendo datos • Operacion compleja • CPU + IO Create Table As Select rate • Velocidad de copia • CPU + IO + NETWORK
  17. 17. #TechSum DWU Max concurrent queries Concurrency slots allocated DW100 4 4 DW200 8 8 DW300 12 12 DW400 16 16 DW500 20 20 DW600 24 24 DW1000 32 40 DW1200 32 48 DW1500 32 60 DW2000 32 80 DW3000 32 120 DW6000 32 240
  18. 18. #TechSum
  19. 19. #TechSum
  20. 20. #TechSum
  21. 21. #TechSum Documentación en http://aka.ms/sqldw
  22. 22. #TechSum
  23. 23. #TechSum
  24. 24. #TechSum
  25. 25. #TechSum
  26. 26. #TechSum
  27. 27. #TechSum
  28. 28. #TechSum
  29. 29. #TechSum
  30. 30. #TechSum BCP SSIS Polybase PolyBase BCP SQLBulkCopy/ADF SSIS Load Rate Rate increase as you increase DWU Yes No No No Rate increase as you add concurrent load No Yes Yes Yes FASTEST============>>>>>>>>>>SLOWEST Pero si que se incrementa en Polybase cuando tenemos muchos ficheros por carpeta
  31. 31. #TechSum
  32. 32. #TechSum
  33. 33. #TechSum
  34. 34. #TechSum NOTA: Todos los tipos de datos tienen workaround, la mayoría valen con varbinary(8000)
  35. 35. #TechSum ANSI joins on updates ANSI joins on deletes merge statement cursors SELECT..INTO INSERT..EXEC common table expressions recursive common table expressions (CTE) • $partition function • table variables • table value parameters • distributed transactions • commit / rollback work • save transaction • execution contexts (EXECUTE AS) • group by clause with rollup / cube / grouping sets options • nesting levels beyond 8 • updating through views • use of select for variable assignment • no MAX data type for dynamic SQL strings
  36. 36. #TechSum • E • T • L ETL SERVER DATA WAREHOUSE SERVER EXTRACT TRANSFORM LOAD ELT SERVER DATA WAREHOUSE SERVER EXTRACT TRANSFORM LOAD ELTETL IN-MEMORY TRANSFORMS FEWER CPUS IN-DB MORE CPUS GOOD SORT
  37. 37. #TechSum DBSource1DBSource1 DBSource2DBSource2 DBSource3DBSource3 SQLDW (PaaS) 5 2 3 Report2 2 4 3 7 1 Report1 Powerpivot SSIS Incremental export Onpremise CPD1 CLOUD (PaaS) Storage (Azure) POLYBASE DBSource1 DBSource2 DBSource3 DB STG BI Database CUBE PreCleanData DWH Consolidation SSIS SSIS SSAS processing SSAS Onpremise CPD1 OnPremise CPD2 Generadas por paquetes CDC
  38. 38. #TechSum
  39. 39. #TechSum Pruebas y mediciones • Empezar en 400DTW • Probar con 1000DTW Cambio ETL a ELT • Fuera SSIS • PowerBI/Reporting Patron de subida • Marcas de cambios • OnPrem a SQLDW Carga de datos • Ajustes del modelo
  40. 40. #TechSum Exportar datos a CSV • SSIS • Automatizacion • BIML Subir CSVs a Azure Storage • AzCopy • PowerShell Cargar CSVs en SQLDW • Create Table from Select As… • Automatizacion • t4dacfx2tsql
  41. 41. #TechSum
  42. 42. #TechSum
  43. 43. #TechSum Bytes_per_row: 250 #_rows: 60,000,000,000 B_to_GB_factor: 1,000,000,000 Distribution_count: 60 Compression_factor: 5 (typical) Partition_count: 36 (monthly over three years) Max_rows_per_rowgroup rows_per_distribution = #_rows / distribution_count rows_per_partition = rows_per_distribution / partition_count max_rowgroups_per_partition = partition_count / max_rows_per_rowgroup Uncompressed_table_size_b = bytes_per_row x # rows Uncompressed_table_size_gb = Uncompressed_table_size_b / B_to_GB_factor Uncompressed_table_distribution_size_gb = uncompressed_table_size_gb/distribution_count Compressed_distribution_size_gb = Uncompressed_table_distribution_size_gb /compression_factor Compressed_partition_size_gb = Compressed_distribution_size_gb / partition_count
  44. 44. #TechSum Pausa tu SQLDW Ahorrarás dinero Puedes seguir subiendo datos con Polybase DWU €/Hora €/Mes laboral €/Mes completo 100 1,02 € 179,52 € 734,40 € 200 2,04 € 359,04 € 1.468,80 € 300 3,06 € 538,56 € 2.203,20 € 400 4,08 € 718,08 € 2.937,60 € 500 5,10 € 897,60 € 3.672,00 € 600 6,12 € 1.077,12 € 4.406,40 € 1000 10,20 € 1.795,20 € 7.344,00 € 1200 12,24 € 2.154,24 € 8.812,80 € 1500 15,30 € 2.692,80 € 11.016,00 € 2000 20,40 € 3.590,40 € 14.688,00 € 3000 30,60 € 5.385,60 € 22.032,00 € 6000 61,21 € 10.772,96 € 44.071,20 €
  45. 45. #TechSum Diseña pensando en distribucion de datos Crea estadísticas tras CREATE TABLE Actualiza estadísticas tras carga de datos Particiona tus objetos Comienza por DTW 300
  46. 46. #TechSum Utiliza BIML Carga mediante Polybase Crea tus objetos mediante T4 Separador complejo $|x
  47. 47. #TechSum Dinero • No es un problema • Prefiero parar y arrancar BI • Si no tengo solución BI • O no quiero invertir más y quiero la via del hierro Tiempo • Hay mucho dato y necesito saltarme transformacion • Ocasionalmente pido información que necesito rapido
  48. 48. #TechSum http://aka.ms/MTS64 Enrique Catalá Bañuls ecatala@solidq.com www.solidq.com @enriquecatala
  49. 49. © 2014 Microsoft Corporation. All rights reserved. Microsoft, Windows, Windows Vista and other product names are or may be registered trademarks and/or trademarks in the U.S. and/or other countries. The information herein is for informational purposes only and represents the current view of Microsoft Corporation as of the date of this presentation. Because Microsoft must respond to changing market conditions, it should not be interpreted to be a commitment on the part of Microsoft, and Microsoft cannot guarantee the accuracy of any information provided after the date of this presentation. MICROSOFT MAKES NO WARRANTIES, EXPRESS, IMPLIED OR STATUTORY, AS TO THE INFORMATION IN THIS PRESENTATION.

×