Escalabilidad “ilimitada”con SQL Server        Eladio Rincón        Director Depto. Relacional, SolidQ        SQL Server M...
Factores que Limitan la Escalabilidad         Baseline                    Producto                                     Har...
Agenda         Casos más Impactantes y sus Retos         El Caso de la Servilleta               … y la otra servilleta    ...
Los números…   VLDB                 Mission Critical                          HA/DR                       DW              ...
…traducido en CaracteristicasNecesidad       Característica      Versión SQL ServerVLDB            Particionado           ...
Scale Out – El Caso de la Servilleta                                Servidores                                Apps        ...
Scale Out – La otra ServilletaProtección y escalabilidad a nivel de grupos de bases de datos                              ...
Scale Out – Caso Práctico                                           Availability Group (AG)                               ...
Scale Out – SQL Server 2012 PDW Dimensiones: Replicadas                                                TD           PD    ...
Scale Out – SQL Server 2012 PDW    Hechos: Distribuidos                                                TD           PD    ...
Compresión / Almacenamiento Columnar         Disponible en SQL 2012 y PDWAlmacenamiento  Tradicional                      ...
Almacenamiento Columnar – Menos E/S          Disponible en SQL 2012 y PDWSELECT  key2, key3,  SUM (measure1) Ventas       ...
Tecnología en MemoriaProyecto Heckaton• Objetivo  cuando el hardware no da más      >= 15.000 reqs/sec• Soporte Completo ...
Repaso de los números…   VLDB                 Mission Critical                          HA/DR                       DW    ...
Qué proponemos para acercarte a        esos números              Baseline                              Identify           ...
4 Medidas •   Sintéticas •   Unitarias •   Concurrencia •   Vida Real“Cuando quieres realmente una cosa, todo elUniverso c...
Medidas Sintéticas               • Recursos:                 Arquitecturas de                 Referencia FTDW            ...
Pruebas Unitarias                • Funcionales                  del software                    Visual Studio,            ...
Pruebas de Concurrencia                   • Cómo se                     comporta el                     software con      ...
Vida Real            • Seguir              midiendo              Tools            • Entender              la realidad     ...
Pinceladas de Casos de Estudio• Replicación para mejorar  rendimiento• Migraciones      • Rápidas      • Seguras      • Es...
Usando Replicación de Datos paramejorar Rendimiento© SolidQ 2013                      23
Migración a 2008 Muy Rápida© SolidQ 2013                 24
Migraciones Medidas y Seguras…© SolidQ 2013                    25
… en Sistemas Seguros …© SolidQ 2013             26
… y Escalables y con Fast Track© SolidQ 2013                     27
Resumen• Los números están ahí• Ayudan a asustar fantasmas• Outside – In      • Comprende lo que ves fuera y              ...
Eladio Rincóneladio@solidq.com
Agenda       9:30: 10:00   Una nueva plataforma de gestión de                     la información: SQL Server 2012       10...
Créditos imágenesTúneles de vientohttp://www.rectademeta.com/primer-tunel-de-viento-en-espana.htmlhttp://angelesenlacabeza...
Si quieres disfrutar de las mejores sesiones de      nuestros mentores de España y Latino América,                   ésta ...
SolidQ Business Analytics Day | Escalabilidad “ilimitada” con SQL Server
Upcoming SlideShare
Loading in …5
×

SolidQ Business Analytics Day | Escalabilidad “ilimitada” con SQL Server

299 views
227 views

Published on

Presentación de Eladio Rincón durante el SolidQ Business Analytics Day en Valencia (España) el pasado 13 de Marzo 2013.
- Casos más impactantes y sus retos
- El caso de la Servilleta... y la otra servilleta
- En qué te podemos ayudar
www.bisql.com

Published in: Technology
0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total views
299
On SlideShare
0
From Embeds
0
Number of Embeds
0
Actions
Shares
0
Downloads
9
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide

SolidQ Business Analytics Day | Escalabilidad “ilimitada” con SQL Server

  1. 1. Escalabilidad “ilimitada”con SQL Server Eladio Rincón Director Depto. Relacional, SolidQ SQL Server MVP eladio@solidq.com
  2. 2. Factores que Limitan la Escalabilidad Baseline Producto Hardware Identify bottlenecks Aplicaciones MeasurePerformance Combinación Make Changes 2
  3. 3. Agenda Casos más Impactantes y sus Retos El Caso de la Servilleta … y la otra servilleta En qué te podemos ayudar 3
  4. 4. Los números… VLDB Mission Critical HA/DR DW High OLTP Large U.S. Financial Large U.S. Financial Organization Organization Critical operations 100% uptime (2008) > 125K tx/second 100% uptime (2009) 180M incremental >1 peta-byte with > 1,000,000,000 tx/day 100% uptime (2010) fact rows/day < 50ms latency Centipede > peta-byte Mission Critical 7x24x365 Synchronous 490TB ≈ 1 trillion rows database > 4 TB Mirroring Solution >15B 9 data nodes > 30,000 DB tx/Second tx/yr>80GB daily growth Critical operations SAP | geo-cluster > 5 miles 70GB daily growth > 3,000 tx/Second>50 TB by end of 2010 with > 15,000 users No Data Loss | No Down Time <= 3s query response (80%) > 2B CLR calculations/day Critical operations Asynch Mirroring > 400 miles 700 million rows/day 12.4M users (2.7M regular)>90GB daily growth at > 2200 facilities < 60 sec. recovery Incremental growth > 23k batch requests/sec Mission Critical COMING SOON! 5TB Analysis Services data 4.4M concurrent users>10B rows in 1 table table > 1.9 billion rows (10+1 Clusters) 50TB federated environment 130M monthly users 4
  5. 5. …traducido en CaracteristicasNecesidad Característica Versión SQL ServerVLDB Particionado 2000 – 2012 Compresión 2005 – 2012 BD en Memoria 2013+HA / Tier – 1 Hadron / AlwaysON 2008 – 2012 Utilizar los 2005 – 2012 secundariosDW Scale Scale Out (2008) – 2012 FTDW, Vertipaq (2008) – 2012 5
  6. 6. Scale Out – El Caso de la Servilleta Servidores Apps Usuarios Listener 6
  7. 7. Scale Out – La otra ServilletaProtección y escalabilidad a nivel de grupos de bases de datos Mejora la Productividad y ROI Mejor Disponibilidad • Multi-database distribuir la carga entre los secundarios , Reportings y backups Sin dependencia de aplicaciones
  8. 8. Scale Out – Caso Práctico Availability Group (AG) • Grupo de bases de datos que gestionamos conjuntamente (e.g. failover conjunto) • Definimos la replicación conjuntamente A A Availability Replica (AR) A • Copia fisica del conjunto de bases deA datos definidas en el Availability Group Nodo Primario • Permite escritura y lectura Nodo Secundario Synch. Data Application A MovementA Secondary Replica • Permite conexiones solo lectura • Es la copia de backup de los Asynch. Data datosA Application A Movement Primary Replica
  9. 9. Scale Out – SQL Server 2012 PDW Dimensiones: Replicadas TD PD SF 01-08 Time Dim Product Dim SD MD Date Dim ID Prod Dim ID Calendar Year Prod Category Calendar Qtr Prod Sub Cat TD PD Calendar Mo Prod Desc SF Calendar Day 09-16 SD MD Sales Facts TD PD SF Date Dim ID 17-24 SD MD Store Dim ID Prod Dim ID Mktg Camp Id Qty Sold Dollars Sold TD PD SF 25-32 Store Dim Mktg Campaign SD MD Dim Store Dim ID Mktg Camp ID Store Name Camp Name TD PD Store Mgr Camp Mgr SF Store Size Camp Start 33-40 SD MD Camp End
  10. 10. Scale Out – SQL Server 2012 PDW Hechos: Distribuidos TD PD SF 01-08 Time Dim Product Dim SD MD Date Dim ID Prod Dim ID Calendar Year Prod Category Calendar Qtr Prod Sub Cat TD PD Calendar Mo Prod Desc SF Calendar Day 09-16 SD MD Sales Facts TD PD SF Date Dim ID 17-24 SD MD Store Dim ID Prod Dim ID Mktg Camp Id Qty Sold Dollars Sold TD PD SF 25-32 Store Dim Mktg Campaign SD MD Dim Store Dim ID Mktg Camp ID Store Name Camp Name TD PD Store Mgr Camp Mgr SF Store Size Camp Start 33-40 SD MD Camp End
  11. 11. Compresión / Almacenamiento Columnar Disponible en SQL 2012 y PDWAlmacenamiento Tradicional … (row store) C1 C2 C3 C4 C5 C6 Páginas Almacenamiento Columnar VertiPaq
  12. 12. Almacenamiento Columnar – Menos E/S Disponible en SQL 2012 y PDWSELECT key2, key3, SUM (measure1) Ventas • Se recupera sólo las columnasFROM tabla necesariasGROUP BY key2, key3; • Datos comprimidos • Menos E/S key1 key4 key5 key6 • Mejor ratio de acierto en caché -- -- columnstore index -- CREATE COLUMNSTORE INDEX idx_cs_fact ON dbo.Fact ( key1, key2, key3, key4, key5, key6, key7, key8, measure1, measure2, measure3); key2 key3
  13. 13. Tecnología en MemoriaProyecto Heckaton• Objetivo  cuando el hardware no da más >= 15.000 reqs/sec• Soporte Completo ACIDTablas en Memoria SPs en Memoria
  14. 14. Repaso de los números… VLDB Mission Critical HA/DR DW High OLTP Large U.S. Financial Large U.S. Financial Organization Organization Critical operations 100% uptime (2008) > 125K tx/second 100% uptime (2009) 180M incremental >1 peta-byte with > 1,000,000,000 tx/day 100% uptime (2010) fact rows/day < 50ms latency Centipede > peta-byte Mission Critical 7x24x365 Synchronous 490TB ≈ 1 trillion rows database > 4 TB Mirroring Solution >15B 9 data nodes > 30,000 DB tx/Second tx/yr>80GB daily growth Critical operations SAP | geo-cluster > 5 miles 70GB daily growth > 3,000 tx/Second>50 TB by end of 2010 with > 15,000 users No Data Loss | No Down Time <= 3s query response (80%) > 2B CLR calculations/day Critical operations Asynch Mirroring > 400 miles 700 million rows/day 12.4M users (2.7M regular)>90GB daily growth at > 2200 facilities < 60 sec. recovery Incremental growth > 23k batch requests/sec Mission Critical COMING SOON! 5TB Analysis Services data 4.4M concurrent users>10B rows in 1 table table > 1.9 billion rows (10+1 Clusters) 50TB federated environment 130M monthly users 15
  15. 15. Qué proponemos para acercarte a esos números Baseline Identify bottlenecks Measure Performance Make Changes
  16. 16. 4 Medidas • Sintéticas • Unitarias • Concurrencia • Vida Real“Cuando quieres realmente una cosa, todo elUniverso conspira para ayudarte a conseguirla”Autor: Tú (con permiso de Paulo Coelho)
  17. 17. Medidas Sintéticas • Recursos: Arquitecturas de Referencia FTDW • Herramientas: Fabricantes de hardware y software (SQLIO, IOMeter) • Busca los límites • No es Barato
  18. 18. Pruebas Unitarias • Funcionales del software Visual Studio, Telerik, Nunit, xUnit, Pex: MS Research • Las cosas no van mal • …pero pueden ir
  19. 19. Pruebas de Concurrencia • Cómo se comporta el software con otros al lado ERPs, CRMs, Transaccionales, Analíticos, Reporting, … • Analizar (S y H) Profilers PerfMon • Concluir • Medidas
  20. 20. Vida Real • Seguir midiendo Tools • Entender la realidad Cruzar datos • Reaccionar rápido Proactivo
  21. 21. Pinceladas de Casos de Estudio• Replicación para mejorar rendimiento• Migraciones • Rápidas • Seguras • Escalables© SolidQ 2013 22
  22. 22. Usando Replicación de Datos paramejorar Rendimiento© SolidQ 2013 23
  23. 23. Migración a 2008 Muy Rápida© SolidQ 2013 24
  24. 24. Migraciones Medidas y Seguras…© SolidQ 2013 25
  25. 25. … en Sistemas Seguros …© SolidQ 2013 26
  26. 26. … y Escalables y con Fast Track© SolidQ 2013 27
  27. 27. Resumen• Los números están ahí• Ayudan a asustar fantasmas• Outside – In • Comprende lo que ves fuera y ajústalo a tu Organización© SolidQ 2013 28
  28. 28. Eladio Rincóneladio@solidq.com
  29. 29. Agenda 9:30: 10:00 Una nueva plataforma de gestión de la información: SQL Server 2012 10:00 – 11:00 ¿Sabes hasta dónde puede llegar SQL Server? 11:00 – 11:30 Coffee – Break 11:30 – 12:15 Enterprise Information Management: Jugando con SSIS, DQS y MDS 12:15- 13:00 ¿Cómo de Big son tus datos?: HDInsight© SolidQ 2013 30
  30. 30. Créditos imágenesTúneles de vientohttp://www.rectademeta.com/primer-tunel-de-viento-en-espana.htmlhttp://angelesenlacabeza.blogspot.com.es/2012/10/tuneles-de-viento-ese-gran-desconocido.htmlhttp://www.autobild.es/reportajes/ferrari-una-factor%C3%AD-de-sue%C3%B1osEntrenamientoshttp://www.lasprovincias.es/20110203/deportes/motor/vida-kilometros-hora-201102030951.htmlhttp://www.elmundo.es/albumes/2013/02/08/delarosa_ferrari_estreno/index.tmlEntrenos oficialeshttp://www.abc.es/20121102/deportes-f1/abci-libres1-abudabi-201211021156.htmlCarrerahttp://www.flickr.com/photos/97302051@N00/155461458/sizes/z/in/photostream/http://beyondtheredline.org/formula-1-fernando-alonso-the-rain-master/© SolidQ 2013 31
  31. 31. Si quieres disfrutar de las mejores sesiones de nuestros mentores de España y Latino América, ésta es tu oportunidad. http://summit.solidq.com/madrid/ Síguenos:© SolidQ 2013 32

×