Td2010 Dbm303 V1

1,554 views

Published on

Published in: Technology
0 Comments
1 Like
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total views
1,554
On SlideShare
0
From Embeds
0
Number of Embeds
5
Actions
Shares
0
Downloads
30
Comments
0
Likes
1
Embeds 0
No embeds

No notes for slide

Td2010 Dbm303 V1

  1. 1. DBA DAY - Consolidation et virtualisation des bases de données<br />Code Session : DBM303<br />8 février 2010 <br />Nadia Ben El Kadi, ArchitecteMicrosoftnadiab@microsoft.com<br />Bertrand Audras, baudras@microsoft.com<br />Olivier Tolon, ArchitecteMicrosoft otolon@microsoft.com<br />
  2. 2. Les drivers de la consolidation<br />Optimisation des ressources et des coûts<br />Achetermoins de serveurs (réutilisation)<br />Économiserl’énergie face à la saturation des onduleurs<br />Standardisation de l’administration<br />Supervision, sauvegarde, haute disponibilité pour tous<br />Rationalisation des outilsutilisés<br />Flexibilité de gestionapplicatives<br />Montée en charge<br />Saisonalité<br />Réduction des coûts(hardware, licenses)<br />
  3. 3. Consolider avec SQL Server<br />Critères de sélection<br />Étanchéité<br />Mutualisation des ressources<br />Optimisation de l’administration<br />
  4. 4. Agenda<br /><ul><li>Introduction</li></ul>Comment identifier les candidats à la consolidation<br />Préparer sa consolidation<br />Outils et méthodes de collecte<br />Méthodes d’analyse<br />Les solutions pour consolider SQL Server<br />Multi-databases<br />Multi-instances<br />Virtualisation, démo du Live Migration<br />Outillage de la migration : SQL Server 2008R2 AMM<br />Retours d’expérience du MTC sur la virtualisation<br />Quel impact sur les licences<br />Synthèse<br />
  5. 5. Préparer sa consolidation<br />L’aspect technique de la consolidation est la préparation/planification<br />La 1ère chose à faire est de collecter les informationssurl’éxistant car sans cela, il sera difficile de faire un choixd’architecturedu nouvelenvironnement<br />Informations de configuration<br />Informations de performancesur le serveur, l’instanceet les Bases de données<br />Le but n’est pas de collecterune multitude d’informationni de collectertous les compteursde performance maisjuste un minimum d’éléments<br />
  6. 6. Que collecter ?<br />Informations windows et celles du serveur physique<br />Informations SQL Server<br />Informations sur les application<br />Informations de performance<br />
  7. 7. Informations windows et serveur physique<br />
  8. 8. Informations SQL Server<br />
  9. 9. Informations sur applications<br />
  10. 10. Informations de performance<br />Principaux Compteurs windows et SQL server<br />Activité SQL Serveur<br />
  11. 11. Outils/méthodes de collecte<br />Pour la configuration<br />Tables/Vues/procédures/systèmes<br />SQLDIAG<br />MPSReport<br />Autres logiciels d’inventaire : le DBA pourra utiliser ces infos si elles existent<br />MAP (MS Assessment & Planning Toolkit)<br />Permet de collecter les serveurs de votre réseau. Utile pour détecter les serveurs inconnus. C’est le 1ier outil souvent utilisé lors des souhaits de consolidation.<br />Pour les performances<br />DMV , Performances Dashbord inclus dans SSMS<br />Performance Monitor<br />Les outils de monitoring si vous en avez<br />Collecte les infos de performance. Si ces données existent le DBA peut s’en servir afin d’éviter des collectes déjà existantes<br />Si besoin, pensez au RML tools : readtrace ; reporter <br />Pensez aussi à Codeplex : PAL, Nexus<br />
  12. 12. Méthode d’analyze<br />Les donnéesstatiquesdéfinieront quoi et comment les choses serontconsolidées<br />Ne pas mélanger OLTP et OLAP<br />Mêmes versions OS et SQL<br />Instances en HA<br />Les données de performance aurontellesune part importantelors du capacity planning.Cesdonnéesserontla base de ce qui peutêtreconsolider ensemble d’un point de vue performance.<br />Sizing des serveurs : Ram, CPU, IO<br />Regroupement d’instances<br />Regroupement de Bases<br />Si vous disposez d’éléments d’historique de l’évolution des DB, servez vous en pour tailler vos serveurs en conséquence.<br />Important : il sera bon d’envisager une phase de tunning des instances les plus consommatrices afin d’optimiser d’éventuelles requêtes si besoin.<br />Veillez à éviter les conflits (même nom de DB)<br />Profitez en pour vous assurer que les Best Practices sont suivies : 2 outils :<br />BPA si SQL Serveur 2005 et antérieur<br />PBM en 2008<br />
  13. 13. Agenda<br /><ul><li>Introduction
  14. 14. Comment identifier les candidats à la consolidation
  15. 15. Préparer sa consolidation
  16. 16. Outils et méthodes de collecte
  17. 17. Méthodes d’analyse</li></ul>Les solutions pour consolider SQL Server<br />Multi-databases<br />Multi-instances<br />Virtualisation, démo du Live Migration<br />Outillage de la migration : SQL Server 2008R2 AMM<br />Retours d’expérience du MTC sur la virtualisation<br />Quel impact sur les licences<br />Synthèse<br />
  18. 18. Les choix possibles<br />Cas 1) Plusieursschémasdansunemême base de données: pas très acceptable par les DBA car moinssécurisée, nécessitesouvent de modifier l’application, peutimpacter les perfs.Cechoixest à traiter avec prudence<br />Cas 2) Plusieurs DBs au sein d’une même instance: on garde une isolation au niveau de la DB mais il subsiste un risque en terme de conflit de sécurité ou autre problème de collation.<br />Cas 3) Plusieurs instances au sein d’un mêmeserveur (oucluster): cetteméthodepermetd’optimiser les ressources d’un serveur physique en mutualisantplusieurs instances sur le mêmeserveur (ou cluster).<br />Cas 4) La virtualisation : estuneméthoderelativementrécente de consolidation qui étaitplutôtutilisée pour des serveursautresqueceuxhébergeant des BDs.Cetteméthodeestcelle qui offrel’isolation la plus importante car chaqueserveurvirtueléquivaudra à un serveur physique. Mais les serveursvirtuelsseronthébergés par un Host donc les ressources sous jacentesserontquandmêmepartagées par toutes les VMs. On pourraaussidanscescénarioavoirplusieurs instances dansunemême VM.<br />
  19. 19. Cas 2 : Mutualisation au sein d’une même instance<br />1 instance héberge N bases applicatives<br />Ressources Mémoire, Cpuseront communes<br />TEMPDB commune <br />Arrêt de l’instance  Arrêt de toutes les bases applicatives<br />Attention : ne pas mélanger les instances gourmandes avec les petites instances<br />Depuis SQL 2008 : le « resourcegovernor » permet de gérer une affinité au niveau mémoire et cpu<br />
  20. 20. Cas3 : Consolidation physique - Instances multiples<br />Prise en charge de plusieurs instances SQL Server surunemêmemachine<br />En standalone : 50 instances<br /> En cluster : 25 instances<br />Prévoirun serveur physique avec des ressourcessuffisantes<br />Intérêt :<br /><ul><li>Différentesversions (build) de SQL, par exemple pour la compatibilité de certaines applications
  21. 21. Hébergementd’applications par instance
  22. 22. Collation différentes
  23. 23. Assignation de ressources par instance (mémoire/CPU)
  24. 24. Isolation de l’impactd‘une application suruneautre</li></li></ul><li>Cas 4 : la virtualisation<br />Machine « Host » qui héberge plusieurs VM « guest »<br />Possibilité d’utiliser un cluster pour assurer la HA<br />Chaque VM peut être vu comme une machine individuelle avec ses propres ressources<br />Voir KB : « SQL Server support policy for virtualization » : http://support.microsoft.com/kb/956893/en-us<br />SQL Server 2005 et 2008<br />Guestclustering avec Windows 2008 et 2008 R2<br />White paper « Best Practices & Performance considerations running SQL 2008 on HyperV »<br />http://download.microsoft.com/download/d/9/4/d948f981-926e-40fa-a026-5bfcf076d9b9/SQL2008inHyperV2008.docx<br />Extraits : <br />There are ways to optimize a VM, such as using pass-through disks to talk directly to a disk subsystem, but remember that the I/O is still being shared with the rest of the VMs through the hypervisor. <br />The key to success with virtualization in production is testing. Do not put a deployment in jeopardy by just assuming virtualization will work. If the deployment does not succeed, you will have to pull it out of virtualization and onto physical hardware.<br />
  25. 25. Démo<br />Live Migration d’une VM SQL Server<br />
  26. 26. Windows 2008 R2 Hyper-V Live Migration<br />Step 1: Snapshot VM memory<br /> Copy partition memory from source VM to Destination<br />Physical Server<br />Physical Server<br />Source Child Partition<br />Destination Child Partition<br />Root Partition<br />Root Partition<br />Changed Pages<br />Storage Connections<br />Network Connections<br />Partition Memory<br />Partition Memory<br />Hypervisor<br />Hypervisor<br />Hardware<br />Hardware<br />Network Connections<br />LUN 2<br />LUN 1<br />Shared Storage<br />
  27. 27. Windows 2008 R2 Hyper-V Live Migration<br />Step 2: Copy changed pages from source VM to destination<br />Physical Server<br />Physical Server<br />Source Child Partition<br />Destination Child Partition<br />Root Partition<br />Root Partition<br />Changed Pages<br />Changed Pages<br />Storage Connections<br />Network Connections<br />Partition Memory<br />Partition Memory<br />Hypervisor<br />Hypervisor<br />Hardware<br />Hardware<br />Network Connections<br />LUN 2<br />LUN 1<br />Shared Storage<br />
  28. 28. Windows 2008 R2 Hyper-V Live Migration<br />Step 3: Storage connections are migrated from the source VM to the destination VM<br />Physical Server<br />Physical Server<br />Source Child Partition<br />Destination Child Partition<br />Root Partition<br />Root Partition<br />Changed Pages<br />Changed Pages<br />Storage Connections<br />Storage Connections<br />Network Connections<br />Partition Memory<br />Partition Memory<br />Hypervisor<br />Hypervisor<br />Hardware<br />Hardware<br />Network Connections<br />LUN 1<br />LUN 2<br />Shared Storage<br />
  29. 29. Windows 2008 R2 Hyper-V Live Migration<br />Step 4: Network connections are migrated from source VM to destination VM<br />Physical Server<br />Physical Server<br />Source Child Partition<br />Destination Child Partition<br />Root Partition<br />Root Partition<br />Changed Pages<br />Changed Pages<br />Storage Connections<br />Storage Connections<br />Network Connections<br />Partition Memory<br />Partition Memory<br />Network Connections<br />Hypervisor<br />Hypervisor<br />Hardware<br />Hardware<br />Network Connections<br />LUN 1<br />LUN 2<br />Shared Storage<br />
  30. 30. Windows 2008 R2 Hyper-V Live Migration<br />Step 5: Destination VM is brought online Source VM is taken off line<br />Physical Server<br />Physical Server<br />Destination Child Partition<br />Source Child Partition<br />Root Partition<br />Root Partition<br />Changed Pages<br />Storage Connections<br />Partition Memory<br />Network Connections<br />Hypervisor<br />Hypervisor<br />Hardware<br />Hardware<br />Network Connections<br />LUN 1<br />LUN 2<br />Shared Storage<br />
  31. 31. Comparatif<br />
  32. 32. Quelle édition choisir pour la consolidation ?<br />Edition Entreprise vous permettra de faire<br />Compression<br />Resource Governor<br />50 instances<br />Pas de limite de CPU (OS maximum) <br />Online reindex<br />Hot-addcpu et Hot –addmemory<br />Parallel index operations<br />Voir BOL pour plud de détails<br />
  33. 33. Consolidation & Performance<br />Best Practices<br />Préférer une architecture 64 bits<br />Coté CPU : se baser sur les collectes réalisées. Prendre le temps de tester pour trouver le bon nombre de CPU/Core<br />Mémoire : <br />les DBA doivent travailler avec les administrateurs systèmes pour évaluer la mémoire à laisser à l’OS (process, antivirus, outil monitoring, backup utility etc…)<br />Bien positionner le « max server memory » surtout en Multi-instance et en environnement cluster.<br />Disques : 2 aspects: espace nécessaire et besoin en I/O<br />Coté stockage : prévoir espace nécessaire pour les Data, les logs; les backup et les déploiements/évolutions futures<br />Performance disk : utiliser les informations collectées pour analyser les IO et optimiser la répartition disque : plusieurs axes, séparer Data et Log<br />TEMPDB : http://technet.microsoft.com/en-us/library/cc966545.aspx<br />Bien tailler les enveloppes des bases de données et autogrow<br />
  34. 34. Agenda<br /><ul><li>Introduction
  35. 35. Comment identifier les candidats à la consolidation
  36. 36. Préparer sa consolidation
  37. 37. Outils et méthodes de collecte
  38. 38. Méthodes d’analyse
  39. 39. Les solutions pour consolider SQL Server
  40. 40. Multi-databases
  41. 41. Multi-instances
  42. 42. Virtualisation, démo du Live Migration</li></ul>Outillagede la migration : SQL Server 2008R2 AMM <br />Retours d’expériencedu MTC sur la virtualisation<br />Quel impact sur les licences<br />Synthèse<br />
  43. 43. AMM : Application & MultiServers Management<br />Fonctionnalité Management Multiserveurs<br />Gérer de manière proactive et efficace les environnements de base de données grâce à une visibilité centralisée sur l’utilisation des ressources <br />Simplifier la consolidation<br />Permet aux DBA <br />de gagner en visibilité et en contrôle sur leur environnement de base de données grâce aux extensions de SSMS<br />d’identifier rapidement des opportunités de consolidation et de réduction des coûts grâce aux dashboardviewpoints, à l’utilisation de tendances (par l’intermédiaire de politiques ajustables), etc. <br />D’éliminer les serveurs sous-exploités<br />
  44. 44. AMM - Démo<br />Utility Control Point: sorte de remplaçant du central management server qu’on avait en 2008<br />C’est une instance qui centralise les infos de plusieurs instances SQL Server. <br />Ce n’est pas du real time dashboard monitoring car la collecte se fait 1 fois toute les 15 minutes C’est une extension du management datawarehouse de SQL server 2008<br />Donne une image de l’activité des systèmes<br />
  45. 45. Démo<br />Application & Multi-server Management<br />
  46. 46. Agenda<br /><ul><li>Introduction
  47. 47. Comment identifier les candidats à la consolidation
  48. 48. Préparer sa consolidation
  49. 49. Outils et méthodes de collecte
  50. 50. Méthodes d’analyse
  51. 51. Les solutions pour consolider SQL Server
  52. 52. Multi-databases
  53. 53. Multi-instances
  54. 54. Virtualisation, démo du Live Migration
  55. 55. Outillage de la migration : SQL Server 2008R2 AMM</li></ul>Retours d’expériencedu MTC sur la virtualisation<br />Quel impact sur les licences<br />Synthèse<br />
  56. 56. Ressourcesutilisées par SQL Server<br />Forte activitédisques en lecture et écriture<br />Workload (OLTP, DW, BI, repository, web…)<br />Volumétrie des données<br />La ressource la plus importante pour la performance de SQL Server<br />Mémoire (à partir de 2GB, généralement OS en 64bit)<br />Utilisation CPU variable<br />Activitéutilisateur OLTP, reporting<br />Batchsquotidien<br />Import par batch<br />Utilisation de procéduresstockéeset de fonctions<br />Compression des données (SQL2008+)<br />Traffic réseau<br />Chargements<br />Reporting et extractions<br />Nombred’utilisateursconcurrents<br />
  57. 57. SQL – casd’usage de la virtualisation<br />Consolidation d’instancesfaiblementutilisées<br />Repository, warm-up db, test & développement<br />Faiblenombred’utilisateurs<br />Faiblefréquenced’utilisation<br />Infrastructure BI<br />Datamart, OLAP, Reporting Services, Data Staging Area<br />Solution de haute disponibilité et de flexibilité<br />Utilisation du Live Migration pour la maintenance<br />Dynamic provisionning, architecture web<br />Consolidation de base stand by (Database Mirroring)<br />Infrastructure Sharepointrationnalisée<br />Moins de 100 utilisateurs et moins de 100GB de données<br />
  58. 58. Ne pas virtualiser SQL si on doit…<br />Utiliser plus de 4 cores et 8GB de RAM<br />Limites de hyper-V à 4 vCPU<br />Au delà de 8GB, le ROI diminue (lié au cout de la RAM)<br />Servir plus de 50 utilisateurssimultanés<br />Contention sur les accèsdisque et la bandepassanteréseau<br />Obtenir les meilleurs performances<br />Overhead constaté de 15% sur les temps de réponse<br />Garantir la stabilité des performances<br />Partage des ressources CPU, réseau et accèsdisques<br />Et surtoutsi on ne connait pas bienl’activité de l’instance SQL<br />Mettre en place un monitoring, SCOM ou Multi-Server Mgt<br />
  59. 59. Best practices<br />Stockage<br />Disques VHD de taille fixe<br />Mapping VHD-LUN, attention au LOG et à TEMPDB<br />Disques en mode pass-through<br />A tester avec SQLIO!<br />Limiter la surallocation CPU<br />En mode nominal, bienrépartir les VM sur les serveurs<br />Utiliser les private Virtual Network<br />Entre un serveur IIS et SQL, SSIS et un DW, amélioration des performances en mode virtuel<br />Adapter la stratégie de sauvegarde et de haute disponibilité<br />Utilisation de VSS<br />Remplacementd’un cluster par du Live Migration<br />Utiliser le Database Mirroring asynchrone<br />
  60. 60. Références clients<br />Indiana University<br />Réduction de 150 à 32 serveurs<br />Réduction du temps de déploiement (facteur 10)<br />Amélioration des performances et de la qualité de service<br />Microsoft IT<br />100.000 bases de données, 5.000 instances SQL Server<br />Moyenne CPU &lt; 10%<br />Ratio final de 6:1<br />Index Multimédia<br />Virtualisation des développements et de la pré-production<br />Jusqu’à 4 instances SQL Server par VM (4 vCPU-8GB-64bit)<br />LASCOM (ISV)<br />Mode hébergement, garantied’étanchéité entre les clients<br />
  61. 61. Agenda<br /><ul><li>Introduction
  62. 62. Comment identifier les candidats à la consolidation
  63. 63. Préparer sa consolidation
  64. 64. Outils et méthodes de collecte
  65. 65. Méthodes d’analyse
  66. 66. Les solutions pour consolider SQL Server
  67. 67. Multi-databases
  68. 68. Multi-instances
  69. 69. Virtualisation, démo du Live Migration
  70. 70. Outillage de la migration : SQL Server 2008R2 AMM
  71. 71. Retours d’expériencedu MTC sur la virtualisation</li></ul>Quel impact sur les licences<br />Synthèse<br />
  72. 72. Licences pour SQL Server en VM<br />Attention: la visrtualisation des instances SQL impose de contrôler les droits de licences Windows (OEM ou software assurance) et SQL Server (boiteousa)<br />SQL Server 2008 R2 apporte un nouveau mode de pricing qui sera annoncélors de la sortie officielle (H1-2010)<br />Le pricing restera au processeur physique<br />Nouvelle édition “datacenter” dédiée à la virtualisation<br />
  73. 73. Licences pour SQL Server en VM<br />Pour SQL Server Standard :<br />En mode server/CAL : il faut une licence SQL Standard par machine virtuelle qui exécute SQL Server,<br />En mode par processeur : il faut une licence SQL Standard par processeur virtuel qui exécute SQL Server<br />Pour SQL Server Enterprise :<br />En mode server/CAL : une licence SQL Server Enterprise couvre l’ensemble des machines virtuelles sur un même serveur physique de façon illimitée,<br />En mode par processeur : en achetant une licence SQL Server Enterprise par processeur physique du serveur, l’ensemble des machines virtuelles sont couvertes de façon illimitée sur un même serveur physique<br />Uniquement en SQL 2005/2008<br />
  74. 74. SQL Server 2008: cas pratique<br />Exemple de scénario de virtualisation :<br />Une machine physique avec 4 processeurs de 4 cœurs, <br />Elle contient 30 serveurs virtuels sous Windows Server exécutant SQL Server 2008.<br />Licences Windows nécessaires :<br />30 Windows Standard ou 8 Windows Enterprise ou 4 Windows Datacenter,<br />La solution la plus économique : 4 Datacenter.<br />Licences SQL nécessaires :<br />Standard :<br />1 licence SQL Server Standard 2008 par processeur virtuel :<br />30 licences si les 30 machines virtuelles exécutant SQL Server 2008 sont mono-processeur,<br />60 licences si les 30 machines virtuelles sont bi-processeurs,<br />Enterprise :<br />4 licences SQL Server Entreprise 2008 par Processeur (1 par processeur physique) qui couvrent un nombre illimité de machines virtuelles.<br />Uniquement en SQL 2005/2008<br />
  75. 75. Agenda<br /><ul><li>Introduction
  76. 76. Comment identifier les candidats à la consolidation
  77. 77. Préparer sa consolidation
  78. 78. Outils et méthodes de collecte
  79. 79. Méthodes d’analyse
  80. 80. Les solutions pour consolider SQL Server
  81. 81. Multi-databases
  82. 82. Multi-instances
  83. 83. Virtualisation, démo du Live Migration
  84. 84. Outillage de la migration : SQL Server 2008R2 AMM
  85. 85. Retours d’expériencedu MTC sur la virtualisation
  86. 86. Quel impact sur les licences</li></ul>Synthèse<br />
  87. 87. Synthèse<br />Il n’y a pas de solution universelle<br />Le pré-requis, c’est de bien connaitre les ressources consommées<br />Superviser pour éventuellement revenir en arrière<br />Best practice CPU: gestion fine des processeurs<br />Avec Hyper-V CPU management tool au niveau d’une VM<br />Avec WSRM en mode multi-instance<br />Avec Resource Governor au sein d’une instance<br />Best practice RAM: ne pas sous-dimensionner la mémoire <br />Contentions entre SQL et SSAS/SSIS au sein d’un même Windows<br />Best practice SAN: la garantie des performances<br />Règles habituelles: LUN dédiées, capacité HBA suffisante…<br />Tester avec SQLIO !<br />La virtualisation avec Hyper-V ouvre de nouveaux horizons !<br />
  88. 88. Pour aller plus loin – SQL Server<br />Executer SQL 2008 en environnement Hyper-V<br />http://download.microsoft.com/download/d/9/4/d948f981-926e-40fa-a026-5bfcf076d9b9/SQL2008inHyperV2008.docx<br />Consolidation SQL Server: un case study Microsoft IT<br />http://download.microsoft.com/download/4/8/0/48030820-12A4-4FE9-B001-C2CF56BC42A5/AJ18_EN.zip<br />http://msdn.microsoft.com/en-us/architecture/dd393309.aspx<br />Politique de support de SQL Server en environnement virtualisé<br />http://support.microsoft.com/?id=956893<br />http://blogs.msdn.com/psssql/archive/2008/10/08/sql-server-support-in-a-hardware-virtualization-environment.aspx<br />Blog de Bertrand Audras: SQL Server, Hyper-V, Green IT<br />http://blogs.technet.com/baudras/<br />

×