Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Faire du débordement de charge d’un cluster Windows HPC Server avec Windows Azure

830 views

Published on

Windows Azure est un environnement idéal pour déployer des applications gourmande en puissance de calcul qui sont capable d’utiliser les capacité d’élasticité du Cloud. Lors de cette session nous exposerons les nouvelles fonctionnalités de Windows HPC Server 2008 R2 pour les scénarios de débordement vers Windows Azure et nous passerons en revue les outils permettant de supporter cette mise en œuvre.

Published in: Technology
  • Be the first to comment

  • Be the first to like this

Faire du débordement de charge d’un cluster Windows HPC Server avec Windows Azure

  1. 1. palais descongrèsParis7, 8 et 9février 2012
  2. 2. Faire du débordement decharge dun cluster WindowsHPC Server avec WindowsAzure (CLO210)Mardi 7 FévrierThomas VARLETConsultant HPC et Cloud Computing AzureMicrosoft France
  3. 3. Agenda Windows HPC Windows Server 2008 Azure HPC R2 Scheduler Scénarios de Q&A débordement
  4. 4. Windows HPC Server 2008 R2
  5. 5. Windows HPC Server 2008 R2 Troisième génération de la solution HPC par Microsoft Bibliothèques de Ordonnanceur Administration distribution Outils pour utiliser toutes ces Gérer les ressources de calcul Deployer/Administrer/surveill ressources de calcul du cluster pour les utilisateurs er les machines du cluster - MS-MPI - SOA - Excel
  6. 6. GUI
  7. 7. Windows HPC Server 2008 R2 Une plateforme complète et intégrée de cluster HPC Construit à partir de Windows Server 2008 R2 64-bit Répond aux besoin actuels et futurs du HPCWindows Server 2008 Microsoft Windows Microsoft HPC Pack R2 HPC Edition HPC Server 2008 R2 2008 R2 Enterprise Suite • Propose une solution • Ordonnanceur complète • Gestion des ressources • Rentabilise les• Securisé, fiable, testé investissements sur• Support de hardware haute • Gestion du Cluster l’administration Windows et performances (x64, réseaux • Message Passing Interface ses outils rapides, GPU) • Support de Windows 7 • Rend les opérations aussi • Support de Windows Azure faciles que sur un seul système
  8. 8. Windows HPC Server 2008 R2Suite Cluster Applications ISV /OSS Excel MPI SOA HPC Applications HPC Middleware Pack SOA HPC Edition Système d’exploitation Cluster Local Computing
  9. 9. Ressources utilisablesPuissance locale et dans Azure HPC Head Node Desktops •En locale : •Compute Node •Workstation node Locale •Server scavengin Broker Node Compute Nodes •Débordement dans Azure •Payer a l’usage •Solution Hybride d’usage du cloud Azure public • Ajuster dynamiquement ce Worker Role RDB qui tourne en local ou dans Web Role le cloud Blobs VM Role
  10. 10. Cluster WHPCS avec des AzureNode
  11. 11. Roadmap July 2010 Dec 2010 June 2011 Nov. 2011 Microsoft HPC Server Microsoft HPC Microsoft HPC Server Microsoft HPC Server 2008 R2 Server 2008 R2 2008 R2 SP2 2008 R2 SP3 SP1 Excel on HPC clusters  Integration with Windows  MPI runtime in Windows Azure  More Azure feature Schedule jobs to Azure:  Azure VM role  Simplification of ports used workstations  “Burst” SOA and Parametric  New job scheduler policies  More tools Business critical SOA sweep jobs to Azure as worker roles.  Lend/Borrow resource pools  Updated tools Scale to 1000+ nodes out-  All compute nodes in Azure  Over/under subscribe nodes  Harvest cycles from servers of-the-box with head-node only on-  Common data for SOA Apps on your network. Dual boot clusters premise.  Multi-domain support for  New job scheduler policies Diskless compute nodes  User activity scheduling for workstations nodes  More configuration of the Extensible diagnostics and workstation nodes  Web Portal for job submission task level preemption t troubleshooting framework  C# cluster SOA debugger for and job status  Windows Azure HPC Job Flexible, customizable VS 2010.  Smart Card authentication Scheduler (Windows Azure color-coded Heat map SDK
  12. 12. Windows Azure HPC Scheduler
  13. 13. palais descongrèsParis7, 8 et 9février 2012
  14. 14. « Windows Azure SchedulerSDK » Permet a des développeurs de créer un package Azure pour des applications intensive en calcul  Application + cluster dans Azure Même ordonnanceur que celui de Windows HPC Serveur 2008 R2 SP2 Pack  Même propriétés d’ordonnancement  Même « run time »  batch/SOA/MPI
  15. 15. Windows Azure Scheduler enAction Un déploiement Windows Azure Front End Compute Worker Node Manager Application Front End (Web Page) Application Compute Worker Windows Compute Worker Azure Scheduler Compute Worker Compute Worker Standard HPC Job Scheduler API
  16. 16. Scenarios de débordement
  17. 17. Scenarios
  18. 18. Puissance HPC locale Besoin d’une infra HPC  Provide compute power for user  Development / testing / production / prototyping  Simulation/regulation Pas prets au cloud public  Application non prête Ne peut pas utiliser un cloud public  Pas encore ?  Il est extrement facile d’ajouter des Azures Nodes  Workload  Accéder a des ressources dans l’infrastructure local  Serveur de fichier, DB, …  Azure connect ?  Azure Blob  Azure SQL ?
  19. 19. Local: WHPCS R2 Utiliser Windows HPC Server 2008 R2  Machines dédiés,  Vol de cycle sur des stations/serveurs
  20. 20. Les scénarios d’usage du Cloud On and off workloads (e.g. batch job) Successful services needs to grow/scale Over provisioned capacity is wasted Keeping up w/growth is big IT challenge Time to market can be cumbersome Complex lead time for deployment Unexpected/unplanned peak in demand Services with micro seasonality trends Sudden spike impacts performance Peaks due to periodic increased demand Can’t over provision for extreme cases IT complexity and wasted capacity
  21. 21. Cloud – Growing fast in Azure Infrastructure HPC existante  Puissance suffisante pour  la production,  Développement,  Test. Besoin de puissance le plus rapidement possible  Disponibilité immédiate  Puissance de calcul « infinie » disponible dans Azure
  22. 22. Débordement dans Azure Windows HPC Server 2008 R2 Azures Nodes  Etendre un cluster local vers le cloud afin d’absorber des piques de charge et cela sans changer l’application  Avec votre suscription Azure ajoutez des processeurs a votre cluster très rapidement
  23. 23. Cloud – Burst in Azure Infrastructure HPC existante  Puissance suffisante pour  la production,  Développement,  Test. Besoin de puissance pendant une durée limitée  Besoin règlementaire  Evènement périodique/exceptionnels  Project
  24. 24. Débordement dans Azure 2 Windows HPC Server 2008 R2 Azures Nodes  Etendre un cluster local vers le cloud afin d’absorber des piques de charge et cela sans changer l’application  Avec votre souscription Azure ajouter des ressources quand vous en avez besoin  Payer les ressources que lorsque vous les utilisez
  25. 25. Cloud - Applications in Azure Pas de puissance de calcul en local Besoin de puissance a des moments données  Projet  Réglementaire
  26. 26. Applications dans Azure Une application entièrement hébergé dans Azure  Pas de frontale en local L’application est accédée depuis  Un client riche local  Application web ou un portail  Service Web Plusieurs business model  Usage de l’application est facturé au client  L’Application et le calcul sont fournis comme un service Scheduler et Runtimes supporté dans Azure  Pas une frontale, un scheduler embraqué dans Azure  Tous les runtimes: Parametric Sweep, MPI, Cluster SOA, Excel
  27. 27. Solution in Azure Offrire un solution complète en utilisant Windows Azure comme ressource  Solution de type SAAS Scenario utilisateur  Se connecte sur un portail web  Charge les données  Lance le calcul  Calcul tourne dans Azure  Recupère les données
  28. 28. Solution dans Azure(CSV)une application Azure Créer  En utilisant les ressources Azure Vos clients accèdent a cette solution  SAAS  Utilise votre souscription Windows Azure  Vos client payent l’usage de votre solution
  29. 29. Les Rôles Windows Azurepour construire ses applications • Les rôles permettent de construire son architecture applicative • Ils exécutent différents types de tâches spécialisées ou non • Les rôles dialoguent entre eux au travers de files de messages • Implémente l’interactivité avec l’utilisateur • Basé sur Internet Information Server préinstallé • Supporte les extensions classiques IIS Web Role • Piloté et configuré au travers des outils de développement • Pas d’interactivité avec l’utilisateur • Implémente la logique métier de l’application • Similaire au batch, à la couche applicative, aux services windows Worker Role • Piloté et configuré au travers des outils de développement • Utilisé pour pouvoir installer des applications complexe • Les images sont construites par l’utilisateur avec Hyper-V • Le master créé est téléchargé sur Azure pour être utilisé VM Role
  30. 30. Les Services “Storage”• Le “Storage” Windows Azure est un service de stockage géré par Windows Azure• Les données peuvent être utilisées dans les applications Azure, ou accédées directement par URL• L’URL d’accès peut être personnalisée avec son propre nom de domaine• L’accès aux blobs est sécurisé par un système de contrôle d’accès permettant de définir des règles fines• Les Blobs peuvent être mis en cache par le service Windows Azure Content Delivery Network (CDN) HTTP/S BLOBS: TABLES: QUEUES: DRIVES: Structure hiérarchique pour Structure tabulaire. File de messages selon le Disque NTFS partagé le stockage de fichiers Une table est un principe FIFO, pour la entre de multiples identifiés par leur nom et ensemble d’entités communication instances. chemin, ainsi que les (EAV*) définies asynchrone entre métadonnées associées. chacune par un instances. ensemble de propriétés.
  31. 31. Architecture typique 3) The « job » is divided in tasks. The tasks are put in a Queue 4) The worker get the tasks in the queue and process them1) The user submit ajob trough the web 3 Queue 4 UI 1 1 6 5 n Web Role Worker Role Blob 2 5) Each worker post the results of 2) The job is added in the his computation in a Blob Table for futur access Table 6) The differents output are assembled to get the final result
  32. 32. Q&A
  33. 33. Livre sur Windows Azure Premier ouvrage rédigé en Français Sur l’intégralité de la plateforme Windows Azure Disponible dès aujourd’hui! Consultation et achat possible sur le stand (52) des éditions ENI
  34. 34. Question Depuis combien de temps utilisons nous Azure comme solution de débordement pour Windows HPC Server 2008 R2 ?

×