palais descongrèsParis7, 8 et 9février 2012
Faire du débordement decharge dun cluster WindowsHPC Server avec WindowsAzure (CLO210)Mardi 7 FévrierThomas VARLETConsulta...
Agenda     Windows HPC    Windows     Server 2008    Azure HPC     R2             Scheduler     Scénarios de   Q&A     déb...
Windows HPC Server 2008 R2
Windows HPC Server 2008 R2    Troisième génération de la solution HPC par Microsoft    Bibliothèques de                   ...
GUI
Windows HPC Server 2008 R2      Une plateforme complète et intégrée de cluster HPC      Construit à partir de Windows Serv...
Windows HPC Server 2008 R2Suite                 Cluster     Applications            ISV /OSS     Excel                    ...
Ressources utilisablesPuissance locale et dans Azure           HPC Head Node                            Desktops          ...
Cluster WHPCS avec des AzureNode
Roadmap      July 2010                     Dec 2010                           June 2011                    Nov. 2011   Mic...
Windows Azure HPC Scheduler
palais descongrèsParis7, 8 et 9février 2012
« Windows Azure SchedulerSDK »  Permet a des développeurs de créer un package Azure  pour des applications intensive en ca...
Windows Azure Scheduler enAction                Un déploiement Windows Azure               Front End                      ...
Scenarios de débordement
Scenarios
Puissance HPC locale  Besoin d’une infra HPC    Provide compute power for user       Development / testing / production ...
Local: WHPCS R2  Utiliser Windows HPC Server 2008 R2    Machines dédiés,    Vol de cycle sur des stations/serveurs
Les scénarios d’usage du Cloud        On and off workloads (e.g. batch job)    Successful services needs to grow/scale    ...
Cloud – Growing fast in Azure  Infrastructure HPC existante    Puissance suffisante pour        la production,        D...
Débordement dans Azure  Windows HPC Server 2008 R2 Azures Nodes   Etendre un cluster local vers le cloud afin d’absorber ...
Cloud – Burst in Azure  Infrastructure HPC existante    Puissance suffisante pour        la production,        Développ...
Débordement dans Azure 2  Windows HPC Server 2008 R2 Azures Nodes   Etendre un cluster local vers le cloud afin d’absorbe...
Cloud - Applications in Azure  Pas de puissance de calcul en local  Besoin de puissance a des moments données    Projet  ...
Applications dans Azure  Une application entièrement hébergé dans Azure      Pas de frontale en local  L’application est ...
Solution in Azure  Offrire un solution complète en utilisant Windows Azure  comme ressource    Solution de type SAAS  Sce...
Solution dans Azure(CSV)une application Azure  Créer    En utilisant les ressources Azure   Vos clients accèdent a cette ...
Les Rôles Windows Azurepour construire ses applications     • Les rôles permettent de construire son architecture applicat...
Les Services “Storage”•   Le “Storage” Windows Azure est un service de stockage géré par Windows Azure•   Les données peuv...
Architecture typique                         3) The « job » is divided in                        tasks. The tasks are put ...
Q&A
Livre sur Windows Azure                    Premier ouvrage rédigé en                    Français                    Sur l’...
Question  Depuis combien de temps utilisons nous Azure comme  solution de débordement pour Windows HPC Server 2008  R2 ?
Faire du débordement de charge d’un cluster Windows HPC Server avec Windows Azure
Upcoming SlideShare
Loading in …5
×

Faire du débordement de charge d’un cluster Windows HPC Server avec Windows Azure

679 views
580 views

Published on

Windows Azure est un environnement idéal pour déployer des applications gourmande en puissance de calcul qui sont capable d’utiliser les capacité d’élasticité du Cloud. Lors de cette session nous exposerons les nouvelles fonctionnalités de Windows HPC Server 2008 R2 pour les scénarios de débordement vers Windows Azure et nous passerons en revue les outils permettant de supporter cette mise en œuvre.

Published in: Technology
0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total views
679
On SlideShare
0
From Embeds
0
Number of Embeds
0
Actions
Shares
0
Downloads
3
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide

Faire du débordement de charge d’un cluster Windows HPC Server avec Windows Azure

  1. 1. palais descongrèsParis7, 8 et 9février 2012
  2. 2. Faire du débordement decharge dun cluster WindowsHPC Server avec WindowsAzure (CLO210)Mardi 7 FévrierThomas VARLETConsultant HPC et Cloud Computing AzureMicrosoft France
  3. 3. Agenda Windows HPC Windows Server 2008 Azure HPC R2 Scheduler Scénarios de Q&A débordement
  4. 4. Windows HPC Server 2008 R2
  5. 5. Windows HPC Server 2008 R2 Troisième génération de la solution HPC par Microsoft Bibliothèques de Ordonnanceur Administration distribution Outils pour utiliser toutes ces Gérer les ressources de calcul Deployer/Administrer/surveill ressources de calcul du cluster pour les utilisateurs er les machines du cluster - MS-MPI - SOA - Excel
  6. 6. GUI
  7. 7. Windows HPC Server 2008 R2 Une plateforme complète et intégrée de cluster HPC Construit à partir de Windows Server 2008 R2 64-bit Répond aux besoin actuels et futurs du HPCWindows Server 2008 Microsoft Windows Microsoft HPC Pack R2 HPC Edition HPC Server 2008 R2 2008 R2 Enterprise Suite • Propose une solution • Ordonnanceur complète • Gestion des ressources • Rentabilise les• Securisé, fiable, testé investissements sur• Support de hardware haute • Gestion du Cluster l’administration Windows et performances (x64, réseaux • Message Passing Interface ses outils rapides, GPU) • Support de Windows 7 • Rend les opérations aussi • Support de Windows Azure faciles que sur un seul système
  8. 8. Windows HPC Server 2008 R2Suite Cluster Applications ISV /OSS Excel MPI SOA HPC Applications HPC Middleware Pack SOA HPC Edition Système d’exploitation Cluster Local Computing
  9. 9. Ressources utilisablesPuissance locale et dans Azure HPC Head Node Desktops •En locale : •Compute Node •Workstation node Locale •Server scavengin Broker Node Compute Nodes •Débordement dans Azure •Payer a l’usage •Solution Hybride d’usage du cloud Azure public • Ajuster dynamiquement ce Worker Role RDB qui tourne en local ou dans Web Role le cloud Blobs VM Role
  10. 10. Cluster WHPCS avec des AzureNode
  11. 11. Roadmap July 2010 Dec 2010 June 2011 Nov. 2011 Microsoft HPC Server Microsoft HPC Microsoft HPC Server Microsoft HPC Server 2008 R2 Server 2008 R2 2008 R2 SP2 2008 R2 SP3 SP1 Excel on HPC clusters  Integration with Windows  MPI runtime in Windows Azure  More Azure feature Schedule jobs to Azure:  Azure VM role  Simplification of ports used workstations  “Burst” SOA and Parametric  New job scheduler policies  More tools Business critical SOA sweep jobs to Azure as worker roles.  Lend/Borrow resource pools  Updated tools Scale to 1000+ nodes out-  All compute nodes in Azure  Over/under subscribe nodes  Harvest cycles from servers of-the-box with head-node only on-  Common data for SOA Apps on your network. Dual boot clusters premise.  Multi-domain support for  New job scheduler policies Diskless compute nodes  User activity scheduling for workstations nodes  More configuration of the Extensible diagnostics and workstation nodes  Web Portal for job submission task level preemption t troubleshooting framework  C# cluster SOA debugger for and job status  Windows Azure HPC Job Flexible, customizable VS 2010.  Smart Card authentication Scheduler (Windows Azure color-coded Heat map SDK
  12. 12. Windows Azure HPC Scheduler
  13. 13. palais descongrèsParis7, 8 et 9février 2012
  14. 14. « Windows Azure SchedulerSDK » Permet a des développeurs de créer un package Azure pour des applications intensive en calcul  Application + cluster dans Azure Même ordonnanceur que celui de Windows HPC Serveur 2008 R2 SP2 Pack  Même propriétés d’ordonnancement  Même « run time »  batch/SOA/MPI
  15. 15. Windows Azure Scheduler enAction Un déploiement Windows Azure Front End Compute Worker Node Manager Application Front End (Web Page) Application Compute Worker Windows Compute Worker Azure Scheduler Compute Worker Compute Worker Standard HPC Job Scheduler API
  16. 16. Scenarios de débordement
  17. 17. Scenarios
  18. 18. Puissance HPC locale Besoin d’une infra HPC  Provide compute power for user  Development / testing / production / prototyping  Simulation/regulation Pas prets au cloud public  Application non prête Ne peut pas utiliser un cloud public  Pas encore ?  Il est extrement facile d’ajouter des Azures Nodes  Workload  Accéder a des ressources dans l’infrastructure local  Serveur de fichier, DB, …  Azure connect ?  Azure Blob  Azure SQL ?
  19. 19. Local: WHPCS R2 Utiliser Windows HPC Server 2008 R2  Machines dédiés,  Vol de cycle sur des stations/serveurs
  20. 20. Les scénarios d’usage du Cloud On and off workloads (e.g. batch job) Successful services needs to grow/scale Over provisioned capacity is wasted Keeping up w/growth is big IT challenge Time to market can be cumbersome Complex lead time for deployment Unexpected/unplanned peak in demand Services with micro seasonality trends Sudden spike impacts performance Peaks due to periodic increased demand Can’t over provision for extreme cases IT complexity and wasted capacity
  21. 21. Cloud – Growing fast in Azure Infrastructure HPC existante  Puissance suffisante pour  la production,  Développement,  Test. Besoin de puissance le plus rapidement possible  Disponibilité immédiate  Puissance de calcul « infinie » disponible dans Azure
  22. 22. Débordement dans Azure Windows HPC Server 2008 R2 Azures Nodes  Etendre un cluster local vers le cloud afin d’absorber des piques de charge et cela sans changer l’application  Avec votre suscription Azure ajoutez des processeurs a votre cluster très rapidement
  23. 23. Cloud – Burst in Azure Infrastructure HPC existante  Puissance suffisante pour  la production,  Développement,  Test. Besoin de puissance pendant une durée limitée  Besoin règlementaire  Evènement périodique/exceptionnels  Project
  24. 24. Débordement dans Azure 2 Windows HPC Server 2008 R2 Azures Nodes  Etendre un cluster local vers le cloud afin d’absorber des piques de charge et cela sans changer l’application  Avec votre souscription Azure ajouter des ressources quand vous en avez besoin  Payer les ressources que lorsque vous les utilisez
  25. 25. Cloud - Applications in Azure Pas de puissance de calcul en local Besoin de puissance a des moments données  Projet  Réglementaire
  26. 26. Applications dans Azure Une application entièrement hébergé dans Azure  Pas de frontale en local L’application est accédée depuis  Un client riche local  Application web ou un portail  Service Web Plusieurs business model  Usage de l’application est facturé au client  L’Application et le calcul sont fournis comme un service Scheduler et Runtimes supporté dans Azure  Pas une frontale, un scheduler embraqué dans Azure  Tous les runtimes: Parametric Sweep, MPI, Cluster SOA, Excel
  27. 27. Solution in Azure Offrire un solution complète en utilisant Windows Azure comme ressource  Solution de type SAAS Scenario utilisateur  Se connecte sur un portail web  Charge les données  Lance le calcul  Calcul tourne dans Azure  Recupère les données
  28. 28. Solution dans Azure(CSV)une application Azure Créer  En utilisant les ressources Azure Vos clients accèdent a cette solution  SAAS  Utilise votre souscription Windows Azure  Vos client payent l’usage de votre solution
  29. 29. Les Rôles Windows Azurepour construire ses applications • Les rôles permettent de construire son architecture applicative • Ils exécutent différents types de tâches spécialisées ou non • Les rôles dialoguent entre eux au travers de files de messages • Implémente l’interactivité avec l’utilisateur • Basé sur Internet Information Server préinstallé • Supporte les extensions classiques IIS Web Role • Piloté et configuré au travers des outils de développement • Pas d’interactivité avec l’utilisateur • Implémente la logique métier de l’application • Similaire au batch, à la couche applicative, aux services windows Worker Role • Piloté et configuré au travers des outils de développement • Utilisé pour pouvoir installer des applications complexe • Les images sont construites par l’utilisateur avec Hyper-V • Le master créé est téléchargé sur Azure pour être utilisé VM Role
  30. 30. Les Services “Storage”• Le “Storage” Windows Azure est un service de stockage géré par Windows Azure• Les données peuvent être utilisées dans les applications Azure, ou accédées directement par URL• L’URL d’accès peut être personnalisée avec son propre nom de domaine• L’accès aux blobs est sécurisé par un système de contrôle d’accès permettant de définir des règles fines• Les Blobs peuvent être mis en cache par le service Windows Azure Content Delivery Network (CDN) HTTP/S BLOBS: TABLES: QUEUES: DRIVES: Structure hiérarchique pour Structure tabulaire. File de messages selon le Disque NTFS partagé le stockage de fichiers Une table est un principe FIFO, pour la entre de multiples identifiés par leur nom et ensemble d’entités communication instances. chemin, ainsi que les (EAV*) définies asynchrone entre métadonnées associées. chacune par un instances. ensemble de propriétés.
  31. 31. Architecture typique 3) The « job » is divided in tasks. The tasks are put in a Queue 4) The worker get the tasks in the queue and process them1) The user submit ajob trough the web 3 Queue 4 UI 1 1 6 5 n Web Role Worker Role Blob 2 5) Each worker post the results of 2) The job is added in the his computation in a Blob Table for futur access Table 6) The differents output are assembled to get the final result
  32. 32. Q&A
  33. 33. Livre sur Windows Azure Premier ouvrage rédigé en Français Sur l’intégralité de la plateforme Windows Azure Disponible dès aujourd’hui! Consultation et achat possible sur le stand (52) des éditions ENI
  34. 34. Question Depuis combien de temps utilisons nous Azure comme solution de débordement pour Windows HPC Server 2008 R2 ?

×