• Share
  • Email
  • Embed
  • Like
  • Save
  • Private Content
Data center en silo: avantages de la verticalité
 

Data center en silo: avantages de la verticalité

on

  • 1,764 views

Présentation de Marc Parizeau, Ph.D. et VP Technologie chez VERT.COM, inc sur les data centers en silo et l’avantage de la verticalité dans le cadre de la conférence Datacenter Dynamics de ...

Présentation de Marc Parizeau, Ph.D. et VP Technologie chez VERT.COM, inc sur les data centers en silo et l’avantage de la verticalité dans le cadre de la conférence Datacenter Dynamics de Montréal le 16 avril 2012.

---------
Presentation by Marc Parizeau, Ph.D. and VP Technologies at VERT.COM, inc. on data centers in silo and the advantages of verticality at the Datacenter Dynamics conference in Montreal, April 16th, 2012.

Statistics

Views

Total Views
1,764
Views on SlideShare
1,211
Embed Views
553

Actions

Likes
0
Downloads
4
Comments
0

2 Embeds 553

http://www.vert.com 290
http://www.blogue.vert.com 263

Accessibility

Categories

Upload Details

Uploaded via as Adobe PDF

Usage Rights

© All Rights Reserved

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Processing…
Post Comment
Edit your comment

    Data center en silo: avantages de la verticalité Data center en silo: avantages de la verticalité Presentation Transcript

    • Datacentre en Silo:avantages de la verticalité Marc Parizeau, Ph.D. Montréal, 16 avril 2012 1
    • Construction en 1962 du pavillon Vachon et de son accélérateur de particules accélérateur Van de GraaffMarc Parizeau, Datacentre en Silo: avantages de la verticalité, 16 avril 2012 circa 1965 2
    • Accélérateur Van de Graaff • Produit un potentielMarc Parizeau, Datacentre en Silo: avantages de la verticalité, 16 avril 2012 électrostatique grâce au frottement d’une courroie • À l’époque (1965), une infrastructure de 20 millions de dollars! • Toujours fonctionnelle en 2006, mais totalement désuète 3
    • Marc Parizeau, Datacentre en Silo: avantages de la verticalité, 16 avril 2012 (en sous-sol) Centre de recherche nucléaire4
    • Marc Parizeau, Datacentre en Silo: avantages de la verticalité, 16 avril 2012 salle des commandes5
    • Marc Parizeau, Datacentre en Silo: avantages de la verticalité, 16 avril 2012 PDP-15 (circa 1970) Compute room6
    • Marc Parizeau, Datacentre en Silo: avantages de la verticalité, 16 avril 2012 (3000pi2) salle des cibles7
    • Jonathan Schae er (University of Alberta, WestGrid) En 2006, la Fondation canadienne pour l’innovation (FCI) annonce le financement David S´n´chal e e (Universit´ de Sherbrooke, RQCHP) e d’une plateforme nationale pour le Calcul de Haute performance (CHP)Marc Parizeau, Datacentre en Silo: avantages de la verticalité, 16 avril 2012 Executive Summary 8
    • Plateforme nationale • Création de Calcul Canada pour chapeauterMarc Parizeau, Datacentre en Silo: avantages de la verticalité, 16 avril 2012 les 7 consortiums canadiens de CHP • 150 millions à travers le Canada ✓ dont 56 millions au Québec ✓ 37.5 millions pour le CLUMEQ ✓ et 12.5 millions à l’Université Laval • CLUMEQ = McGill + Laval + réseau UQ ✓ fait aujourd’hui partie de Calcul Québec ✓ qui rassemble toutes les universités québécoises 9
    • Projet • Bâtir à l’Université Laval un centre pour leMarc Parizeau, Datacentre en Silo: avantages de la verticalité, 16 avril 2012 calcul scientifique de haute performance ✓ superordinateur de classe mondiale ✓ datacentre pour superordinateur ✓ équipe de support • Étapes ✓ début du design : janvier 2007 ✓ début des travaux : septembre 2008 ✓ arrivée du superordinateur : juin 2009 10
    • Marc Parizeau, Datacentre en Silo: avantages de la verticalité, 16 avril 2012 • Siloctet • Design de Colosse Plan • Avantages de la verticalité11
    • Marc Parizeau, Datacentre en Silo: avantages de la verticalité, 16 avril 2012 17 octobre, 200612
    • Concept cylindrique • Principaux avantagesMarc Parizeau, Datacentre en Silo: avantages de la verticalité, 16 avril 2012 ✓ pas de coins ✓ moins de turbulences ✓ une seule allée froide / chaude ✓ espace au sol réduit ✓ câbles plus courts • Mais comment faire? ✓ refroidissement? ✓ accès physiques? ✓ etc. 13
    • Marc Parizeau, Datacentre en Silo: avantages de la verticalité, 16 avril 2012 travaux assez intenses... Après 12 concepts et 8 mois de14
    • Marc Parizeau, Datacentre en Silo: avantages de la verticalité, 16 avril 201215
    • cabinet Système de free airMarc Parizeau, Datacentre en Silo: avantages de la verticalité, 16 avril 2012 cooling ventilateurs système de refroidis- sement principal serpentins 16
    • Marc Parizeau, Datacentre en Silo: avantages de la verticalité, 16 avril 2012 (32 m2) (25 m2) plénum air froid17 plénun air chaud
    • Marc Parizeau, Datacentre en Silo: avantages de la verticalité, 16 avril 201218
    • Spécifications • Nombre de cabinets: 56 max • Puissance électrique: 1.1 MWMarc Parizeau, Datacentre en Silo: avantages de la verticalité, 16 avril 2012 ✓ Aucune contrainte sur la densité d’énergie par cabinet ✓ capacité moyenne: 20 kW/cabinet • Refroidissement des cabinets: 100% air ✓ fonctionne avec des cabinets de plus de 30 kW ✓ vélocité d’air maximale: 2.4 m/s ✓ Asservissement de la pression différentielle entre l’allée froide et l’allée chaude • Réutilisation de la chaleur pour chauffer le campus • Capacité de charge des planchers: 940 lb/pi2 19
    • Marc Parizeau, Datacentre en Silo: avantages de la verticalité, 16 avril 2012 CLUMEQ / Université Laval « InfoWorld Green 15 Award »20
    • Superordinateur Colosse • Sun constellation systemMarc Parizeau, Datacentre en Silo: avantages de la verticalité, 16 avril 2012 ✓ 10 fully loaded Sun Blade 6048, with X6275 modules (double Nehalem EP blade, 2.8GHz, 24GB of RAM) ✓ full-bisection IB-QDR interconnect (2xM9 switches) ✓ 1 PB of Lustre storage in a high availability configuration, using 2 MDS and 9x2 OSS ✓ Sun J4400 storage arrays ✓ >30 kilowatts/cabinet • 77 Tflops sustained ✓ < 400 kW 21
    • teraflops Classement basé sur le test teraflops théoriques Nov. 2009 mesurés High Performance Linpack (HPL)Marc Parizeau, Datacentre en Silo: avantages de la verticalité, 16 avril 2012 22
    • PlanMarc Parizeau, Datacentre en Silo: avantages de la verticalité, 16 avril 2012 • Design de Colosse ✓ silo de béton ✓ 36 pieds de diamètre ✓ 65 pieds de hauteur • Avantages de la verticalité ✓ versus autres approches • Siloctet 23
    • APC Schneider ElectricMarc Parizeau, Datacentre en Silo: avantages de la verticalité, 16 avril 2012 white paper #130 The Advantages of Row and Rack-oriented Cooling Architectures for Data Centers 24
    • Principales approches rows or groups, and with the rack level architecture CRAC units are assigned to the individual racks. Marc Parizeau, Datacentre en Silo: avantages de la verticalité, 16 avril 2012 Room Row Rackhe basic and rack- tecture.he relation supply 2D configurations A summary of the basic operating principles of each method are provided in the following sections: Room-oriented architecture Electric white paper #130, APC Schneider Figure 1 25 In room-oriented architecture, the CRAC units are associated with the room and operate
    • • Critères d’analyse ✓ agilité / flexibilité ✓ fiabilitéMarc Parizeau, Datacentre en Silo: avantages de la verticalité, 16 avril 2012 ✓ coûts (TCO) ✓ maintenance • Conclusion ✓ tous les avantages de l’approche en rangée ✓ plus grande densité ✓ mise à l’échelle 3D vertical rows ✓ distances plus courtes 26
    • Avantages de la géométrie verticale services • 316 m x 316 m x 1 m = 100 000 m3Marc Parizeau, Datacentre en Silo: avantages de la verticalité, 16 avril 2012 • Distance «d» au serveur le plus loin : 353 m 316m • Longues distances de câbles informatiques, d électriques et de conduits de ventilation requises 316m Maintenant, si la même quantité de serveurs est installés dans un espace en trois dimensions... services 46m • 46 m x 46 m x 46 m = 100 000 m3 46m • Distance «d» au serveur le plus loin = 55 m (86% moins de distance à parcourir) d • Longueurs de câbles informatiques et électriques réduites 46m 27
    • plénum chaudMarc Parizeau, Datacentre en Silo: avantages de la verticalité, 16 avril 2012 cabinet (production de chaleur) ✓ plénum = faible plénum vélocité d’air froid ✓ asservissement de la pression différentielle 5 kW - 35 kW 28
    • performance highlighted. Agility challenges Challenge Rack Row Room Plan for a power Modular; deployable at Modular; deployable at Complex to upgrade or density that is rack level increments row level increments adapt; typically built out in increasing and targeted at specific targeted at specific advance of requirement unpredictable density densityMarc Parizeau, Datacentre en Silo: avantages de la verticalité, 16 avril 2012 Immune to room effects Reduce the extensive Immune to room effects; when rows laid out Complex CFD analysis engineering required rack layout may be according to standard required which is different for custom completely arbitrary designs; configure with for every room installations simple tools Any change may result in Adapt to ever- Rack cooling capacity that Cooling capacity is well overheating; complex changing defined and can be is not used cannot be analysis required to assure requirements or any shared across a group of used by other racks redundancy and density are power density racks achieved New loads may be New loads may be added added that are com- Allow for cooling that are completely pletely isolated from the May require shutdown of capacity to be added existing cooling system; isolated from the existing existing cooling system; to an existing requires extensive engi- cooling system; limited to each additional cooling operating space neering rack cooling capacity system increases density for entire row Provide a highly Requires the rack rows Racks may need to be Floor tiles can be reconfi- flexible cooling to be spaced to accom- retrofit or IT equipment gured quickly to change deployment with modate or changes to moved to accommodate cooling distribution pattern minimal overhead infrastructure new architecture for power densities <3 kW reconfiguration for new architecture APC Schneider Electric white paper #130, Table 1 29
    • Availability challenges Challenge Rack Row Room The airflow is complete- Closely couples heat ly contained in the rack Supply and return paths removal with the heat Closely couples promote mixing; engi- Eliminate hot spots generation to eliminate heat removal with the neered ductwork required mixing heat generation to to separate air streams minimize mixingMarc Parizeau, Datacentre en Silo: avantages de la verticalité, 16 avril 2012 2N cooling capacity Complex CFD analysis required for each rack; Utilizes shared N+1 Assure redundancy required to model failure many rack cooling capacity across com- when required systems are not redun- mon air return modes; requires localized redundancy dant capable Eliminate vertical Heat captured at the rear Heat captured at the Warm air may recirculate to temperature of the rack before mixing rear of the rack before front of rack as a result of gradients at the face with cold supply air mixing with cold supply insufficient heat removal or of the rack air supply Operates at warmer return temperatures to Minimize the possibili- Operates at warmer reduce or eliminate Mixed air return promotes return temperatures to ty of liquid leaks in the moisture removal and the production of conden- reduce or eliminate mission critical instal- make-up sources. Rack moisture removal and sate and increases require- lation targeted cooling requires ment for humidification make-up sources additional piping and leakage points Standardized solutions Standardized solutions Uniquely engineered are well documented and are well documented system requires a highly Minimize human error can be operated by any and can be operated by trained and specialized user any user operator APC Schneider Electric white paper #130, Table 2 30
    • Lifecycle cost challenges Challenge Rack Row Room Ability to match the Optimize capital Dedicated system for cooling requirements to System performance is each rack may result in investment and oversizing and wasted a much higher percen- difficult to predict, resulting available space tage of installed capaci- in frequent oversizing capacity tyMarc Parizeau, Datacentre en Silo: avantages de la verticalité, 16 avril 2012 Pre-engineered system Pre-engineered system Requires unique engineer- Accelerate speed of that eliminates or reduc- that eliminates or ing that may exceed the deployment es planning and engineer- reduces planning and organizational demand ing engineering Standardized compo- nents reduce service time Standardized compo- and facilitate the ability nents reduce service Specialized service con- Lower the cost of for user serviceability. time and facilitates the tracts required for custom service contracts Likely higher number of ability for user servi- components units with 1:1 ratio to IT ceability racks enclosures. Quantify the return on Standardized compo- Standardized compo- Customer engineered nents for accurate nents for accurate solutions makes system investment for cooling measurement of system measurement of system performance difficult to system improvements performance performance predict Air delivery dictates Maximize the Right-sized cooling oversized capacity; pres- Cooling system will likely operational efficiency capacity to the cooling sure requirements for be oversized and full by matching capacity potential not realized. load matching heat load under floor delivery are a to load to installed capacity function of the room size and floor depth. APC Schneider Electric white paper #130, Table 3 31
    • Serviceability challenges Challenge Rack Row Room Decrease Mean-Time- Modular components To-Recover Modular components reduces downtime; N+1 Custom spare parts are not reduces downtime; 2N (includes repair time or excess capacity readily available and redundancy required for plus technician arrival, system repair and allows for repair without require trained technician diagnosis, and parts interruption to system extending recovery time maintenance performanceMarc Parizeau, Datacentre en Silo: avantages de la verticalité, 16 avril 2012 arrival times) Standardized compo- Standardized compo- nents reduce the nents reduce the technic- Operation and repair of the Simplify the complexity technical expertise al expertise required for system requires trained of the system routine service and required for routine experts. service and mainten- maintenance ance Routine service procedures In-house staff can require disassembly of In-house staff can perform routine service unrelated subsystems. perform routine service procedures. Some service items are not Simpler service procedures. Modular subsystems easy to access when the procedures Modular subsystems with with interfaces that system is installed. Highly interfaces that mistake- mistake-proof service experienced personnel are proof service procedures. procedures. required for many service procedures. Modular units designed to Modular units designed Minimize vendor Engineered solution with integrate with a small set to integrate with a small interfaces of ancillary systems set of ancillary systems multi-vendor subsystems Learn from past Standardized building Standardized building block approach with block approach with low Unique floor layouts all have problems and share single rack and cooling interactions increases unique problems, limiting learning across unit interaction maximiz- learning but with fewer learning systems es learning systems to learn from APC Schneider Electric white paper #130, Table 4 32
    • Plan • Design de ColosseMarc Parizeau, Datacentre en Silo: avantages de la verticalité, 16 avril 2012 ✓ silo de béton ✓ 36 pieds de diamètre ✓ 65 pieds de hauteur • Avantages de la verticalité ✓ versus autres approches • Siloctet ✓ Rehab ✓ prefab 33
    • Marc Parizeau, Datacentre en Silo: avantages de la verticalité, 16 avril 201234
    • Marc Parizeau, Datacentre en Silo: avantages de la verticalité, 16 avril 2012 La rencontre du silo et de l’octet...35
    • Marc Parizeau, Datacentre en Silo: avantages de la verticalité, 16 avril 2012 S ilo #5 Mo n tr éa l. . . fait avec ça ? » « Quossé dont qu’on36
    • Objectif : Tier IIIMarc Parizeau, Datacentre en Silo: avantages de la verticalité, 16 avril 2012 Fiche technique : • 1,2 mégawatt par silo • 2 688 serveurs par silo • 446 watts par serveur Projet global : • 52,8 mégawatts charge dédiée aux serveurs • 118 272 serveurs 1U 37
    • Marc Parizeau, Datacentre en Silo: avantages de la verticalité, 16 avril 201238
    • Marc Parizeau, Datacentre en Silo: avantages de la verticalité, 16 avril 201239
    • VERT.COM, inc. innove avec . . . Le data center éco-conçu en silo ® pré-ingéniéré, standardisé et préfabriqué, afinMarc Parizeau, Datacentre en Silo: avantages de la verticalité, 16 avril 2012 de données dans un environnement vertical et modulaire enceinte de refroidissement intelligente avec une technologie hybride simple et fiable. * Design simplifié. Le tout complété par SiloSmartTM, un système de gestion spécifique permettant de mesurer, de contrôler optimiser l’énergie consommée. 40
    • conception | design Ve r t .c o mMarc Parizeau, Datacentre en Silo: avantages de la verticalité, 16 avril 2012 Montréal 514 788.8975 c o n ç o it le Canada & U.S.A. 1 877 753.8975 Europe 00 800 55.66.33.33 “ Fr ig ida ire Courriel solutions@vert.com d ’I n t e r n e t ” facebook.com/siloctet twitter: @siloctet www.blogue.vert.com Astrolite PC 100%. www.vert.com 41
    • Une enceinte de refroidissement hybride et intelligenteMarc Parizeau, Datacentre en Silo: avantages de la verticalité, 16 avril 2012 Un e Un Si e cconfi lo Sm ongur me figutron ai ar t® nt atimod pro on ula gre moe et ir ssi dulun d f à air ép gra e eloiem nd t u en e é n dt pr ch épogre elle loi ssif e- 42
    • ConclusionMarc Parizeau, Datacentre en Silo: avantages de la verticalité, 16 avril 2012 • La verticalité permet de ✓ minimiser l’emprise au sol ✓ maximiser l’efficacité énergétique ✓ réduire les distances ✓ modulariser le déploiement progressif d’un datacentre à grande échelle ✓ réduire les coûts d’opération et d’exploitation 43
    • Questions?Marc Parizeau, Datacentre en Silo: avantages de la verticalité, 16 avril 2012 ATTENTION calculs intenses Personnel autorisé seulement électroaimant de l’ancien accélérateur de particules 44