Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

高密度データセンターにおける冷却方式の一考察

243 views

Published on

高密度データセンターにおける冷却方式の一考察
平成30年度第3回 (通算第43回)
情報処理学会インターネットと運用技術研究会

2018年09月28日
さくらインターネット株式会社
さくらインターネット研究所
上級研究員 松本直人

Published in: Technology
  • Be the first to comment

高密度データセンターにおける冷却方式の一考察

  1. 1. 高密度データセンターにおける冷却方式の一考察 平成30年度第3回 (通算第43回) 情報処理学会インターネットと運用技術研究会 2018年09月28日 さくらインターネット株式会社 さくらインターネット研究所 上級研究員 松本直人 (C) Copyright 1996-2018 SAKURA Internet Inc
  2. 2. 全世界における計算機冷却方式と最大集積密度の傾向 (2018年現在) 2 Source: Uptime Institute, 2018 (n=431) Source: SAKURA Internet Research Center. (2018/08) Source: Uptime Institute, 2018 (n=439)
  3. 3. 19インチラックあたりの発熱量と計算機搭載重量の限界点 3 すでに特定領域向け機器では、絶望的な熱密度上昇が起こっている 10U(1) 152kg (8.5kW/Rack) 一般的な設備の冷却能力限界 air cooling NVIDIA DGX-2 推定熱密度→ 一般的な設備の床耐荷重限界 (500kg/Rack) 12U(3) 456kg (25.5kW/Rack) Source: SAKURA Internet Research Center. (2018/08) (10kW/Rack)
  4. 4. 19インチラックあたりの熱密度の高まりと冷却課題 4Source: SAKURA Internet Research Center. (2018/08) 熱流体解析(CFD: Computational Fluid Dynamics)からも高密度化の課題が見える お互いの排熱を 吹き付けあってしまう
  5. 5. 19インチラックあたりの発熱量と計算機搭載重量の限界点 5 48U(12) 720kg (42kW/Rack) 12U(3) 180kg (10kW/Rack) 4U(1) 60kg (3.5kW) 試算単位 一般的な設備の冷却能力限界 一般的なエレベーターに乗る19インチラックの高さ限界 air cooling この熱密度の冷却能力が いずれ国内でも必要 (10-40kW/Rack) Source: SAKURA Internet Research Center. (2018/08) (10kW/Rack)
  6. 6. 計算機冷却方式と占有面積の比較 6Source: SAKURA Internet Research Center. (2018/08) 削減ラックと 削減面積分を 冷却設備投資 +α 高密度ラックの冷却方式の選択肢 (10-40kW/Rack) 液浸冷却 直接CPU/GPU液体冷却 リアドア冷却
  7. 7. liquid cooling(液体冷却)における配管設備と冷却冗長化の考え方 7Source: SAKURA Internet Research Center. (2018/08) 冷却能力は配管径と流量で決まるため、 容易に冷却能力追加はできない 冷却能力喪失が即計算機の高温度上昇へ直結
  8. 8. まとめと今後の課題 8 サーバーを いっそ垂直設置 ↓ 16日間経過 液漏れ等なし 実証実験高密度設備は可能 でも その他方式も検討 も必要 熱流体解析 19インチラック(アイルキャッピング) / ケージ (冷熱床拭き) 4U(3.5kW)x3 x16Racks = 48 Severs(168kW) 垂直マウント / ラックなし / ケージ (冷熱床拭き) 4U(3.5kW)x12 x7Lanes = 84 Severs (294kW)

×