1. 高密度データセンターにおける冷却方式の一考察
平成30年度第3回 (通算第43回)
情報処理学会インターネットと運用技術研究会
2018年09月28日 さくらインターネット株式会社 さくらインターネット研究所 上級研究員 松本直人
(C) Copyright 1996-2018 SAKURA Internet Inc

2. 全世界における計算機冷却方式と最大集積密度の傾向 (2018年現在)
2
Source: Uptime Institute, 2018 (n=431)
Source: SAKURA Internet Research Center. (2018/08)
Source: Uptime Institute, 2018 (n=439)

3. 19インチラックあたりの発熱量と計算機搭載重量の限界点
3
すでに特定領域向け機器では、絶望的な熱密度上昇が起こっている
10U(1)
152kg
(8.5kW/Rack)
一般的な設備の冷却能力限界
air cooling
NVIDIA DGX-2
推定熱密度→
一般的な設備の床耐荷重限界 (500kg/Rack)
12U(3)
456kg
(25.5kW/Rack)
Source: SAKURA Internet Research Center. (2018/08)
(10kW/Rack)

4. 19インチラックあたりの熱密度の高まりと冷却課題
4Source: SAKURA Internet Research Center. (2018/08)
熱流体解析(CFD: Computational Fluid Dynamics)からも高密度化の課題が見える
お互いの排熱を
吹き付けあってしまう

5. 19インチラックあたりの発熱量と計算機搭載重量の限界点
5
48U(12)
720kg
(42kW/Rack)
12U(3)
180kg
(10kW/Rack)
4U(1)
60kg
(3.5kW)
試算単位
一般的な設備の冷却能力限界
一般的なエレベーターに乗る19インチラックの高さ限界
air cooling
この熱密度の冷却能力が
いずれ国内でも必要
(10-40kW/Rack)
Source: SAKURA Internet Research Center. (2018/08)
(10kW/Rack)

6. 計算機冷却方式と占有面積の比較
6Source: SAKURA Internet Research Center. (2018/08)
削減ラックと
削減面積分を
冷却設備投資
＋α
高密度ラックの冷却方式の選択肢
(10-40kW/Rack)
液浸冷却
直接CPU/GPU液体冷却
リアドア冷却

7. liquid cooling(液体冷却)における配管設備と冷却冗長化の考え方
7Source: SAKURA Internet Research Center. (2018/08)
冷却能力は配管径と流量で決まるため、
容易に冷却能力追加はできない
冷却能力喪失が即計算機の高温度上昇へ直結

8. まとめと今後の課題
8
サーバーを
いっそ垂直設置
↓
16日間経過
液漏れ等なし
実証実験高密度設備は可能
でも
その他方式も検討
も必要
熱流体解析
19インチラック(アイルキャッピング) / ケージ (冷熱床拭き)
4U(3.5kW)x3 x16Racks = 48 Severs(168kW)
垂直マウント / ラックなし / ケージ (冷熱床拭き)
4U(3.5kW)x12 x7Lanes = 84 Severs (294kW)