ビジネス向けIBネットワークを考える～HPCクラスタでの経験を踏まえて～

(*)
ビジネス向けIB ネットワークを考える
～HPCクラスタでの経験を踏まえて～
2013.2.1
（株）富士通研究所
中島耕太
nakashima.kouta@jp.fujitsu.com
(*) InfiniBandはInfiniBand (SM) Trade Associationの商標またはService Markです。
また、本資料に記載されている製品名などの固有名詞は、各社の商標または登録商標です。 Copyright 2013 Fujitsu Laboratories Ltd.

これまでのInfiniBand (IB)
 2000年: 仕様策定、当初は汎用I/O接続が目的
 2000年代: 主にHPC(スパコン)分野中心
高帯域/低遅延実現のため
 導入事例

2003年 2008年 2009年 2010年
Riken Super T2K Kyoto Riken Integrated 日本原子力研究
Combind Cluster Cluster of Cluster 開発機構スパコン
1 Copyright 2013 Fujitsu Laboratories Ltd.

IBのメリットをビジネス分野へ
 IBのメリット
高帯域: IB FDR 7GB/s、実測でも6GB/s越
低遅延: 片道 1μs以下
高コストパフォーマンス: 価格 IB FDR≒10GbE

データセンタやクラウド環境のネットワークとして
採用するメリット高い

数百～数千サーバを接続するために
どういうネットワーク(網)を考えればよいか?

ネットワークを考える
 複数のIBスイッチをどう接続するか
 Ethernetの場合
 基本はTree構造  Trunking + Stackingで拡張


IBネットワーク
 仕様上はトポロジーフリー
 何も考えずにいい加減につなぐとデッドロックする


デッドロックとは
スイッチA スイッチB

3

4
サーバ1 サーバ2
2

1
スイッチD スイッチC
サーバ4 サーバ3

次のバッファの空きがなく転送不可デッドロック

HPCクラスタネットワーク
 HPCクラスタの場合、大半がFat Treeか亜種
 デッドロックの心配なし
 中規模ならビジネス向けでもFat Treeがお勧め

36ポートSWをベースにFat Treeの組み方を議論

Fully Bisectional Bandwidth
 ポート数: 上向き = 下向きボトルネックなし

上向き
6+6+6 18ポート
18 下向き
18ポート

 上段SWは最大18台。下段SWは上段の2倍。
 最大構成で、648台接続可能。
 サーバ数/スイッチ数 = 12.0。SW収容効率は高い

3段Fat Tree
スイッチ群
(2段FT) 上向き
9+9 18ポート
下向き
9+9 18ポート

9+9 上向き
18ポート
18 下向き
18ポート

 スイッチ群は最大18個、最大11,664台接続可能
 サーバ数/スイッチ数 = 7.2

1/n帯域 Fat Tree
 1/2 Fat Tree: 帯域は1/2

上向き
12 12ポート
24 下向き
24ポート

 最大構成で、864台接続可能。
 サーバ数/スイッチ数 = 18.0 高SW収容効率


Fat Tree vs Mesh/Torus
 大規模構成ではMesh/Torusが有利?
7本

7本
35ポート
7本

7本
7ノード
サーバ数/スイッチ数 = 7.0。SW収容効率は低い
ケーブルコストを含めると、大規模では有利かも。

Fullmesh (完全接続)
 すべてのスイッチ間を接続

 SW数台なら良い選択肢
 デッドロックはしない
 ブレード同士の接続にはおすすめ

おわりに
 IBはフリートポロジーデッドロックの考慮必要
 Fat Treeがおすすめ
できるだけ段数は少ない方が高効率
予算と性能要件を考慮した適切な構成を設計可
 Fat Tree vs Mesh/Torus
Mesh/Torusはスイッチ収容効率は良くない
ケーブルコストを考えると大規模では有利かも？
 小規模ならFullmeshもおすすめ

ビジネス向けIBネットワークを考える ～HPCクラスタでの経験を踏まえて～

More Related Content

What's hot

Similar to ビジネス向けIBネットワークを考える ～HPCクラスタでの経験を踏まえて～

More from Naoto MATSUMOTO