(*)ビジネス向けIB ネットワークを考える~HPCクラスタでの経験を踏まえて~2013.2.1(株)富士通研究所中島 耕太nakashima.kouta@jp.fujitsu.com(*) InfiniBandはInfiniBand (SM)...
これまでのInfiniBand (IB)  2000年: 仕様策定、当初は汎用I/O接続が目的  2000年代: 主にHPC(スパコン)分野中心            高帯域/低遅延実現のため  導入事例    2003年        ...
IBのメリットをビジネス分野へ IBのメリット 高帯域: IB FDR 7GB/s、実測でも6GB/s越 低遅延: 片道 1μs以下 高コストパフォーマンス: 価格 IB FDR≒10GbEデータセンタやクラウド環境のネットワークとして...
ネットワークを考える 複数のIBスイッチをどう接続するか Ethernetの場合  基本はTree構造  Trunking + Stackingで拡張                 3      Copyright 2013 Fuji...
IBネットワーク 仕様上はトポロジーフリー 何も考えずにいい加減につなぐとデッドロックする            4    Copyright 2013 Fujitsu Laboratories Ltd.
デッドロックとは          スイッチA       スイッチB          3                           4   サーバ1                            サーバ2      2  ...
HPCクラスタネットワーク HPCクラスタの場合、 大半がFat Treeか亜種 デッドロックの心配なし 中規模ならビジネス向けでもFat Treeがお勧め36ポートSWをベースにFat Treeの組み方を議論              ...
Fully Bisectional Bandwidth ポート数: 上向き = 下向き     ボトルネックなし                                       上向き   6+6+6               ...
3段Fat Tree      スイッチ群       (2段FT)                                       上向き9+9                                           ...
1/n帯域 Fat Tree 1/2 Fat Tree: 帯域は1/2                                                上向き 12                                ...
Fat Tree vs Mesh/Torus 大規模構成ではMesh/Torusが有利?                                        7本                    7本             ...
Fullmesh (完全接続) すべてのスイッチ間を接続 SW数台なら良い選択肢 デッドロックはしない ブレード同士の接続にはおすすめ               11   Copyright 2013 Fujitsu Laborato...
おわりに IBはフリートポロジー              デッドロックの考慮必要 Fat Treeがおすすめ  できるだけ段数は少ない方が高効率  予算と性能要件を考慮した適切な構成を設計可 Fat Tree vs Mesh/Tor...
13   Copyright 2013 Fujitsu Laboratories Ltd.
Upcoming SlideShare
Loading in …5
×

ビジネス向けIBネットワークを考える ~HPCクラスタでの経験を踏まえて~

6,879 views

Published on

ビジネス向けIBネットワークを考える
~HPCクラスタでの経験を踏まえて~

2013.2.1
株式会社富士通研究所 中島耕太
Infiniband DAY [06] Business Conference for Enterprise/Web Service.

Published in: Technology

ビジネス向けIBネットワークを考える ~HPCクラスタでの経験を踏まえて~

  1. 1. (*)ビジネス向けIB ネットワークを考える~HPCクラスタでの経験を踏まえて~2013.2.1(株)富士通研究所中島 耕太nakashima.kouta@jp.fujitsu.com(*) InfiniBandはInfiniBand (SM) Trade Associationの商標またはService Markです。また、本資料に記載されている製品名などの固有名詞は、各社の商標または登録商標です。 Copyright 2013 Fujitsu Laboratories Ltd.
  2. 2. これまでのInfiniBand (IB)  2000年: 仕様策定、当初は汎用I/O接続が目的  2000年代: 主にHPC(スパコン)分野中心 高帯域/低遅延実現のため  導入事例 2003年 2008年 2009年 2010年 Riken Super T2K Kyoto Riken Integrated 日本原子力研究Combind Cluster Cluster of Cluster 開発機構スパコン 1 Copyright 2013 Fujitsu Laboratories Ltd.
  3. 3. IBのメリットをビジネス分野へ IBのメリット 高帯域: IB FDR 7GB/s、実測でも6GB/s越 低遅延: 片道 1μs以下 高コストパフォーマンス: 価格 IB FDR≒10GbEデータセンタやクラウド環境のネットワークとして 採用するメリット高い 数百~数千サーバを接続するために どういうネットワーク(網)を考えればよいか? 2 Copyright 2013 Fujitsu Laboratories Ltd.
  4. 4. ネットワークを考える 複数のIBスイッチをどう接続するか Ethernetの場合  基本はTree構造  Trunking + Stackingで拡張 3 Copyright 2013 Fujitsu Laboratories Ltd.
  5. 5. IBネットワーク 仕様上はトポロジーフリー 何も考えずにいい加減につなぐとデッドロックする 4 Copyright 2013 Fujitsu Laboratories Ltd.
  6. 6. デッドロックとは スイッチA スイッチB 3 4 サーバ1 サーバ2 2 1 スイッチD スイッチC サーバ4 サーバ3次のバッファの空きがなく転送不可 デッドロック 5 Copyright 2013 Fujitsu Laboratories Ltd.
  7. 7. HPCクラスタネットワーク HPCクラスタの場合、 大半がFat Treeか亜種 デッドロックの心配なし 中規模ならビジネス向けでもFat Treeがお勧め36ポートSWをベースにFat Treeの組み方を議論 6 Copyright 2013 Fujitsu Laboratories Ltd.
  8. 8. Fully Bisectional Bandwidth ポート数: 上向き = 下向き ボトルネックなし 上向き 6+6+6 18ポート 18 下向き 18ポート 上段SWは最大18台。下段SWは上段の2倍。 最大構成で、648台接続可能。 サーバ数/スイッチ数 = 12.0。SW収容効率は高い 7 Copyright 2013 Fujitsu Laboratories Ltd.
  9. 9. 3段Fat Tree スイッチ群 (2段FT) 上向き9+9 18ポート 下向き9+9 18ポート9+9 上向き 18ポート18 下向き 18ポート  スイッチ群は最大18個、最大11,664台接続可能  サーバ数/スイッチ数 = 7.2 8 Copyright 2013 Fujitsu Laboratories Ltd.
  10. 10. 1/n帯域 Fat Tree 1/2 Fat Tree: 帯域は1/2 上向き 12 12ポート24 下向き 24ポート 最大構成で、864台接続可能。 サーバ数/スイッチ数 = 18.0 高SW収容効率 9 Copyright 2013 Fujitsu Laboratories Ltd.
  11. 11. Fat Tree vs Mesh/Torus 大規模構成ではMesh/Torusが有利? 7本 7本 35ポート 7本 7本 7ノード サーバ数/スイッチ数 = 7.0。SW収容効率は低い ケーブルコストを含めると、大規模では有利かも。 10 Copyright 2013 Fujitsu Laboratories Ltd.
  12. 12. Fullmesh (完全接続) すべてのスイッチ間を接続 SW数台なら良い選択肢 デッドロックはしない ブレード同士の接続にはおすすめ 11 Copyright 2013 Fujitsu Laboratories Ltd.
  13. 13. おわりに IBはフリートポロジー デッドロックの考慮必要 Fat Treeがおすすめ できるだけ段数は少ない方が高効率 予算と性能要件を考慮した適切な構成を設計可 Fat Tree vs Mesh/Torus Mesh/Torusはスイッチ収容効率は良くない ケーブルコストを考えると大規模では有利かも? 小規模ならFullmeshもおすすめ 12 Copyright 2013 Fujitsu Laboratories Ltd.
  14. 14. 13 Copyright 2013 Fujitsu Laboratories Ltd.

×