1. ネットワーク帯域を使いまくる：ボトルネックの解消
高いコストパフォーマンスでアプリケーション性能をたたき出せ！
おおえまさふみ
天文データセンター
国立天文台imp_DC2013_OE 1

2. 自己紹介
•大江将史 （おおえ まさふみ）
http://fumi.org/
•所属：自然科学研究機構 国立天文台
天文データセンター 助教
•なにしてるのか？
• 専門は、ネットワークセキュリティ、衛星通信、無線通信など
• 天文と情報ネットワークの融合に関する研究等
• 国立天文台のネットワーク運用や設計等
「星を見るのにデータセンタ？ネットワーク？」
その疑問はごもっともです．
imp_DC2013_OE 2
おおえまさふみ 検索

3. imp_DC2013_OE 3
コンピュータによる
観測データの計算機解析
シミュレーション計算（天文学）
大規模なデータをコンピュータと
ネットワーク駆使して解析
天体望遠鏡からのデータは，ネット
ワークで伝送
コンピュータとネットワークなしには天文学は成り立たない

4. ハワイ島マウナケア山頂
すばる望遠鏡
imp_DC2013_OE 4

5. すばる望遠鏡オペレーションルーム すべてコンピューターで制御
imp_DC2013_OE 5

6. 天文学とデジタル化の事例
imp_DC2013_OE 6
高感度CCD -100℃に冷却
合計約8億7000万画素
天体のデジタルデータ
巨大なデジタルカメラ
すばる望遠鏡のあたらしい目
HSC: Hyper-Suprime-Cam すばる望遠鏡
複数のデータセンターにてアーカイブ
コンピュータで解析
インターネット上で公開 ICTは天文学の発展に貢献

7. 今日のテーマ
データセンター内に展開される各種システム上でアプリケー
ション性能をたたき出し，かつ，コストパフォーマンスを高め
るには，様々な技術を理解し，ボトルネックを排除する必要が
あります．
性能をたたき出すための切り口
•サーバPC
•ネットワーク
＆人
imp_DC2013_OE 8

8. サーバPCの今
知っているようで，知らないのがPC
imp_DC2013_OE 9

9. PCを徹底活用：ULTRA計画(2012～)の背景
10
• 天文学を支えるハイパフォーマンスなネット
ワークシステムへの要求
– 天文学専用スパコンシステム（岩手・東京）
• 500Tflops 演算ノード （岩手）
• ストレージノード（東京）
– VLBI観測システム（東京・岩手・沖縄・等）
• 観測ノード（各所）
• 解析ノード（東京）
今，演算・ストレージ・IPネットワークを効
率よく連携させる仕組みが自然科学の発展には
必要不可欠
＋プライベートクラウド構築・運用における高
性能・高コストパフォーマンスの実現と構築ノ
ウハウの習得
計算ノード
ストレージ
imp_DC2013_OE

10. コストの観点から見る開発・構築ゾーン
コスト
性能
カスタムASIC
(PC +) FPGA
(PC +) FPGA on NIC
この領域がULTRA計画の開発ゾーン
11imp_DC2013_OE
PC+NIC 40Gbps FPGA
フルカスタムチップ
20Gbps
NIC + FPGA
PC + NIC

11. FGPAなど
高価なハードウェアならでわの領域
安価なPCで踏み込める領域
コストの観点から見る開発・構築ゾーン
12
低遅延性能
広帯域
imp_DC2013_OE

12. FGPAなど
高価なハードウェア
ならでわの領域
安価なPCで踏み込める領域
コストの観点から見る開発・構築ゾーン
13
低遅延性能
広帯域
2012 第1世代 ULTRA40 大沢
PCI-E2.0 10GbE NIC
IPフォワーディング 45Gbps
100Gbpsコンテンツ送信性能
2011 PCルータ
20Gbps
imp_DC2013_OE
・
gnodal
(>150nsec)
• Cisco
(>60/200nsec)
・
ARISTA
(>500nsec)

13. 2012年 ULTRA計画初号機 「野川」＆「大沢」
PCで“100Gbps”を実証
•高機能IPルーター 「野川」
• 実効L3 バックプレーン容量 75Gbps
• 80Gbps (QSFP+ 40GBASE-R x 1) + 10GbE x 2
• 超高速ストレージモジュール搭載
• 4GByte/sec 連続書き込み可能な超高速ストレージ
• ネットワーク速度がディスク速度を超えている．
• トラフィックロギング・ストレージアクセラレー
タ機能
•高機能IPルーター 「大沢」
• 18 x 10GBASE-R
• 実効L3バッププレーン容量 100Gbps
• サービス妨害攻撃機能
14imp_DC2013_OE
100Gbps
コンテンツ送信能力

14. FGPAなど
高価なハードウェアならでわの領域
安価なPCで踏み込める領域
PC性能向上の方向性？
コストの観点から見る開発・構築ゾーン
15
低遅延性能
広帯域
2012 ULTRA40 大沢 45Gbps / 12msec
ULTRA40 野川 4GByte/sec SSD Storage
2011 PCルータ
20Gbps ?msec
imp_DC2013_OE
・
gnodal
(<150nsec)
• Cisco
(<60/200nsec)
・
ARISTA
(<500nsec)
2012年 ULTRA40 「野川」＆「大沢」
多機能IPルーター
4GB/sec 読み書き可能な高速ストレージ
100Gbps コンテンツ送信性能
45Gbps IPフォワーディング性能
18x 10Gbase-R or 2x 40Gbase-R I/F 搭載

15. FGPAなど
高価なハードウェアならでわの領域
安価なPCで踏み込める領域
コストの観点から見る開発・構築ゾーン
16
低遅延性能
広帯域
2011 PCルータ
20Gbps ?msec
imp_DC2013_OE
・
gnodal
(<150nsec)
• Cisco
(<60/200nsec)
・
ARISTA
(<500nsec)
2013年での
挑戦すべき方向性
非常識ですが
風穴をあけてみたい
2012 ULTRA40 大沢 45Gbps / 12msec
ULTRA40 野川 4GByte/sec SSD Storage

16. PCサーバの性能
「連雀」：高機能PCサーバ・ルータ基盤
imp_DC2013_OE 17
国立天文台が天文データ処理用のPCサーバ / ルーター プラットフォームとし
て開発
Linux OSを基に低遅延・広帯域処理能力を目標に設計・開発
PCI-E 2.0 2x 10GbE-SFP+ x 10 (最大12port)
Interop2013 オープンルーターコンペティション(ORC)
富士通賞受賞
Intel SandyBridge-E overclock

17. 「連雀」の性能：低遅延＆広帯域の両立
imp_DC2013_OE 18
遅延
時間
7μsec～ 18usecを安定して達成
[μsec]
フルメッシュＩＰフォワーディング性能を計測器で長時間検証
広帯域＆低遅延を両立

18. FGPAなど
高価なハードウェアならでわの領域
安価なPCで踏み込める領域
PCサーバの性能向上が客観的によくわかる
19
低遅延性能
広帯域
2011 PCルータ
20Gbps ?msec
imp_DC2013_OE
2013 ULTRA200 連雀
200Gbps / <17μsec
2012 ULTRA40 大沢 45Gbps / 12msec
ULTRA40 野川 4GByte/sec SSD Storage

19. PCサーバの性能向上は今後も続く，
2014年には，400Gbps処理能力を有するか？
2011年 ?? Intel Core + PCI-E2.0 1x10GbE NIC
• なんとか10Gbpsを絞り出せるレベル
2012年「大沢」「野川」（第1世代）Intel Nehalem +
PCI-E2.0 2x10GbE NIC + Offload
• コンテンツ送信力は，100Gbps
2013年「連雀」（第2世代）Intel SandyBridge-E + PCI-
E2.0 2x10GbE NIC + Offload
• その処理力は，200Gbpsへ向上
2013年「（秘密）」（第3世代）Intel Haswell + PCI-
E3.0 NIC Full 40GbE NIC + Offload
• その処理力は，400Gbpsへ？
imp_DC2013_OE 20
• 機器は<50万円程度
• 10Gbpsどころか，誰
もが100Gbps～
200Gbpsを扱える時代
• 単一サーバで，高パ
フォーマンス・アプ
リケーションを実装
可能

20. 性能向上の裏に
PCサーバの高性能化と短寿命化
•仮想化を担うPCの「仮想化」としての用途寿命
が低下
• PCの入れ替え作業が極めて低コスト
• PC性能向上により仮想PCの収容数や仮想PCの性能が
アップ
•なぜ？
• PCの性能向上に伴い仮想化収容率が向上
• SandyBridge世代 = 30仮想PC / 物理筐体
• 価格そのままに，性能向上
• Neharem/Westmere(Intel 5520) SandyBridge (Intel C602)
• 12M cache  20M cache
• QPI 6.4GT/s  8.0GT/s
• PCI-E2.0PCI-E3.0
• 96GB-DDR3_1600192GB-DDR3_1600
高額なサーバの長期使用はコストの割に合わない
ボリュームゾーンのサーバを用途別に短期更新
メーカー製製品がどうかの検討が必要
１軍(Sandy Bridige)
• 仮想化主系サーバ
２軍
(Westmere/Neharem)
• 仮想化副系サーバ
• ストレージシステム
３軍(Neharem)
•予備・検証実験用サーバな
ど
imp_DC2013_OE 21
用途寿命が短い

21. 物理構成からみる「省力化」PCクラスター
メンテナンスコストを引き上げるケースは不要・メーカＰＣは不要
imp_DC2013_OE 22
(C) CfCA, NAOJ
(C) CfCA, NAOJ

22. ＰＣのポイント
•性能向上の余地がまだまだある
•Haswell アーキテクチャへの進化
• 来年には約2倍以上の性能向上が見込まれている(HPCの例)
• DDR4メモリー
• 高クロックメモリー
•PCI-Eの高速化
• M/Bやチップセットは，PCI-E3.0に対応
• 2013年中盤からPCI-E3.0 x8 仕様のNICやRAIDカードなど多数登場
•メンテナンスを考慮したシステム構成の究極例
imp_DC2013_OE 27

23. ネットワーク
imp_DC2013_OE 28

24. データセンターのバックエンドネットワークを支える
「インフィニバンド」と「イーサー」：両社進化の背景
目指す方向性は「高性能」だが，その進化の背景は異なる
インフィニバンド
「単機能＆高バンド＆低遅延」
• インターネットサービス上で提供す
るアプリケーションの性能を達成す
るべく進化
• シンプルさを生かして，高性能を素
早く実装，市場に展開
イーサーネット
「高機能＋進化する高バンド＆低遅延」
• インターネットの速度感で，異速度
差の混在や，高度なフォワーディン
グ性能，セキュリティ機能，等を達
成するべく進化
• マスボリュームを生かして，高機能
な実装を安価に提供
サーバの集約・サーバの高性能化等
を背景にイーサーが激しく追っかける
imp_DC2013_OE 29

25. インフィニとイーサーネットのシェア
imp_DC2013_OE 30

26. インフィニバンドのポイント
• 物理層は，IEEE802.3と同様（10GbEやFiber Channel）
• 帯域は，1レーン 全二重10Gbps(QDR) / 14Gbps(FDR)等
• レーンはアグリゲーションが可能(x4やx12)
• ノード間の場合は，40Gbps(QDR) / 56Gbps(FDR) の帯域
• 1μ秒の低遅延
• RDMA(Remote Direct Memory Access)による低遅延・低負荷処理
• CPUはアダプタにデータを渡せば完了＝CPUの負荷軽減
帯域・低遅延などアプリケーションの要求を達成するシンプルなシステム
アダプタカード
スイッチ ケーブル
imp_DC2013_OE 31

27. インフィニバンドの活用事例
•アプリケーション性能を達成するための構成要素
• Oracle Exalogic : Weblogic server + Infiniband
• HPCシステム全般
• TOP500の45%はインフィニバンドをインターコネクトして活用
イーサーネットとは全く違う立ち位置
•高帯域・低遅延を生かして，アプリケーション性能を高めてい
る．
•コモディティ化してなくてもＨＰＣやシステム向け出荷数は多
い
•機能がイーサーに比べシンプルなため，広帯域・低遅延を安価
に提供
• イーサネットより安い．
imp_DC2013_OE 32

28. イーサネット（ＮＩＣ）：進化は止まらない
•まだ1GbEを束ねるんですか？
• 性能は出ませんし，ケーブルも煩雑です．
•40ギガ・10ギガのネットワークカードの価格・性能
• ２００９年：10ギガｘ１ ２０万円
• ２０１０年：10ギガｘ２ ＜１０万円
• ただしワイヤーレートではない．
• ２０１１年：10ギガｘ２ ＜７万円
• 各種ＣＰＵをオフロードする実装・ワイヤーレート
• ２０１２年：10ギガ，40ギガ ＜７万円
• 40GbE or 4x 40GbE on PCI-E2.0 x8 (=オーバーサブスクライブ)
• サーバ内蔵
• ２０１３年：PCI-E 3.0 & ４０ギガフルレート ＜8万円？
イーサーは高機能にも関わらず急速に高性能化と低価格化が進んでい
る．
• サーバもCPUのメモリーコントローラ内蔵や，PCI-E2.0などにより，10GbEを十分処理できる
性能を有する
imp_DC2013_OE 33
10Gbase-R x 2 (PCI-E2.0
x8)

29. イーサネット（ＮＩＣ）：進化は止まらない
• 強力なオフロードや仮想化支援実装が常識
例）Chelsio T4 ASIC アーキテクチャ
• オフロード実装により，TCP/IP処理，メモリバンド，CPU負担を軽減
• RDMA やTCP/IPスタックのカットスルーによる低遅延化
• Directed I/O (VT-d)対応：ハードウェアによるI/O仮想化支援
• メーカーによって，設計思想が異なる．
• 低遅延指向，バンド幅指向などなど
imp_DC2013_OE 35

30. NIC オフロードの効果：
200Gbpsのトラフィック処理をおこなっていても15%の
CPUリソース消費に抑えられている
imp_DC2013_OE 36

31. イーサネット（スイッチングハブ）：進化は止ま
らない
•GoogleからのRFP 1ポート= 100US$
•高性能なスイッチングハブ用汎用チップが支
える
• Fulcrum Microsystems(現Intel)
• Broadcom
• Dune Networks(現Broadcom)
•安価で高性能化・廉価化が進む．
• 10G多ポートでも100万円以下
• 30Tbps級のバックプレーンや，10GbE x 1152の
高密度収容も実現
•金融からの低遅延，高機能化への要望
• FPGA搭載NICや，SWの登場
imp_DC2013_OE 37
40GbE 多ポートスイッチ

32. ネットワークのまとめ
• ネットワークが低遅延・広帯域であることは，アプリケーションの性
能を高める上で必須です．
• 逆説的ですが，インフィニの進化が証明
• そして，それが低価格でできるようになったのが「今」
• 安価で高性能な10Gbpsクラスのカードを利活用して，システムを作り
こむことで，100Gbps級の処理も可能
• イーサネットカードは，目指すアプリケーションの仕様にあわせて，メー
カー・ＯＳパラメータ（割り込み・ＲＳＳ・ＣＰＵ基本パラメータ等）調
整する必要
• 低遅延最優先（＝ショートパケットは弱い）
• ショートパケットに強いが低遅延はむつかしい
• 野川・大沢・連雀などがその性能を実証
• イーサーネットの場合，ネットワーク上の異速度の混在は，ＣＰＵ／
ＮＩＣ／スイッチに負担をかける．
• フル10GbEなど，1GbEを介在させない．
• その最大性能は，バッファリングやフロー制御によって削られていく．
imp_DC2013_OE 38

33. サーバＰＣ編＋ネットワーク編のまとめ
だれもが高性能なデータセンターを構築できる時代
• ＣＰＵもメモリーもコストを意識して調達
• メーカー製を選ばないのも選択肢
最新世代のボリュームゾーンを活用
• 割り込み・CPUの省電力などのパラメータ調整，オフロード実装により性能が向上
アプリに応じた徹底チューニング
• 安価で高性能，これからは，PCI-E3.0対応を追っかける．
NIC・アダプタは最新世代を利用
• NIC速度のハイローミックスをしない
• 10GbEならば，10GbEで構成するとベストパフォーマンス
• 速度差はネットワークに任せるのでなく，アプリケーションで工夫する．
• LAG(bonding)で帯域を稼がない
10GbE/40GbEの徹底活用
imp_DC2013_OE 39

34. エンジニアの「速度感」に潜む課題
インターネット／ネット担当とアプリ担当の分業化とボトルネック
imp_DC2013_OE 40

35. 私がここ2年くらいで感じる課題
「インターネットエンジニアとアプリエンジニアのネットワー
クの速度感が乖離した」
ネットワーク構築でよく聞く話：
「10ギガ多ポートスイッチなんて，帯域埋められませんね．」
「うちは１Ｇで十分ですよ．足りなかったらアグリゲーション
ション」
「40ギガ？要らんいらん，10ギガも使い切れてないのに？」
その速度感に疑問を感じませんか？
imp_DC2013_OE 41

36. 速度感が分かれた「2人のエンジニア」
クラウド，WEB2.0，仮想化，どんどん
サービスが高度化
（両者の境界は曖昧
だったが速度感はおなじ）
インフィニ・ＰＣ・ストレー
ジなどアプリを高速化する
ハードウェアの市場形成
帯域幅
時間
速度感の違い
imp_DC2013_OE 42

37. 「帯域」ギャップ：我々の意識はどちら？
アプリケーションエンジニア視点
• サーバエンジニアを含む
• データセンターラック内を大容量トラフィックが駆け巡っている
• 仮想化・ストレージ・データセンターネットワーク（仮想化スイッチ・
ＶＸＬＡＮ等）
• 帯域はあってもあっても足りない
インターネットエンジニアの視点
• インターネットエンジニアがエンタープライズネットワークのエン
ジニアを担う
• インターネットアクセス速度の感覚でエンタープライズネットワー
クを意識して設計
• 10Gbpsアップリンク，1Gbpsアクセスで十分なイメージ
imp_DC2013_OE 43

38. アプリエンジニアがイーサを活用する
•アプリの視点からは，目標達成に手段は選ばない．
• 貪欲に技術を習得・最新技術をキャッチアップ：背負うものが大きい
↓
•クラウド・仮想化・高可用性システム設計・分散ストレージ・
ＶＤＩ等・・サーバ集約化により，帯域が足りない！が・・
• サーバはマイクロアーキテクチャとPCI-Eバスの高速化
• 10/40GbE PCI NICが安価に登場する背景
イーサーにおいても，その帯域不足を埋める役者がそろう
「アプリエンジニア」が「インターネットエンジニア」が愛する
「イーサ」を最大限活用している．
•インターネットエンジニアは，だいじょうぶ？
• 知識が古くなって，アプリに迷惑かけてないですか？
• アプリエンジニアとインターネットエンジニアが分業する時代は終焉だ
とおもいませんか？
imp_DC2013_OE 44

39. これからの時代
• アプリケーションの求めに応じたシステムパフォーマンスは素直
にどんどん向上（させないといけない）
• アプリ性能を劇的に進化するのは，以下の役者を生かしきった時
• ネットワークの低遅延・広帯域化
• 40GbE/100GbEなど高性能フルレートＮＩＣ
• ＳＳＤなどの超高速デバイス
• ネットワークの低遅延・広帯域に後れを取らない性能
• デバイスを生かしきれる高性能サーバPC
• SandyBridge/ Haswell
• ネットワークスイッチングハブ向け汎用チップ化と帯域単価の下落
すべては整いつつある．我々は備えなければならない．
imp_DC2013_OE 45

40. ありがとうございました
imp_DC2013_OE 46
おしらせ
＊国立天文台三鷹キャンパスでは，毎月2回公開天体望遠鏡を使った
観望会を開催中！
＊2013年10月18-19日に国立天文台三鷹キャンパスを特別公開しま
す！
詳しくは国立天文台ホームページをご覧ください．
口径30m次世代超大型望遠鏡(TMT) 始動
http://tmt.mtk.nao.ac.jp/
1000円から参加できる
TMT 第二期寄付金募集中!
TMT完成予想図(c)2010ThirtyMeterTelescope