VIOPS01: 「急がれるI/O 統合、そしてI/O 仮想化そのわけとは？」

© 2007 XSIGO SYSTEMS CONFIDENTIAL 1
「急がれる I/O 統合、そして I/O 仮想化
そのわけとは？」
シーゴシステムズ・ジャパン
I/O 仮想化マーケティング
尾方一成
( Issei Ogata )
そして、絶間なく進化するイ
ンフラ技術。投資保護を実現
するポイントとは？

経営層からの要求
グリーンIT
への貢献
スピードアップ
信頼性の向上
CO2 排出量
の削減
初期投資・運用
コストの削減
翌日サービスイン
ノンストップ
50% 以上の
削減！
50% 以上の
削減！
統合化・仮想化
ビジネス機会の
損失回避
コスト削減要求
活動
目標
その解は？

IT システム管理者の日々の考え事・・・
• サービスの立上げ
• メンテナンス
• 消費電力、熱対策、
冷却コスト
• ラックスペース
• データバックアップ
• 災害対策
• 障害対策
• ドキュメント作成
そんな彼は、ある日
こんな夢をみました・・

呪われたデータセンタ・・・

そうだ、統合化を始めよう！
データセンタ統合
設備管理費削減
運用効率の向上
運用・管理システム統合
運用手順の標準化
運用効率の向上
ネットワーク統合
アップリンク広帯域化
セキュリティ強化
ディスク利用率向上
バックアップシステム
の整備
ストレージ統合
サーバ統合
処理能力の高いサー
バへの統合・移行
I/O

I/O の身辺調査
ネットワークのアーキテクチャは絶間なく変化
I/Oに関連する新しい技術 (DCE, FCoE, 8Gbps FC 等) が登場。
データセンタ構築・運用の短期と長期の計画がますます複雑に。
サーバのパフォーマンスは劇的に向上
CPU 数とメモリ容量の増加 → パフォーマンスの向上
サーバ仮想化の促進
複数のアプリケーションを同一サーバ上で稼動させることにより、
サーバ性能を最大限有効活用。
広帯域サーバ I/O のニーズが増加
サーバ性能の向上、サーバ仮想化の促進に加え、ディスクレス
サーバの導入が始まり、広帯域サーバ I/O のニーズが向上。

Xsigo Systems（シーゴシステムズ）会社概要
• US本社創設: 2004年8月
• 日本法人設立: 2006年11月
• 製品リリース: 2007年9月
• 従業員: 110名
• 本社:
– サンノゼ、CA
• 出資:
– Kleiner Perkins,
– Greylock Partners,
– Khosla Ventures
– Juniper Networks
• ボードメンバー:
レイ・レーン（オラクル元社長）
マーク・レスリー
（ベリタスソフトウェア創業メンバ）
ビノッド・コースラ
（サンマイクロシステムズ創業メンバ）
アショック・クリシュナマティ
（ジュニパーネットワークス創業メンバ）
First shipment : January 2007
今日のデータセンタニーズに応え、かつ将来においても既設のシ
ステムと新しい技術を融合（統合）する形にてシステムの増設を
可能にする『I/O 仮想化トータルソリューション』プロバイダ

Award と各種メディアからの注目度

広帯域
低遅延
低コスト
高信頼
サーバ I/O 統合に必要なもの？
WAN /WAN /
InternetInternet
SAN/NASSAN/NAS
ストレージストレージ
社内社内 LANLAN
Ethernet
Fibre Channel
接続
10G/20Gbps
サーバ
ファブリック
接続
スイッチ型
バスアーキテクチャ
LAN/WAN
サーバ間通信
ストレージ
管理・モニタリング
ユニファイド
サーバファブリック
エコ

高速サーバ I/O = InfiniBand
40Gbps QDR ( Quad Data Rate )
Mellanox社４月リリース
HCAは、Host Channel Adapter の略で、InfiniBand機器がホスト側のCPUやメモリにア
クセスできるようにするもので、ホストにとってInfiniBandの出入口となる。
InfiniBandは、広い帯域幅と非常に高いRAS（信頼性・可用性・保守性)、そして低
遅延の特徴を持つスイッチ型のサーバ用高速 I/O バスアーキテクチャであり、コ
ンピュータ同士、コンピュータとストレージ、もしくはネットワーク機器を接続。
シングルポートデュアルポート
圧倒的なコストパフォーマンス！
1ポート 10Gbps ¥86,250
2ポート 10Gbps ¥122,500
1ポート20Gbps ¥112,500
2ポート 20Gbps ¥132,750
標準 4Gb FC HBA
¥128,000
標準 10GE NIC
¥240,000
【特徴】
• フロー制御を備えた信頼性の高い伝送
• ハイパフォーマンス ( 10,20,40Gbps )
• 効率的なデータ転送（RDMAサポート）
• 各トラフィック毎の専用リソース
• 拡張性 ( 数千台のノード管理）

Infiniband の真の実力とは？(Top500)
57%
24%
8%
11%
Gigabit Ethernet
Infiniband
独自プロトコル
その他
◇ 相互接続プロトコル別（１位～500位）
Ethernet = 57%
Infiniband = 24%
* １０サイト中、５サイトが Infiniband を採用。Ethernet の採用は０。
Top500 : スーパーコンピュータの性能を計測し、ランキングを公表するプロジェクト
順位システム導入先ベンダー
スコア
(TFLOP/s)
相互接続
1 Roadrunner DOE/NNSA/LANL(米) IBM 1,026.0 Inifiniband
2 BlueGene/L DOE/NNSA/LANL(米) IBM 478.2 BuleGene/L独自
3 Blue Gene/P Argonne National Laboratory(米) IBM 450.3 BuleGene/L独自
4 Ranger Texas Advanced Computing Center(米) Sun 326.0 Inifiniband
5 Jaguar Oak Ridge National Laboratory(米) Cray 205.0 Cray XT4 独自
6 JUGENE Forschungszentrum Juelich(独) IBM 180.0 BuleGene/P独自
7 Encanto New Mexico Computing Applications Center SGI 133.2 Inifiniband
8 EKA Computational Research Laboratories(印) HP 132.8 Inifiniband
9 Blue Gene/P IDRIS(仏) IBM 112.5 BuleGene/P独自
10 SGI Altix ICE 8200EX Total Exploration Production(仏) SGI 106.1 Inifiniband
8%
48%21%
23%
Gigabit Ethernet
Infiniband
独自プロトコル
その他
ところが・・
Ethernet = 8%
Infiniband = 48%

ネットワーク運用の統合化 - FCoE
Emulex LP21000 Qlogic QLE8042
Fibre Channel over Ethernet（FCoE）は、ANSI INCITS T11で標準化がすすめら
れている新しいプロトコル。ファイバチャネル（FC）のプロトコルをイーサ
ネットフレームとして運ぶことにより、LAN（イーサネット）とSAN（ファ
イバチャネル）のI/O 統合が実現。
（課題） FCoE をサポートするイーサネットネットワークは、ネットワークを通
過するパケットがドロップすることなく転送されることが必須。そのためには、
FCoE スイッチ設計に、ドロップの発生しないパケット転送とネットワークフロー
制御のメカニズムが組み込まれている必要がある。
＜フロー制御とロスレスイーサネット＞
ファイバチャネルでは、データが途中でドロップされず
に送信先に届くことを保障しているが、イーサネットで
は送信先に確実に届くことは保障しておらず、パケット
ロスは上位階層の TCP/IP の再送機能で対応する取り決
めとなっている。イーサネットのようなパケットドロッ
プ方式の輻輳管理は、ストレージネットワーク環境には
使用できないため、FCoE には新たな機能拡張が必要とな
る。
そこで FCoE では、輻輳管理にイーサネットの PAUSE
機能を転用。これは、ある受信ポートのトラフィックが
多くなると、その受信ポートから送信元ポートに対して
PAUSE 信号を送り、送信を一時的にストップさせる機能。
FCoE 対応 10GE CNA ( Converged Network Adapter Card )
2008年 : 標準化作業 → 2009年 : テスト導入期間 → 2010年 : 実運用開始

次世代高速
サーバ I/O
= Infiniband
サーバ /
ストレージ管理者向け
ネットワーク
一元化型 I/O
= Ethernet
ネットワーク
管理者向け
Xsigo のトータル I/O ソリューション
Xsigo I/O 統合ソリューション
Fibre Channel Ethernet
広帯域低遅延
低コスト高信頼
ストレージ
サーバ
ネットワーク
一元化運用性

あらゆる I/O ニーズへ対応
InternetInternet
10Gbps Infiniband20Gbps Infiniband40Gbps Infiniband 10Gbps Ethernet
EthernetEthernet
L3 SwitchL3 Switch
FCFC
SwitchSwitch
StorageStorage
FCoEFCoE
SwitchSwitch
FCoE
10Gbps Ethernet

VP780 : I/O 仮想化コントローラ
24 サーバポート
サーバエッジスイッチの利用により、
１００台を越えるサーバも接続可能
ハードウェアベースのアーキテクチャ
• ノンブロッキングファブリック
4U サイズ
Xsigo 独自の ASIC
ラインレートのスループット
冗長化ホットスワップ対応電源
SCP (システムコントロール
プロセッサ)
冗長化ファン
15 x I/O モジュールスロット
• 4ポート x 1GbE
• 2ポート x 4Gb Fibre Channel
• 1ポート x 10Gb InfiniBand

VP780 オプション
4ポート
1Gigabit
Ethernet
1 ポート
10 Gigabit
Ethernet
2ポート
4 Gigabit
Fibre Channel
I/O モジュール
10ポート
1Gigabit
Ethernet
ラックスイッチ : IS24
24 ポート Infiniband スイッチ
- 20Gbps / Double Data Rate (DDR)
- 10Gbps / Single Data Rate (SDR)
ノンブロッキングファブリック
- 480 ギガビットの帯域

PCI-expressPCI-express
シーゴによる I/O 仮想化のイメージ図
NIC HBA
PCI-express
NIC
LAN スイッチアプライアンスストレージ
NIC HBANIC NIC HBANIC
多数のアダプタカードとケーブルがスパゲティ状に・・・
複雑な運用管理。ヒューマンエラーの原因にも
HCA
vNIC vNIC vHBA
HCA
vNIC vNIC vHBA
HCA
vNIC vNIC vHBA
OS OS OS
ユニファイド
サーバ・ファブリック
Xsigo ドライバ Xsigo ドライバ Xsigo ドライバ

Xsigo の I/O 統合コンセプト
ラックマウント型
サーバ
データセンタ
ラック
データセンタ
ブレード型
サーバ
1GE
統合型
I/O スイッチ1GE 1GE 1GE
10GE
NFS
10GE
10GE
iSCSI
10GE FC FC FC FC
ブレード型
仮想データセンタ

例) 120 ラックマウント型サーバ構成
10/20 Gbps の物理 IB リンクを
Xsigo の帯域保証機能により、複
数の仮想リンクに分けて使用。
2Gb 500M
vHBA1 vNIC1
1GE 2Gb 2Gb1GE
vHBA2 vNIC2 vHBA3 vNIC3
Infiniband
10 / 20 Gbps
CO2 排出量削減
クリア！

初期投資コストの削減
例）サーバ１２０台の I/O 冗長化構成（定価）
480 NIC ポート
240 HBA ポート
480 Ethernet ケーブル
240 Fibre ケーブル
480 Ethernet スイッチポート
240 FC スイッチポート
240 HCA ポート
240 + 48ケーブル
2 Xsigo 筐体 + OS
1GE + 4Gb FC モジュール
12 Xsigo サーバスイッチ
総合計: 約 $700,000 総合計: 約 $450,000
今までの I/O Xsigo の I/O
I/O だけで 35％の初期投資コスト削減が可能に！
初期コスト削減
クリア！

I/O 統合から I/O 仮想化へ
I/O 統合
ユニファイド・サーバファブリック
I/O 仮想化
運用性
サーバI/Oを一元的に集中管理
運用性
サーバI/Oを一元的に集中管理
帯域保証(QoS)
仮想サーバ環境を最適化
帯域保証(QoS)
仮想サーバ環境を最適化
冗長性
I/Oの高速切替を完全サポート
冗長性
I/Oの高速切替を完全サポート
柔軟性
自由自在に仮想I/Oを制御
柔軟性
自由自在に仮想I/Oを制御
いかに柔軟性・運用性・冗長性が高
く、サービス品質の保証を実現でき
るサーバ I/O を提供できるか？

ご想像ください
• 新製品/サービスの発表により、Webサーバとアプ
リケーションサーバのネットワーク増強が必要に
データセンター内へ
エンジニアを派遣
物理ネットワーク接続を確認サーバのシャットダウン
ラックからの取り外し作業
サーバのふたを取り外し、
アダプタカードのインストール
再度、サーバをラックマウント後、
サーバ再起動。最終動作確認
お疲れ様でしたお疲れ様でした

Xsigo リモート I/O 管理イメージ
サーバの再起動をすること
なく作業完了！
HCAHCA
Server Profile
vnic1
MAC
MAC : 00-55-44-33-00-01
移行移行
Server Profile
vnic1 vnic2
MAC MAC
MAC : 00-55-44-33-00-01
MAC : 00-55-44-33-00-02
vnic2
MAC
MAC : 00-55-44-33-00-02
仮想HBA
仮想NIC
add server-profile server1 HP_DL360@ExtSw-b8cffff004401-Port16")
add vnic vn01.server1 10/1")
set vnic vn01.server1 -addr-type=static -ip-addr=192.168.10.201 -netmask=255.255.255.0
add server-profile server1 HP_DL360@ExtSw-b8cffff004401-Port16")

仮想サーバ環境の今後
仮想サーバ環境のサーバ仮想サーバ環境のサーバ I/OI/O ボトルネックボトルネック＝＝
複数の仮想サーバが複数の仮想サーバが物理物理 NIC/HBANIC/HBA を共有を共有
トラフィック集中
I/O にボトルネック発生！
サーバ１サーバ２サーバ３
VM1-1 VM1-2 VM1-3 VM1-4 VM2-1 VM2-2 VM2-3 VM2-4 VM3-1 VM3-2 VM3-3 VM3-4
仮想サーバの導入によりサーバ
リソースを増やせたものの、 I/O
のボトルネックにより効果半減

仮想サーバ環境での帯域保証
各仮想サーバへの個別各仮想サーバへの個別 I/OI/O の割当ての割当て ==
NICNIC共有を回避することによる負荷分散共有を回避することによる負荷分散
仮想サーバ（アプリケーション）毎の帯域保証仮想サーバ（アプリケーション）毎の帯域保証
10Gb 10Gb 10Gb 10Gb 10Gb 10Gb
500M 300M 100M 1G 800M 500M 500M 1G 200M 200M 200M 3G
Xsigo QoS により、各仮想
サーバへ割当てた NIC の
帯域を保証。
仮想サーバ環境でのSLAを実現
InfinibandInfiniband

Xsigo 仮想 I/O 運用・管理ツール
Xsigo アイコン

運用負担比較（例: 新規サーバの導入）
既存固定I/O環境
先を見据えたI/O構成の計画が必要とな
り、サーバへは物理的にアダプタカード
を追加。
関連するケーブルの配置計画も必要とな
り、全て物理的な取り付け作業。
各サーバにはアプリケーション種別によ
り、個別の I/O 構成があり、それぞれス
トレージおよびネットワーク機器側の設
定に反映させる必要がある。
通常の導入時間 : 数週間
サーバとの接続は仮想であり、必要に
応じてサーバに実装できる。
シンプルな配線計画。物理ケーブル配
線は、アプリケーションに関わらず全
サーバで統一可能。
ストレージの事前割り当てに加え、
ネットワークリソースを一度に複数の
サーバに割り当て可能。サーバマネー
ジャは、チーム全体を巻き込むことな
く必要に応じてサーバを導入できる。
通常の導入時間 : 数時間
次世代仮想I/O環境
運用コスト削減
クリア！

サービスアップを急げ！
数百倍の速さでシステムの再構築が可能！
サーバ管理者
新規サーバのインストールアプリケーションのインストール
SAN 管理者
SAN 接続の再割当て
ネットワーク管理者
LAN 接続の再設定
数週間
現在
サーバ管理者
新規サーバ、アプリケー
ションのインストール
数時間
Xsigo
短縮時間
システムの設定変更や再構築を完了までに要する時間
ビジネス機会の
喪失回避
クリア！

まとめ : 仮想I/Oの導入効果
I/O統合によりケーブルを削
減し、システム構成を簡素
化。消費電力の削減により
CO2排出量を削減！
複雑化するインフラには・・・
広帯域 I/Oにより I/Oボトル
ネックを排除し、I/O仮想化
により自由自在にリモート
から、I/O設計・構築・拡張
を可能に！
柔軟性のないインフラには・・・
便利な仮想 I/O運用管理ツー
ルやサーバ I/Oの集中統合管
理により、日々のシステム
運用をもっと楽に
運用は火の車、そこで・・・
様々な物理 I/O 制限を取り
除き、ラックスペースの有
効活用と、仮想化環境を最
適化！
設備はパンク寸前、そこで・・・

最後に
I/O 仮想化といえば・・・
Issei Ogata
「イッセーおがた」まで
iogata@xsigo.com

VIOPS01: 「急がれるI/O 統合、そしてI/O 仮想化そのわけとは？」

Recommended

Recommended

More Related Content

Viewers also liked

Viewers also liked (12)

More from VIOPS Virtualized Infrastructure Operators group ARCHIVES

More from VIOPS Virtualized Infrastructure Operators group ARCHIVES (17)

Recently uploaded

Recently uploaded (11)