第6世代（Gen 6）も登場し、注目を集めるファイバーチャネル（FC） SAN。 FC スイッチは多くのデータセンターで広く使われていますが、実際に「触ったことがある」というエンジニアの方はそれほど多くないのではないでしょうか？ 「触ってみたいけれど、なかなか機会がなくて・・・」 そんな方にも判りやすく、“見てわかる” ファイバーチャネルSAN基礎講座を開催しています。 本シリーズでは、ブロケードFCスイッチのオペレーションを通して、FC SANの設計・導入・運用を学んでいきます。 第1弾の検討編に引き続き、第2弾は設計編を予定しています。 FC SANを設計する際に、考えなければいけないポイントは？ 気をつけなければいけない落とし穴は？ なかなか人には聞けないコツを、長年お客さまやパートナー様のFC SAN設計をサポートしてきた講師が、その経験から惜しみなくご紹介します。 ---------- 第1回～まず理解しよう！ 基本の “キ”～ https://www.slideshare.net/brocade/san1-62678292 第2回～FC SAN設計における勘所とは?～ https://www.slideshare.net/brocade/san2fc-san 第3回～間違わない！FC SAN導入のヒントとコツ～ https://www.slideshare.net/brocade/san3fc-san 第4回～続・間違わない！FC SAN導入のヒントとコツ～ https://www.slideshare.net/brocade/san4fc-san 第5回～さあ、いよいよ、運用です！～ https://www.slideshare.net/brocade/san5 第6回～困った時もこれで安心(?)、FC SANにおけるトラブルシューティングのコツとは?～ https://www.slideshare.net/brocade/san6-fc-san-71206812

1. ブロケード WEBセミナーシリーズ 第5回
“見てわかる” ファイバーチャネルSAN基礎講座
(第2弾)
～FC SAN設計における勘所とは?～

2. 本日のWEBセミナーの注意点とお願い
• 【質問】タブで随時質問を受け付けます。
‒ 【質問】タブへの記載は、講師のみが閲覧できます
‒ 質問内容は、講師が読み上げさせていただきます
• セミナー終了後、アンケート画面に遷移します。ぜひご協力お願い
します！
※メールアドレス記載の上、ご回答いただいた方の中から抽選でブ
ロケードロゴグッズプレゼント！
2

3. Brocade WEBセミナーシリーズ
• 最近、いろいろ情報発信しています
‒ Twitter: https://twitter.com/brocadejapan
‒ Facebook:
https://www.facebook.com/brocadejapan/
‒ Brocade Japan Blog:
http://community.brocade.com/t5/Brocade-
Japan/bg-p/Brocade-Japan
‒ YouTube:
https://www.youtube.com/user/brocadejapan
‒ SlideShare:
http://www.slideshare.net/brocade/tagged/Ja
panese
• そんななかのWEBセミナーです！
3

4. 講師のご紹介
• 辻 哲也 (つじ てつや)
• 2002年 ブロケード入社
‒ ブロケード日本法人では「古株」です。
‒ 最近はバックエンドの支援業務が中心です
が、昔はいろいろとマーケティング活動も
やってました。
• ブログ連載してますので、よろしければ
アクセスしてみてください。
‒ http://community.brocade.com/t5/Brocad
e-Japan/bg-p/Brocade-Japan
4
(@ITさんより)

5. “見てわかる” ファイバーチャネルSAN基礎講座
シリーズ構成 (案)
• 第1弾: 「検討」編
‒ まず理解しよう！ 基本の “キ”～
• 第2弾 (今回): 「設計」編
‒ FC SAN設計における勘所とは?
• 第3弾: 「導入」編
• 第4弾: 「運用」編
※上記は変更される可能性もありますので、あらかじめご了承ください。。。
5

6. 本日のテーマ
• テーマ
‒ FC SAN導入を決定した”あるIT管理者の物語”
‒ FC SANの設計において、注意すべきポイントを解説
• セミナーの目的・主旨
‒ FC SANインフラを設計する上での注意点、ポイントを紹介。
‒ 「特定の製品」に依存した話ではなく、一般的な内容を解説します。
• 少しだけBrocade製品の話もしますが。。。
6

7. “登場人物”のご紹介 (おさらい)
• 出得多 千太 (でえた せんた)
‒ とある製造業のIT部門で勤務する、中堅のITインフラ管理者
• 将来のビジネスを支えるIT基盤の選定から構築・運用までを任される見込み
• ストレージ・インフラの更改プロジェクトを担当
• いろいろな技術を検討した上で、FC SANベースのオール・フラッシュストレージを
選択 (前回)
‒ 新人時代にはデータセンター内のストレージ・インフラの運用を担当
• 「データセンター内でのみ生きることができる」という謎の人物 (?)と出会う
7

8. FC SAN導入において検討する事項
8
1. 必要なコンポーネント
2. SANの拡張性
3. ストレージ・アクセスのパフォーマンス
4. 信頼性
？？？

9. 1. 必要なコンポーネント

10. FC SAN導入に必要なコンポーネント
10
• HBA (Host Bus Adapter)
‒ サーバーがファイバーチャネル (FC)プロトコル
で通信するために必要なカード
‒ ハードウエアでFCプロトコルを処理
‒ 冗長性を考慮する場合は、1サーバーに2枚以上
搭載
• 1枚のカードで2ポート持つ製品もあり
• マルチパスドライバ
‒ サーバー/ストレージ間で複数の「パス」を制御
するソフトウエア
‒ サーバーのOSにインストール
• Microsoft MPIO (Multi Path I/O)等
‒ パスの冗長化および負荷分散を実現

11. FC SAN導入に必要なコンポーネント (続き)
11
• FCスイッチ (SANスイッチ)
‒ サーバー (HBA)とストレージ間を接続
‒ 複数のFCスイッチで「FCファブリック」を構成
• 各種のファブリックサービスを提供 (ログインサーバー、ネームサーバー等)
• ストレージ装置
‒ FCインタフェースを持つ共有ストレージ装置

12. ケーブル/コネクタ
• 光ファイバケーブルを使用
• 2Gbps FC以降では、主にLCコネクタ形状の物を使用
• Small Form-factor Plug (SFP/SFP+)を使用
• Short Wavelength (SWL) Laserでは数100mまでサポート
• FC速度およびケーブルに依存
• Long Wavelength (LWL) Laserでは最大10Kmまでサポート
• 1つのSFPで、全ての速度に対応するものは存在しない
‒ 対応可能な最大速度から下位2世代をサポート
• 8G SFP: 2/4/8Gbps
• 16G SFP: 4/8/16Gbps
• 32G SFP: 8/16/32Gbps
光ファイバケーブル
LCコネクタ
SWL LWL
SFP (8Gbps対応)
12

13. 2. 拡張性

14. • LANの“N”etworkは「コミュ
ニケーション」
• 様々なデバイスが、様々なアプ
リケーションで多種多様に通信
し合うためのネットワーク
‒ Web, Mail, VoIP, VOD・・・
LA”N”とSA”N”の基本的な「違い」
“Network”が提供するサービスの違い
• SANの“N”etworkは「経路の共用」
• サーバーの通信対象はストレージのみ
‒ 1対1で繋いでいた補助記憶装置のインター
フェースをスイッチで束ねたもの
‒ 言い換えれば「DAS環境の集合体」
14

15. 初期導入時のSANスイッチ選定ポイント
• カスケードを前提とした構成はしないことが望ましい
‒ カスケードの場合、トラフィック量と可用性を考慮した設計が重要
‒ 初期導入時からカスケード構成は避けるべき
‒ カスケード自体は難しくはない
• スイッチ間をケーブルで接続 (ISL接続)するだけ
• 機器増設する前提で構成することが望ましい
‒ 共通基盤化環境では、想定以上にサーバ・ストレージが集約されることがある
‒ 初期導入時には十分な空きポートを確保できるスイッチを選定
• ファブリックは冗長構成 (“Redundant”)にすることが必須
‒ 必ず独立した2つ以上のファブリックでSANを構成
15

16. 「ポート数」の考え方
• スイッチポート数 (Switch Ports)
‒ ファブリック内の全てのスイッチのポート数の合計
【スイッチポート数】 = 【スイッチ台数】 × 【スイッチ当たりのポート数】
• ユーザーポート数 (User Ports)
‒ ISL接続後に、ホストおよびストレージ接続に使用できるポート数
‒ スイッチ台数の増加と共に、ユーザーポート数も増加
【ユーザーポート数】 = 【スイッチポート数】 - 【ISL本数 × 2】
• 未使用ポート数 (Unused Ports)
‒ ISLおよびホスト/ストレージ接続後の空きポート数
‒ 既存のSAN環境がどこまで拡張できるかを示す
【未使用ポート数】 = 【ユーザーポート数】 - 【ホスト接続ポート数】 -
【ストレージ接続ポート数】
16
・スイッチポート数
16 x 4 = 64ポート
・ユーザーポート数
64 – 6 x 2 = 52ポート
・未使用ポート数
52 – 2 = 50ポート

17. FC SAN (ファブリック)のトポロジー
• FCファブリックでは、どんなトポロジーでも構成可能！
‒ FSPF (前回説明)のおかげで、イーサネットにおける「スパニングツリー」
のようなものは存在しない
‒ 拡張性や冗長性、運用保守性などの観点で適切なトポロジーを選択
17
“カスケード”トポロジー
“リング”トポロジー “フルメッシュ”トポロジー

18. シングルスイッチ・トポロジー
• 1台のスイッチに全サーバ、ストレージを接続
‒ 多ポートスイッチに適したトポロジー
• Brocade DCX8510の場合、1スイッチで最大512ポートまで対応
• 初期導入時のSANで多く用いられる構成
• メリット
‒ スイッチ間カスケードがなく、パフォーマンスを確保しやすい
‒ 設計と運用管理が容易
• ローカリティ設計がしやすい
‒ 導入するスイッチの台数が少なく、初期導入コストを抑制
• デメリット
‒ スイッチのポート数に拡張性が制限
‒ スイッチ障害が全てのサーバ/ストレージに影響
18

19. “コア・エッジ”トポロジー
• スイッチを階層構造化して、サーバ/ストレージ間を接続
‒ 5台以上のスイッチで構成する場合の推奨トポロジー
• 2種類の役割
‒ エッジ (Edge)スイッチ: サーバ/ストレージを収容するスイッチ
• コストパフォーマンスが求められる
‒ コア (Core)スイッチ: Edgeスイッチを収容するスイッチ
• 高い信頼性が求められる
• 階層の種類
‒ 2 tier (2階層)
• “サーバEdge”および”Core”スイッチから構成する場合が多い
‒ 3 tier (3階層)
• “サーバEdge”, ”Core”, “ストレージEdge”スイッチから構成
• トポロジーの種類
‒ シングルCore構成: Coreスイッチの障害がファブリック全体に影響 (小-中規模構成向き)
‒ マルチCore構成: Coreスイッチを冗長化 (中-大規模構成向き) 19
サーバ
Edge
ストレージ
Edge
Core

20. “コア・エッジ”トポロジー (続き)
• メリット
‒ サーバ、ストレージの増加に柔軟に対応可能
• スイッチ追加時のISL追加本数は、フルメッシュトポロジーに
比べて少ない
‒ Edgeスイッチレベルで障害の局所化が可能
‒ ファブリック単位でバックアップ/ストレージ統合を実現
‒ ファブリック単位で一元的なパフォーマンス管理を実現
• DLS/DPS、ISL Trunkingによるパフォーマンス向上が容易
‒ フルメッシュ・トポロジーと同様、パスの冗長化に対応
• デメリット
‒ 初期導入コストが高い
20
[3Tire Core-Edgeトポロジー]
Coreスイッチ
(Dual Core)
Edgeスイッチ
Edgeスイッチ
[2Tire Core-Edgeトポロジー]
Coreスイッチ
(Dual Core)
Edgeスイッチ

21. ボックス型スイッチの拡張性 (Brocade)
“Port On Demand (PoD)”ライセンス
• ボックス型スイッチは「ポート拡張ライセンス (PoD)」の追加によって非活性ポートが使用可能
• 初期導入時に拡張ポートを使い切るとデバイス増設時にスイッチの追加・カスケードが必要
‒ 初期導入時は、ポート拡張しなくて済むスイッチを選定するのが望ましい
21
初期導入 一次拡張 二次拡張
将来の為に初期導入時は使わない
初期導入で必要になる場合は、上位スイッチの
基本構成を検討
例) Brocade 6510の場合
ポート拡張ライセンス入れた最大構成よりも、上位スイッチの基本構成がお勧め

22. 3. パフォーマンス

23. ストレージのGen6化はまだ・・・でも
WEBセミナー 第3回より
23http://www.thefibrechannel.com/articles-by-tfc/demartek-evaluates-emulex-gen-6-fibre-channel-adapters/
フラッシュ・ストレージの外部インタフェースが8G FCでも、
HBA-スイッチ間を32G FCにすることでパフォーマンスが向上！

24. Fan out/Over-subscription ratio
• Fan outとは?
‒ 1つのストレージポートにアクセスするサーバーポートの比率
(帯域換算)
• ISL (Inter Switch Link)とは?
‒ スイッチとスイッチをカスケード接続するリンク
• ISL Over-subscription ratio (比率)とは?
‒ デバイス接続用ポートの帯域とISL用ポートの帯域の比
‒ 高負荷時に輻輳が起こりうる可能性を示す値
‒ 1:1では輻輳は発生しないが、比率を1:1にする必要はない
• 多くの場合、“7:1”程度で構成
• ISL帯域をより確保する場合は、”3:1”程度で構成
‒ 同一スイッチに接続するサーバ・ストレージには関係しない
‒ ISL本数もしくは「ローカリティ」の改善で調整
24
ISL
ISL Over-Subscription ratio
”7:1” の例

25. Brocade ISL Trunking
• スイッチ間リンク (Inter Switch Link)を増設して
スイッチ間の帯域をアップ
• 設定が不要
‒ スイッチ間をケーブルでつなぐだけ
• 「仮想的な1本のISL」として認識
‒ トランクを構成する条件
• 同じリンク速度
• 同一のポートグループ内
• “Deskew time”が一定の範囲内
25
Brocade G620 Brocade G620
64Gbps (32Gbps x2)の
“仮想リンク”を構成
ISLを追加 (1本)
Brocade G620 Brocade G620
96Gbps (32Gbps x3)の
“仮想リンク”へ増速

26. 4. 信頼性
26

27. 冗長構成の考え方
LANの場合
• 二重化された機器は全て接続しておく
‒ 物理的に全て接続された経路を作る
‒ どこか切断しても迂回経路を確保
‒ Ethernetはスイッチの先のリンクが切れ
てもサーバは認識できない
WAN
サーバー
Accessスイッチ
Core/Aggregation
スイッチ
単一ネットワークを構成
この経路が切断しても
サーバには分からない
[チーミングによるアク
ティブ－スタンバイ構成]
・サーバに直接つながっ
ている経路が切れたとき
に切り替わる
27

28. 冗長構成の考え方
SANの場合
• 物理的に独立した複数の経路を
確保する
‒ 経路が切れた場合、片方のネッ
トワークがダウンした場合、マ
ルチパスドライバで経路を切り
替えて継続運用可能
‒ SANを“ネットワーク“ではなく、
サーバとストレージを直結して
いる”経路”と認識
ストレージ
サーバー
Edgeスイッチ
Coreスイッチ
[マルチパスドライバ]
・ファブリック上の経路断
を検知して経路を切り替え
“独立した”複数ネッ
トワークを構成！
＝
サーバー
ストレージ
この経路が切断すると
ファブリック全体に通
知される
28

29. “冗長性”と”回復性”
• 冗長性 (Redundancy)
‒ 独立したファブリックを「複数」配備し、アクセスパスの冗長性
を確保
‒ システム全体の冗長性はOSのマルチパスドライバーの領域
• 回復性 (Resiliency)
‒ ファブリック内のデザイン
‒ ファブリックとしての単一障害点 (SFOF: Single Point of Failure)
がない設計
• SANデザインの原則
‒ 冗長性は必ず確保する
• ファブリック内の全てのスイッチでファブリックサービス (ゾーニングDB
など)を共有しているため、デバイスが物理的に異なるスイッチに冗長接
続されていたとしも、ゾーニングの設定ミスなどのファブリック内全ス
イッチに影響を及ぼすような障害には対応できない。
‒ 回復性は可能であれば確保する
• 大規模なファブリックでは重要な要素
ファブリックA ファブリックB
経路冗長構成
回復性のある
ファブリック
経路切替は
マルチパス
ドライバ
29

30. まとめ

31. 千太くんがデザインしたFC SAN
構成イメージ
31
32Gbps FC (Gen6)に対応した
Brocade G620を選定 (2台)
(32Gbps FCを最大64ポート)
32Gbps FC (Gen6)に対応した
HBAを2枚導入
サーバー群 (18台 ※拡張予定あり)
外部ストレージ
(オール・フラッシュ)
32Gbps FC x18
32Gbps FC x18
16Gbps FC x12
16Gbps FC x12
・・・
Fan out/Over Subscription比を
3:1で設計
マルチパスドライバをインストール
Brocade G620 Brocade G620
ファブリックの冗長性を確保

32. 本日のまとめ
• 千太くんがFC SANインフラの選定/設計に際して
考慮したポイント
‒ 拡張性
• 空きポートを確保し、将来のサーバー/ストレージ増設や
トポロジー (コア・エッジトポロジー)変更にも対応
‒ パフォーマンス
• サーバー (HBA)およびFCスイッチは、32Gbps (Gen6)に
対応した製品を選定
• フラッシュ・ストレージに合わせたFan out/Over
Subscription比率 (3:1)
‒ 信頼性
• ファブリックの「冗長性」を確保し、パス障害に対応
• サーバーにマルチパスドライバをインストール
32
！！！

33. 次回の予告
33
• FC SANをベースにした、ストレージ・インフラの
機器選定および設計を完了した千太くん。
• では、FC SANは実際にはどのように導入するのか?
• 次回 (第3弾)は「導入」編！
‒ 開催日時は、別途ご案内します。
‒ 是非、お楽しみに！
？？？

34. Q&A
34

35. Thank you
本件に関するお問合せ
http://www.brocade.com/ja/forms/contact-us.html
ブロケード コミュニケーションズ システムズ株式会社