SAN デザイン講座
•
15 likes•11,057 views
SAN (Storage Area Network) はどのようにデザインするのがいいのでしょうか？ そんな疑問を解決するための資料です。
Recommended
Recommended
More Related Content
What's hot
What's hot (20)
Similar to SAN デザイン講座
Similar to SAN デザイン講座 (20)
More from Brocade
More from Brocade (20)
Recently uploaded
Recently uploaded (10)
SAN デザイン講座
- 1. SANデザイン講座
- 2. はじめに 本資料はBrocade Fibre Channel スイッチでSANファブリックをデザイン する為の参考資料として作成しています。 Brocadeとしての一般的なデザインの考え方を示したものです。ストレー ジベンダーによっては見解が異なる場合がございます。 詳細は購入元のベンダーとご相談の上、適切なSANファブリックを構成し てください。 © 2015 BROCADE COMMUNICATIONS SYSTEMS, INC.
- 3. 目次 • SANデザイン事前準備 • SANトポロジーと可用性 © 2015 BROCADE COMMUNICATIONS SYSTEMS, INC.
- 4. SANデザイン事前準備 © 2015 BROCADE COMMUNICATIONS SYSTEMS, INC.
- 5. SANデザインの事前準備 SANをデザインする前に要件や環境の情報収集が重要 • アプリケーション・仮想環境 ‒ アプリケーションの種類 • データサイズ、ストレージI/O量を調べる ‒ 仮想環境の有無、物理サーバ当たりのVM数 • VM数が増えると物理サーバ当たりのI/O量が増加 • サーバ・ストレージ環境 ‒ ブレード or ラックサーバ • 広帯域HBAが使用可能か？ブレードサーバではFCoEも検討 ‒ ストレージ階層化 ‒ サーバ・ストレージの更新サイクル ‒ ストレージ容量 ‒ データサイズ・IOPS • スケーラビリティ ‒ 現在必要なユーザーポート数 ‒ 基盤統合計画の有無 • サイロ型システムから共通基盤（クラウド）へ ‒ サーバ・ストレージの拡張見込みの有無 • お客様向けサービス用システム、社内業務システム、etc… • バックアップ・災害対策 ‒ バックアップの体制（集中 or 分散） ‒ バックアップ時間帯等の各種条件 ‒ 災害対策サイトの要否 • 既存環境 ‒ 既存SANスイッチの種類・数 ‒ FOSバージョン © 2015 BROCADE COMMUNICATIONS SYSTEMS, INC.
- 6. SANトポロジーと可用性 © 2015 BROCADE COMMUNICATIONS SYSTEMS, INC.
- 7. SANデザイン関連用語 • ISL (Inter-Switch Link) ‒ FCスイッチ-FCスイッチ間のリンク • パス (Path) ‒ デバイスからデバイスまで至る全ての「経路」 • ルート(Route) ‒ ファブリック内のパスで実際に使用する経路 • ポートカウント(Port Count) ‒ Fabric中の使えるポート (ISL用以外のポート)の数 • Hop数 ‒ 送信先に到達するまでに通るISLの数 (最大Hop数7) • カスケード(Cascade) ‒ スイッチ同士をISLで接続する構成 • 遅延(Latency) ‒ スイッチ内遅延は約800n (ナノ)秒 ‒ ケーブルでの遅延は1m当たり5n秒程度 • ローカリティ(locality) ‒ 相互に通信する必要のあるデバイスを同一スイッチ配下 に接続すること • 帯域幅(Band width) ‒ どれだけのMB/secをサポートできるかを表す • 輻輳(Congestion) ‒ 帯域 (バンド幅)以上にトラフィックが流入し、帯域を奪 い合っている状態 • Over subscription ‒ ポテンシャルトラフィックがバンド幅を超えている設計 © 2015 BROCADE COMMUNICATIONS SYSTEMS, INC.
- 8. 「ユーザーポート数」の数え方 • スイッチポート数 (Switch Ports) ‒ ファブリック内の全てのスイッチのポート数の合計 【スイッチポート数】 = 【スイッチ台数】 × 【スイッチ当たりのポート数】 • ユーザーポート数 (User Ports) ‒ ISL接続後に、ホストおよびストレージ接続にしようできるポート数 ‒ スイッチ台数の増加と共に、ユーザーポート数も増加 【ユーザーポート数】 = 【スイッチポート数】 - 【ISL本数 × 2】 • 未使用ポート数 (Unused Ports) ‒ ISLおよびホスト/ストレージ接続後の空きポート数 ‒ 既存のSAN環境がどこまで拡張できるかを示す 【未使用ポート数】 = 【ユーザーポート数】 - 【ホスト・ストレージ接続ポート数】 24ポートスイッチ4台 6本のISLで接続している場合 ・スイッチポート数 24 x 4 = 96 ポート ・ユーザーポート数 96 – 6 x 2 = 84 ポート ・未使用ポート数 84 – 2 = 82 ポート 24ポートスイッチ ISLを多用するとユーザーポートが減ってしまう為、できるだけISLを使わずに済む ポート数のスイッチを導入することを検討する © 2015 BROCADE COMMUNICATIONS SYSTEMS, INC.
- 9. シングルFabricとデュアルFabric • 一つのファブリックのみで構成されるシステムをシングルファブリックという ‒ ファブリックに障害があるとサービス停止になる構成のため、本番システムでは使わない構成 • 二つ以上の独立したファブリックに接続したシステムをデュアルファブリックという ‒ システム安定運用のためにはこの構成が望ましい ‒ Redundant構成ともいう Single Fabric Dual Fabric Fabric A Fabric BFabric A © 2015 BROCADE COMMUNICATIONS SYSTEMS, INC.
- 10. 冗長性と回復性 • 冗長性(Redundancy) ‒ 独立した Fabric を複数配備し、アクセスパスの冗長性を確保する ‒ システム全体の冗長性はOSのマルチパスドライバー(MPIO)の領域 • I/Oタイムアウトを待って経路を切り替える為、MPIOによる経路切替は最終手段 • できるだけFabricがダウンしない様に電源冗長やResilient Fabricを構成する • 回復性(Resiliency) ‒ Fabric 内のデザイン ‒ Fabric としての Single Point of Failure が無い設計 • SAN デザインの大原則 ‒ 冗長性は必ず確保する • ファブリック内の全てのスイッチでファブリックサービス(ゾーニングDBなど)を共有している ため、デバイスが物理的に異なるスイッチに冗長接続されていたとしも、ゾーニングの設定ミ スなどのファブリック内全スイッチに影響を及ぼすような障害には対応できない。 ‒ Resiliency は可能な限り確保する • 大規模なファブリックでは重要な要素 Fabric A Fabric B 経路冗長構成 回復性のある ファブリック 経路切替は マルチパス ドライバー © 2015 BROCADE COMMUNICATIONS SYSTEMS, INC.
- 11. Over-subscription ratio • ISL とは ‒ Inter Switch Link ‒ スイッチとスイッチをカスケード接続するリンク • ISL Over-subscription ratio とは ‒ デバイス接続用ポートの帯域と ISL 用ポートの帯域の比率 ‒ １：１は輻輳しないことを意味する。 • ISLの設計 ‒ 一般的には７：１を目安に考えるが、バックアップなどのトラ フィックではISL帯域を占有する傾向があるので３：１程度に ISL数を増やす、バックアップ専用経路を設定する対応が必要 ‒ 経路障害による通信途絶を避けるために最低でもISLは2本確保 ‒ 仮想マシンの集約度、アプリケーションのワークロード変化に 対応できるようにISLを追加できる余地（空きポート）は確保 しておく ISL ISL Over-Subscription 7:1 の例 8G 8G 8G8G8G8G8G8G 8G © 2015 BROCADE COMMUNICATIONS SYSTEMS, INC.
- 12. ローカリティ（デバイス配置の考慮） • SANにおけるローカリティの意味 ‒ ISLの使用を最小限にするFabric設計 ‒ ISLのcongestion（輻輳）を避ける • ローカリティはそのトラフィックを同じエリア（スイッチASIC）で処理す ることを意味する ‒ トラヒックアクセスパターンを理解する必要がある ‒ シングルスイッチ内、スイッチのグループ内など • ローカリティの度合い ‒ 任意のところで0%-100%のトラフィックをローカライズ可能 ‒ ローカリティが0%の場合でも、SANとしては正常に動作する • ISLの設計変更（追加）ができるように配慮する ‒ ネットワーク上の状況は常に変化があり、ローカリティは一時的な場合もある • ローカリティの特性 ‒ ローカリティが100%に近いほどパフォーマンスは良い ローカリティの無い構成 輻輳が起こる 可能性を考慮 © 2015 BROCADE COMMUNICATIONS SYSTEMS, INC.
- 13. Ring トポロジー • 対障害性が中途半端 ‒ ISL障害時に代替経路が存在するが、Hop数が増える ‒ SANでは4台以上のカスケードでこの様な構成にすることは少ない • パフォーマンス問題が発生しやすい ‒ ISLの負荷が高くなりやすい。 ‒ ローカリティーを高く保つ必要がある。 • 拡張性は低い ‒ ファブリックがあまり大きくならない事がわかっている場合は有効。 ‒ スイッチ増設時には、既存のISLのつなぎ直しが発生。 Ringトポロジー © 2015 BROCADE COMMUNICATIONS SYSTEMS, INC.
- 14. Full-Mesh トポロジー • 高い接続性 ‒ Any-to-Anyの接続性 ‒ どのスイッチに対してもサーバとストレージを接続できる • 高い可用性 ‒ 複数スイッチの障害に対応 • コストが高い ‒ 多くのISLが必要 • ボックススイッチ4台以上のFull-Meshは現実的では無い • ダイレクタのICL接続で使用 ‒ ICLはダイレクタシャーシ間接続専用ポート（1つのICLポートでISL4本分） Full Meshトポロジー Brocade8510 ICLによるFull Mesh 構成 © 2015 BROCADE COMMUNICATIONS SYSTEMS, INC.
- 15. ローカルスイッチトポロジー • 1台のスイッチに全サーバ、ストレージを接続 • 初期導入時のSANで多く用いられる構成 ‒ システム拡張後は、メッシュ型/Core-Edge型へ移行する • メリット ‒ スイッチ間のカスケードがないので、パフォーマンスを確保しやすい ‒ スイッチが1台のみのため、設計と運用管理が容易 • ローカリティ設計がしやすい ‒ 導入するスイッチの台数が少なく、初期導入コストが抑えられる • 考慮点 ‒ 拡張用に空きポートを確保すること ‒ スイッチ障害がファブリック障害となるため、冗長電源構成が推奨 © 2015 BROCADE COMMUNICATIONS SYSTEMS, INC.
- 16. Core-Edgeトポロジー • スイッチを階層構造化して、サーバ/ストレージ間を接続 • 2つの役割のスイッチ ‒ Edgeスイッチ ： サーバを収容するスイッチ ‒ Coreスイッチ ： ストレージ/Edgeスイッチを収容するスイッチ • Coreスイッチは、多ポート・高信頼性が要求される • 特徴 ‒ ストレージ台数が比較的少なく、サーバ台数が多い場合 ‒ FCスイッチ内蔵のブレードサーバシャーシを外部スイッチに接続する場合 ‒ サーバ・ストレージトラフィックは全て1Hop ‒ 適度な管理性と拡張性 • トポロジーの種類 ‒ シングルCore構成 • Coreスイッチの障害がファブリック全体に影響する ‒ マルチCore構成 • Coreスイッチを冗長化 (大規模構成で推奨) Coreスイッチ Edgeスイッチ © 2015 BROCADE COMMUNICATIONS SYSTEMS, INC.
- 17. Edge-Core-Edgeトポロジー • スイッチを階層構造化して、サーバ/ストレージ間を接続 • 2つの役割のスイッチ ‒ Edgeスイッチ ： サーバ/ストレージを収容するスイッチ ‒ Coreスイッチ ： Edgeスイッチを収容するスイッチ • Coreスイッチは、多ポート・高信頼性が要求される • 特徴 ‒ サーバ・ストレージ台数が共に多い大規模構成 ‒ サーバ・ストレージトラフィックは全て2Hop ‒ 管理性と優れた拡張性 ‒ 全トラフィックがISLを経由するのでISL Trunkingの導入が推奨 • トポロジーの種類 ‒ シングルCore構成 • Coreスイッチの障害がファブリック全体に影響するのでこの規模では非推奨 ‒ マルチCore構成 • Coreスイッチを冗長化 Coreスイッチ Edgeスイッチ Edgeスイッチ © 2015 BROCADE COMMUNICATIONS SYSTEMS, INC.
- 18. ICL Full Meshトポロジー（ダイレクタ） • ダイレクタ間をICL(Inter Chassis Link)を使って広帯域接続 ‒ 最長2kmの接続が可能（キャンパス内ファブリック構成が可能） ‒ 最大9台でFull Mesh構成（Core-Edgeは12台) • 1000ポート以上の大規模ファブリック ICL接続 ICLポート Brocade8510-8 © 2015 BROCADE COMMUNICATIONS SYSTEMS, INC.
- 19. OS SAN冗長構成要素 • 冗長構成はストレージ・ファブリック・ サーバでそれぞれ担当が分かれている ‒ サーバ（OS） • デバイスドライバーのデータ再送処理 • マルチパスドライバーによるI/Oタイムアウト後の経路切替 • アプリケーション内のI/Oタイムアウト処理・データ再送 ‒ ファブリック（FCスイッチ） • RSCNでファブリックの状態変更通知 • FSPFアルゴリズムで最短経路の設定 • ISL Trunking 負荷分散 ‒ ストレージ • コントローラーポートの冗長・負荷分散 Storage Server SAN Switch SAN Director FCスイッチは通信経路を 維持し、速やかに復旧す る機能を提供する マルチパスドライバー HBAドライバー アプリケーション ストレージコントローラ ディスクメディア ファブリックサービス (RSCN, FSPF,etc) HBA#1 HBA#2 マルチパスドライバーが経 路の負荷分散・切替機能を 提供 タイムアウトが30～60秒 位 © 2015 BROCADE COMMUNICATIONS SYSTEMS, INC.
- 20. • SANデザインの考慮点はISL ‒ ISLは増設時に使うもの • 初期導入はローカルスイッチトポロジー • デュアルファブリックは最後の砦 ‒ できる限り、止まらないスイッチを選択 まとめ