経営スピードの加速とTCO削減を目的に、仮想化による大規模なサーバ統合を実施した総合建材メーカーの三協立山。仮想マシン数の増加に伴う、仮想基盤を安定稼働させるカギとなったのは、実はネットワークでした。従来比2倍以上の高い効率性を確保し、運用性とコスト低減を両立させることに成功したイーサネット・ファブリック導入、そのポイントとは？

1. 1
攻める情シスのためのデータセンター1-Day講座 （Powered by Brocade）
『三協立山の仮想化基盤の成長を支える イーサネット・ファブリック』
三協立山株式会社 情報システム統括室 システム企画部 運用課 松本 行央 株式会社日立ソリューションズ ビジネス・プラットフォーム本部 第2部 奥山 崇
2014年10月16日

2. 2
＜建材事業＞
•ビル事業
•STER事業
•住宅事業
•エクステリア事業
＜マテリアル事業＞
•アルミ押出形材
•アルミビレット
•マグネシウム
＜商業施設事業＞
•商業施設
•サイン
•ショップサービス
名称
三協立山株式会社
本社所在地
富山県高岡市早川70番地
設立年月日
1960 (昭和35) 年6月20日
資本金
150億円
決算期
5月31日
発行株式数
31,554,629株 (1単元の株式数100株)
上場
東京証券取引所市場第一部 (5932)
連結従業員数
5,759名 (2014年5月31日現在)
ＵＲＬ
http://www.st-grp.co.jp

3. 3
三協･立山ホールディングス
三協アルミニウム工業
三協立山アルミ
三協立山
立山アルミニウム工業
三協マテリアル
タテヤマ
アドバンス
1960
1948
2006
1952
2012.6
2012.12
三協立山
三協アルミ社
三協マテリアル社
タテヤマアドバンス社
2003
2007
2006’ ストレージ統合
2010’ サーバ統合
2014’ データセンタ利用
ストレージ数十台 サーバ数百台
ストレージ数台
サーバ百台余
増える インフラ
減らない サーバ
ストレージ数台
サーバ数百台
高まる クラウド
DC利用に適し たネットワーク 基盤の構築
＜導入要件と課題＞ ・仮想化基盤の最大活用 ・通信の帯域確保 ・構成作業の容易さ
＜VDXの選定理由＞ ・10Gbpsの帯域 ・マルチベンダ供給 ・ＤＣ基盤の新しい技術

4. © Hitachi Solutions, Ltd. 2014. All rights reserved.
4
Contents
１. はじめに
２. イーサネット・ファブリック導入の背景
３. イーサネット・ファブリックが解決できること（主なメリット）
４. Brocadeのイーサネット・ファブリックを選択した理由
５. システム構成概要
６. イーサネット・ファブリックのその先に
７. まとめ

5. © Hitachi Solutions, Ltd. 2014. All rights reserved.
5
１．はじめに
BS500×Brocade VDX スイッチ 導入事例： 「BladeSymphony」と「Brocade VCS ファブリック」でサーバ仮想化の効果を最大限に引き出すネットワークを構築
VMware仮想基盤でのイーサネット・ファブリックの導入事例

6. © Hitachi Solutions, Ltd. 2014. All rights reserved.
6
２．イーサネット・ファブリック導入の背景
イーサネット・ファブリック導入を検討した背景 ハイパーバイザーの仮想スイッチの機能が充実 エッジ仮想ブリッジング (EVB) やVXLAN対応のCNAやスイッチの登場 Vyatta vRouterなどL3以上の機能がサーバーサイドでNFVとして動作する時代 オーバーレイ・ネットワークの適用には、従来のネットワークでは役不足 仮想環境の拡大の影響で、East-Westトラフィックがさらに増加 データ容量の増加で、バックアップ用途のネットワーク負荷も増加 ストレージへのフラッシュ技術導入で、ネットワーク帯域とのバランス再調整 仮想スイッチの登場で、サーバー/ネットワークの責任分担が複雑（曖昧） ■世の中の技術動向 ■三協立山の仮想基盤の状況 SDNが提供する付加価値の恩恵を 受けるために、いち早く準備する！ 柔軟な運用・構成のネットワーク基盤 を手に入れる！
従来のネットワークの弱点（STP/帯域拡張）を 克服した、イーサネット・ファブリックの導入！
高帯域・低遅延の強固なネットワーク基盤として、 イーサネット・ファブリックの導入！

7. © Hitachi Solutions, Ltd. 2014. All rights reserved.
7
３．イーサネット・ファブリックが解決できること（主なメリット）
スパニング・ツリー
ブロッキングポート
vLAG
vLAG
従来の階層型L2トポロジ Single Path
VLAN, ACL, QoS 性能 信頼性 運用
物理パス数に対して Activeパスが少ない
障害発生時の 収束時間が長い
拡張に伴い 設計の複雑さが増加
ループ障害！
利用効率：50%
基盤統合、効率的な仮想 化により、サーバー間の トラフィックが増加する。
East-Westトラフィック
イーサネット・ファブリック Multi Path 性能 信頼性 運用
全ての物理パスをActive化することで
性能を向上、リソースの無駄もなし
パス障害時の切り替え時間が短い ビジネスの機会損失リスクを低減
増設に伴うSTP設計の必要性がなく、
かつスイッチ接続は自動化。複雑さが
もたらす属人性、潜在的なリスクの排除
コアVDX
エッジVDX
vLAG (virtual link aggregation)
アップリンクにアクティブ/アクティブ接続
UP! 柔軟な運用・構成のネットワーク基盤を手に入れる！（帯域、運用性、柔軟性、信頼性）

8. © Hitachi Solutions, Ltd. 2014. All rights reserved.
8
４．Brocadeのイーサネット・ファブリックを選択した理由
イーサネット・ファブリックを実現する製品選定 仮想基盤が動作するブレードサーバーとの接続容易性 製品保守の体制面（製品提供側としては、信頼性を維持する上で重要） 仮想スイッチのアップリンクの効率化（広帯域、複雑性の排除） ネットワーク・トポロジの自由度（小さくはじめて、大きく成長） 仮想基盤のアイランド化を防ぐ、共通ネットワーク基盤 ネットワークストレージの需要拡大（バックアップなど）と転送帯域の確保 ネットワーク機器メーカーごとの特徴、強み、弱み、色々あれど・・・ ■技術的な製品比較（機能/性能/価格） ■仮想基盤の成長シナリオに最適な製品
ポイント

9. © Hitachi Solutions, Ltd. 2014. All rights reserved.
9
４．Brocadeのイーサネット・ファブリックを選択した理由 仮想基盤が動作するブレードサーバーとの接続容易性 製品保守の体制面（製品提供側としては、信頼性を維持する上で重要） ■仮想基盤の成長シナリオに最適な製品
vLAG
vLAG 性能 信頼性 運用
全ての物理パスをActive化することで 性能を向上、リソースの無駄もなし
パス障害時の切り替え時間が短い ビジネスの機会損失リスクを低減
増設に伴うSTP設計の必要性がなく、 かつスイッチ接続は自動化。複雑さが もたらす属人性、潜在的なリスクの排除
コアVDX
エッジVDX
vLAG (virtual link aggregation)
アップリンクにアクティブ/アクティブ接続
BS500内蔵DCBスイッチ（VDX6749）
シンプル！広帯域！低遅延！
（基盤ネットワーク要件）
論理スイッチとして、 一元管理！
BladeSymphony

10. © Hitachi Solutions, Ltd. 2014. All rights reserved.
10
４．Brocadeのイーサネット・ファブリックを選択した理由 仮想スイッチのアップリンクの効率化（広帯域、複雑性の排除） ■仮想基盤の成長シナリオに最適な製品
ブレードシャーシでVCSファブリックを構成するメリット スタッキング機能無しのブレード内蔵LANスイッチでは、NICの有効利用が困難
CNA
BS500
VDX
CNA
BS500
論理的に同等
論理的に筐体内のスイッチが１台になり、サーバブ レードのNICは１台のスイッチへの接続となる。
サーバブレードのNICで、リンク・アグリゲーションを 設定すれば、フルアクティブで１本の論理接続に。 ２本で20Gbps、４本で40Gbps
10GbE-VDXスイッチモジュールが、 VCSイーサネット・ファブリックを構成。

11. © Hitachi Solutions, Ltd. 2014. All rights reserved.
11
４．Brocadeのイーサネット・ファブリックを選択した理由
１
２
Port-Channel 10
LAG
<通常スイッチ>
１
<通常スイッチ>
２
MAC Table MAC-A : Port-Channel 10
MAC Table (Switch-1)
MAC-A : Port-1
MAC Table (Switch-2)
MAC-A : Port-2
MACフラップ！
１
２
<VDX>
vLAG
Port-Channel 10
MAC Table (VCS) MAC-A : Port-Channel 10 ＮＩＣチーミングにＩＰハッシュを使う！
一つの仮想マシンが複数リンクを使用するため、 複数ポートに同一のMACアドレスが現れる。 スイッチ側で、一つの論理リンクとして扱う必要がある。
Active/Active NICチーミング 仮想スイッチのアップリンクの効率化（広帯域、複雑性の排除） ■仮想基盤の成長シナリオに最適な製品

12. © Hitachi Solutions, Ltd. 2014. All rights reserved.
12
４．Brocadeのイーサネット・ファブリックを選択した理由 ネットワーク・トポロジの自由度（小さくはじめて、大きく成長） ■仮想基盤の成長シナリオに最適な製品
VCSの最小構成とトポロジ
最小2台のVDXからVCS機能の利用が可能（スモールスタート）
VCSを構成するために特定のVDX筐体を必要とせず、 VCS内でのVDXトポロジは任意（初期投資コストの最適化）
小規模環境：Top of RackのみのVCS
サーバ台数が少ない仮想化基盤に最適化
中～大規模環境：Spine(幹)/Leaf(葉)でのVCS
規模が大きい(将来拡張予定を含む)構成時
規模感に応じたVCS機器選定
機種が固定される わけではなく、 トポロジは自由に！ スケール
（小さくはじめて、大きく成長）
２階層Fat-Tree
(Leaf/Spine) まだまだ先進的な分野。同時に、「ファイバチャネルSANで培われた技術」が多く活用されている安心感！
VCSの特徴： 環境規模感に応じた投資最適化

13. © Hitachi Solutions, Ltd. 2014. All rights reserved.
13
４．Brocadeのイーサネット・ファブリックを選択した理由 ネットワーク・トポロジの自由度（小さくはじめて、大きく成長） ■仮想基盤の成長シナリオに最適な製品
（スタッキング）
vLAG
BS500のみで構成 （ミニマム導入）
バックアップ
ストレージ
VDX6730
（スタッキング）
vLAG
バックアップ ストレージ
外付けVDXをコアにVCSファブリック再構成
（BS500シャーシ増設準備完了）
実際にVCSファブリックは段階的に導入（成長への対応）

14. © Hitachi Solutions, Ltd. 2014. All rights reserved. 14
４．Brocadeのイーサネット・ファブリックを選択した理由
仮想基盤のアイランド化を防ぐ、共通ネットワーク基盤
■仮想基盤の成長シナリオに最適な製品
１つの大きな仮想基盤のイメージで捉える
スケールイメージ！
シャーシ追加！
VDX搭載他社製機器も同様
イーサネット・ファブリックをハイパーバイザーのＨＵＢのように考える概念
帯域は日進月歩！40G/100G/・・・とL2フラットは広帯域に。
製品リプレースや拡張で進化。L3以上はソフトウェアで進化・・・

15. © Hitachi Solutions, Ltd. 2014. All rights reserved.
15
４．Brocadeのイーサネット・ファブリックを選択した理由 ネットワークストレージの需要拡大（バックアップなど）と転送帯域の確保 ■仮想基盤の成長シナリオに最適な製品
VMware vSphere
データストア
VM.vmdk
データストア
VM.vmdk
バックアップ・ストレージ （重複ブロック排除）
世代管理 （テープレスDR）
NFS(10G)×2
クローン
（Backup）
ESXiマウント
VMware vSphere
データストア
バックアップ・ストレージ （重複ブロック排除）
JP1/VERITAS NetBackup
FC
FC
世代管理
（テープレスDR）
VADP機能とバックアップソフトを使った、
バックアップ・パターン
VMwareクローン機能を使った、 バックアップ・パターン
FC
NFS(10G)×2

16. © Hitachi Solutions, Ltd. 2014. All rights reserved. 16
５．システム構成概要
ストレージ/ネットワーク/サーバーのバランスを強く意識した安定基盤
10Gb DCBスイッチモジュール
CNA
Edge Edge
Core
FC
HAF
Storage Pools
HDT
「HAF」と「HDT」による高速化
SAS
vLAG
BS500
BS500
BS500
VDX
拠点①
拠点②
バックアップ・データの相互転送
（重複ブロック排除レプリケーション）
VDX
VDX

17. © Hitachi Solutions, Ltd. 2014. All rights reserved.
17
５．システム構成概要
ストレージ/ネットワーク/サーバーのバランスを強く意識した安定基盤
VMware vSphere
設計バランス
（性能/信頼性） 分析・サーバ （仮想アプライアンス） プローブ・サーバ （仮想アプライアンス）
性能情報蓄積・分析システム （Cumulus MARS）
性能分析
設計バランス
（性能/信頼性）
抽象化レイヤ 性能データ 長期蓄積 性能データ 長期蓄積 性能データ 長期蓄積
長期間 性能分析
システム 最適化
性能情報のレコードキーピング

18. © Hitachi Solutions, Ltd. 2014. All rights reserved.
18
６．イーサネット・ファブリックのその先に
Brocade VCS Fabric の進化
NOS4.xの未使用の機能、NOS5.x の新機能への期待。 ロジカルシャーシ機能： 最大48VDXのVCSファブリックを論理的に１台のスイッチとして管理 ソフトウェア・アップグレード（ISSU）： サービス無停止かつ、トラフィックへの影響がないバージョンアップ Auto QoS： FCoE/iSCSI/NFSなどのネットワーク・ストレージトラフィックの自動保護 VTEP(VXLAN Tunnel Endpoint)機能： VMwareNSXのHardware-VTEPとして動作。 VXLAN非対応の物理機器をNSXの仮想オーバレイネットワークに参加 VCS Virtual Fabric： VLAN制約（4,096個）を超えるスケーラビリティのマルチテナント機能 （テナント間でのVLAN IDの重複や変換要件に対応）

19. © Hitachi Solutions, Ltd. 2014. All rights reserved. 19
６．イーサネット・ファブリックのその先に
VXLANエクステンション（Virtual Fabric Extention）
User B
User C
User A User A
User B
User C
VXLANトンネル
Vlan 1000
VF 5000
VF 6000
VTEP VTEP
VCS#1 VCS#2
既存L2/L3NW
・WAN環境
Vlan 1000
VF 5000
VF 6000
VDX6740
VXLAN gateway
VDX6740
VXLAN gateway
VLAN IDと、
Virtual Fabric ID
にも対応可能
L2延伸： リモートサイト間でのVCSオーバレイ接続
VDXをVXLANのHardware VTEPとして動作させることで、DC間を跨いだテナント
毎のオーバレイ仮想L2ネットワークを構成可能
VCS間同士でスタティックにトンネル形成可能なため、外部SDNコントローラーや
マルチキャストルーティングを必要とせず、導入の敷居を低くすることが可能
既存ネットワーク上で構成可能なため、VPLSやQinQ等の特別なL2技術は不要
拠点① 拠点②

20. © Hitachi Solutions, Ltd. 2014. All rights reserved.
20
７．まとめ （ブロケードを選択した理由） ブレードサーバーとの接続容易性 高い信頼性 広帯域、複雑性の排除 小さくはじめて、大きく成長 共通ネットワーク基盤に最適 ファイバーチャネル・ファブリックの圧倒的な実績 イーサーネット・ファブリックの先進性と技術革新 ① 仮想基盤の成長シナリオに最適な製品 ② データセンターネットワークに向けたリーダーシップ

21. 21
ご清聴ありがとうございました！
攻める情シスのためのデータセンター1-Day講座 （Powered by Brocade）
『三協立山の仮想化基盤の成長を支えるイーサネット・ファブリック』
三協立山株式会社 情報システム統括室 システム企画部 運用課 松本 行央 株式会社日立ソリューションズ ビジネス・プラットフォーム本部 第2部 奥山 崇
2014年10月16日