ビッグデータ時代の到来が、より大量のデータをリアルタイムに処理できるIT基盤を要求する中、サーバやストレージ環境に加え、忘れてはならないのが「ネットワーク」の最適化です。ここでは、ビッグデータを支えるITインフラに求められるネットワークの要件と課題を指摘し、失敗しないための3つのポイントを解説します。

1. ビッグデータとネットワークの深～い関係 ビックデータ時代に耐えうるデータセンターとは？
ブロケード コミュニケーションズ システムズ株式会社
システムエンジニアリング本部
システムエンジニア
中本 滋之
1
© 2014 Brocade Communications Systems, Inc.

2. Agenda
•ビックデータのトレンドとネットワークインフラの課題
•ビックデータを支えるファブリック
•ストレージ専用ネットワークのすすめ
•導入事例
•まとめ
© 2014 Brocade Communications Systems, Inc.
2

3. ビッグデータのもたらす価値
•PC,モバイル端末の普及
•回線の高速化
•半導体の性能向上
•単位性能当りのコスト削 減
•多様なデバイスの電子化 (ICカード、音楽プレイヤ、 デジタルカメラ,ETC)
•端末利用者層の拡大
高精度な予測に基づくビジネス展開
大量の情報処理
ITコストの効率化
多様な情報の解析

4. •リアルタイム
•ストリーム
© 2014 Brocade Communications Systems, Inc.
4
ビックデータのトレンド
•IoT

5. •過去の事象の発見
•ストレージ上の情報の解析
•バッチ指向。
•Query 駆動: 静的データに対するクエリの発行
•現在(もしくは直近)の事象の発見
•流れているデータを(ストアされる前に)解析
•低遅延、リアルタイム指向
•データ駆動 : 流れるデータに対するフィルタ
5
リアルタイムに BIGDATA を扱うとは？
ストリームコンピューティング
従来の処理
ストリームコンピューティング
Real-time Analytics
© 2014 Brocade Communications Systems, Inc.

6. 6
リアルタイム + ビッグデータの課題
基盤は一体
どこまで拡大するのか？
超分散環境の構成
管理・運用はどうする？
リアルタイム
＋
ビッグデータ
基盤
DWH
Stream data
Social/Open data
•リアルタイム処理の要求
•ソースとなるデータ量が爆発
アプリケーション単位 での可視化は？
効率のいい性能
維持方法は？
© 2014 Brocade Communications Systems, Inc.

7. ビッグデータ(Hadoop)用インフラの考察
© 2014 Brocade Communications Systems, Inc. CONFIDENTIAL—For Internal Use Only
7
効率的な帯域確保 が困難
パケット消失
増えたデバイスの
管理負荷増大
ビッグデータの特性
バースト性 リアルタイムトラフィック
予測できない拡張
Optimized Resource
機器の有効利用
Smart Management 運用負荷の低減
問題点
ソリューション
Simple Network
シンプルネットワーク
増え続ける大量の
サーバ間トラフィック
拡張計画が困難
トラブルシューティングの 複雑さ

8. •固定構成
•ヘアピン型トラフィック
•スパニングツリー
•ループ障害
•個別の機器管理
© 2014 Brocade Communications Systems, Inc. CONFIDENTIAL—For Internal Use Only
8
従来のネットワークの課題
従来の階層型アーキテクチャ
Core
Aggregation
Access
50%
VLAN ACL QoS
ヘアピン
ループ障害

9. データセンタ・ファブリックによる課題の解消
9
Realtime/BIGDATA
For Services
Simple/Autonomous For computing
Fabric
© 2014 Brocade Communications Systems, Inc.

10. ビッグデータを支えるファブリック
10
© 2014 Brocade Communications Systems, Inc. CONFIDENTIAL—For Internal Use Only

11. 11
DATA CENTER FABRICs 高性能（広帯域・低遅延） シンプル 安心 高ROI/低TCO
Ethernet Fabric リアルタイム処理とリソース最適化のための基盤技術
Fiber Channel Fabric ビッグデータ処理とリソース最適化、 アプリケーション可視化のための基盤技術
© 2014 Brocade Communications Systems, Inc.

12. そもそも ファブリック とは？
•“ファブリック”とは布地・生地のこと
•IT では、スイッチにより構成されるネットワーク全体を表す。
11/10/2014
12
ファブリック 布地・生地
© 2014 Brocade Communications Systems, Inc.

13. データセンタ・ファブリック技術の系譜
13
ファブリック技術の特長
•自律的 ：プラグ&プレイネットワーキング
•広帯域 ：アクティブ・アクティブパス
•低遅延 ：ハードウェア処理
•高可用性 ：フロー制御による順列保証
•高信頼性 ：障害時の収束時間の極小化
I/O チャネル技術
Fibre Channel
Fabric 技術
Ethernet Fabric 技術
© 2014 Brocade Communications Systems, Inc.
オープン ネットワーク技術 (Ethernet)

14. Data Center SAN
Fibre Channel
Brocade 6520 Switch
Brocade 6510 Switch
Data Center LAN
Ethernet/IP
Brocade VDX 6740/6740T/6740T-1G/6730
Brocade DCX 8510 Backbones
Brocade ICX Series
Brocade 6505 Switch
Brocade VDX 8770
Brocade MLXe Series
Traditional Ethernet (L2/3)
Ethernet Fabric
(L2/3)
Brocade Blade Server Switches
製品ポートフォリオ
データセンタ向け製品から抽出
14
Fiber Channel Fabric
ストレージ等のリソースエリア ネットワーキングに最適 →ファブリック
© 2014 Brocade Communications Systems, Inc.

15. データセンター・ネットワークで No.2!!
IDC Japan レポート
15
日本国内データセンター・ネットワーク
インフラ市場ベンダシェア
出典: IDC Japan, 2013年9月「国内データセンター向けネットワーク機器市場 2012年の分析と2013年～2017年の予測」（J13010107）
対象製品:
Ethernet switch
Layer 4–7 switch
WAN Application Delivery
Fibre Channel switch
“ブロケードは、データセンター向け ネットワーク機器ベンダーとして、市 場動向を左右するベンダ”
- IDC Japan
国内データセンターのイーサネット・ スイッチ市場でもNo.2!!
- IDC Japan
31.4%
Brocade 30.2%
7.9%
© 2014 Brocade Communications Systems, Inc.

16. •自由なスイッチの接続と簡単スケールアウト
•スイッチ間リンクは設定不要
•複数リンクの自動アグリゲーション
•複数経路の自動バランシング
•ループ排除のためのSTPの設定不要
2013/1/29 Enterprise Cloud Management Forum
© 2013 Brocade Communications Systems, Inc.
16
シンプルネットワーク(Simple Network)
fabric port
edge port
ネットワーク
デバイス
サーバ
ストレージ
RBridge
ID = 1
RBridge
ID = 3
RBridge
ID = 2
RBridge
ID = 4
RBridge ID = 5
ポート属性の設定
設定の必要がないポート
ループの心配がなく 設定項目も少ない

17. 機器の有効利用(Optimized Resource)
•アクティブ・アクティブマルチパスによる全帯域活用
•バーストトラフィック対応の深いダイナミックバッファ
•スイッチ間リンクの中をフレームレベルでロードバランシング
次世代の帯域管理と帯域効率を実現 (FC技術のEthernetへの転用)
© 2012 Brocade Communications Systems, Inc.
17
投資を無駄
にしない
自社ASICによるフレーム ベース、ロードベースの 負荷分散
5G
5G
5G
VDX
VDX
15G
深いダイナミックバッファ

18. © 2014 Brocade Communications Systems, Inc.
18
運用負荷の低減(Smart Managemnet)
１ファブリック内の全物理スイッチを、論理的に1台として管理・設定が可能
Virtual IP
CLI
運用管理者
オーケストレーションツール
API
Open stack
Restful API
Netconf
Openflow ...
ロジカルシャーシの主な特長
•最大48台の物理スイッチ
•1つの設定ファイル
•各種APIをサポート
•管理工数、運用負荷低減
オペレーションの
簡略化と自動化

19. Virtual IP
ログイン
VDX
VDX
VDX
VDX
VDX
Virtual IP
ログイン
VDX
VDX
VDX
VDX
VDX
Virtual IP ログイン
show xxx configuration
管理スイッチのフェイルオーバー
showコマンド、コンフィグを 一台のスイッチから実行
ファブリック内の全てのスイッチを 一台のスイッチからアップグレード
各スイッチへのログイン、 showコマンド等も可能
VDX
VDX
VDX
VDX
© 2014 Brocade Communications Systems, Inc.
19
ロジカルシャーシ : 自律と一元管理の共存

20. VCS ファブリック の導入
•ファブリック形成プロトコルの手順:
•RBridge ID, VCS ID の設定
•デバイスポートの設定
•冗長化(vLAG)設定
•必要であれば VLAN 設定
シンプル！
© 2014 Brocade Communications Systems, Inc. ITインフラサミット 2014
20
VCS設定 コマンド(全てのスイッチにログインする必要なし)
sw0# vcs rbridge-id 3 vcsid 1 logical-chassis enable
sw0# vcs logical-chassis enable rbridge-id 2-3 default-config
sw0# conf t
sw0(config)# interface Port-channel 1
sw0(config-Port-channel-1)# vlag ignore-split
sw0(config-Port-channel-1)# switchport の設定
sw0# conf t
sw0(config)# interface TenGigabitEthernet 1/0/7 (ポート7の場合)
sw0(conf-if-te-1/0/7)# channel-group 1 mode on type standard
RBridge
ID = 1
RBridge
ID = 2
RBridge
ID = 3
必要な冗長化 チャネルの分だけ(RBID1,3)
vLAGで使用する
インタフェースだけ
vLAG
vLAG
vLAG

21. © 2014 Brocade Communications Systems, Inc. ITインフラサミット 2014
21
ポート・オンデマンド(POD)、キャパシティー・オンデマンド(COD) で実現する超スモールスタート
VDX6740/6740T 48x10G, 4x40G
8x10G port
8x10G port
8x10G port
16-port CoD 16-port CoD 16-port CoD
必要なタイミングでPOD によるアップグレードが可能
8ポート 10GPOD
16ポート COD
ライセンスベースアップグレードの採用により、
初期導入コストを抑制
2x40Gport
2x40Gport
2ポート 40GPOD
VDX6740T-1G 48x1G, 4x40G
2x40Gport 2x40Gport
2ポート 40GPOD
実際のポートアサインはダイナミック
実際のポートアサインはダイナミック

22. •Fibre Channel Fabric
•簡単に構成、スケールアウト
•低遅延がオールフラッシュアレイ (XtreamIO)の高IOPSを活用
•OLTPからOLAPまで広範囲にカバー
•Ethernet Fabric
•簡単に構成、スケールアウト
•ノード分散、高スループット構成を単一 ネットワークで構成
•スケールアウトストレージ・分散ストレー ジにベストマッチ
© 2014 Brocade Communications Systems, Inc.
22
Fabric を使う利点
Result Set
Hadoop,
GlusterFS,
その他分散サービス
Hadoop Data Nodes,
Streams Filter nodes

23. ストレージ専用ネットワークのすすめ
© 2014 Brocade Communications Systems, Inc. CONFIDENTIAL—For Internal Use Only
23

24. 共有ネットワークは、ストレージに向いていない？
•ストレージは、厳密なSLA (IOPS、スループット、応答時間)により 管理されている。
•ほとんどの場合、共有ネットワーク上には、一般用途 のネットワークトラフィックにより占められている。
•共有ネットワークでは、SLAを満たせない。
•ネットワークチームは、概してストレージに気をかけていない。
© 2014 Brocade Communications Systems, Inc. CONFIDENTIAL—For Internal Use Only
24
アプリケーションが性能を満たさない場合でも、どうすることもできない。

25. •特性の異なる様々なワークロード
•単一のドメイン（運命共同体）
•運用には、個別のワークロードオーナ間の調整が必須。
•人手を介した作業によるミスが、ストレージへのインパクト。
•パフォーマンスを確保するために複雑なQoSを設定する必要が ある。また、その設定が不完全であるリスクも。
•アプリケーションの性能が落ちた場合もしくは停止した場合の切 り分けが困難。
•VLANでストレージトラフィックを分割しても、帯域は、共有され ており、予測が困難。
共有ネットワークの課題
IP Storage
Data Center IP LAN
Servers
IP Core & Campus
LAN
© 2014 Brocade Communications Systems, Inc. Proprietary Information
25

26. ストレージ専用ネットワークはいかがでしょう？
•サービスレベルの確保
•障害ドメインの分離
•コントロール範囲の独立
•ストレージトラフィックへの 十分な帯域の確保。
•IP LAN 管理者との調整が不要。
•自動化。容易なデプロイ。
•予測可能なパフォーマンス。
Storage
Data Center IP LAN
Servers
IP Core
Storage Network
IP Core & Campus
© 2014 Brocade Communications Systems, Inc. Proprietary Information
26
ストレージネットワークはストレージの一部

27. スケールアウトNAS と IP ストレージネットワーク
サーバー
ヘッドを追加して規模を拡大
ネットワークも自動化されて、 無停止で規模を拡張できる ことが求められる。
フロントエンド IPネットワーク
© 2014 Brocade Communications Systems, Inc. Proprietary Information
27

28. スケールアウト分散ストレージ
サーバーベースのストレージ
ネットワークがバックプレーンに
サーバー + ストレージノード
スケールアウト
スケールアウト
自動化、広帯域、バースト耐性
© 2014 Brocade Communications Systems, Inc. CONFIDENTIAL—For Internal Use Only
28

29. 導入事例
29
© 2014 Brocade Communications Systems, Inc. CONFIDENTIAL—For Internal Use Only

30. ビッグデータ処理の事例
•課題
•自社エンジニアでも構築可能なネットワーク基盤により、システム全体費用に対して30%を占める 構築費用を内製化し、システム全体のコスト効率の追求
•ソリューション
•Hadoopサーバ群を束ねるL2ネットワークをVCSファブリック化
KDDI Hadoop 基盤
Brocade Data Center Innovation Seminar - 2013/2/6
© 2013 Brocade Communications Systems, Inc.
30
Hadoop
ファブリック
http://www.brocadejapan.com/news/20120807
「Brocade VDXシリーズは、STPの排除以外に設定や運用
を自動化する機能が備わっています。実際、今回のプロジェクトでは
想像以上のシンプルさでネットワークの構築が完了し、従来に比べて
約2割のコスト削減を実現できました」
KDDI株式会社技術統括本部プラットフォーム開発本部プラットフォーム技術部長 石倉 雅巳氏

31. •アクセス分析とリコメンデーションのため のリアルタイム・ビッグデータ処理基盤
•4000台の Hadoop/Storm サーバによ る超大規模分散システム
リアルタイム・ビッグデータ処理の事例
Yahoo! Japan Hadoop/Storm/DWH 基盤
http://www.brocadejapan.com/news/20140403
「Hadoop間通信に加えてデータバック
アップなど、サーバー間で生じる“東西
トラフィック”が増えてきた。
イーサネットファブリックなら、サーバー
をスケールアウトしやすい（村越氏）」

32. © 2014 Brocade Communications Systems, Inc. ITインフラサミット 2014
32
ファブリック導入ユーザからみる効果
VDXユーザアンケートの結果
削減できた
削減できた
74.1%
削減できた
81.5%
ネットワークの設定・運用工数
サービス化にかかる時間
74.1%のお客様がサービス化に
かかる時間削減を実感
81.5%のお客様が設定・運用
工数削減を実感

33. まとめ
33

34. まとめ
•ビックデータのトレンドは、リアルタイム＆ストリーム
•ビックデータに最適なネットワークは、Fiber Channel も Ethernet もファブリック!!
•Simple Network
→ループの心配がなく設定項目も少ない
•Optimized Resource
→投資を無駄にしない
•Smart Management
→オペレーションの簡略化と自動化
•ストレージネットワークは独立ネットワークで
•ファブリックは、信頼と実績のブロケード
34
© 2014 Brocade Communications Systems, Inc.
Simple
Smart
Optimized

35. Brocadeお悩み相談Café開催中！
毎日オープン
35
© 2014 Brocade Communications Systems, Inc.
•「ビッグデータ」と「クラウド」に最適な IT インフラを設計・構築したい方のための 「お悩み相談 Café 」です。直近の疑問や課題の解決から、10 年後を見据えた データセンター・アーキテクチャ設計のヒントまで、業界経験と専門知識豊富な ブロケードのエキスパートが、最新技術、運用効率化、TCO 削減などの 視点から皆さまのお悩みにお答えします。 ぜひお気軽にお越しください。 おいしいコーヒーと共にお待ちしています。
♦Brocadeお悩み相談Caféはこちら♦
♦お悩みキーワード♦
仮想化/VMware連携ファブリック/ネットワーク自動化 Hadoop/分散ストレージSDN/OpenDaylight等 NFV/仮想ルータ&LB等OpenStack/データセンター自動化

36. Thank You
36
© 2014 Brocade Communications Systems, Inc. CONFIDENTIAL—For Internal Use Only