ビッグデータ最適ネットワーク～ビッグデータを救え！～

1. ビッグデータ最適ネットワーク～ビッグデータを救え！～ Brocade 1 【イーサネット・ファブリック活用講座】ビッグデータ（Hadoop）環境編

2. • PC,モバイル端末の普及 • 回線の高速化 • 半導体の性能向上 • 単位性能当りのコスト削減 • 多様なデバイスの電子情報 • 端末利用者層の拡大ビッグデータ(Hadoop)のもたらす価値 2 高精度な予測に基づくビジネス展開大量の情報処理 ITコストの効率化多様な情報の解析

3. ビッグデータ(Hadoop)型ネットワークの特徴 3 増え続ける大量のサーバ間トラフィック超分散環境ビッグデータファブリック DWH Stream data Social/Open data • リアルタイム処理の要求 • ソースとなるデータ量が爆発バースト性トラフィック

4. ビッグデータ(Hadoop)用インフラの考察 4 現状バースト性トラフィック分散環境問題点ソリューション増え続ける大量のサーバ間トラフィック効率的な帯域利用が困難パケット消失増えたデバイスの管理負荷増大拡張計画が困難 Optimized Resource 機器の有効利用 Smart Management 運用負荷の低減 Simple Network シンプルネットワーク

5. シンプルネットワーク(Simple Network) • 自由なスイッチの接続と簡単スケールアウト • スイッチ間リンクは設定不要 • 複数リンクの自動アグリゲーション • 複数経路の自動バランシング • ループ排除のためのSTPの設定不要 5 fabric port edge port ネットワークデバイスサーバストレージ RBridge ID = 1 RBridge ID = 3 RBridge ID = 2 RBridge ID = 4 RBridge ID = 5 ポート属性の設定 © 2013 Brocade Communications Systems, Inc. 設定の必要がないポートループの心配がなく設定項目も少ない

6. 機器の有効利用(Optimized Resource) • アクティブ・アクティブマルチパスによる全帯域活用 • スイッチ間リンクの中をフレームレベルでロードバランシング • バーストトラフィック対応の深いダイナミックバッファ次世代の帯域管理と帯域効率を実現 (FC技術のEthernetへの転用) © 2012 Brocade Communications Systems, Inc. 6 投資を無駄にしない自社ASICによるフレームベース、ロードベースの負荷分散 5G5G 5G VDX VDX 15G 必要なポートへバッファの動的割り当て FC技術を応用したアクティブ・アクティブマルチパス動的バッファ領域

7. １ファブリック内の全物理スイッチを、論理的に1台として管理・設定が可能 © 2014 Brocade Communications Systems, Inc. Virtual IP CLI 運用管理者オーケストレーションツール API Open stack Restful API Netconf Openflow ... ロジカルシャーシの主な特長 • 最大48台の物理スイッチ • 1つの設定ファイル • 各種APIをサポート • 管理工数、運用負荷低減 7 運用負荷の低減(Smart Managemnet) オペレーションの簡略化と自動化

8. Virtual IP ログイン VDX VDX VDX VDX VDX Virtual IP ログイン VDX VDX VDX VDX VDX Virtual IP ログイン show xxx configuration 管理スイッチのフェイルオーバー showコマンド、コンフィグを一台のスイッチから実行ファブリック内の全てのスイッチを一台のスイッチからアップグレード各スイッチへのログイン、 showコマンド等も可能 VDX VDX VDX VDX © 2014 Brocade Communications Systems, Inc. 8 運用負荷の低減(Smart Management) ロジカルシャーシ : 自律と一元管理の共存

10. ファブリックの導入 • ファブリック形成手順: 1. RBridge ID, VCS ID の設定 2. デバイスポートの設定 • 冗長化(vLAG)設定 • 必要であれば VLAN 設定シンプル！ © 2014 Brocade Communications Systems, Inc. 10 RBridge ID = 1 RBridge ID = 2 RBridge ID = 3 VCS設定コマンド(全てのスイッチにログインする必要なし) sw0# vcs rbridge-id 3 vcsid 1 logical-chassis enable sw0# vcs logical-chassis enable rbridge-id 2-3 default-config sw0# conf t sw0(config)# interface Port-channel 1 sw0(config-Port-channel-1)# switchport の設定 sw0# conf t sw0(config)# interface TenGigabitEthernet 1/0/7 (ポート7の場合) sw0(conf-if-te-1/0/7)# channel-group 1 mode on type standard 必要な冗長化チャネルの分だけ (RBID1,3) vLAGで使用するインタフェースだけ vLAG vLAG vLAG

11. 導入事例 11

12. • 課題 • 自社エンジニアでも構築可能なネットワーク基盤により、システム全体費用に対して 30%を占める構築費用を内製化し、システム全体のコスト効率の追求 • ソリューション • Hadoopサーバ群を束ねるL2ネットワークをVCSファブリック化 12© 2013 Brocade Communications Systems, Inc. Hadoop ファブリックビッグデータ処理の事例 KDDI Hadoop 基盤 http://www.brocadejapan.com/news/20120807 「Brocade VDXシリーズは、STPの排除以外に設定や運用を自動化する機能が備わっています。実際、今回のプロジェクトでは想像以上のシンプルさでネットワークの構築が完了し、従来に比べて約2割のコスト削減を実現できました」（KDDI株式会社）

13. リアルタイム・ビッグデータ処理の事例 • アクセス分析とリコメンデーションのためのリアルタイム・ビッグデータ処理基盤 • 4000台の Hadoop/Storm サーバによる超大規模分散システム Yahoo! JAPAN Hadoop/Storm/DWH 基盤 13 http://www.brocadejapan.com/news/20140403 「Hadoop間通信に加えてデータバックアップなど、サーバー間で生じる“東西トラフィック”が増えてきた。イーサネットファブリックなら、サーバーをスケールアウトしやすい（ヤフー株式会社）」

15. まとめビッグデータ(Hadoop)用インフラに必要な３つの要素 15 Simple SmartOptimized © 2014 Brocade Communications Systems, Inc. • Simple Network →ループの心配がなく設定項目も少ない • Optimized Resource →投資を無駄にしない • Smart Management →オペレーションの簡略化と自動化ブロケードのイーサネット・ファブリックでビッグデータを救え！

ビッグデータ最適ネットワーク ～ ビッグデータを救え！ ～

Brocade