Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

ビッグデータ最適ネットワーク ~ ビッグデータを救え! ~

1,809 views

Published on

モバイル端末普及などによる大量の情報、コスト削減への要求などを背景に、高度なデータ分析とビジネスへの活用を実現するビッグデータの取組みが活発になっている。しかし、従来のネットワークでビッグデータを実現するにはさまざまな課題が…。

Published in: Technology
  • Login to see the comments

ビッグデータ最適ネットワーク ~ ビッグデータを救え! ~

  1. 1. ビッグデータ最適ネットワーク ~ ビッグデータを救え! ~ Brocade 1 【イーサネット・ファブリック活用講座】 ビッグデータ(Hadoop)環境編
  2. 2. • PC,モバイル端末の普及 • 回線の高速化 • 半導体の性能向上 • 単位性能当りのコスト削減 • 多様なデバイスの電子情報 • 端末利用者層の拡大 ビッグデータ(Hadoop)のもたらす価値 2 高精度な予測に基づくビジネス展開 大量の情報処理 ITコストの効率化 多様な情報の解析
  3. 3. ビッグデータ(Hadoop)型ネットワークの特徴 3 増え続ける大量の サーバ間トラフィック 超分散環境 ビッグデータ ファブリック DWH Stream data Social/Open data • リアルタイム処理の要求 • ソースとなるデータ量が爆発 バースト性トラフィック
  4. 4. ビッグデータ(Hadoop)用インフラの考察 4 現状 バースト性トラフィック 分散環境 問題点 ソリューション 増え続ける大量の サーバ間トラフィック 効率的な帯域利用 が困難 パケット消失 増えたデバイスの 管理負荷増大 拡張計画が困難 Optimized Resource 機器の有効利用 Smart Management 運用負荷の低減 Simple Network シンプルネットワーク
  5. 5. シンプルネットワーク(Simple Network) • 自由なスイッチの接続と簡単スケールアウト • スイッチ間リンクは設定不要 • 複数リンクの自動アグリゲーション • 複数経路の自動バランシング • ループ排除のためのSTPの設定不要 5 fabric port edge port ネットワーク デバイス サーバ ストレージ RBridge ID = 1 RBridge ID = 3 RBridge ID = 2 RBridge ID = 4 RBridge ID = 5 ポート属性の設定 © 2013 Brocade Communications Systems, Inc. 設定の必要がないポート ループの心配がなく 設定項目も少ない
  6. 6. 機器の有効利用(Optimized Resource) • アクティブ・アクティブマルチパスによる全帯域活用 • スイッチ間リンクの中をフレームレベルでロードバランシング • バーストトラフィック対応の深いダイナミックバッファ 次世代の帯域管理と帯域効率を実現 (FC技術のEthernetへの転用) © 2012 Brocade Communications Systems, Inc. 6 投資を無駄 にしない 自社ASICによるフレーム ベース、ロードベースの 負荷分散 5G5G 5G VDX VDX 15G 必要なポートへバッファ の動的割り当て FC技術を応用したアクティブ・アクティブ マルチパス 動的バッファ領域
  7. 7. 1ファブリック内の全物理スイッチを、論理的に1台として管理・設定が可能 © 2014 Brocade Communications Systems, Inc. Virtual IP CLI 運用管理者 オーケストレーションツール API Open stack Restful API Netconf Openflow ... ロジカルシャーシの主な特長 • 最大48台の物理スイッチ • 1つの設定ファイル • 各種APIをサポート • 管理工数、運用負荷低減 7 運用負荷の低減(Smart Managemnet) オペレーションの 簡略化と自動化
  8. 8. Virtual IP ログイン VDX VDX VDX VDX VDX Virtual IP ログイン VDX VDX VDX VDX VDX Virtual IP ログイン show xxx configuration 管理スイッチのフェイルオーバー showコマンド、コンフィグを 一台のスイッチから実行 ファブリック内の全てのスイッチを 一台のスイッチからアップグレード 各スイッチへのログイン、 showコマンド等も可能 VDX VDX VDX VDX © 2014 Brocade Communications Systems, Inc. 8 運用負荷の低減(Smart Management) ロジカルシャーシ : 自律と一元管理の共存
  9. 9. 設定方法 9© 2014 Brocade Communications Systems, Inc.
  10. 10. ファブリック の導入 • ファブリック形成手順: 1. RBridge ID, VCS ID の設定 2. デバイスポートの設定 • 冗長化(vLAG)設定 • 必要であれば VLAN 設定 シンプル! © 2014 Brocade Communications Systems, Inc. 10 RBridge ID = 1 RBridge ID = 2 RBridge ID = 3 VCS設定 コマンド(全てのスイッチにログインする必要なし) sw0# vcs rbridge-id 3 vcsid 1 logical-chassis enable sw0# vcs logical-chassis enable rbridge-id 2-3 default-config sw0# conf t sw0(config)# interface Port-channel 1 sw0(config-Port-channel-1)# switchport の設定 sw0# conf t sw0(config)# interface TenGigabitEthernet 1/0/7 (ポート7の場合) sw0(conf-if-te-1/0/7)# channel-group 1 mode on type standard 必要な冗長化 チャネルの分だけ (RBID1,3) vLAGで使用する インタフェースだけ vLAG vLAG vLAG
  11. 11. 導入事例 11
  12. 12. • 課題 • 自社エンジニアでも構築可能なネットワーク基盤により、システム全体費用に対して 30%を占める構築費用を内製化し、システム全体のコスト効率の追求 • ソリューション • Hadoopサーバ群を束ねるL2ネットワークをVCSファブリック化 12© 2013 Brocade Communications Systems, Inc. Hadoop ファブリック ビッグデータ処理の事例 KDDI Hadoop 基盤 http://www.brocadejapan.com/news/20120807 「Brocade VDXシリーズは、STPの排除以外に設定や運用 を自動化する機能が備わっています。実際、今回のプロジェクトでは 想像以上のシンプルさでネットワークの構築が完了し、従来に比べて 約2割のコスト削減を実現できました」 (KDDI株式会社)
  13. 13. リアルタイム・ビッグデータ処理の事例 • アクセス分析とリコメンデーションのための リアルタイム・ビッグデータ処理基盤 • 4000台の Hadoop/Storm サーバによる 超大規模分散システム Yahoo! JAPAN Hadoop/Storm/DWH 基盤 13 http://www.brocadejapan.com/news/20140403 「Hadoop間通信に加えてデータバック アップなど、サーバー間で生じる“東西 トラフィック”が増えてきた。 イーサネットファブリックなら、サーバー をスケールアウトしやすい (ヤフー株式会社)」
  14. 14. ファブリック導入ユーザからみる効果 VDXユーザアンケートの結果 © 2014 Brocade Communications Systems, Inc. 14 削減できた 削減できた 74.1% 削減できた 81.5% ネットワークの設定・運用工数 サービス化にかかる時間 74.1%のお客様がサービス化に かかる時間削減を実感 81.5%のお客様が設定・運用 工数削減を実感
  15. 15. まとめ ビッグデータ(Hadoop)用インフラに必要な3つの要素 15 Simple SmartOptimized © 2014 Brocade Communications Systems, Inc. • Simple Network →ループの心配がなく設定項目も少ない • Optimized Resource →投資を無駄にしない • Smart Management →オペレーションの簡略化と自動化 ブロケードのイーサネット・ファブリックで ビッグデータを救え!
  16. 16. © 2014 Brocade Communications Systems, Inc. 16 Brocade, No2 in Data Center Networking. www.brocadejapan.com/DCNW_No2 本件に関するお問合せはこちら https://www.brocadejapan.com/form/contact

×