Download as PDF, PPTX
Uploaded byBrocade
本当は恐いビッグデータとネットワークの深～い関係 ビッグデータ時代に耐えうるデータセンターとは？
ビッグデータ時代の到来が、より大量のデータをリアルタイムに処理できるIT基盤を要求する中、サーバやストレージ環境に加え、忘れてはならないのが「ネットワーク」の最適化です。ここでは、ビッグデータを支えるITインフラに求められるネットワークの要件と課題を指摘し、失敗しないための3つのポイントを解説します。
More Related Content
Similar to 本当は恐いビッグデータとネットワークの深～い関係 ビッグデータ時代に耐えうるデータセンターとは？
本当は恐いビッグデータとネットワークの深～い関係 ビッグデータ時代に耐えうるデータセンターとは？
- 1. ビッグデータとネットワークの深～い関係 ビックデータ時代に耐えうるデータセンターとは？ ブロケードコミュニケーションズ システムズ株式会社 システムエンジニアリング本部 システムエンジニア 中本 滋之 1 © 2014 Brocade Communications Systems, Inc.
- 2. Agenda •ビックデータのトレンドとネットワークインフラの課題 •ビックデータを支えるファブリック •ストレージ専用ネットワークのすすめ •導入事例 •まとめ © 2014 Brocade Communications Systems, Inc. 2
- 3. ビッグデータのもたらす価値 •PC,モバイル端末の普及 •回線の高速化 •半導体の性能向上 •単位性能当りのコスト削 減 •多様なデバイスの電子化 (ICカード、音楽プレイヤ、 デジタルカメラ,ETC) •端末利用者層の拡大 高精度な予測に基づくビジネス展開 大量の情報処理 ITコストの効率化 多様な情報の解析
- 4. •リアルタイム •ストリーム ©2014 Brocade Communications Systems, Inc. 4 ビックデータのトレンド •IoT
- 5. •過去の事象の発見 •ストレージ上の情報の解析 •バッチ指向。 •Query 駆動: 静的データに対するクエリの発行 •現在(もしくは直近)の事象の発見 •流れているデータを(ストアされる前に)解析 •低遅延、リアルタイム指向 •データ駆動 : 流れるデータに対するフィルタ 5 リアルタイムに BIGDATA を扱うとは？ ストリームコンピューティング 従来の処理 ストリームコンピューティング Real-time Analytics © 2014 Brocade Communications Systems, Inc.
- 6. 6 リアルタイム +ビッグデータの課題 基盤は一体 どこまで拡大するのか？ 超分散環境の構成 管理・運用はどうする？ リアルタイム ＋ ビッグデータ 基盤 DWH Stream data Social/Open data •リアルタイム処理の要求 •ソースとなるデータ量が爆発 アプリケーション単位 での可視化は？ 効率のいい性能 維持方法は？ © 2014 Brocade Communications Systems, Inc.
- 7. ビッグデータ(Hadoop)用インフラの考察 © 2014Brocade Communications Systems, Inc. CONFIDENTIAL—For Internal Use Only 7 効率的な帯域確保 が困難 パケット消失 増えたデバイスの 管理負荷増大 ビッグデータの特性 バースト性 リアルタイムトラフィック 予測できない拡張 Optimized Resource 機器の有効利用 Smart Management 運用負荷の低減 問題点 ソリューション Simple Network シンプルネットワーク 増え続ける大量の サーバ間トラフィック 拡張計画が困難 トラブルシューティングの 複雑さ
- 8. •固定構成 •ヘアピン型トラフィック •スパニングツリー •ループ障害 •個別の機器管理 © 2014 Brocade Communications Systems, Inc. CONFIDENTIAL—For Internal Use Only 8 従来のネットワークの課題 従来の階層型アーキテクチャ Core Aggregation Access 50% VLAN ACL QoS ヘアピン ループ障害
- 9. データセンタ・ファブリックによる課題の解消 9 Realtime/BIGDATA For Services Simple/Autonomous For computing Fabric © 2014 Brocade Communications Systems, Inc.
- 10. ビッグデータを支えるファブリック 10 ©2014 Brocade Communications Systems, Inc. CONFIDENTIAL—For Internal Use Only
- 11. 11 DATA CENTERFABRICs 高性能（広帯域・低遅延） シンプル 安心 高ROI/低TCO Ethernet Fabric リアルタイム処理とリソース最適化のための基盤技術 Fiber Channel Fabric ビッグデータ処理とリソース最適化、 アプリケーション可視化のための基盤技術 © 2014 Brocade Communications Systems, Inc.
- 12. そもそも ファブリック とは？ •“ファブリック”とは布地・生地のこと •IT では、スイッチにより構成されるネットワーク全体を表す。 11/10/2014 12 ファブリック 布地・生地 © 2014 Brocade Communications Systems, Inc.
- 13. データセンタ・ファブリック技術の系譜 13 ファブリック技術の特長 •自律的 ：プラグ&プレイネットワーキング •広帯域 ：アクティブ・アクティブパス •低遅延 ：ハードウェア処理 •高可用性 ：フロー制御による順列保証 •高信頼性 ：障害時の収束時間の極小化 I/O チャネル技術 Fibre Channel Fabric 技術 Ethernet Fabric 技術 © 2014 Brocade Communications Systems, Inc. オープン ネットワーク技術 (Ethernet)
- 14. Data Center SAN Fibre Channel Brocade 6520 Switch Brocade 6510 Switch Data Center LAN Ethernet/IP Brocade VDX 6740/6740T/6740T-1G/6730 Brocade DCX 8510 Backbones Brocade ICX Series Brocade 6505 Switch Brocade VDX 8770 Brocade MLXe Series Traditional Ethernet (L2/3) Ethernet Fabric (L2/3) Brocade Blade Server Switches 製品ポートフォリオ データセンタ向け製品から抽出 14 Fiber Channel Fabric ストレージ等のリソースエリア ネットワーキングに最適 →ファブリック © 2014 Brocade Communications Systems, Inc.
- 15. データセンター・ネットワークで No.2!! IDCJapan レポート 15 日本国内データセンター・ネットワーク インフラ市場ベンダシェア 出典: IDC Japan, 2013年9月「国内データセンター向けネットワーク機器市場 2012年の分析と2013年～2017年の予測」（J13010107） 対象製品: Ethernet switch Layer 4–7 switch WAN Application Delivery Fibre Channel switch “ブロケードは、データセンター向け ネットワーク機器ベンダーとして、市 場動向を左右するベンダ” - IDC Japan 国内データセンターのイーサネット・ スイッチ市場でもNo.2!! - IDC Japan 31.4% Brocade 30.2% 7.9% © 2014 Brocade Communications Systems, Inc.
- 16. •自由なスイッチの接続と簡単スケールアウト •スイッチ間リンクは設定不要 •複数リンクの自動アグリゲーション •複数経路の自動バランシング •ループ排除のためのSTPの設定不要 2013/1/29 Enterprise Cloud Management Forum © 2013 Brocade Communications Systems, Inc. 16 シンプルネットワーク(Simple Network) fabric port edge port ネットワーク デバイス サーバ ストレージ RBridge ID = 1 RBridge ID = 3 RBridge ID = 2 RBridge ID = 4 RBridge ID = 5 ポート属性の設定 設定の必要がないポート ループの心配がなく 設定項目も少ない
- 17. 機器の有効利用(Optimized Resource) •アクティブ・アクティブマルチパスによる全帯域活用 •バーストトラフィック対応の深いダイナミックバッファ •スイッチ間リンクの中をフレームレベルでロードバランシング 次世代の帯域管理と帯域効率を実現 (FC技術のEthernetへの転用) © 2012 Brocade Communications Systems, Inc. 17 投資を無駄 にしない 自社ASICによるフレーム ベース、ロードベースの 負荷分散 5G 5G 5G VDX VDX 15G 深いダイナミックバッファ
- 18. © 2014 BrocadeCommunications Systems, Inc. 18 運用負荷の低減(Smart Managemnet) １ファブリック内の全物理スイッチを、論理的に1台として管理・設定が可能 Virtual IP CLI 運用管理者 オーケストレーションツール API Open stack Restful API Netconf Openflow ... ロジカルシャーシの主な特長 •最大48台の物理スイッチ •1つの設定ファイル •各種APIをサポート •管理工数、運用負荷低減 オペレーションの 簡略化と自動化
- 19. Virtual IP ログイン VDX VDX VDX VDX VDX Virtual IP ログイン VDX VDX VDX VDX VDX Virtual IP ログイン show xxx configuration 管理スイッチのフェイルオーバー showコマンド、コンフィグを 一台のスイッチから実行 ファブリック内の全てのスイッチを 一台のスイッチからアップグレード 各スイッチへのログイン、 showコマンド等も可能 VDX VDX VDX VDX © 2014 Brocade Communications Systems, Inc. 19 ロジカルシャーシ : 自律と一元管理の共存
- 20. VCS ファブリック の導入 •ファブリック形成プロトコルの手順: •RBridge ID, VCS ID の設定 •デバイスポートの設定 •冗長化(vLAG)設定 •必要であれば VLAN 設定 シンプル！ © 2014 Brocade Communications Systems, Inc. ITインフラサミット 2014 20 VCS設定 コマンド(全てのスイッチにログインする必要なし) sw0# vcs rbridge-id 3 vcsid 1 logical-chassis enable sw0# vcs logical-chassis enable rbridge-id 2-3 default-config sw0# conf t sw0(config)# interface Port-channel 1 sw0(config-Port-channel-1)# vlag ignore-split sw0(config-Port-channel-1)# switchport の設定 sw0# conf t sw0(config)# interface TenGigabitEthernet 1/0/7 (ポート7の場合) sw0(conf-if-te-1/0/7)# channel-group 1 mode on type standard RBridge ID = 1 RBridge ID = 2 RBridge ID = 3 必要な冗長化 チャネルの分だけ(RBID1,3) vLAGで使用する インタフェースだけ vLAG vLAG vLAG
- 21. © 2014 BrocadeCommunications Systems, Inc. ITインフラサミット 2014 21 ポート・オンデマンド(POD)、キャパシティー・オンデマンド(COD) で実現する超スモールスタート VDX6740/6740T 48x10G, 4x40G 8x10G port 8x10G port 8x10G port 16-port CoD 16-port CoD 16-port CoD 必要なタイミングでPOD によるアップグレードが可能 8ポート 10GPOD 16ポート COD ライセンスベースアップグレードの採用により、 初期導入コストを抑制 2x40Gport 2x40Gport 2ポート 40GPOD VDX6740T-1G 48x1G, 4x40G 2x40Gport 2x40Gport 2ポート 40GPOD 実際のポートアサインはダイナミック 実際のポートアサインはダイナミック
- 22. •Fibre Channel Fabric •簡単に構成、スケールアウト •低遅延がオールフラッシュアレイ (XtreamIO)の高IOPSを活用 •OLTPからOLAPまで広範囲にカバー •Ethernet Fabric •簡単に構成、スケールアウト •ノード分散、高スループット構成を単一 ネットワークで構成 •スケールアウトストレージ・分散ストレー ジにベストマッチ © 2014 Brocade Communications Systems, Inc. 22 Fabric を使う利点 Result Set Hadoop, GlusterFS, その他分散サービス Hadoop Data Nodes, Streams Filter nodes
- 23. ストレージ専用ネットワークのすすめ © 2014Brocade Communications Systems, Inc. CONFIDENTIAL—For Internal Use Only 23
- 24. 共有ネットワークは、ストレージに向いていない？ •ストレージは、厳密なSLA (IOPS、スループット、応答時間)により管理されている。 •ほとんどの場合、共有ネットワーク上には、一般用途 のネットワークトラフィックにより占められている。 •共有ネットワークでは、SLAを満たせない。 •ネットワークチームは、概してストレージに気をかけていない。 © 2014 Brocade Communications Systems, Inc. CONFIDENTIAL—For Internal Use Only 24 アプリケーションが性能を満たさない場合でも、どうすることもできない。
- 25. •特性の異なる様々なワークロード •単一のドメイン（運命共同体） •運用には、個別のワークロードオーナ間の調整が必須。 •人手を介した作業によるミスが、ストレージへのインパクト。 •パフォーマンスを確保するために複雑なQoSを設定する必要が ある。また、その設定が不完全であるリスクも。 •アプリケーションの性能が落ちた場合もしくは停止した場合の切 り分けが困難。 •VLANでストレージトラフィックを分割しても、帯域は、共有され ており、予測が困難。 共有ネットワークの課題 IP Storage Data Center IP LAN Servers IP Core & Campus LAN © 2014 Brocade Communications Systems, Inc. Proprietary Information 25
- 26. ストレージ専用ネットワークはいかがでしょう？ •サービスレベルの確保 •障害ドメインの分離 •コントロール範囲の独立 •ストレージトラフィックへの 十分な帯域の確保。 •IP LAN 管理者との調整が不要。 •自動化。容易なデプロイ。 •予測可能なパフォーマンス。 Storage Data Center IP LAN Servers IP Core Storage Network IP Core & Campus © 2014 Brocade Communications Systems, Inc. Proprietary Information 26 ストレージネットワークはストレージの一部
- 27. スケールアウトNAS と IPストレージネットワーク サーバー ヘッドを追加して規模を拡大 ネットワークも自動化されて、 無停止で規模を拡張できる ことが求められる。 フロントエンド IPネットワーク © 2014 Brocade Communications Systems, Inc. Proprietary Information 27
- 28. スケールアウト分散ストレージ サーバーベースのストレージ ネットワークがバックプレーンに サーバー + ストレージノード スケールアウト スケールアウト 自動化、広帯域、バースト耐性 © 2014 Brocade Communications Systems, Inc. CONFIDENTIAL—For Internal Use Only 28
- 29. 導入事例 29 ©2014 Brocade Communications Systems, Inc. CONFIDENTIAL—For Internal Use Only
- 30. ビッグデータ処理の事例 •課題 •自社エンジニアでも構築可能なネットワーク基盤により、システム全体費用に対して30%を占める構築費用を内製化し、システム全体のコスト効率の追求 •ソリューション •Hadoopサーバ群を束ねるL2ネットワークをVCSファブリック化 KDDI Hadoop 基盤 Brocade Data Center Innovation Seminar - 2013/2/6 © 2013 Brocade Communications Systems, Inc. 30 Hadoop ファブリック http://www.brocadejapan.com/news/20120807 「Brocade VDXシリーズは、STPの排除以外に設定や運用 を自動化する機能が備わっています。実際、今回のプロジェクトでは 想像以上のシンプルさでネットワークの構築が完了し、従来に比べて 約2割のコスト削減を実現できました」 KDDI株式会社技術統括本部プラットフォーム開発本部プラットフォーム技術部長 石倉 雅巳氏
- 31. •アクセス分析とリコメンデーションのため のリアルタイム・ビッグデータ処理基盤 •4000台のHadoop/Storm サーバによ る超大規模分散システム リアルタイム・ビッグデータ処理の事例 Yahoo! Japan Hadoop/Storm/DWH 基盤 http://www.brocadejapan.com/news/20140403 「Hadoop間通信に加えてデータバック アップなど、サーバー間で生じる“東西 トラフィック”が増えてきた。 イーサネットファブリックなら、サーバー をスケールアウトしやすい（村越氏）」
- 32. © 2014 BrocadeCommunications Systems, Inc. ITインフラサミット 2014 32 ファブリック導入ユーザからみる効果 VDXユーザアンケートの結果 削減できた 削減できた 74.1% 削減できた 81.5% ネットワークの設定・運用工数 サービス化にかかる時間 74.1%のお客様がサービス化に かかる時間削減を実感 81.5%のお客様が設定・運用 工数削減を実感
- 33.
- 34. まとめ •ビックデータのトレンドは、リアルタイム＆ストリーム •ビックデータに最適なネットワークは、FiberChannel も Ethernet もファブリック!! •Simple Network →ループの心配がなく設定項目も少ない •Optimized Resource →投資を無駄にしない •Smart Management →オペレーションの簡略化と自動化 •ストレージネットワークは独立ネットワークで •ファブリックは、信頼と実績のブロケード 34 © 2014 Brocade Communications Systems, Inc. Simple Smart Optimized
- 35. Brocadeお悩み相談Café開催中！ 毎日オープン 35 © 2014 Brocade Communications Systems, Inc. •「ビッグデータ」と「クラウド」に最適な IT インフラを設計・構築したい方のための 「お悩み相談 Café 」です。直近の疑問や課題の解決から、10 年後を見据えた データセンター・アーキテクチャ設計のヒントまで、業界経験と専門知識豊富な ブロケードのエキスパートが、最新技術、運用効率化、TCO 削減などの 視点から皆さまのお悩みにお答えします。 ぜひお気軽にお越しください。 おいしいコーヒーと共にお待ちしています。 ♦Brocadeお悩み相談Caféはこちら♦ ♦お悩みキーワード♦ 仮想化/VMware連携ファブリック/ネットワーク自動化 Hadoop/分散ストレージSDN/OpenDaylight等 NFV/仮想ルータ&LB等OpenStack/データセンター自動化
- 36. Thank You 36 © 2014 Brocade Communications Systems, Inc. CONFIDENTIAL—For Internal Use Only