動的ネットワークパス構築と連携したエッジオーバレイ帯域制御  ⾼高野  了了成  岡崎  史裕  ⼯工藤  知宏   産業技術総合研究所  情報技術研究研究部⾨門  2013年3月7日 NS研究会@残波岬ロイヤルホテル
背景•  クラウド(IT)とネットワークシステムの連携•  OpenFlowに代表されるSoftware  Defined     Network(SDN)技術への注⽬目  –  ソフトウェアから統⼀一的な管理理、⾃自動制御•  ITサービスと連...
SDNにおける帯域制御の課題•  ホップ・バイ・ホップ⽅方式 –  〇  柔軟で細やかなQoS制御が可能 –  ×  段階的な移⾏行行が困難•  エッジオーバレイ⽅方式 –  〇  既存のネットワーク機器を利利⽤用可能 –  ×  QoS制御を...
動的ネットワークパス構築技術と 連携したエッジオーバレイ帯域制御⽬目標:ネットワークの消費電⼒力力削減とサービスの利利便便性の両⽴立立を⽬目指したネットワークモデル構築 1.  動的ネットワークパス構築技術     →  OGF  Networ...
本研究の貢献•  エッジオーバレイSDNにおいて、動的ネット   ワークパス構築とエッジ帯域制御の連携を提案 –  データセンタ間を帯域の保証されたネットワークで    接続した上で、エッジ仮想スイッチにて精密な帯域    制御を実施•  PS...
発表の流流れ•  動的ネットワークパス構築と連携した   エッジオーバレイ帯域制御•  PSPacerの紹介•  Open  vSwitchに対するPSPacerの統合•  実験•  まとめ                           ...
PSPacerのOpen  vSwitchへの統合                    7
PSPacer •  通信帯域を効率率率的に利利⽤用するためのソフトウェア •  ギガビットイーサネットにおける精密なペーシングを    ソフトウェアだけで実現   –  利利⽤用可能帯域にあわせてバースト送信を平滑滑化することで、      ...
PSPacer:動作原理理と実装•  パケットペーシング=パケット送信間隔制御     –  (パケットサイズ)=(ギャップサイズ)の場合:         送信帯域は、物理理帯域の1/2                            ...
Linux  TBFとPSPacerの違い Token  Bucket  Filter                         PSPacer             平均レートはボトルネックリン             ク帯域の半分以...
Open  vSwitch•  Linux上で動作する仮想スイッチソフトウェア –  OpenFlow –  VLAN(アクセスポート、トランクポート) –  トンネル  (GRE、IPSec、VXLAN、LISP) –  NetFlow、sF...
Open  vSwitchのQoS機能•  ingress  policing•  egress  shaping                       VM1               VM2   –  内部的にLinuxカーネルの ...
Open  vSwitchの構成 VM	  1	                  VM	  2	                      VM	  3	 VIF	                        Open	  vSwitch	...
PSPacerの統合                   data                        control     enqueue	                                           PS...
設定例例ovs-vsctl -- set port eth0 qos=@newqos 	  -- --id=@newqos create qos type=linux-psp queues=0=@q0,1=@q1 	  -- --id=@q0 ...
実験     16
実験環境•  計算サーバ2台を直結                                                         Hardware	  Spec.•  各VMの送信帯域を2  G                ...
GtrcNET•   ⼤大規模FPGAを搭載したハードウェアネットワークテストベッド      •   ワイヤレートでさまざまな機能をプログラム可能•   GtrcNET-‐‑‒1:  GbE  (GBIC)  x  4ports  +  16...
10000                                          実験結果(1)                                                                    ...
実験結果(2)                                       PSPacer  (OpenFlow)                                                         ...
考察•  PSPacer(ギャップパケット)のパケット   スケジューリング⽅方式の問題が顕在化 –  システムがワイヤレート性能を出せることが必要   •  注意:今回の実験環境では要件を満たしていない –  tcのフィルタ機能と⽐比較して、...
まとめと今後の予定            22
まとめ•  エッジオーバレイSDNにおいて、動的ネット   ワークパス構築とエッジ帯域制御の連携を提案•  PSPacerをOpen  vSwitchに統合し、10ギガ   ビットイーサネット環境で実験 –  PSPacerのスケジューリング⽅...
今後の予定•  ネットワークの消費電⼒力力削減とサービスの利利便便   性の両⽴立立を⽬目指したネットワークモデルの提案 –  本提案⽅方式と「トラフィックの性質情報に基づいた    経路路選択」⽅方式の統合し、省省電⼒力力効果を検証   なお...
Upcoming SlideShare
Loading in...5
×

動的ネットワークパス構築と連携したエッジオーバレイ帯域制御

2,598

Published on

2013年3月 電子情報通信学会ネットワークシステム研究会

Published in: Technology

動的ネットワークパス構築と連携したエッジオーバレイ帯域制御

  1. 1. 動的ネットワークパス構築と連携したエッジオーバレイ帯域制御 ⾼高野  了了成  岡崎  史裕  ⼯工藤  知宏 産業技術総合研究所  情報技術研究研究部⾨門 2013年3月7日 NS研究会@残波岬ロイヤルホテル
  2. 2. 背景•  クラウド(IT)とネットワークシステムの連携•  OpenFlowに代表されるSoftware  Defined   Network(SDN)技術への注⽬目 –  ソフトウェアから統⼀一的な管理理、⾃自動制御•  ITサービスと連携した帯域制御 –  データセンタネットワークにおけるテナント間隔離離 例例:NEC  ProgrammableFlow,  Nicira  NVP,  MidoNet, Stratophere  SDN  Platform –  広域網の効率率率的な利利⽤用 例例:Google  G-‐‑‒Scale,  Open  transport  switch 2
  3. 3. SDNにおける帯域制御の課題•  ホップ・バイ・ホップ⽅方式 –  〇  柔軟で細やかなQoS制御が可能 –  ×  段階的な移⾏行行が困難•  エッジオーバレイ⽅方式 –  〇  既存のネットワーク機器を利利⽤用可能 –  ×  QoS制御を実現するには、オーバサブスクライブ しないネットワークが必須 •  データセンタネットワーク:イーサネットファブリック技術 •  広域網:帯域保証技術(or  専⽤用線) 3
  4. 4. 動的ネットワークパス構築技術と 連携したエッジオーバレイ帯域制御⽬目標:ネットワークの消費電⼒力力削減とサービスの利利便便性の両⽴立立を⽬目指したネットワークモデル構築 1.  動的ネットワークパス構築技術 →  OGF  Network  Service  Interface  (NSI) 2.  トラフィックの性質に基づいたサブパス選択 →  OpenFlow  +  RSVP 3.  サブパスの帯域分割 ネッ ワーク選択 ト →  Open  vSwitch  + パス設定 PSPacer RSVP QoS付パケッ 網 ト メ セージ ッ OpenFlow      スイ チ OpenFlow      スイ チ ラベルスイ チ網 ッ ッ ッ 光パス網 送信者 受信者 従来型パケッ 網 ト データプレーン 4
  5. 5. 本研究の貢献•  エッジオーバレイSDNにおいて、動的ネット ワークパス構築とエッジ帯域制御の連携を提案 –  データセンタ間を帯域の保証されたネットワークで 接続した上で、エッジ仮想スイッチにて精密な帯域 制御を実施•  PSPacerをOpen  vSwitchに統合•  10ギガビットイーサネット環境で実験 –  HTBとPSPacerの⽐比較 5
  6. 6. 発表の流流れ•  動的ネットワークパス構築と連携した エッジオーバレイ帯域制御•  PSPacerの紹介•  Open  vSwitchに対するPSPacerの統合•  実験•  まとめ 6
  7. 7. PSPacerのOpen  vSwitchへの統合 7
  8. 8. PSPacer •  通信帯域を効率率率的に利利⽤用するためのソフトウェア •  ギガビットイーサネットにおける精密なペーシングを ソフトウェアだけで実現 –  利利⽤用可能帯域にあわせてバースト送信を平滑滑化することで、 安定した⾼高い通信性能を実現 Switch/Router Buffer Overflowバースト性の⾼高いトラフィックはパケット PSPacerはパケット間隔を調整し、平滑滑化ロスを引き起こし、通信性能の低下を招く され安定したトラフィックを⽣生成する 8
  9. 9. PSPacer:動作原理理と実装•  パケットペーシング=パケット送信間隔制御 –  (パケットサイズ)=(ギャップサイズ)の場合:     送信帯域は、物理理帯域の1/2 、•  PSPacerの動作原理理 き れば ノ秒の 送 信で 0.8ナ 能 –  ギャップをダミーパケットで埋めて、 レー トで ークで 制 御可 ヤ トワ 信間隔を –  パケットを隙間なく送信する ワイ psネッ 送 1 0Gb パケット•  ギャップパケット 精度度 で –  ダミーパケットとして、PAUSEフレームを利利⽤用 –  スイッチの⼊入⼒力力ポートで破棄され、実パケットのみが、 元の送信間隔を保ちつつ送出される ギャップ パケット 9
  10. 10. Linux  TBFとPSPacerの違い Token  Bucket  Filter PSPacer 平均レートはボトルネックリン ク帯域の半分以下だが、ピーク は物理理送信レートに達しており、 バッファあふれが発⽣生 (Bottleneck  BW  500Mbps,  RTT  200ms,  FIFO  1MB) 10
  11. 11. Open  vSwitch•  Linux上で動作する仮想スイッチソフトウェア –  OpenFlow –  VLAN(アクセスポート、トランクポート) –  トンネル  (GRE、IPSec、VXLAN、LISP) –  NetFlow、sFlow –  QoS VM  1 VM  2 VM  3 •  データパス Open  vSwitch –  Linux  kernel  3.3にマージ user kernel –  ハードウェア化を考慮 •  Pica8  Prontoスイッチに採⽤用 Physical  Switch 11
  12. 12. Open  vSwitchのQoS機能•  ingress  policing•  egress  shaping VM1 VM2 –  内部的にLinuxカーネルの eth0 eth0 tc(qdisc)機能を利利⽤用 •  HTB、HFSC、PSPacer VMM tap0 tap1 ingress  policing•  OpenFlow  1.0のenqueue Open  vSwitch アクション※を利利⽤用して、 egress  shaping フローをqdiscのキューに振分 eth0 ※)  OpenFlow  1.3ではset-‐‑‒queueに相当 12
  13. 13. Open  vSwitchの構成 VM  1 VM  2 VM  3 VIF Open  vSwitch ovs-­‐vswitchd ovsdb-­‐server user kernel openvswitch PIF Physical  Switch 13
  14. 14. PSPacerの統合 data control enqueue   PSPacer Classifier   Compute  Server Packet  Interface   scheduler   queues   VM  1 VM  2 VM  3 Real  packet   VIF dequeue   Gap  packet   Open  vSwitch ovs-­‐vswitchd ovsdb-­‐server user PSPacer openvswitch kernel PIF Physical  Switch ※  HTB利利⽤用時も同じ仕組みで動作 14
  15. 15. 設定例例ovs-vsctl -- set port eth0 qos=@newqos -- --id=@newqos create qos type=linux-psp queues=0=@q0,1=@q1 -- --id=@q0 create queue other-config:rate=1000000000 -- --id=@q1 create queue other-config:rate=2000000000 ovs-ofctl add-flow br0 "in_port=2 マッチングルールin_̲portをtap idle_timeout=0 actions=enqueue:1:1” デバイスの接続ポートに設定するovs-ofctl add-flow br0 "in_port=3 ことで、VMごとに帯域制御 idle_timeout=0 actions=enqueue:1:2" # 送信レートの変更更
ovs-vsctl set queue [QUEUE UUID] other-config:rate=3000000000 # キューの追加
ovs-vsctl add qos [QOS UUID] queues 2=@q2 -- --id=@q2 create queue other-config:rate=1000000000 15
  16. 16. 実験 16
  17. 17. 実験環境•  計算サーバ2台を直結 Hardware  Spec.•  各VMの送信帯域を2  G CPU 6-­‐core  Intel  Xeon  E5-­‐2430L/   2  GHz  dual  sockets bpsに設定し、6組のVM Memory PC3-­‐12800  48  GB 間でTCP通信性能を測定 Ethernet Intel  X520-­‐LR1  (MTU  16KB) So-ware  Spec.•  帯域測定にはGtrcNET-‐‑‒ OS CentOS  Linux  6.3 10p3を使⽤用 Open  vSwitch 1.7.1 VM VM VM VM VM VM VM VM VM VM VM VM 0 1 2 3 4 5 0 1 2 3 4 5 Open  vSwitch Open  vSwitch GtrcNET-‐‑‒10 10G  Ethernet 17
  18. 18. GtrcNET•   ⼤大規模FPGAを搭載したハードウェアネットワークテストベッド •   ワイヤレートでさまざまな機能をプログラム可能•   GtrcNET-‐‑‒1:  GbE  (GBIC)  x  4ports  +  16MBytes  Memory/port•   GtrcNET-‐‑‒10:  10GbE  (XENPAK)  x  3ports  +  1GBytes  Memory  /port•   実装機能例例 •   帯域測定(ポート単位、ストリーム単位、VLAN単位) •   遅延の模擬 •   パケットキャプチャ •   テストパケット⽣生成 •   送信レート制御(ペーシング、   シェーピング、ポリシング) http://projects.itri.aist.go.jp/gnet/ 18
  19. 19. 10000 実験結果(1) HTB 8000 Bandwidth (Mbps) Throughput  (Mbps) 6000 QoS制御なし 4000 10000 2000 8000Bandwidth (Mbps) 0 Throughput  (Mbps) 0 10 20 30 40 50 60 6000 Time (Second) VM1 VM2 VM3 VM4 VM5 VM6 4000 10000 PSPacer 2000 8000 Bandwidth (Mbps) Throughput  (Mbps) 0 6000 0 10 20 30 40 50 60 Time (Second) VM1 VM2 VM3 VM4 VM5 VM6 4000 10秒毎に通信ペアを追加 2000 0 0 10 20 30 40 50 60 Time (Second) 19 VM1 VM2 VM3 VM4 VM5 VM6
  20. 20. 実験結果(2) PSPacer  (OpenFlow) PSPacer  (tc) 10000 10000 8000 8000 Bandwidth (Mbps) Throughput  (Mbps)Throughput  (Mbps) 6000 6000 4000 4000 2000 2000 0 0 0 10 20 30 40 50 60 0 10 20 30 40 50 60 Time (Second) Time (Second) VM1 VM2 VM3 VM4 VM5 VM6 VM1 VM2 VM3 VM4 VM5 VM6 OpenFlowルールの代わりに、 tc  u32  filterを使って、送信元IP アドレス毎に振分 20
  21. 21. 考察•  PSPacer(ギャップパケット)のパケット スケジューリング⽅方式の問題が顕在化 –  システムがワイヤレート性能を出せることが必要 •  注意:今回の実験環境では要件を満たしていない –  tcのフィルタ機能と⽐比較して、OpenFlowのフロー 制御はCPU負荷が⾼高いと推測 –  さらなる問題解析が必要 21
  22. 22. まとめと今後の予定 22
  23. 23. まとめ•  エッジオーバレイSDNにおいて、動的ネット ワークパス構築とエッジ帯域制御の連携を提案•  PSPacerをOpen  vSwitchに統合し、10ギガ ビットイーサネット環境で実験 –  PSPacerのスケジューリング⽅方式の問題が顕在化 –  さらなる問題解析が必要 PSPacer  3.1  (Open  vSwitch対応パッチ含)は オープンソースソフトウェアとして公開     https://www.gridmpi.org/pspacer.jsp 23
  24. 24. 今後の予定•  ネットワークの消費電⼒力力削減とサービスの利利便便 性の両⽴立立を⽬目指したネットワークモデルの提案 –  本提案⽅方式と「トラフィックの性質情報に基づいた 経路路選択」⽅方式の統合し、省省電⼒力力効果を検証 なお、本研究の成果の⼀一部は、独⽴立立⾏行行政法⼈人新エネルギー・ 産業技術総合開発機構(NEDO)の委託業務「グリーンネット ワーク・システム技術研究開発プロジェクト(グリーンITプロ ジェクト)」の成果を活⽤用している。 24
  1. A particular slide catching your eye?

    Clipping is a handy way to collect important slides you want to go back to later.

×