動的ネットワークパス構築と連携したエッジオーバレイ帯域制御

  • 2,221 views
Uploaded on

2013年3月 電子情報通信学会ネットワークシステム研究会

2013年3月 電子情報通信学会ネットワークシステム研究会

More in: Technology
  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Be the first to comment
No Downloads

Views

Total Views
2,221
On Slideshare
0
From Embeds
0
Number of Embeds
1

Actions

Shares
Downloads
20
Comments
0
Likes
5

Embeds 0

No embeds

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
    No notes for slide

Transcript

  • 1. 動的ネットワークパス構築と連携したエッジオーバレイ帯域制御 ⾼高野  了了成  岡崎  史裕  ⼯工藤  知宏 産業技術総合研究所  情報技術研究研究部⾨門 2013年3月7日 NS研究会@残波岬ロイヤルホテル
  • 2. 背景•  クラウド(IT)とネットワークシステムの連携•  OpenFlowに代表されるSoftware  Defined   Network(SDN)技術への注⽬目 –  ソフトウェアから統⼀一的な管理理、⾃自動制御•  ITサービスと連携した帯域制御 –  データセンタネットワークにおけるテナント間隔離離 例例:NEC  ProgrammableFlow,  Nicira  NVP,  MidoNet, Stratophere  SDN  Platform –  広域網の効率率率的な利利⽤用 例例:Google  G-‐‑‒Scale,  Open  transport  switch 2
  • 3. SDNにおける帯域制御の課題•  ホップ・バイ・ホップ⽅方式 –  〇  柔軟で細やかなQoS制御が可能 –  ×  段階的な移⾏行行が困難•  エッジオーバレイ⽅方式 –  〇  既存のネットワーク機器を利利⽤用可能 –  ×  QoS制御を実現するには、オーバサブスクライブ しないネットワークが必須 •  データセンタネットワーク:イーサネットファブリック技術 •  広域網:帯域保証技術(or  専⽤用線) 3
  • 4. 動的ネットワークパス構築技術と 連携したエッジオーバレイ帯域制御⽬目標:ネットワークの消費電⼒力力削減とサービスの利利便便性の両⽴立立を⽬目指したネットワークモデル構築 1.  動的ネットワークパス構築技術 →  OGF  Network  Service  Interface  (NSI) 2.  トラフィックの性質に基づいたサブパス選択 →  OpenFlow  +  RSVP 3.  サブパスの帯域分割 ネッ ワーク選択 ト →  Open  vSwitch  + パス設定 PSPacer RSVP QoS付パケッ 網 ト メ セージ ッ OpenFlow      スイ チ OpenFlow      スイ チ ラベルスイ チ網 ッ ッ ッ 光パス網 送信者 受信者 従来型パケッ 網 ト データプレーン 4
  • 5. 本研究の貢献•  エッジオーバレイSDNにおいて、動的ネット ワークパス構築とエッジ帯域制御の連携を提案 –  データセンタ間を帯域の保証されたネットワークで 接続した上で、エッジ仮想スイッチにて精密な帯域 制御を実施•  PSPacerをOpen  vSwitchに統合•  10ギガビットイーサネット環境で実験 –  HTBとPSPacerの⽐比較 5
  • 6. 発表の流流れ•  動的ネットワークパス構築と連携した エッジオーバレイ帯域制御•  PSPacerの紹介•  Open  vSwitchに対するPSPacerの統合•  実験•  まとめ 6
  • 7. PSPacerのOpen  vSwitchへの統合 7
  • 8. PSPacer •  通信帯域を効率率率的に利利⽤用するためのソフトウェア •  ギガビットイーサネットにおける精密なペーシングを ソフトウェアだけで実現 –  利利⽤用可能帯域にあわせてバースト送信を平滑滑化することで、 安定した⾼高い通信性能を実現 Switch/Router Buffer Overflowバースト性の⾼高いトラフィックはパケット PSPacerはパケット間隔を調整し、平滑滑化ロスを引き起こし、通信性能の低下を招く され安定したトラフィックを⽣生成する 8
  • 9. PSPacer:動作原理理と実装•  パケットペーシング=パケット送信間隔制御 –  (パケットサイズ)=(ギャップサイズ)の場合:     送信帯域は、物理理帯域の1/2 、•  PSPacerの動作原理理 き れば ノ秒の 送 信で 0.8ナ 能 –  ギャップをダミーパケットで埋めて、 レー トで ークで 制 御可 ヤ トワ 信間隔を –  パケットを隙間なく送信する ワイ psネッ 送 1 0Gb パケット•  ギャップパケット 精度度 で –  ダミーパケットとして、PAUSEフレームを利利⽤用 –  スイッチの⼊入⼒力力ポートで破棄され、実パケットのみが、 元の送信間隔を保ちつつ送出される ギャップ パケット 9
  • 10. Linux  TBFとPSPacerの違い Token  Bucket  Filter PSPacer 平均レートはボトルネックリン ク帯域の半分以下だが、ピーク は物理理送信レートに達しており、 バッファあふれが発⽣生 (Bottleneck  BW  500Mbps,  RTT  200ms,  FIFO  1MB) 10
  • 11. Open  vSwitch•  Linux上で動作する仮想スイッチソフトウェア –  OpenFlow –  VLAN(アクセスポート、トランクポート) –  トンネル  (GRE、IPSec、VXLAN、LISP) –  NetFlow、sFlow –  QoS VM  1 VM  2 VM  3 •  データパス Open  vSwitch –  Linux  kernel  3.3にマージ user kernel –  ハードウェア化を考慮 •  Pica8  Prontoスイッチに採⽤用 Physical  Switch 11
  • 12. Open  vSwitchのQoS機能•  ingress  policing•  egress  shaping VM1 VM2 –  内部的にLinuxカーネルの eth0 eth0 tc(qdisc)機能を利利⽤用 •  HTB、HFSC、PSPacer VMM tap0 tap1 ingress  policing•  OpenFlow  1.0のenqueue Open  vSwitch アクション※を利利⽤用して、 egress  shaping フローをqdiscのキューに振分 eth0 ※)  OpenFlow  1.3ではset-‐‑‒queueに相当 12
  • 13. Open  vSwitchの構成 VM  1 VM  2 VM  3 VIF Open  vSwitch ovs-­‐vswitchd ovsdb-­‐server user kernel openvswitch PIF Physical  Switch 13
  • 14. PSPacerの統合 data control enqueue   PSPacer Classifier   Compute  Server Packet  Interface   scheduler   queues   VM  1 VM  2 VM  3 Real  packet   VIF dequeue   Gap  packet   Open  vSwitch ovs-­‐vswitchd ovsdb-­‐server user PSPacer openvswitch kernel PIF Physical  Switch ※  HTB利利⽤用時も同じ仕組みで動作 14
  • 15. 設定例例ovs-vsctl -- set port eth0 qos=@newqos -- --id=@newqos create qos type=linux-psp queues=0=@q0,1=@q1 -- --id=@q0 create queue other-config:rate=1000000000 -- --id=@q1 create queue other-config:rate=2000000000 ovs-ofctl add-flow br0 "in_port=2 マッチングルールin_̲portをtap idle_timeout=0 actions=enqueue:1:1” デバイスの接続ポートに設定するovs-ofctl add-flow br0 "in_port=3 ことで、VMごとに帯域制御 idle_timeout=0 actions=enqueue:1:2" # 送信レートの変更更
ovs-vsctl set queue [QUEUE UUID] other-config:rate=3000000000 # キューの追加
ovs-vsctl add qos [QOS UUID] queues 2=@q2 -- --id=@q2 create queue other-config:rate=1000000000 15
  • 16. 実験 16
  • 17. 実験環境•  計算サーバ2台を直結 Hardware  Spec.•  各VMの送信帯域を2  G CPU 6-­‐core  Intel  Xeon  E5-­‐2430L/   2  GHz  dual  sockets bpsに設定し、6組のVM Memory PC3-­‐12800  48  GB 間でTCP通信性能を測定 Ethernet Intel  X520-­‐LR1  (MTU  16KB) So-ware  Spec.•  帯域測定にはGtrcNET-‐‑‒ OS CentOS  Linux  6.3 10p3を使⽤用 Open  vSwitch 1.7.1 VM VM VM VM VM VM VM VM VM VM VM VM 0 1 2 3 4 5 0 1 2 3 4 5 Open  vSwitch Open  vSwitch GtrcNET-‐‑‒10 10G  Ethernet 17
  • 18. GtrcNET•   ⼤大規模FPGAを搭載したハードウェアネットワークテストベッド •   ワイヤレートでさまざまな機能をプログラム可能•   GtrcNET-‐‑‒1:  GbE  (GBIC)  x  4ports  +  16MBytes  Memory/port•   GtrcNET-‐‑‒10:  10GbE  (XENPAK)  x  3ports  +  1GBytes  Memory  /port•   実装機能例例 •   帯域測定(ポート単位、ストリーム単位、VLAN単位) •   遅延の模擬 •   パケットキャプチャ •   テストパケット⽣生成 •   送信レート制御(ペーシング、   シェーピング、ポリシング) http://projects.itri.aist.go.jp/gnet/ 18
  • 19. 10000 実験結果(1) HTB 8000 Bandwidth (Mbps) Throughput  (Mbps) 6000 QoS制御なし 4000 10000 2000 8000Bandwidth (Mbps) 0 Throughput  (Mbps) 0 10 20 30 40 50 60 6000 Time (Second) VM1 VM2 VM3 VM4 VM5 VM6 4000 10000 PSPacer 2000 8000 Bandwidth (Mbps) Throughput  (Mbps) 0 6000 0 10 20 30 40 50 60 Time (Second) VM1 VM2 VM3 VM4 VM5 VM6 4000 10秒毎に通信ペアを追加 2000 0 0 10 20 30 40 50 60 Time (Second) 19 VM1 VM2 VM3 VM4 VM5 VM6
  • 20. 実験結果(2) PSPacer  (OpenFlow) PSPacer  (tc) 10000 10000 8000 8000 Bandwidth (Mbps) Throughput  (Mbps)Throughput  (Mbps) 6000 6000 4000 4000 2000 2000 0 0 0 10 20 30 40 50 60 0 10 20 30 40 50 60 Time (Second) Time (Second) VM1 VM2 VM3 VM4 VM5 VM6 VM1 VM2 VM3 VM4 VM5 VM6 OpenFlowルールの代わりに、 tc  u32  filterを使って、送信元IP アドレス毎に振分 20
  • 21. 考察•  PSPacer(ギャップパケット)のパケット スケジューリング⽅方式の問題が顕在化 –  システムがワイヤレート性能を出せることが必要 •  注意:今回の実験環境では要件を満たしていない –  tcのフィルタ機能と⽐比較して、OpenFlowのフロー 制御はCPU負荷が⾼高いと推測 –  さらなる問題解析が必要 21
  • 22. まとめと今後の予定 22
  • 23. まとめ•  エッジオーバレイSDNにおいて、動的ネット ワークパス構築とエッジ帯域制御の連携を提案•  PSPacerをOpen  vSwitchに統合し、10ギガ ビットイーサネット環境で実験 –  PSPacerのスケジューリング⽅方式の問題が顕在化 –  さらなる問題解析が必要 PSPacer  3.1  (Open  vSwitch対応パッチ含)は オープンソースソフトウェアとして公開     https://www.gridmpi.org/pspacer.jsp 23
  • 24. 今後の予定•  ネットワークの消費電⼒力力削減とサービスの利利便便 性の両⽴立立を⽬目指したネットワークモデルの提案 –  本提案⽅方式と「トラフィックの性質情報に基づいた 経路路選択」⽅方式の統合し、省省電⼒力力効果を検証 なお、本研究の成果の⼀一部は、独⽴立立⾏行行政法⼈人新エネルギー・ 産業技術総合開発機構(NEDO)の委託業務「グリーンネット ワーク・システム技術研究開発プロジェクト(グリーンITプロ ジェクト)」の成果を活⽤用している。 24