OVS VXLAN Network Accelaration on OpenStack (VXLAN offload and DPDK) 講師：熊谷 育朗 (ビットアイル・エクイニクス株式会社) アジェンダ： - OVS/VXLANを選択する理由 - OVS VXLAN Performance Test with No Accelaration - VXLAN オフロード - DPDK (6WIND)

1. Copyright © 2016 Bit-isle Equinix Inc. All Rights Reserved
OVS VXLAN Network Accelaration
on OpenStack (VXLAN offload and DPDK)
Ikuo Kumagai – Bit-isie Equinix Inc.
Yuki Kitajima - Altima corp.
Masayoshi Oka - Netone systems
1

2. Copyright © 2016 Bit-isle Equinix Inc. All Rights Reserved
Tokyo Summitにて
Hyper-Converged OpenStack についての取り組みの中で
‣ DPDKの評価は終わっていないと話しました
→今回はその続編です
http://www.slideshare.net/ikuokumagai/approaching-hyperconvergedopenstack
2

3. Copyright © 2016 Bit-isle Equinix Inc. All Rights Reserved
振り返り
前回発表したセッションの趣旨は
‣ できるだけ汎用的なHWで
‣ できるだけ標準的なSW/デプロイ方法で
‣ 一部のHW/SWの置き換えだけで
(VXLAN offload/DPDK/Ceph RDMA)
ハイパーコンバージドインフラをOpenStackで構築すること
3

4. Copyright © 2016 Bit-isle Equinix Inc. All Rights Reserved
OVS/VXLANを選択する理由
[メリット]
 Neutronのネットワーク機能はOVS/VXLANならば
ほとんど使える。
 既存ネットワークのデメリットを避けながら、そして周
囲の環境との相互接続性が保てる(選択肢が多い)。
[デメリット]に対する考え方
 パフォーマンスネック/拡張性の問題？
‣ Linux kernelによる パフォーマンスネック
‣ フルメッシュトンネリング ・VXLAN unicast/multicast 問題
4

5. Copyright © 2016 Bit-isle Equinix Inc. All Rights Reserved
Why OVS, Why VXLAN
OVS(Open vSwitch)
‣ OpenStack環境で最も標準的なネットワーク
▪ "Open vSwitch is the most common choice for Neutron drivers,
though the bulk of deployments selecting it are in proof of concept stage. ”
VXLAN(RFC7438)
‣ オーバーレイ方式で最も広く使われている
‣ 多くのOpenStackディストでデフォルト設定
‣ 既存ネットワーク内に組み込める
http://www.openstack.org/assets/survey/Public-User-Survey-Report.pdf
5

6. Copyright © 2016 Bit-isle Equinix Inc. All Rights Reserved
OVS VXLAN
Performance Test
with No Accelaration
6

7. Copyright © 2016 Bit-isle Equinix Inc. All Rights Reserved
Test Items (Network)
KVM
Compute Node-2
OVS
VXLAN
VM VM VM VM
KVM
Compute Node-1
OVS
VM VM VM VM
VM to VM between physical nodes
1 – 16 VM per physical node
Metering by iperf3 TCP & UDP
7

8. Copyright © 2016 Bit-isle Equinix Inc. All Rights Reserved
Basic Perfomance TCP Bandwidth
Total & Average Performance(※iperf3 default)
Bandwidth(GBits/sec)
1-1 2-2 4-4 8-8 16-16
Total 2.05 3.18 5.74 7.18 10.53
Average 2.05 1.59 1.43 0.90 0.66
0.00
2.00
4.00
6.00
8.00
10.00
12.00
1-1 2-2 4-4 8-8 16-16
Total
Average
8

9. Copyright © 2016 Bit-isle Equinix Inc. All Rights Reserved
Basic Perfomance (UDP Bandwidth by packet
size)
Total
Average
9

10. Copyright © 2016 Bit-isle Equinix Inc. All Rights Reserved
Basic Perfomance (UDP Laytency by packet size)
Laytency (Jitter)
Lost Packet
10

11. Copyright © 2016 Bit-isle Equinix Inc. All Rights Reserved
VXLAN オフロード
11

12. Copyright © 2016 Bit-isle Equinix Inc. All Rights Reserved
VXLAN offload
OVS + Normal NIC [General Understanding]
‣ VXLAN process handled by OVS.
‣ It means that CPU works for packet process of VXLAN
packets.
‣ Normal NIC can NOT take care about,
▪ Checksum, TSO, RSS, etc
12

13. Copyright © 2016 Bit-isle Equinix Inc. All Rights Reserved
VXLAN offload
What is the VXLAN offload
‣ Offload VXLAN protocol on edge-point (NIC)
‣ VXLAN offload engine enables TCP/IP offload
▪ Enable checksum, TSO, RSS, GRO
‣ Get more throughput, Less latency and less CPU resource
VM generate inner packetOVS generates outer packet
13

14. Copyright © 2016 Bit-isle Equinix Inc. All Rights Reserved
VXLAN offload
VXLAN offloadの特徴
‣ VTEP -> RSS/TSO/RSO
NIC Driver
Linux Kernel
OVS
Flow Table
User Space
Virtio
VM
Virtio
VM
OVSDB
(VTEP)
ポイント説明
①VXLANパケットのchecksum, RSO/TSO,
のCPUオフロード
②[OVS] VTEP(CPU)によるVXLANの
decap/encap
③VMとの受け渡しはVLAN
意外と多い勘違い
 VTEPはオフロードしません*
 ただし、VTEPオフロードをするNICも
あります！
使いどころ
 VM当たりのスループット性能の向上
 CPU負荷の低減
 OS inboxドライバ対応が進む
①
②
③
14

15. Copyright © 2016 Bit-isle Equinix Inc. All Rights Reserved
VXLAN offload
HW selection
型番
MCX311A-
XCCT
MCX312B-XCCT MCX313A-BCCT MCX314A-BCCT
Port Single
10GbE
Dual
10GbE
Single
/10/40/56GbE
Dual
/10/40/56GbE
Port Type SFP+ SFP+ QSFP QSFP
Cable Cupper, Optical
Host Bus PCIe 3.0 x 8
Features VXLAN/NVGRE offload, RDMA, SR-IOV, etc
OS RHEL, SLES, Microsoft Windows Sever, FreeBSD, Ubuntu, VMWare ESXi
15

16. Copyright © 2016 Bit-isle Equinix Inc. All Rights Reserved
VXLAN offload result(TCP Bandwidth)
Compair VXLAN offload and normal
Bandwidth(GBps) - VXLAN offload
1-1 2-2 4-4 8-8 16-16
Total 14.40 21.70 30.00 31.43 24.63
Average 14.40 10.85 7.50 3.93 1.54
0.00
5.00
10.00
15.00
20.00
25.00
30.00
35.00
1-1 2-2 4-4 8-8 16-16
Total
Average
Bandwidth(Gbps) normal
1-1 2-2 4-4 8-8 16-16
Total 2.05 3.18 5.74 7.18 10.53
Average 2.05 1.59 1.43 0.90 0.66
0.00
5.00
10.00
15.00
20.00
25.00
30.00
35.00
1-1 2-2 4-4 8-8 16-16
Total
Average
16

17. Copyright © 2016 Bit-isle Equinix Inc. All Rights Reserved
DPDK (6WIND)
17

18. Copyright © 2016 Bit-isle Equinix Inc. All Rights Reserved
まとめ
18

19. Copyright © 2016 Bit-isle Equinix Inc. All Rights Reserved
VXLANオフロード
メリット
‣ 帯域の有効活用という点では非常に有効。
※OVSでVXLANオフロードを使う場合にsegmentation
offload がない場合は本番運用は難しいのでは。
‣ 利用が簡単。対応NIC/ドライバがあれば特別な設定は不要
デメリット
‣ Linux側のボトルネックを全て解消するわけではない。
→ NW処理の負荷は多少なりともホスト全体に波及する。
想定する利用シーン
‣ 特殊な要件のない環境での帯域増速
19

20. Copyright © 2016 Bit-isle Equinix Inc. All Rights Reserved
DPDK
メリット
‣ OVSでNWの基本的な性能を求めるのであれば必須
(OVSオフロードは試していない)
デメリット
‣ まだまだ初期設定等には難しい部分がある。サポートがなけれ
ば運用は難しそう。(今後解消される可能性もある)
‣ インスタンス側のCPU pinning には注意する必要がある。
想定する利用シーン
‣ ショートパケットのリクエストが多い環境
‣ NW系の仮想アプライアンスを利用する場合
‣ その他NW系に高い要件をもつようなケース
20

21. Copyright © 2016 Bit-isle Equinix Inc. All Rights Reserved
tenantnetwork
NetworkノードにDPDKを設定
想定する利用方法(NWノードへ適用)
Compute
VXLAN
offload
Compute
VXLAN
offload
Compute
VXLAN
offload
Compute
VXLAN
offload
Backborn
Router
・
・
・
DPDK
DPDK
DPDK
DPDK
Network
DPDK
L3 agent
LBaas
agent
VPN
agent
21

22. Copyright © 2016 Bit-isle Equinix Inc. All Rights Reserved
tenantnetwork
sharednetwork
NW機能を集約したコンピュートノードを配置
想定する利用方法(NW機能を集約したコンピュートノード)
Compute
(NW Function)
DPDK
Compute
VXLAN
offload
Compute
VXLAN
offload
Compute
VXLAN
offload
Compute
VXLAN
offload
Backborn
Router
・
・
・
VLAN
VXLAN
DPDK
DPDK
DPDK
DPDK
LB
Router
VPN
例えば
Instance Resource Quotaを
適用するなども可能
22

23. Copyright © 2016 Bit-isle Equinix Inc. All Rights Reserved
広告
 ビットアイル・エクイニクスのOpenStackパッケージは
デフォルトでVXLANオフロードを使用しています。
(DPDK(6WIND)は価格未決定ですが相談可能です)
23