Lagopus & NFV with Vhost (Tremaday#9)

Copyright©2015 NTT corp. All Rights Reserved.
Birds in Cloud
SDN/NFV: Lagopus & VNF with Vhost
2016/07/02
hibitomo
1

Agenda
- Lagopus?
- Birds in ShowNet
- FPGA + Lagopus + VNF
- Lagopus設定のポイント
- コアアサイン
- Flow設計
- 簡易性能評価

Lagopus
OpenFlowスイッチのソフトウェア実装
汎用x86サーバで動作可能
高速なパケット処理と幅広いプロトコルに対応
> 10Gbps
OpenFlow1.3仕様に幅広く対応
各種トンネリングプロトコル
OpenFlow コントローラ
コントロールプレーン
OpenFlow
プロトコル
OpenFlow スイッチ
データプレーン
Flow Table
フローパターンアクション
フローパターンアクションカウンター
カウンター
Flow
Table
#2
Flow
Table
#3
Flow
Table
#4

What is Lagopus (雷鳥属)?
Lagopus is a small genus of birds in the grouse subfamily, commonly
known as ptarmigans. All living in tundra or cold upland areas.
http://en.wikipedia.org/wiki/Lagopus
http://en.wikipedia.org/wiki/Lagopus#mediaviewer/File:Rock_Ptarmigan_(Lagopus_Muta).jpg

What is Lagopus (雷鳥属)?
5

Birds in ShowNet
- 今年はここに居ました．
引用：https://www.facebook.com/interop.shownet

VNF(VirNOS) + Lagopus + FPGA
- 処理はFPGA、転送はLagopus
- NetFPGA-SUME
- IPアドレスからハッシュを計算
- ハッシュ値にもとづいて転送先のVMの目印をSrc MACに書き込む(256種類)
- LagopusはSrc MAC値に応じてVMへ転送
7
HV VNF VNF VNF
lagopus
lagopus
uplink
downlink
hash計算と
MACへの埋
め込み
MACにもとづいて
VMへ送信(staticな
flow entry)

今回接続したVNF
• VirNOS
• IP infusion のコントリビュート
• vRouter/vCPE solutionのVNF
• DPDKが利用可能．
• High performanceモードとTinyモード等の動作モード
• 今回はTinyモードのVirNOSをDPDKでLagopusと接続
8

Challenges
- ホストのLagopus(DPDK)とゲストのVirnos(DPDK)の接続
- 多ポート設定と負荷分散（ShowNetでは8台に分散．ポート数は計18）
10
HV VirNOS VirNOS VirNOS VirNOS
lagopus
lagopus
port2
port4 port6 port8 port10
port9port7port5port3
port1
Eth0
Eth1
Eth0
Eth1
Eth0
Eth1
Eth0
Eth1

設定のポイント：コアアサイン
- NUMAを意識したLagopusとVNFでコアアサインを設計する．
- パケット・処理の流れを考える
NIC
CPU CPUMemory
Memory
NIC
NICNIC
QPI
PCI-Exp PCI-Exp
Reference: supermicro X9DAi

設定のポイント：コアアサイン（LagopusとVNF）
メモリ
メモリ
NIC
core
core
core
core
core
core
core
core
core
core
core
core
core
core
core
core
CPU0 CPU1
トラフィック

メモリ
メモリ
NIC
core
core
core
core
core
core
core
core
core
core
core
core
core
core
core
core
CPU0 CPU1
トラフィック
Lagopus
VirNOS
(tiny mode)
× 8

- コアアサインを間違えると性能は半減する
- 横須賀で測定を実施．1500byte, Lagopusはデフォルトのコアアサイン
18
メモリ
メモリ
NIC
core
core
core
core
core
core
core
core
core
core
core
core
core
core
core
core
CPU0 CPU1
トラフィック
LagopusVNF × 8
メモリ
メモリ
NIC
core
core
core
core
core
core
core
core
core
core
core
core
core
core
core
core
CPU0 CPU1
トラフィック
Lagopus VNF × 8約4.4Gbps
約10Gbps
2倍以上の差

lagopus
lagopus
port2
port1
Eth0
Eth1
Eth0
Eth1
Eth0
Eth1
Eth0
Eth1
設定のポイント：コアアサイン（LagopusのI/O）
- Pollingでパケットの監視，転送を行うため，ポートが増えるほど性能が落ちる．
- 今回のアーキテクチャでは物理NICへのトラフィックの偏りが顕著
19
10/4 Gbps 10Gbps

lagopus
lagopus
port2
port1
Eth0
Eth1
Eth0
Eth1
Eth0
Eth1
Eth0
Eth1
設定のポイント：コアアサイン（LagopusのI/O）
- トラフィックの偏りを考慮したコアアサインを行う
- ShowNetでは4コアをI/Oに利用．下図の様に割り当てた
20
10Gbps
10Gbps
5Gbps 5Gbps

Lagopus設定のポイント（フロールール）
- 256種類のsrc MACをマッチする必要がある．uplinkとdownlinkがあるため，
srcMACのExact matchのルールが512種類必要．
- Hash値は下位1byteに埋め込まれ，平等に分散されていることが期待できる
ので，Maskを用いて下位3bitだけ見るルールに変更することができる．すると
ルール数は16種類に削減できる．
21
in_port dl_src action
1 52:54:00:00:00:01 1
1 52:54:00:00:00:02 2
… … …
in_port dl_src action
1 **:**:**:**:**:*0 1
1 **:**:**:**:**:*1 2
… … …

性能評価（参考情報）
- いろいろな機器を通っているため，参考情報です．
- トラフィックのボトルネックがLagopusであることは確認済
- 東京テクニカさんにご協力頂きました
22

性能評価（参考情報）
- テスターの値をグラフ化．
- Lagopusには物理->VNFとVNF ->物理NICでトラフィックが2倍かかっている
23
[byte]
[Mbps]
0
1000
2000
3000
4000
5000
6000
7000
8000
9000
10000
0 200 400 600 800 1000 1200 1400
wire rate
lagopus
パケットサイズ
トラフィック量

デモ
24
ごめんなさい，
いろんな時間が足りなかったのでありません＞＜

達成できなかったデモ
25
Lagopus
ShowNet
FPGA
Emulator
NIC
port portportportport
VNF VNF VNF VNF

Ansible playbook
- v0.2.4から旧playbookが使えなくなっていたのでいろいろ更新
- 突貫で作ったコードなので，とりあえずfork先しか更新しておりません
- fork先： https://github.com/hibitomo/lagopus-tools
- ついでに機能が追加されています
- 新機能
- DSLの自動生成
- 実行スクリプト自動生成 (vhost, pcap, pipeのvdevにも対応)
- 新ansibleサンプル
- Lagopus - VMを接続するサンプル（qemuの起動スクリプトも生成）

Lagopus slack
- Facebookに「Lagopus Users Community」というグループがあります！
28

時間があれば
29

Agenda
- Bird in ShowNet
- FPGA + Lagopus + VNF
- Lagopus設定のポイント
- コアアサイン
- Flow設計
- 簡易性能評価
- 副産物 lagopus-tools
- ansible
- lago-dsl
- lago-mon

副産物：lagopus-tools
• 元々はインターン生に作らせたAnsibleとRyuのサンプル置き場
• Lagopusが関連するトラブルがほぼなかったため，待ち時間でツールを作成
• 突貫で作ったコードなので，とりあえずfork先しか更新しておりません
• fork先： https://github.com/hibitomo/lagopus-tools
~/lagopus-tools$ ls
ansible examples lago-dsl lago-mon LICENSE README.md

副産物：ansible
- v0.2.4から旧playbookが使えなくなっていた
- 今回，最新のLagopus用に更新．ついでに機能追加．
- 新機能
- DSLの自動生成
- 実行スクリプト自動生成 (vhost, pcap, pipeのvdevにも対応)
- 新ansibleサンプル
- Lagopus - VMを接続するサンプル（qemuの起動スクリプトも生成）

副産物：lago-dsl
• lagopusのDSLを直接叩くスクリプト．
• デバッグ用途以外の使用は推奨しない．
• 直接，flow，interface等の編集をすることができる．
• 実行
$ ./lago-dsl.py [lagopus DSL]
$ ./lago-dsl.py < [lagopus DSL file]

副産物：lago-mon
- Lagopus用モニタリングツール
- 動作確認の為に`lagosh -c show xxx` を連打してカウン
タの差分を目grepするのは辛い．
- logを取る為に`lagosh -c show xxx`を定期的に実行して，
整形済みjsonを一行に戻すのは手間．
- 16 x 16ドットのロゴ
- プロトタイプのファイル名がlagomon.pyだった．作るしか
無いと思った．後悔はしていない．
ラゴモン（成長期）

副産物：lago-mon
- Lagopus用モニタリングツール
- 動作確認の為に`lagosh -c show xxx` を連打してカウン
タの差分を目grepするのは辛い．
- logを取る為に`lagosh -c show xxx`を定期的に実行して，
整形済みjsonを一行に戻すのは手間．
- 16 x 16ドットのロゴ
- プロトタイプのファイル名がlagomon.pyだった．作るしか
無いと思った．後悔はしていない．
- AA版もあります．( 15 x 36 )
########
## ;;;; ##
## #### ##
#### ##
## ## ####
##### ######## ##
############## ## ##
### ######## ## ##
#### ## ## ## #### ##
#### ## ## ## ## ##
###### #### ####
#### #### ##########
####################
mmmm ##
##########
ラゴモン（成長期）

副産物：lago-mon/ifstats-monitor.py
- 実行（指定間隔でJSONを出力するだけ）
- 出力例
{"timestamp": "2016-06-08T14:13:04.253669", "interfaces": {"interface1": {"name":
"interface1", "rx-dropped": 0, "tx-errors": 0, "rx-bytes": 0, "tx-packets": 0, "rx-packets":
0, "tx-bytes": 0, "rx-errors": 0, "tx-dropped": 0}, "interface0": {"name": "interface0",
"rx-dropped": 0, "tx-errors": 0, "rx-bytes": 0, "tx-packets": 0, "rx-packets": 0, "tx-
bytes": 0, "rx-errors": 0, "tx-dropped": 0}}}
$ ./ifstats_monitor.py -l 10
間隔 [sec]

副産物：lago-mon/ifstats-monitor.py
- 実行（moniter．強いリクエストにより，bpsとppsを表示）
- 出力例
2016/06/08 14:22:49
+------------+------------------+--------------+------------------+--------------+
| name | rx-bps | rx-pps | tx-bps | tx-pps |
+------------+------------------+--------------+------------------+--------------+
| interface0 | 0 | 0 | 0 | 0 |
| interface1 | 0 | 0 | 0 | 0 |
+------------+------------------+--------------+------------------+--------------+
$ ./ifstats_monitor.py -m 10
更新間隔 [sec]

副産物：lago-mon/flowstats-monitor.py
- 実行（moniter．同一フローの識別が不可能な為，bps, ppsは無い．）
- 出力例
2016/06/08 14:27:45
bridge01, table: 0
+----------+--------+--------------+------------+----------------+--------------------------------------+--------------+--------------+
| priority | cookie | packet_count | byte_count | data | actions | hard_timeout | idle_timeout |
+----------+--------+--------------+------------+----------------+--------------------------------------+--------------+--------------+
| 100 | 0 | 0 | 0 | {"in_port": 2} | [{"apply_actions": [{"output": 1}]}] | 0 | 0 |
| 100 | 0 | 0 | 0 | {"in_port": 1} | [{"apply_actions": [{"output": 2}]}] | 0 | 0 |
+----------+--------+--------------+------------+----------------+--------------------------------------+--------------+--------------+
$ ./flowstats_monitor.py -m 10
更新間隔 [sec]

副産物：lago-mon/flowstats-monitor.py
- 実行（指定間隔でJSONを出力するだけ）
- 出力例
{"timestamp": "2016-06-08T14:25:44.853720", "flows": {"bridge01": {"tables":
[{"table": 0, "flows": [{"stats": {"packet_count": 0, "byte_count": 0}, "hard_timeout": 0,
"actions": [{"apply_actions": [{"output": 2}]}], "priority": 100, "idle_timeout": 0,
"cookie": 0, "in_port": 1}, {"stats": {"packet_count": 0, "byte_count": 0},
"hard_timeout": 0, "actions": [{"apply_actions": [{"output": 1}]}], "priority": 100,
"idle_timeout": 0, "cookie": 0, "in_port": 2}]}], "name": "bridge01"}}}
$ ./flowstats_monitor.py -l 10
間隔 [sec]

lago-monを利用したツール連携
40
Lagopus DSL
log file
Lagopus Server Log/Display Server
REST

lago-monを利用したツール連携
• 出力例（Ryu-certification動作中のログ）
41

まとめ
- Bird in ShowNet
- LagopusとDPDKでVMに接続
- LagopusとFPGAでVMにロードバランス
- 副産物（lagopus-tools）
- ansible
- lago-dsl.py
- lago-mon

ご清聴ありがとうございました
43
########
## ;;;; ##
## #### ##
#### ##
## ## ####
##### ######## ##
############## ## ##
### ######## ## ##
#### ## ## ## #### ##
#### ## ## ## ## ##
###### #### ####
#### #### ##########
####################
mmmm ##
##########

Lagopus & NFV with Vhost (Tremaday#9)

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Viewers also liked

Viewers also liked (20)

Similar to Lagopus & NFV with Vhost (Tremaday#9)

Similar to Lagopus & NFV with Vhost (Tremaday#9) (20)

Lagopus & NFV with Vhost (Tremaday#9)