openstack_neutron-ovs_osc2014tf_20141019

© Hitachi Solutions, Ltd. 2014. All rights reserved.
株式会社日立ソリューションズ
技術開発本部オープンソース技術開発センタ
2014/10/19
工藤雄大
OpenStackネットワーク環境検証
Open vSwitch選択時の挙動
オープンソースカンファレンス 2014 Tokyo/Fall
OpenStack Neutron OVS を用いたネットワーク環境構築とミドネットの検証評価
～OSCA(tm)技術分科会の活動より抜粋～

© Hitachi Solutions, Ltd. 2014. All rights reserved. 1
１. 検証環境

Network 2Network 1
em1 em2
Controller
(+　Block storage)
em1 em2
Bench
Compute1
em1 em2
Compute2
em1 em2
Compute20
em1 em2
GRE encapslation for Tenant A
192.168.110.0/24
Tenant A Tenant A Tenant A
GRE encapslation for Tenant B
192.168.120.0/24
Tenant B Tenant B Tenant B
VM VM VMVM VM VM
bond0
.3
.2
.102
.107
.102
.108 .109
.254 .254
.108 .109.107
p2p4
p2p3
p2p2
p2p1
p2p4
em1 em2
p2p4
.103
Network 3
em1 em2
p2p4
.104
Management Network
10.1.1.0/24
Guest Network
192.168.0.0/24
1G
1G 1G
.4
bond0
Public Network
10.2.2.0/24
4G
v routerA
v routerB
.127 .127
・・・・・・・
.254 v routerC
.6
外部
ネットワーク
内部
ネットワーク
2
１-１検証環境図
Network Nodeを複数台化
=>Neutron Open vSwitch選択時の
性能・冗長化はどうなる？？
■OpenStack (Havana)を用いて環境構築
・Red Hat Enterprise Linux6.5 + Red Hat Enterprise Linux OpenStack Platform 4.0

１-２ Neutronの構成要素
要素 Network Node 1 N 2 N 3
NEUTRON_SERVER_HOST
・Neutron Serverのインストール先サーバ
・1台のみ設定可能
○ - -
NEUTRON_L3_HOSTS
・L3 Agentのインストール先サーバ
・複数台設定可能
○ ○ ○
NEUTRON_DHCP_HOSTS
・DHCP Agentのインストール先サーバ
・複数設定可能
○ ○ ○
NEUTRON_METADATA_HOSTS
・MetadataのAgentのインストール先サーバ
○ ○ ○
NEUTRON_LBAAS_HOSTS (今回は構成せず)
・LBaaSのAgentのインストール先サーバ
- - -

２. 検証項目

２検証項目
●Open vSwitch単体のデータ転送性能
(検証項目1) Network Node 1台構成時のデータ転送速度計測
●Network Nodeスケールアウト時のデータ転送性能
(検証項目2) Network Node 2台追加(計3台)時のデータ転送速度計測
■目的１性能計測
■目的２冗長化機能判定
●障害発生時の、Neutron各要素自動切り替わり可否
(検証項目3) Network Node2(副系1)停止時の挙動確認
(検証項目4) Network Node1(正系)停止時の挙動確認

３. 検証結果

Network 1
em1 em2
Controller
(+　Block storage)
em1 em2
Bench
Compute1
em1 em2
Compute2
em1 em2
Compute20
em1 em2
192.168.110.0/24
Tenant A Tenant A Tenant A
VM
bond0
.3
.2
.102
.107
.102
.108 .109
.254
.108 .109.107
p2p4
p2p3
p2p2
p2p1
p2p4
Management Network
10.1.1.0/24
Guest Network
192.168.0.0/24
1G
bond0
Public Network
10.2.2.0/24
4G
v routerA
.127 .127
・・・・・・・
外部
ネットワーク
内部
ネットワーク
VM VM
8
３-１検証1 Network Node1台構成時のデータ転送速度計測
●検証手順
・Network Node 1に、Neutronの要素(SERVER・L3・DHCP・METADATA)を構築
・単一Private Network内のVM(Webサーバ) 8台を、異なるCompute Node上に配置
・Public Network側のベンチマークサーバから、
ベンチマークツール(https://github.com/wg/wrk)にて、データ転送速度を計測
ベンチ
実行元

３-１検証1 Network Node1台構成時のデータ転送速度計測
●検証結果
・データ転送速度の総和は、871.04Mbps
・Network Node 1は1GbpsのNICを使用しており、wire speedの9割弱を確認
# スループット
VM1 108.08 Mbps
VM2 110.16 Mbps
VM3 106.16 Mbps
VM4 103.44 Mbps
VM5 110.72 Mbps
VM6 113.20 Mbps
VM7 112.24 Mbps
VM8 107.04 Mbps
合計 871.04 Mbps
意外と速い！？
9

Network 2Network 1
em1 em2
Controller
(+　Block storage)
em1 em2
Bench
Compute1
em1 em2
Compute2
em1 em2
Compute20
em1 em2
192.168.110.0/24
bond0
.3
.2
.102
.107
.102
.108 .109
.254
.108 .109.107
p2p4
p2p3
p2p2
p2p1
p2p4
em1 em2
p2p4
.103
Network 3
em1 em2
p2p4
.104
Management Network
10.1.1.0/24
Guest Network
192.168.0.0/24
1G
1G 1G
.4
bond0
Public Network
10.2.2.0/24
4G
v routerA
v routerB
.127 .127
・・・・・・・
.254 v routerC
.6
外部
ネットワーク
内部
ネットワーク
Tenant A
VM
Tenant A
VM
Tenant A
VM
11
３-２検証２ Network Node 2台追加時のデータ転送速度計測
●検証手順
・Network Node2・3として、Neutronの要素(L3・DHCP・METADATA)を追加
・単一Private Network内のVM(Webサーバ) 8台を、異なるCompute Node上に配置
・Public Network側のベンチマークサーバから、ベンチマーク実施
ベンチ
実行元
分散される？？

●検証結果
・検証1の結果と変わらず、データ転送速度の総和は870 Mbps程度
・トラフィックは、Neutron Server 1・2・3で分散されず
●理由
[root@nw1 /(keystone_admin)]# neutron l3-agent-list-hosting-router router2
+--------------------------------------+---------------------+----------------+-------+
| id | host | admin_state_up | alive |
+--------------------------------------+---------------------+----------------+-------+
| c9357447-ccf4-4e9a-90f6-4884e009ee28 | nw2.example.com | True | :-) |
+--------------------------------------+---------------------+----------------+-------+
つまり、Private Network内のVMからPublic Networkへ抜けるトラフィックは、
特定の1台のNEUTRON_L3_HOSTを通らざるを得ない。
・Private→Publicのトラフィックを処理するのはVirtual Router
・Virtual Routerは、特定の一台のNEUTRON_L3_HOST上で動作

●トラフィック増強のための回避策は？
・異なるNEUTRON_L3_HOSTS上で、Virtual Routerを複数作成し、
それに紐づく複数Private Networkを作成した場合
- それぞれのPrivate Network毎に約830Mbps
- システム全体で、約2.5Gbpsとなる
=>Private Network毎の帯域を試算し、
どのNEUTRON_L3_HOSTに分散するか
要検討
Network1 Network3Network2
em2
Private
Network A
p2p4
em2
p2p4
em2
p2p4
Public Network
router1 router2 router3
850Mbps 800Mbps 850Mbps
2.5Gbps
Private
Network B
Private
Network C

Network1
(Neutron Server) Network3Network2
em2
Private
Network A
p2p4
em2 em2
Public Network
router1 router3
Private
Network B
Private
Network C
router2
p2p4
p2p4
15
３-３検証３ Network Node2(副系1)停止時の挙動確認
●検証手順
・Network Node2を停止
・Neutronの挙動確認
- Network Node2上の仮想ルータ(router2)を通るトラフィックはどうなるか
停止
Router移動？
セッション遷移？
Router移動？
セッション遷移？

Network1
(Neutron Server) Network3Network2
em2
Private
Network A
p2p4
em2 em2
Public Network
router1 router3
Private
Network B
Private
Network C
p2p4
p2p4
router2
18
３-４検証４ Network Node1(正系)停止時の挙動確認
●検証手順
・Network Node2を復元
・Network Node1を停止
・Neutronの挙動確認
- Network Node1上の仮想ルータ(router1)を通るトラフィックはどうなるか(多分遮断)
- Network Node2上の仮想ルータ(router2)を通るトラフィックはどうなるか
停止

●検証結果
・Network Node1上の仮想ルータ(router1)を通るトラフィックは遮断される
・Horizon(ポータル)へのログインができなくなる
・但し、Network Node2上の仮想ルータ(router2)を通るトラフィックは疎通継続
●(Horizonログイン不可の)理由
[root@nw2 /(keystone_admin)]# neutron agent-list
Connection to neutron failed: Maximum attempts reached
３-４検証４ Network Node1(正系)停止時の挙動確認
・NEUTRON_SERVER_HOST停止により、neutronコマンドが投入できなくなる
=>neutron関連の設定確認・設定変更が、一切NGとなる

３-５結果まとめ
・(今回の検証範囲では)wire speedの9割弱のデータ転送性能を確認
●Network Serverスケールアウト時のデータ転送性能
・単一Private Networkでは、Network Nodeの数を増やしても効果無し
・複数Private Network且つNetwork Node構成を考慮すれば、
効果を得られる場合も有る
・Virtual Routerの自動移動、セッション遷移はされない
・NEUTRON_SERVER_HOSTが停止すると、neutronコマンドの投入ができない
・NEUTRON_SERVER_HOSTが停止しても、他のNetwork Node上で
動作しているNEUTRON_L3_HOSTS上のVirtual Routerは、
(今回の検証範囲では) 停止しない為、トラフィックが流れる

Open vSwitch選択時の挙動
OpenStackネットワーク環境検証
END
•Linuxは，Linus Torvalds氏の日本およびその他の国における登録商標または商標です。
•OpenStack®の文字表記とOpenStackのロゴは，米国とその他の国におけるOpenStack Foundationの登録商標/サービ
スマークまたは商標/サービスマークのいずれかであり，OpenStack Foundationの許諾を得て使用しています。日立製作
所は，OpenStack FoundationやOpenStackコミュニティの関連企業ではなく、また支援や出資を受けていません。
• OSCA™（Open Standard Cloud Association）は、デル株式会社の登録商標です。
• Red Hat、Red Hat Enterprise Linuxは、米国およびその他の国におけるRed Hat, Inc. の登録商標です。
•その他、記載の商標やロゴは、各社の商標または登録商標です。
•本講演は、情報提供のみを目的としており、誤字脱字、技術上の誤りには一切責任を負いません。
•本講演の内容は一般的な原則を記しており、すべての環境での動作を保証するものではありません。
•本講演の内容は検証時のものであり、明示的、暗示的を問わず、いかなる内容も保証いたしません。

openstack_neutron-ovs_osc2014tf_20141019

More Related Content

What's hot

Similar to openstack_neutron-ovs_osc2014tf_20141019

openstack_neutron-ovs_osc2014tf_20141019