OpenStackのQuantum(LinuxBridge Plugin)が実際どうやって仮想ネットワークを構成するのか説明する資料

オープンクラウド・キャンパス
OpenStack Quantum LinuxBridge Plugin

OpenStackのQuantum(LinuxBridge Plugin)が
実際どうやって仮想ネットワークを
構成するのか説明する資料

ver1.1 中井悦司
Twitter @enakai00


自己紹介
 中井悦司（なかいえつじ）
– Twitter @enakai00

 日々の仕事
– Senior Solution Architect and
Cloud Evangelist at Red Hat K.K. 好評発売中
企業システムでオープンソースの活用を希望される
お客様を全力でご支援させていただきます。

 昔とった杵柄
– 素粒子論の研究（超弦理論とか）
– 予備校講師（物理担当）
– インフラエンジニア（Unix/Linux専門）

Open Cloud Campus
2


前提環境

Open Cloud Campus
3


物理ネットワーク構成とQuantum Agentの配置
L2 AgentはPluginを選択可能
ここでは、LinuxBridge Pluginを使用
パブリック
ネットワーク
管理ネットワーク

インスタンスが
仮想ルータが起動するノード
構成されるノード
eth0 eth2 eth0 eth0
Network Node
Quantum Server Compute Node Compute Node
L2 Agent L2 Agent
L2 Agent
DHCP Agent
L3 Agent
Quantum Serverは eth1 eth1 eth1
別ノードに外出しも可能

プライベートネットワーク
Open Cloud Campus
4


この資料で説明する仮想ネットワークの論理構成

特定テナント専用の
ネットワークも用意可能

インスタンスごとに接続する
プライベートネットワークを選択
パブリックネットワークとの（複数選択可能）
通信はNATを使用
ファイアウォール機能付き
NATルータ
パブリック
ネットワーク異なるサブネットからの通信は
セキュリティグループでフィルタリング

net01 net02
プライベートネットワークプライベートネットワーク
（サブネット01）（サブネット02）

同一サブネット内の通信は
フィルタリングされない

Open Cloud Campus
5


（参考）テナントごとに独立ネットワークを提供する構成例

 テナントごとにIPアドレスの範囲を自由に設定可能で、テナント間でIPアドレス
が重複しても問題になりません。
 下図の「サブネット」は、テナントごとに自由に追加することができます。

パブリック
ネットワーク

テナント外との通信はNATで行う

テナントA テナントB
専用ルータ専用ルータ

サブネット1 サブネット2 サブネット1 サブネット2
192.168.1.0/24 192.168.2.0/24 192.168.1.0/24 192.168.2.0/24

Open Cloud Campus
6


まずは完成形を見てみましょう

Open Cloud Campus
7


Compute Nodeの完成形

Nova Computeが構成

vm01 vm02 vm03
IP IP IP IP
eth0 eth0 eth1 eth0

Network Node上の
dnsmasqからIPを割り当て tapXXX tapXXX tapXXX tapXXX

brqxxxx brqxxxx
net01 net02

プライベートネットワーク eth1.101 eth1.102
ごとにVLANデバイスを構成
eth1 L2 Agentが構成

プライベートネットワーク用 VLAN101
L2スイッチ
VLAN102

Open Cloud Campus
8


Network Nodeの完成形パブリックネットワークへ
L3 Agentが構成 eth0

tapVVV brqxxxx
iptablesで
NAT&フィルタリング IP
qg-VVV
dnsmasq dnsmasq
サブネットごとに
dnsmasqが起動
IP IP IP IP
ns-XXX qr-YYY ns-ZZZ qr-WWW
ここはvethで直結
（TAPデバイスではない）
tapXXX tapYYY tapZZZ tapWWW
DHCP Agentが構成
brqxxxx brqxxxx
net01 net02
eth1.101 eth1.102

eth1 L2 Agentが構成

プライベートネットワーク用スイッチへ Open Cloud Campus
9


iptablesによるフィルタリングとNATの設定内容

Open Cloud Campus
10


Compute Nodeにおけるパケットフィルタリング

filter table インスタンスに対する
パケットフィルタリングは
各Compute Nodeで実施
FORWARD

nova-filter-top
インスタンス個別に
nova-compute-local フィルタリングチェーンを用意

nova-compute-inst-xx 同じサブネットからは
無条件に通信可能
nova-compute-provider
Security Groupの
同じサブネットからのパケット ACCEPT 適用はココ

Security Groupによるフィルタ ACCEPT

nova-compute-sg-fallback DROP

nova-compute-FORWARD

※ これらはNova Computeが設定します。
ACCEPT
（Security GroupはNovaの機能）
Open Cloud Campus
11


Network NodeにおけるNAT処理 (1/2)
パブリックネットワーク接続時の
nat table POSTROUTING NAT処理はNetwork Nodeで実施

quantum-l3-agent-POSTROUTING

パブリックNWとの出入り以外 ACCEPT

quantum-postrouting-bottom パブリックNWに出入りする
タイミングでNATを適用
quantum-l3-agent-snat
送信元IPを仮想ルータの
quantum-l3-agent-float-snat パブリックIPに変換

Floating IPからの送信 SNAT

プライベートNWからの送信 SNAT

nova-api-POSTROUTING 送信元IPを対応する
Floating IPに変換
nova-api-postrouting-bottom

※ これらは主にL3 Agentが設定します。
ACCEPT
Open Cloud Campus
12


Network NodeにおけるNAT処理 (1/2)

nat table

PREROUTING

quantum-l3-agent-PREROUTING

Floating IP宛の受信 DNAT

nova-api-PREROUTING
宛先IPをFloating IPから
対応するプライベートIPに変換
ACCEPT

※ これらは主にL3 Agentが設定します。
Open Cloud Campus
13


仮想ネットワークの構成手順にしたがって
実際の構成の様子を追ってみましょう

Open Cloud Campus
14


仮想ルータの定義

 仮想ルータは定義しただけでは、実際の構成は何も行われません。
# quantum router-create router01

Open Cloud Campus
15


プラベートネットワークの定義

 プラベートネットワークとサブネットを定義すると、Network Node上で次の構成が行われ
ます。（Compute Nodeでは、まだ何も行われません。）
– プライベートネットワーク用ブリッジ brxxxxを作成
– プラベートネットワーク用の物理NIC上のVLANデバイスethX.XXXを作成して、ブリッジに接続
– vethで直結された仮想NICペア [tapXXXX --- ns-XXXX] を作成して、tapXXXXをブリッジに接続
– nsXXXXにIPを割り当てて、これをListenインターフェースとするdnsmasqを起動
# tenant=$(keystone tenant-list|awk '/redhat/ {print $2}')
# quantum net-create --tenant-id $tenant net01 --provider:network_type vlan
--provider:physical_network physnet2 --provider:segmentation_id 101
# quantum subnet-create --tenant-id $tenant --name subnet01 net01 192.168.101.0/24

# route -n
Kernel IP routing table
Destination Gateway Genmask Flags Metric Ref Use Iface
192.168.101.0 0.0.0.0 255.255.255.0 U 0 0 0 ns-ca045488-1e
・・・
# ip addr show ns-ca045488-1e
20: ns-ca045488-1e: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000

vethで直結
link/ether e6:3b:bd:07:11:42 brd ff:ff:ff:ff:ff:ff
inet 192.168.101.2/24 brd 192.168.101.255 scope global ns-ca045488-1e
・・・
# brctl show
bridge name bridge id STP enabled interfaces
brq6c6cc680-a8 8000.e89a8fbe1f79 no eth1.101
tapca045488-1e
# ps -ef | grep dnsmasq
nobody 14920 1 0 15:22 ? 00:00:00 /usr/sbin/dnsmasq --no-hosts --no-resolv --strict-order
--bind-interfaces --interface=ns-ca045488-1e --except-interface=lo --domain=openstacklocal --pid-
file=/var/lib/quantum/dhcp/6c6cc680-a8fc-4f96-a8ae-1e88eabffec3/pid ・・・
Open Cloud Campus
16


パブリックネットワークの定義とルータ接続

 パブリックネットワークは定義しただけでは、実際の構成は何も行われません。
# tenant=$(keystone tenant-list|awk '/service/ {print $2}')
# quantum net-create --tenant-id $tenant public01 --provider:network_type flat
--provider:physical_network physnet1 --router:external=True
# quantum subnet-create --tenant-id $tenant --name pub_subnet01 --gateway 10.64.201.254
public01 10.64.201.0/24 --enable_dhcp False

 仮想ルータの外部ゲートウェイにパブリックネットワークを指定すると、Network Node上
で次の構成が行われます。
– パブリックネットワーク用ブリッジ brxxxxを作成して、パブリックネットワークの物理NICを接続
– vethで直結された仮想NICペア [tapXXXX --- qg-XXXX] を作成して、tapXXXXをブリッジに接続
– qgXXXXにIPを割り当てて、これをパブリックネットワーク接続用にルーティングテーブルを構成
# quantum router-gateway-set router01 public01

# route -n
・・・
0.0.0.0 10.64.201.254 0.0.0.0 UG 0 0 0 qg-3faf6516-c1
# ip addr show qg-3faf6516-c1
32: qg-3faf6516-c1: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000

vethで直結
link/ether 4a:d4:a3:46:12:5c brd ff:ff:ff:ff:ff:ff
inet 10.64.201.1/24 brd 10.64.201.255 scope global qg-3faf6516-c1
・・・
[root@opst01 work(keystone_admin)]$ brctl show
brq01092489-9f 8000.e89a8fbe1f78 no eth0
tap3faf6516-c1
・・・
Open Cloud Campus
17


プライベートネットワークのルータ接続

 プライベートネットワークを仮想ルータに接続すると、Network Node上で次の構成が行わ
れます。（Compute Nodeでは、まだ何も行われません。）
– vethで直結された仮想NICペア [tapXXXX --- qr-XXXX] を作成して、tapXXXXをブリッジに接続
– qr-XXXXにIPを割り当てる（プライベートネットワークのデフォルトゲートウェイに利用可能(*1)）
– iptablesのnatテーブルにSNAT（Masquerade）接続用のエントリを作成
# quantum router-interface-add router01 subnet01

# route -n
192.168.101.0 0.0.0.0 255.255.255.0 U 0 0 0 ns-ca045488-1e
192.168.101.0 0.0.0.0 255.255.255.0 U 0 0 0 qr-0339046d-b6
・・・
# ip addr show qr-0339046d-b6
35: qr-0339046d-b6: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000
link/ether aa:06:4e:fb:5c:86 brd ff:ff:ff:ff:ff:ff

vethで直結
inet 192.168.101.1/24 brd 192.168.101.255 scope global qr-0339046d-b6
・・・
# brctl show
・・・
brq6c6cc680-a8 8000.e89a8fbe1f79 no eth1.101
tap0339046d-b6
tapca045488-1e
$ iptables -t nat -L quantum-l3-agent-snat -v
Chain quantum-l3-agent-snat (1 references)
pkts bytes target prot opt in out source destination
3 216 quantum-l3-agent-float-snat all -- any any anywhere anywhere
0 0 SNAT all -- any any 192.168.101.0/24 anywhere to:10.64.201.1

18 *1) dnsmasqを使用する場合は、実際には、dnsmasq用のポートns-XXXXがゲートウェイになります。 Open Cloud Campus


インスタンスの起動

 インスタンスを起動してプライベートネットワークに接続すると、該当インスタンスが起動
するCompute Node上で次の構成がおこなわれます。
– プライベートネットワーク用ブリッジ brxxxxを作成
– プラベートネットワーク用の物理NIC上のVLANデバイスethX.XXXを作成して、ブリッジに接続
– iptablesのfilterテーブルにdnsmasq接続/同一サブネット接続/Security Group用のエントリを作成
– Nova Computeが作成した仮想マシンのtapデバイスをブリッジに接続

# brctl show
brq6c6cc680-a8 8000.6aa83b0c369f no eth1.101
tap10007fbc-f2
# iptables -nL nova-compute-local -v
Chain nova-compute-local (1 references)
0 0 nova-compute-inst-74 all -- * * 0.0.0.0/0 192.168.101.3

# iptables -nL nova-compute-inst-74 -v
Chain nova-compute-inst-74 (1 references)
0 0 DROP all -- * * 0.0.0.0/0 0.0.0.0/0 state INVALID
0 0 ACCEPT all -- * * 0.0.0.0/0 0.0.0.0/0 state
RELATED,ESTABLISHED
0 0 nova-compute-provider all -- * * 0.0.0.0/0 0.0.0.0/0
0 0 ACCEPT udp -- * * 192.168.101.2 0.0.0.0/0 udp spt:67 dpt:68
0 0 ACCEPT all -- * * 192.168.101.0/24 0.0.0.0/0
0 0 ACCEPT tcp -- * * 0.0.0.0/0 0.0.0.0/0 tcp dpt:22
0 0 nova-compute-sg-fallback all -- * * 0.0.0.0/0 0.0.0.0/0

Open Cloud Campus
19


Floating IPの割り当て

 Floating Ipをインスタンスのポートに割り当てると、Network Node上で次の構成がおこな
われます。
– iptablesのnatテーブルにFloating IPに対応するDNAT/SNATのエントリを作成
# tenant=$(keystone tenant-list|awk '/redhat/ {print $2}')
# quantum floatingip-create --tenant-id $tenant public01
# quantum floatingip-associate a56c9247-6155-418f-b418-650ac021743f 10007fbc-f2e5-4688-9979-9acfd253b444

# iptables -t nat -nL quantum-l3-agent-float-snat -v
Chain quantum-l3-agent-float-snat (1 references)
0 0 SNAT all -- * * 192.168.101.3 0.0.0.0/0 to:10.64.201.4
# iptables -t nat -nL quantum-l3-agent-OUTPUT -v
Chain quantum-l3-agent-OUTPUT (1 references)
0 0 DNAT all -- * * 0.0.0.0/0 10.64.201.4 to:192.168.101.3

Open Cloud Campus
20


参考資料

Open Cloud Campus
21


参考書

仮想ネットワークと
KVM全般の勉強に
iptablesの勉強に

Open Cloud Campus
22


参考資料

 KVM勉強会！
– http://www.slideshare.net/enakai/ljstudy-kvm

 Eucalyputsの仮想ネットワーク構成
– http://cloud.watch.impress.co.jp/docs/column/euca_iaas/20110817_466963.html

 OpenStack Network (Quantum) Administration Guide
– http://docs.openstack.org/trunk/openstack-network/admin/content/index.html

 Quantum L2 Linux Bridge Plugin
– http://wiki.openstack.org/Quantum-Linux-Bridge-Plugin

 QuickStart with RHOS(Red Hat OpenStack) Folsom Preview
– http://d.hatena.ne.jp/enakai00/20121118/1353226066

Open Cloud Campus
23

オープンクラウド・キャンパス

Euaclyptusユーザ会もよろしくね！

中井悦司
Twitter @enakai00

OpenStackのQuantum(LinuxBridge Plugin)が実際どうやって仮想ネットワークを構成するのか説明する資料

More Related Content

What's hot

Viewers also liked

Similar to OpenStackのQuantum(LinuxBridge Plugin)が実際どうやって仮想ネットワークを構成するのか説明する資料

More from Etsuji Nakai

OpenStackのQuantum(LinuxBridge Plugin)が実際どうやって仮想ネットワークを構成するのか説明する資料