VXLANを使ったプライベートクラウド VMマイグレーションの実現

1. VXLANを使った
プライベートクラウド
VMマイグレーションの実現
鈴木 祥太

2. 鈴木 祥太（Shota Suzuki）
好き
仕事
プライベートクラウド基盤の設計
勉強中
NW
@sshota0809
始めたばかりでフォロワーいないのでぜひフォローしてください！

3. いかに
クローズしやすい
基盤を作るか
本日のお題

4. DCに一定の単位で打たれる
プライベートクラウド基盤
LB FW
First generation
VM VM VM VM VM VM VM VM
LB FW

5. DCに一定の単位で打たれる
プライベートクラウド基盤
First generation Second generation
NW等の
キャパシティの限界
VM VM VM VM VM VM VM VM VM VM VM VM VM VM VM VM
各環境における
VMが所属セグメントは
違うセグメントとなる
VLAN X
10.X.X.X/XX
VLAN Y
10.Y.Y.Y/YY
over 1000VM
LB FW
LB FW LB FW
LB FW

6. そして迫り来る
EOL
という名の寿命
サーバは
新しいサーバを横に並べて
VMをうつせば解決！
NWは？
GWの機器を気軽に止められない！
環境によってVMのセグメントが違うから
IPを変更しないとマイグレーションもできない！
FWも穴あけ直し！
システムも止められない！
つらい！実質マイグレーションできない！
old new
VM
LB FW
LB FW
GW

7. そして迫り来る
EOL
という名の寿命
サーバは
新しいサーバを横に並べて
VMをうつせば解決！
NWは？
GWの機器を気軽に止められない！
環境によってVMのセグメントが違うから
IPを変更しないとマイグレーションもできない！
FWも穴あけ直し！
システムも止められない！
つらい！実質マイグレーションできない！
old new
VM
LB FW
LB FW
GW
とめられない とまらない
永遠とクローズできない
環境になってしまう

8. 現在の課題
• GWのNW機器が止められない
• 通信断が発生する場合1000VM以上のユーザに対して調整する必要がある
• VMのIPを変更しないとマイグレーションできない
• 変更するとしても工数がかかる

9. 現在の課題
• GWのNW機器が止められない
• 通信断が発生する場合1000VM以上のユーザに対して調整する必要がある
• VMのIPを変更しないとマイグレーションできない
• 変更するとしても工数がかかる
仮想的にGWを何個も作れれば…
セグメントを延伸できれば…

10. VXLAN EVPN
+
anycast gateway

11. 各環境のSpineSWを接続
First generation Second generation
VM VM VM VM VM VM VM VM VM VM VM VM VM VM VM VM
over 1000VM
LB FWLB FW
LB FWLB FW

12. VXLAN EVPNでL2 over L3を実現
First generation Second generation
VM VM VM VM VM VM VM VM VM VM VM VM VM VM VM VM
over 1000VM
LB FWLB FW
LB FWLB FW
VXLAN EVPN
anycast
GW
anycast
GW
anycast
GW
anycast
GW
anycast
GW
anycast
GW
anycast
GW
anycast
GW
anycast
GW
anycast
GW
anycast gatewayにより
すべてのLeafSWが
同じIPを持つGWとなる
（ルーティングは近いGWが実施）

13. 論理構成は
どうかわったのか？

14. Before
FW
LB
FW
LB
VRFで
コアSWを分割
VRFで
コアSWを分割
VLAN X
10.0.X.0/24
VLAN XX
10.0.XX.0/24
VLAN Y
10.0.Y.0/24
VLAN YY
10.0.Y.0/24
各環境で
サーバセグメントのIPが異なる
10.0.X.0/24 next FW
10.0.XX.0/24 next FW
10.0.Y.0/24 next FW
10.0.YY.0/24 next FW
First generation Second generation
Spine/Leafは
VLANをL2延伸
Spine/Leafは
VLANをL2延伸

15. After
FW
10.0.X.1/32 next FW
10.0.XX.1/32 next FW
10.0.X.2/32 next FW
10.0.XX.2/32 next FW
First generation Second generation
FW FW FW
VLAN X
VXLAN XXX
10.0.X.0/24
VLAN XX
VXLAN XXXX
10.0.XX.0/24
LB LB
VRFで
コアSWを分割
VRFで
コアSWを分割
UnderLay NWはL3 fabric
OverLay NWはL3 VNIによりルーティング
VXLANでカプセル化するとFWのパケット通過が行きと
戻りで異経路となってしまう
それを防ぐためにDCコアSWに
eBGPで/32でルートを広報しルーティング制御

16. 環境をクローズしたい時
FW
First generation Second generation
FW FW FW
VLAN X
VXLAN XXX
10.0.X.0/24
VLAN XX
VXLAN XXXX
10.0.XX.0/24
LB LB
VMを隣の環境にマイグレーションして
旧環境をまるごとクローズ可能
VM VM

17. まとめ
• クローズのしやすさを考慮することはとても大切
• 「クローズ」も運用のうちの一つ（？）
• カプセル化されたパケットがどのようなUnderLay NWの
経路を通って通信されているか可視化したい
• 運用時の障害調査等で通信経路が追えないと辛そう