VMware Fusion で WiFi でブリッジを作成しようとしたときに、ハマりました。その記録。

1. 2010 - 2016
VMware Fusion とWiFi ネットワークの注意点
しろやま たかゆき <takayuki.shiroyama@outlook.com>

2. 何をしようとしたか?
Windows 10 実機をクライアントに、Windows Server に接続する検証環境を
手元に作ろうとした
インターネットへの接続も(NATでいいので)必要
手元ですぐ動かせるのは、MacBook Air + VMware Fusion の環境
Windows 10 実機もオンボードネットワークは WiFi のみ、Ethernet なし
なもんで、こんなこと考えた
MacBook Air
Windows10 実機
USB Ethernet
ブリッジ接続
(USB Ethernet)
VyOS を使ったソフトウェアルータ
NAT を適用
AirMac
ブリッジ接続(WiFI)
Windows Server VM
同じWiFi に所属
インターネット
NAT によるデフォルトルートの
提供

3. 何をしようとしたか?
Fusion Pro のネットワークエディタで2つのブリッジ接続を作成
 それぞれに USB Ethernet, AirMac を割り当て
仮想マシンはDHCP無視して、固定IPで設定
 デフォルトルートは VyOS 仮想マシンを向ける
 DHCPで流されるデフォルトルートは無視
VyOS仮想マシンにNATルータをさせる
 デフォルトルート、DNS Proxy などを提供
MacBook Air
Windows10 実機
USB Ethernet
VyOS を使ったソフトウェアルータ
NAT を適用
AirMac
Windows Server VM
同じWiFi に所属
インターネット
NAT によるデフォルトルートの
提供
ブリッジ接続
(USB Ethernet) ブリッジ接続(WiFI)

4. どうなったか
...なんかおかしい
Windows10 実機
Windows Server VM
繋がる
Windows Server VM
繋がる NAT経由のインターネット
Windows10 実機
VyOSのルータそのものまで
Windows10 実機
NAT経由のインターネット繋がらない!!
繋がる

5. 図示すると、こう
Windows 実機からインターネットへの通信「だけ」、通信できない
 VyOS そのものとは通信できているにもかかわらず!!
MacBook Air
Windows10 実機
USB Ethernet
VyOS を使ったソフトウェアルータ
NAT を適用
AirMac
Windows Server VM
同じWiFi に所属
インターネット
NAT によるデフォルトルートの
提供
...なんで?
ブリッジ接続
(USB Ethernet) ブリッジ接続(WiFI)

6. パケットを拾ってみた
結果分かったこと
 Windows Server VM と VyOS の二つのVMが、Windows 実機と通信するときだけ、
"AirMac の" MAC アドレスを使ったパケットを送っている!!
Windows Server VM2
Windows Server VM1
仮想NIC: MACアドレス:
00:50:56:xx:yy:01
IPアドレス:
192.158.240.180
仮想NIC: MACアドレス:
00:50:56:xx:yy:02
IPアドレス:
192.158.240.181
仮想NIC: MACアドレス:
00:50:56:xx:yy:03
IPアドレス:
192.158.240.2
発信元 MAC 00:50:56:xx:yy:01
宛先 MAC 00:50:56:xx:yy:02 発信元 MAC 00:50:56:xx:yy:02
宛先 MAC 00:50:56:xx:yy:03
発信元 MAC 00:50:56:xx:yy:03
宛先 MAC 00:50:56:xx:yy:01
VyOS router
VyOS router
Windows Server VM1
WiFi: MACアドレス:
c0:33:5e:ss:tt:10
IPアドレス:
192.158.240.61
発信元 MAC 00:50:56:xx:yy:03
宛先 MAC c0:33:5e:ss:tt:10
発信元 MAC 70:56:81:pp:rr:11
宛先 MAC c0:33:5e:ss:tt:10
AirMac MACアドレス
70:56:81:pp:rr:11
発信元 MAC 70:56:81:pp:rr:11
宛先 MAC c0:33:5e:ss:tt:10
発信元 MAC 00:50:56:xx:yy:01
宛先 MAC c0:33:5e:ss:tt:10
MAC アドレスが
書き換わってる!!
仮想NIC: MACアドレス:
00:50:56:xx:yy:01
IPアドレス:
192.158.240.180
仮想NIC: MACアドレス:
00:50:56:xx:yy:03
IPアドレス:
192.158.240.2

7. 分かったこと
仮想マシンから送付されたパケットは、それぞれの仮想NICの
MACアドレスがパケットに書き込まれてる
Windows10実機に到着したときのパケットだと、送信元は
AirMac の MACアドレスに「書き換わっている」
Windows 10実機の ARPテーブルとしては、「AirMac のMAC
アドレスに対して複数のIPアドレスが割り当てられている」

8. 戻りのパケット、どうなるのん?
Windows 10 実機からは、「AirMac のMACアドレス」を宛先に送付
仮想マシンに届くときには、それぞれの
MACアドレスに宛先が書き換わっている
つまり、WiFi + ブリッジ接続では、
暗黙のMACアドレス変換が生じている
VyOS router
Windows Server VM1
WiFi: MACアドレス:
c0:33:5e:ss:tt:10
発信元 MAC c0:33:5e:ss:tt:10
宛先 MAC 00:50:56:xx:yy:03
宛先 IP 192.168.240.2
AirMac MACアドレス
70:56:81:pp:rr:11
発信元 MAC c0:33:5e:ss:tt:10
宛先 MAC 70:56:81:pp:rr:11
宛先 IP 192.168.240.2
発信元 MAC c0:33:5e:ss:tt:10
宛先 MAC 00:50:56:xx:yy:01
宛先 IP 192.168.240.2
発信元 MAC c0:33:5e:ss:tt:10
宛先 MAC 70:56:81:pp:rr:11
宛先 IP 192.168.240.180
仮想NIC: MACアドレス:
00:50:56:xx:yy:01
IPアドレス:
192.158.240.180
仮想NIC: MACアドレス:
00:50:56:xx:yy:03
IPアドレス:
192.158.240.2

9. 【推測】どうやって変換する?
仮想マシン -> Windows10実機の場合は、ステートを見て判断できる
Windows10 -> 仮想マシンの場合は?
 IPアドレスを元にテーブルを作っていると推測される
 多分、こんな感じ
宛先MACアドレス 宛先IPアドレス
書き換える
MACアドレス
70:56:81:pp:rr:11 192.168.240.180 ⇒ 00:50:56:xx:yy:01
70:56:81:pp:rr:11 192.168.240.181 ⇒ 00:50:56:xx:yy:02
70:56:81:pp:rr:11 192.168.240.2 ⇒ 00:50:56:xx:yy:03

10. では、VyOSを通じて外へ送られるパケットとは?
デフォルトルートとして 192.168.240.3 (VyOS)は既知
Windows10 実機では、 192.168.240.3 のMACアドレスは
70:56:81:pp:rr:11(AirMac のMACアドレス)
たとえば www.vmware.com へアクセスしようとする
DNS による名前解決の結果は「23.67.8.231」
これはローカルにないIPアドレスで、ルーティングテーブルに任せる
デフォルトルートだ!
宛先MACアドレス「 70:56:81:pp:rr:11 」
宛先IPアドレス「23.67.8.231」のパケットが送付される

11. 【推測】 つまり、こういうことか!
宛先MACアドレス「 70:56:81:pp:rr:11 」
宛先IPアドレス「23.67.8.231」のパケットが送付される
IPアドレスをしるべに本来のMACアドレスを探す
(仮想ブリッジ)「...知らんがな」
ステっ
AirMac MACアドレス
70:56:81:pp:rr:11
発信元 MAC c0:33:5e:ss:tt:10
宛先 MAC 70:56:81:pp:rr:11
宛先 IP 23.67.8.231
宛先MACアドレス 宛先IPアドレス
書き換える
MACアドレス
70:56:81:pp:rr:11 192.168.240.180 ⇒ 00:50:56:xx:yy:01
70:56:81:pp:rr:11 192.168.240.181 ⇒ 00:50:56:xx:yy:02
70:56:81:pp:rr:11 192.168.240.2 ⇒ 00:50:56:xx:yy:03
VyOS router
Windows Server VM1
仮想NIC: MACアドレス:
00:50:56:xx:yy:01
IPアドレス:
192.158.240.180
仮想NIC: MACアドレス:
00:50:56:xx:yy:03
IPアドレス:
192.158.240.2
ゴミ箱のアイコンは こちらよりhttp://www.irasutoya.com/2013/03/blog-post_9836.html
Drop the packet!

12. まとめ
Fusion + WiFi + ブリッジ接続の場合、暗黙のMACアドレス変換が生じる
 おそらくIPアドレスを標に変換を行っている
次の間では実質的に問題は起こらない
 ブリッジに直接接続している実機
 ブリッジに直接接続している仮想マシン
ただし、仮想ルーターをブリッジに接続した場合、実機は通信できない
 対策? そんなこと、やるな...。

13. 【おまけ】結局どうしたか?
時間もなかったので物理に逃げました...。
 WiFiルータを一個追加、デフォルトルート(192.168.240.2)をこちらに
 実機も、仮想マシンも、この方法ならばインターネットに接続可能
MacBook Air
Windows10 実機
USB Ethernet
AirMac
ブリッジ接続(WiFI)
Windows Server VM
同じWiFi に所属インターネット