Azure Extended Network for 22nd SCUGJ study session in Japan

1. SCUGJ 第22回勉強会
2020/08/01
System Center User Group Japan
後藤 諭史（Satoshi GOTO）

2.  後藤 諭史（ Satoshi GOTO ）
 外資系になってしまった某 ISP 所属。
 仮想化製品が主な専門分野です。
が、基本的には雑用係
 Microsoft MVP - Cloud and Datacenter Management
（Jul.2012 - Jun.2021）
 Twitterはこちら
◦ Twitter：@wind06106
2

3. 本セッション資料ですが、個人で準備した環境において、個人的に実施した検証／結果を基に記載しています。
あくまで個人の意見／見解であり、所属する会社／組織及びマイクロソフト社とは『まったく／なにも／全
然』関係がございません。
所属する会社／組織／マイクロソフト社の正式な回答／見解ではない事に留意してください。
また、本資料を閲覧した事により問題が生じた場合、または問題が発生しかけた場合、または生じた一切の不
利益について、発表者は一切の責任を負う事はできませんのでご了承ください。
3

4. 本セッションは Windows Admin Center Ver.1910.2（GA版）を使用していますが、紹介する機能はPreview機能と
なっており、その検証結果を基に記載しています。
今後、仕様および機能は変更される可能性があります。
4

5. 5

6. 6
 オンプレのNetworkとAzureの仮想ネットワークで、同一のL2 Networkを
構成する機能。いわゆる『L2延伸』
 延伸されたネットワーク間では、L2通信が可能
◦ ただし、ブロードキャスト通信は不可（DHCPとかPXEとかは使用不可）
 オンプレの仮想マシンの同一IPでの移行とかに利用可能

7. トンネル用サブネット
172.16.0.0/16
7
AzureVirtualNetworkRouter
Internet
S2S IPSec VPN
AZGW01
（WS 2019）
WAC01
（WS 2019）
AZGW02
（WS 2019）
Test-VM01
（WS 2019）
Azure-VM01
（WS 2019）
L3 Switch
（Catalyst 3750G）
延伸サブネット
192.168.1.0/24
.4
.251.250
.11 .101.254
192.168.0.0/24
VXLAN Tunnel
延伸サブネット
192.168.1.0/24
トンネル用サブネット
192.168.2.0/24

8. 8
 推奨はいわずもがなですが「IPのリナンバー」と「L3ルーティング」です。
L2延伸は最後の手段
 延伸できるL2サブネットは1つだけ
◦ 使用可能なIPアドレスに制限があります
 純然たるL2通信はできません。ブロードキャスト通信は不可
◦ ARPテーブルも通常とは違う感じになります
 トンネル経由になるので、MTUサイズやフラグメント不可に注意

9. 9

10. 10

11. 11
スループット 約700Mbps（回線にもよる）
スケール 1サブネットあたり、最大250 IPアドレス
ホストアドレス1から3は、Azureで予約されているため使用不可
Azureとの接続 Site-to-site VPN もしくは Express Route
必要なネットワーク構成 オンプレミス側/Azure側ともに、延伸するサブネットと、トンネル
用サブネット（ゲートウェイ間接続に使用するサブネット）が必要
使用する通信ポート 4789/UDP（VXLAN）
必要な仮想マシン オンプレミス側/Azure側双方に1台ずつ。2サブネット接続構成
ハイパーバイザー なんでもOK、もしくは物理マシン
構成管理 Windows Admin Center と エージェント（ExtendedNwAgent.exe）

12. 12
【AZGW02のオンプレミス側インターフェースでキャプチャ実施】
インナーフレーム（仮想マシンのL2フレーム）

13. 13

14. 14
Test-VM01のARPテーブル Azure-VM01のARPテーブル
延伸先のIPアドレスのMACアドレスは、オンプレミス側はゲートウェイのMACアドレスと
なるが、Azure側はAzure Virtual Network Routerの仮想MACアドレスとなる。

15. 15
実測値として、MTUサイズは1340byte
（1312byte+8byte+20byte）
TCPの場合のペイロード（MSS）は
1300byte（ 1340byte-20byte-20byte）
フラグメント不可のパケットがあると、通常
のL2通信（MTU1500byte）では問題がなくて
も、IPSec VPN+VXLAN Tunnel下では問題が
生じることが予想されるため、注意が必要
ただし、使用しているキャリア回線（今回はB
フレッツ）、接続方式（今回はIPSec）により、
許容されるMTUサイズは変わるので、環境ご
とに確認が必要

16. 16

17. 17
 最初に準備するものは、以下の通り
◦ Azure上に仮想ネットワークを2つ作成。1つは拡張したいオンプレミスのサブネット
と同じサブネットのネットワーク（延伸サブネット）、もう一つはオンプレミスもし
くはAzureと接続するためのネットワーク（トンネル用サブネット）
◦ オンプレミスとAzureにそれぞれWindows Server 2019を構築し、作成した2つのネッ
トワークに接続。この仮想マシンがVXLANのゲートウェイとなる
◦ Azure側の仮想マシンはHyper-Vの役割が必要となるため、適切なサイズで作成する
（デモ環境はStandard D2s v3（2 vcpu 数、8 GiB メモリ）で作成）
◦ それぞれの仮想マシンで4789/UDPの通信を許可（Windows Firewallを設定）
◦ IPSecもしくはExpress Routeを使用し、ゲートウェイサーバー間で通信ができるよう
設定。通信するネットワークは「トンネル用サブネット」
◦ それぞれの仮想マシン上でHyper-Vの役割を有効化し、ネットワークインターフェイ
スのそれぞれに管理アダプタを備えた仮想スイッチを作成する

18. 18
 Azure仮想ネットワークとの間にFirewallがある場合、以下の項目を確認
◦ TCP シーケンス番号のランダム化が無効になっていること
◦ TCP ステートバイパスが有効になっていること
 オプションとして、以下の設定を実施
◦ ゲートウェイ用の仮想マシンにパケットキャプチャーソフトウェア（Wireshark等）を
インストール

19. 19
『設定』→『拡張』より
『Azure Extended Network』を選択し、
『インストール』を実行

20. 20

21. 21
オンプレミス側の仮想マシンのみ登録

22. 22

23. 23
 オンプレミス側とAzure側で、トンネル通信を実施するホストを指定

24. 24この機能拡張のバージョンでの問題の可能性が大です。以降のバージョンで解消される可能性があります。必ず確認してください

25. 25
 Azure側とオンプレミス側で、非同期でセットアップを処理していること
が原因？
 うまくいく時といかない時で、処理順序が異なる
【セットアップが成功する場合】 【セットアップが失敗する場合】
4789/UDPがオープンしてから
オンプレミスよりVXLAN通信が到達
VXLAN通信が正常に実施
4789/UDPがオープンしていないにも関わらず、
オンプレミスよりVXLAN通信が到達
VXLAN通信がエラーとなる
この機能拡張のバージョンでの問題の可能性が大です。以降のバージョンで解消される可能性があります。必ず確認してください

26. 26
 オンプレミス側の仮想マシンを最低スペック（1vCPU/4GB Mem）で作成
 セットアップ処理開始前からベンチマークソフト（Super Piとか）を実行し、
とにかくオンプレミス側の処理を遅らせて、Azure側の処理が先に完了する
ことを祈る
 そして必要なものは、セットアップが完了するまで折れない心
この機能拡張のバージョンでの問題の可能性が大です。以降のバージョンで解消される可能性があります。必ず確認してください

27. 27
Extended Network Agentを
コピーしている模様
PowerShell にて
オープンされている

28. 28
 オンプレミスからAzureへL2が延伸できます。ただし、1サブネットだけです
 延伸元ネットワークはオンプレミスの他、なんでも選択可能のようです。必要なのは
Windows ServerとWindows Admin Center
◦ ということは、あのクラウドからも延伸可能……？ 誰か試してみてください
 色々便利使いされるAzure VFP Switch Extension

29. 29
 Azure ハイブリッド サービスへの Windows Server の接続
https://docs.microsoft.com/ja-jp/windows-server/manage/windows-admin-center/azure/
 サブネットの拡張
https://docs.microsoft.com/ja-jp/azure/virtual-network/subnet-extension
 Ignite 2019:Seamless connectivity to Azure with Windows Server and hybrid networking
https://myignite.techcommunity.microsoft.com/sessions/82848?source=sessions

30. 30