Windows RDMA Networking for Windows Server 2019 Hyper-V for Windows Server Community meetup #3 session in Japan

1. Windows Server Community Meetup#3
2019/12/07
System Center User Group Japan
後藤 諭史（Satoshi GOTO）

2.  後藤 諭史（ Satoshi GOTO ）
 外資系になってしまった某 ISP 所属。
 仮想化製品が主な専門分野です。
が、基本的には雑用係
 Microsoft MVP - Cloud and Datacenter Management
（Jul.2012 - Jun.2020）
 Twitterはこちら
◦ Twitter：@wind06106
2

3. 本セッション資料ですが、個人で準備した環境において、個人的に実施した検証／結果を基に記載しています。
あくまで個人の意見／見解であり、所属する会社／組織及びマイクロソフト社とは『まったく／なにも／全
然』関係がございません。
所属する会社／組織／マイクロソフト社の正式な回答／見解ではない事に留意してください。
また、本資料を閲覧した事により問題が生じた場合、または問題が発生しかけた場合、または生じた一切の不
利益について、発表者は一切の責任を負う事はできませんのでご了承ください。
3

4. 4

5. 5
 TechSummit 2017
Windows “RDMA” Network Deep Dive
◦ YouTubeは限定公開と書いてあるので、
URL割愛
◦ 検索ですぐ出てくる
 SlideShareは以下URL
https://www.slideshare.net/Microsoft_TechSum
mit_2017/japan-tech-summit-2017-cld-003

6. 6
 リモートノードのメモリを直接参照できる仕組み
◦ Remote Direct Memory Access
◦ カーネルのネットワークスタックをスキップするため、ネットワークコピーという概
念がない（ゼロコピー）
 ネットワークカードでハードウェア処理されるため、CPUに優しい
 メモリを直接参照する仕組みゆえに、広帯域が必要で遅延にも敏感なため、
それなりの設備投資が必要
◦ 最低10Gbpsから
◦ それなりのハードウェアが必要

7. 7
RDMA OFF RDMA ON

8. 8
 RDMA over Converged Ethernet (RoCE)
◦ RoCE v1：L2プロトコルとして実装。QoSにCoS（802.1Q VLAN タグ）を使用
◦ RoCE v2：L3プロトコルとして実装。トランスポート層にUDPを使用。
QoSはToS （Differentiated Serviced Code Point (DSCP) ）も併用可能
◦ UDPを使用するため、信頼性をQoSで担保する必要があり、経路上のネットワーク機
器の対応が必要
◦ QoSの実現手法として、Data Center Bridging Capability Exchange (DCBX) を利用
 Internet Wide Area RDMA Protocol (iWARP）
◦ RDMA over TCP
◦ トランスポート層にTCPを利用して信頼性を担保。したがって、経路上のQoSは必須
ではなく推奨（なくてもとりあえずは動く）

9. 9
 Mellanox ConnectX-3/4/5
◦ RoCE v1/v2
 Chelsio T520 etc
 Intel X722-DA2/4
◦ iWARP
 Marvell（旧QLogic）
FastLinQ 41000/45000シリーズ
◦ ユニバーサルRDMA （RoCE v1/v2とiWARPの両方をサポート）

10. 10
 Get-NetApapterRDMA
 Get-SmbClientNetworkInterface

11. 11
 Hyper-V over SMB
◦ 「SMB Direct」を利用
 ライブマイグレーションのトランスポーター
◦ 転送方式に「SMB」を選択することで「SMB Direct」を使用可能
 ゲストRDMA
◦ 要 SR-IOV／SET
 HCIにおけるノード間接続ネットワーク
https://docs.microsoft.com/ja-jp/windows-server/storage/storage-spaces/storage-spaces-direct-hardware-requirements

12. 12
 iSCSI Extensions for RDMA（iSER）
◦ iSCSIをRDMAで実装
◦ データ転送をRDMAで実現し、その他は通常のiSCSIと同じ
◦ VMwareなんかで利用可能
 NFS over RDMA
◦ NFSをRDMAで実装

13. 13

14. 14
 仮想NICでRDMAが設定可能に
 SR-IOVと組み合わせることで、ゲストVMでのRDMAも可能
図表引用元：詳解! Windows Server仮想ネットワーク（日経BP社）

15. 15
仮想NIC SETが接続されている物理NIC

16. 16
 SMB Multichannelが無効だと、RDMAは動作不可
 RDMAが動作可能かは『Get-SmbMultichannelConnection』でチェック
RDMA動作不可
RDMA動作可能

17. 17
 データセンターブリッジング
◦ DCBXを使用可能にする機能
◦ 同時にLLDPツールも導入
 LLDPツール
◦ Link Layer Discovery Protocol
◦ 定期的にネイバー（隣接する機器）の
情報を収集するプロトコル
◦ DCBX TLV ユニットの交換に LLDP が使用
されるため、DCBXを使用するうえではLLDP
は必須
◦ LLDPを使用して優先順位ベースのフロー制御
(PFC) や拡張伝送選択 (ETS) などのDCB機能
を、ネットワーク機器とサーバー間で共有

18. 18
Priority Flow Control設定

19. 19

20. 20
 Microsoftの推奨は、今のところiWARP
 ネットワーク機器のコストや設定の容易性からすると、iWARP
◦ インスタントでもそれなりに動く
◦ それなりの機器でも動く（DCBX非対応の普通の10Gbps L2 Switchでも動作可能）
◦ TCP……重いよね……（個人差があります）
 パフォーマンス命ならRoCE
◦ ただし、DCBX対応機器とUDPをパケロスさせないQoSと、設定に負けない強い心が必要（個人差が（ry）

21. 21

22. 22
 仮想化環境において、ちょっとした投資で大きな効果が得られる可能性が
 Azure Stack HCIをはじめとするHyper Converged Infrastructure環境では、RDMAの知識
は必須ともいえます
 とりあえず、ためしてガッテンしてください

23. 23
 収束ネットワークインターフェイスカード (NIC) 構成ガイダンス
https://docs.microsoft.com/ja-jp/windows-server/networking/technologies/conv-nic/cnic-top
 データセンターブリッジング(DCB)
https://docs.microsoft.com/ja-jp/windows-server/networking/technologies/dcb/dcb-top
 リモート ダイレクト メモリ アクセス(RDMA)スイッチ埋め込みチーミング(SET)
https://docs.microsoft.com/ja-jp/windows-server/virtualization/hyper-v-virtual-switch/rdma-and-switch-embedded-teaming
 [Japan Tech summit 2017] CLD-003 Windows “RDMA” Network Deep Dive
https://www.slideshare.net/Microsoft_TechSummit_2017/japan-tech-summit-2017-cld-003

24. 24