NSX-Tから見たvSphere with Kubernetesのネットワーキング

Confidential │ ©2020 VMware, Inc.
NSX-Tから見た
vSphere with Kubernetes
のネットワーキング
Tomoyuki Tanigaki
Technical Support Engineer @VMware K.K.
2020/08/25

Confidential │ ©2020 VMware, Inc. 2
 本資料は VMware の公式ドキュメントではございません。
 本資料の情報は、現時点でリリースされているバージョンがベースであり、
今後のバージョンで変更される可能性がございます。
 本資料の情報は、検証環境で確認した結果であり、
実際の環境とは表示・動作が異なる可能性がございます。
注意事項

Agenda
3
vSphere with Kubernetes とは？
Kubernetes のネットワーキング
NSX-T から見た vSphere with Kubernetes

vSphere クラスタを Kubernetes クラスタとして扱う
ESXi
Spherelet
ESXi
Spherelet
ESXi
Spherelet
・・・・・
Control Plane VM
vCenter Server
Supervisor Cluster
PodPodPod

vSphere 7.0 と NSX-T 3.0 を使用して構築
vCenter Server NSX Manager
vSphere Cluster
ESXi ・・・・
Control Plane VM
ESXi
Pod
PodPod
管理ネットワーク
Tier-0 GW
Tier-1 GW
オーバーレイネットワーク
外部ネットワーク
NSX Edge

1. Pod間のネットワーク
2. Service : エンドポイント
– ClusterIP
– LoadBalancer
3. Ingress : ロードバランサ（L7）
4. NetworkPolicy : ファイアウォール
Node Node
Pod Pod
NIC NIC
Pod
Pod
Pod
Service / Ingress
Pod
NetworkPolicy

NSX-Tでの実装
Kubernetes NSX-T
Pod間のネットワークセグメント
Service (ClusterIP) 分散ロードバランサ
Service (LoadBalancer) ロードバランサ（L4 TCP）
Ingress ロードバランサ（L7 HTTP）
NetworkPolicy 分散ファイアウォール
セグメント（Namespace単位）
Pod
DLB
DFW
Tier-0 GW
Tier-1 GW
LB
NSX Edge

NSX-T から見た
vSphere with Kubernetes

コンポーネント
Control Plane VM
K8s API
NSX Manager
NCP
vCenter Server
WCP
VPXD
ESXi
NSX Agents
Spherelet
Pod

CIDR範囲の設定
 Pods：PodのIP
 Services：DLBのVIP
 Ingress：LBのVIP
 Egress：SNATのIP
CIDRの設定
Default 1.1.1.1/23
Default 1.1.1.1/23
Default 1.1.1.1/23
Default 1.1.1.1/23
Input Value
Supervisor
Cluster
Pod Pod Pod Pod
Tanzu K8s
Cluster

vSphere with Kubernetes有効前
vSphere Cluster
ESXi ・・・・ ESXi
Tier-0 GW
NSX Edge

vSphere with Kubernetes有効後
vSphere Cluster
ESXi ・・・・
Control Plane VM
ESXi
Tier-0 GW
Tier-1 GW
オーバーレイネットワーク
NSX Edge

Tier-1 GW : domain-c##がTier-0 GW配下に作成される
セグメント : Namespaceごとにセグメントが作成される ※サブネットは Pod CIDR から払い出し

NAT : Tier-1 GWにセグメントごとにSNATが設定 ※Egress CIDRから払い出し

ロードバランサ : 通常のLBとDLBの2つが作成される

仮想サーバ : Service(LoadBalancer) は Ingress CIDR から、Service(ClusterIP) は Service CIDRから払い出し

NSX-Tでの実装
Kubernetes NSX-T
Pod
DLB
DFW
Tier-0 GW
Tier-1 GW
LB
NSX Edge

Pod間のネットワーク – Namespace作成
vCenter Server から Namespace “test-ns” を作成
“seg-XXX-test-ns” という名のセグメントが作成

Pod間のネットワーク – Namespace作成
vSphere Cluster
test-ns
Tier-0 GW
Tier-1 GW
NSX Edge

Pod間のネットワーク – Pod作成
apiVersion: apps/v1
kind: Deployment
metadata:
name: nginx-dep
spec:
replicas: 2
selector:
matchLabels:
app: nginx
template:
metadata:
labels:
app: nginx
spec:
containers:
- name: nginx
image: nginx:1.16
ports:
- containerPort: 80
VC : Pod VMが2台展開されている
$ kubectl get pods -n test-ns
NAME READY STATUS RESTARTS AGE
nginx-dep-594cc45b78-6vgfb 1/1 Running 0 11m
nginx-dep-594cc45b78-rp9sx 1/1 Running 0 11m
K8s : nginx-dep-XXXという名のPodが2台展開

NSX Mgr : Pod名が含まれているセグメントポートが作成

vSphere Cluster
test-ns
Tier-0 GW
Tier-1 GW
NSX Edge
PodPod

k8s-api Spherelet NSX Mgr ESXiNCP Pod VM
Pod作成
Pod作成イベント
LSP作成
IP/MAC割当
LSP/IP/MAC etc
LSP/IP/MAC etc
IP/MAC/GW

NSX-Tでの実装
Kubernetes NSX-T
Pod
DLB
DFW
Tier-0 GW
Tier-1 GW
LB
NSX Edge

Service (ClusterIP)
$ kubectl get svc -n test-ns
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE
nginx-clusterip ClusterIP 10.96.0.164 <none> 80/TCP 49s
apiVersion: v1
kind: Service
metadata:
name: nginx-clusterip
spec:
type: ClusterIP
ports:
- name: "http"
protocol: "TCP"
port: 80
selector:
app: nginx
K8s : nginx-clusteripという名のServiceが作成
NSX Mgr: nginx-clusteripという名を含む仮想サーバ（DLB）が作成

Service (ClusterIP)
vSphere Cluster
test-ns
Tier-0 GW
Tier-1 GW
NSX Edge
PodPod
DLBDLB

NSX-Tでの実装
Kubernetes NSX-T
Pod
DLB
DFW
Tier-0 GW
Tier-1 GW
LB
NSX Edge

Service (LoadBalancer)
apiVersion: v1
kind: Service
metadata:
name: nginx-lb
spec:
type: LoadBalancer
ports:
- port: 80
targetPort: 80
selector:
app: nginx
$ kubectl get svc -n test-ns
nginx-lb LoadBalancer 10.96.0.162 172.16.118.162 80:30012/TCP 8s
K8s : nginx-lbという名のServiceが作成
NSX Mgr: nginx-lbという名を含む仮想サーバ（LB・DLB）が作成

Service (LoadBalancer)
vSphere Cluster
test-ns
Tier-0 GW
Tier-1 GW
NSX Edge
PodPod
DLBDLB LB(L4)

NSX-Tでの実装
Kubernetes NSX-T
Pod
DLB
DFW
Tier-0 GW
Tier-1 GW
LB
NSX Edge

Ingress
apiVersion: v1
kind: Service
metadata:
name: nginx-svc
spec:
ports:
- port: 80
targetPort: 80
selector:
app: nginx
---
apiVersion: networking.k8s.io/v1beta1
kind: Ingress
metadata:
name: nginx-ingress
spec:
rules:
- http:
paths:
- path: /path
backend:
serviceName: nginx-svc
servicePort: 80
$ kubectl get svc,ingress -n test-ns
service/nginx-svc ClusterIP 10.96.0.35 <none> 80/TCP 5m31s
NAME HOSTS ADDRESS PORTS AGE
ingress.extensions/nginx-ingress * 172.16.118.162 80 5m31s
K8s : nginx-ingressという名のIngressが作成
NSX Mgr: L7 HTTPタイプの仮想サーバ（LB）が作成

Ingress
URI が /path のとき、プール nginx-svc に転送するルールが設定

Ingress
vSphere Cluster
test-ns
Tier-0 GW
Tier-1 GW
NSX Edge
PodPod
DLBDLB LB(L7) + Rule

NSX-Tでの実装
Kubernetes NSX-T
Pod
DLB
DFW
Tier-0 GW
Tier-1 GW
LB
NSX Edge

NetworkPolicy
apiVersion: networking.k8s.io/v1
kind: NetworkPolicy
metadata:
name: all-deny
spec:
podSelector: {}
policyTypes:
- Ingress
- Egress
$ kubectl get networkpolicy -n test-ns
NAME POD-SELECTOR AGE
all-deny <none> 24s
K8s : all-denyという名のNetworkPolicyが作成
NSX Mgr: test-nsの全Podを対象とするDropルールが作成

NetworkPolicy
vSphere Cluster
test-ns
Tier-0 GW
Tier-1 GW
NSX Edge
PodPod
DFWDFW

まとめ
Kubernetes NSX-T
Pod
DLB
DFW
Tier-0 GW
Tier-1 GW
LB
NSX Edge

Thank You

NSX-Tから見たvSphere with Kubernetesのネットワーキング

Recommended

Recommended

More Related Content

What's hot

What's hot (19)

Similar to NSX-Tから見たvSphere with Kubernetesのネットワーキング

Similar to NSX-Tから見たvSphere with Kubernetesのネットワーキング (20)

NSX-Tから見たvSphere with Kubernetesのネットワーキング

Editor's Notes