自宅k8s/vSphere入門

自宅k8s/vSphere入門
ニフクラエンジニアミートアップ
2023/02/08 自宅サーバー環境構築超入門 2023年度版
富士通クラウドテクノロジーズ株式会社クラウドインフラ本部
ファウンデーションサービス部春名英明
© 2023 FUJITSU CLOUD TECHNOLOGIES LIMITED

自己紹介
ニフクラの中の人
VMware製品の検証/サービス設計開発
vExpert
https://vexpert.vmware.com/directory/5532
Twitter
@hideakihal

本日の想定視聴者について
自宅サーバー環境構築超入門 2023年度版に参加する方々
ITインフラを学習する環境として、パブリッククラウドではなく自
宅に置いて学習してみたい
k8sやvSphereを触ってみたいが、何から始めていいか分からない
自宅サーバーのネットワークってどうしたらいいの？

目次
自宅インフラの紹介
自宅インフラの設計のポイント
自宅vSphereについて
自宅k8sについて

自宅インフラの紹介
Intel NUC NUC7i3BNH x 2
Crucial ノートPC用メモリ PC4-25600(DDR4-3200) 32GB x 1
Crucial ノートPC用メモリ PC4-19200(DDR4-2400) 16GB x 1
Western Digital SSD WD Blue NVMe M.2 PCIe Gen3×4 1TB x 1
Western Digital SSD WD Blue SATA 2.5インチ 500GB x 1 (ブート領域)
StarTech.com USB 3.0 - ギガビットイーサネットLANアダプタ x 1
Synology DS416slim
Cisco Catalyst 2960L-8TS-LL
Ubiquiti Networks EdgeRouter X

Intel NUC
EdgeRouter
Catalyst 2960L
USB LANア
ダプタ
DS416slim
オープンラック

EdgeRouter
Internet
Home Lab
Home LAN
AP
Catalyst 2960L
NUC Synology
PC NUC
L2 Swtich
trunk port
access port

Internet
Home Lab
Home LAN
NUC Synology
PC NUC
vlan1
vlan10
vlan20
VM VM
EdgeRouter
(DHCP,DNS)
vlan30

自宅インフラの設計のポイント
全般的なポイント
ファンレス
 自宅に置くのでファンの音がうるさくないものを使いたい
低予算
 出来る限りコストを抑えたい
電気代が安い
 維持費を安くするために、ワット数が少ないものを選ぶ
性能
 検証の自由度が上がるため性能はある程度ほしい
可用性
 自宅用なので可用性は低くてもよい

 ネットワークのポイント
 作業を行うPCは、普段使いもするが、homelabにもアクセスしたいため、homelabネッ
トワーク内に置いている
 EdgeRouterでNATしてしているが、使用上問題はない
 EdgeRouterの性能はそこまで高くないので、 Catalyst 2960Lを置くことで同一VLANの
通信はスイッチで折り返しさせる
 Home LAN側には迷惑をかけない
 設置場所
 サーバーラックは必要ないので、オープンラックに配置
 ある程度の大きさのオープンラックがあると取り回しがよく拡張性に便利
 部屋の他のインテリアと色やデザインを合わしておくと浮かない

 Ubiquiti Networks EdgeRouter X
 VLANが利用できる
 vCenterやESXiの管理ネットワークと、仮想マシンネットワークを分離できる
 DHCP、DNSが利用できる
 vCenterの構築時にDNSが必要となるため、クラスタ外に持たせたかった
 DHCPは仮想マシンを利用するためにあると便利。VyOSで構築してもよいが、クラスタ外にあると管理が楽
 VyOSに似た操作ができ、機能が豊富
 homelabでよく使われている
 ファンレス
 Cisco Catalyst 2960L
 中小企業向け
 VLAN、ジャンボフレームが利用可能
 IOSのコマンドがたたける
 ファンレス

 Intel NUC NUC7i3BNH
 小型で設置場所に困らない
 TDPが15Wで電気代を安くできる
 メモリが公式では32GBが上限だが、64GBを認識する
 M.2と2.5インチのドライブが利用できる
 Intel NUCはVMwareのhomelabでよく使われており、動作の安定性が高い
 NICを増やしたい場合は、USB NICを利用する
 ファンはあるが静か
 NUC7i5BNHはファンの音がうるさいというレビューあり
 Synology DS416slim
 homelabでよく使われているSynology。1GbEが2ポートついている
 DS416slimはファンと音がうるさくあまり利用しなくなった
 以前はNFSのデータストアとして利用
 iSCSIやVAAI、マルチパスも使えるすごいやつ

自宅インフラの変遷
 さくらVPSを触る
 PCサーバー PRIMERGY を一台購入
 VMware Workstationをインストール
 ESXiをインストールする
 Intel NUCを一台購入
 ESXiをインストールする
 EdgeRouter、Catalyst 2960L、もう一台Intel NUC、Synologyを購入
 HAやvMotionができる構成に
 メモリ増強、NVMe 1TBを追加
 より検証しやすい構成に

自宅vSphereについて

なぜvSphereを使うのか？
興味があるハイパーバイザーであれば何でもよい
仕事柄使い慣れている
安定性が高い
仮想化しておくと、試したいことがあれば簡単に作って壊せる

ネットワーク構成
Internet
Home Lab
Home LAN
ESXi
PC ESXi
vlan1
vlan10
vlan20
VM VM
EdgeRouter
(DHCP,DNS)
vlan30
vCenter
• vCenterのインストール前に、
DNSにvCenterとESXiのFQDNを
登録しておく
• 仮想マシン用のVLANにはDHCP
でIPアドレスを払い出すようにし
ておくと便利

vSphereのライセンス
 vCenter、ESXiの評価モードであれば60日間は利用できる
 再インストールが手間な場合は、ライセンスが必要
 ライセンスの入手方法は2つ
VMUG Advnatage 評価ライセンス
 2023/2時点
 VMUG Member + Advantage Single User Subscription (1 year) - $200 USD
 VMUG Member + Advantage Single User Subscription (2 years) - $360 USD
 VMUG Member + Advantage Single User Subscription (3 years) - $510 USD
 クーポンがあり安くなることも
vExpertを取得する
 ライセンスの有効期限は1年間

Intel NUCの構成について
M.2 NVMe 1T
データ領域
2.5インチ SSD 500GB
ブート領域
Intel NUC
 以前はUSBメモリをブート領域として利用し
ていた
 ESXi 7.0からは、USBフラッシュメモリブー
トの非推奨化されたため、2.5インチのSSDを
ブート領域として使用
 ブート領域がデフォルトで138GB消費される
ため、検証環境のためサイズを節約するため、
ESXiのインストール時にサイズを小さく指定

ストレージの構成について
 NVMeをデータ領域として、シーケンシャルの書き込みが3000MB/s程度あり高性能。可用
性とトレードオフ。NFSは1GbEの帯域の上限にあたり、100MB/sしかでない。
 NFSを使用しない
 HAはできない
 vMotionは共有ストレージを利用しないshared nothing vMotionを利用可能
 DRSは使用しないので、vCLSは無効にしておく
M.2 NVMe 1T
データ領域
Intel NUC
M.2 NVMe 1T
データ領域
Intel NUC
Synology
VM VM
SSD
データ領域
1GbEで接続
IOは低速
IOは高速 VM
vMotionはOK

仮想マシンのネットワーク
 VM間のネットワーク速度の違いも考慮
 検証したい内容によって、クラスタは同一Intel NUCに閉じると、10Gbps相当の速度で疎
通可能
 Intel NUC間は1Gbps
Intel NUC
vDS
Intel NUC
vDS
vCenter VM VM VM VM
Catalyst 2960L
1Gbps
10Gbps

自宅k8sについて

自宅k8sについて
自宅k8sをする方法
仮想マシンで構築
ベアメタルで構築
 Raspberry Piで構築する人が多そう
 Intel NUCなどのmini PCなど
 簡単に作って壊せる仮想マシンを採用
Intel NUCにある程度のメモリが必要

Kubernetesクラスタのインストール方法
Kubernetesクラスタのインストール
インストール方法はいくつかある
 kubeadm
 Kubespray
 Cluster API
 などなど
Kubesprayを採用
AnsibleでKubernetesクラスタを構築できる
簡単に作って壊すことが可能
Ansibleに慣れていればどのような操作を行っているか調べることが簡単

Kubernetesクラスタの構成
実行
マシン
PC
Control
Plane 1
Worker
Node 1
Worker
Node 2
VS Code
VS Code
Remote
Development Kubenetesインストール
Kubespray
実行環境
KubesprayのKubernetesクラスタのインストールイメージ
YAMLファイルが大量に登場するため、VS Codeでの操作がおすすめ
テンプレート
VM
クローン

Kubernetesクラスタと仮想マシンの配置
同一Intel NUC上にKubernetesクラスタを構築するとクローンや処理が高速
Intel NUC
vCenter
Control
Plane 1
vDS
vDS
Intel NUC
NVMe datastore
NVMe datastore
Control
Plane 2
Control
Plane 3
Worker
Node 1
Worker
Node 2
実行
マシン
テンプレート
VM
Kubenetes
クラスタ

Intel NUCをラック、仮想マシンをサーバーに見立てる
ラック障害も試せる
Intel NUC
vCenter
VM A VM B VM C VM D
vDS
vDS
Catalyst 2960L
＝
ラックラック
ToR
Intel NUC
ToR
Server B(disk 100GB)
Server A(disk 100GB)
Server C(disk 100GB)
Server D(disk 100GB)
100G 100G 100G
100G
NVMe datastore
NVMe datastore

テンプレートの用意
 Ubuntu 22.04のVMテンプレートを用意
 vSphere7.0U3からcloud-initを使った仮想マシンのカスタマイズがサポート
 metadataを使えば、IPアドレスの設定からssh鍵の設定も可能
instance-id: kube-master01
local-hostname: kube-master01
hostname: kube-master01
network:
version: 2
ethernets:
ens192:
dhcp4: false
addresses:
- 10.0.50.30/24
gateway4: 10.0.50.1
nameservers:
addresses:
- 10.0.50.1
#cloud-config
users:
- default
- name: username
ssh_authorized_keys: “”
sudo: ALL=(ALL) NOPASSWD:ALL
groups: sudo, wheel
lock_passwd: true
shell: /bin/bash
metadata-kube-master01.yaml userdata-kube.yaml

テンプレートVMの展開
 Control Planeやworker nodeの仮想マシンのデプロイはgovcが便利
 テンプレートVMからクローン作成、cloud-initのmetadataの投入、電源オンを複
数VMまとめて実行。
 Controle planeとworkerノードは1vCPU、4GBメモリ、100GB Disk
$ for VMNAME in kube-master0{1..3}; do
echo ${VMNAME}
export VM="/Datacenter/vm/path/to/$VMNAME"
govc vm.clone -vm template-vm -on=false -folder="/Datacenter/vm/k8s" $VMNAME
export METADATA=$(gzip -c9 <metadata-${VMNAME}.yaml | { base64 -w0 2>/dev/null || base64; })
USERDATA=$(gzip -c9 <userdata-kube.yaml | { base64 -w0 2>/dev/null || base64; })
govc vm.change -vm "${VM}" -e guestinfo.metadata="${METADATA}" -e
guestinfo.metadata.encoding="gzip+base64" -e guestinfo.userdata="${USERDATA}" -e
guestinfo.userdata.encoding="gzip+base64"
govc vm.power -on "${VM}"
done

Kubernetesクラスタのインストール
hosts.ymlファイルを作成し、コマンドを実行
だいたい30分ぐらいでKubernetesクラスタ構築が完了
$ ansible-playbook -i inventory/mycluster/hosts.yml --become --become-user=root cluster.yml
$ export KUBECONFIG=$PWD/kubespray-do.conf
$ kubectl get nodes
NAME STATUS ROLES AGE VERSION
kube-master01 Ready control-plane 23h v1.25.5
kube-worker01 Ready <none> 23h v1.25.5
kube-worker02 Ready <none> 23h v1.25.5

ロードバランサーについて
 ロードバランサーを使いたい
MetalLBを利用する
MetalLBのインストールは、Kubesprayのオプションを有効にする
と合わせてインストールしてくれる
kube_proxy_strict_arp: true # MetalLB deployment
metallb_enabled: true
metallb_speaker_enabled:
"{{ metallb_enabled }}"
metallb_ip_range:
- "10.0.50.201-10.0.50.254"
# metallb_pool_name: "loadbalanced"
# metallb_auto_assign: true
metallb_avoid_buggy_ips: true
k8s-cluster.yml addons.yml

Ingressコントローラーについて
 Ingressコントローラーを使いたい
ingress-nginxを使う
MetalLBと組み合わせることで、NGINX Ingress ControllerにExternal-IPを割
り当てて、サービスをIngress経由で公開できる
$ kubectl apply -f https://raw.githubusercontent.com/kubernetes/ingress-nginx/controller-
v1.5.1/deploy/static/provider/cloud/deploy.yaml

Ingressの名前解決について
 Ingressで作成したDNSレコードをKubernetesのクラスタ外からで
も名前解決できるようにしたい
CoreDNSのk8s_gatewayプラグインを利用する
EdgeRouterのDNS forwarding機能があり、k8s_gatewayのEXTERNAL-IPに
対して、DNS forwardingできるように設定する
set service dns forwarding options server=/kube.home.lab/10.0.50.202
$ helm repo add k8s_gateway https://ori-edge.github.io/k8s_gateway/
$ helm install exdns --set domain=kube.home.lab k8s_gateway/k8s-gateway

Ingressの名前解決について
実行
マシン
PC
Control
Plane 1
Worker
Node 1
Worker
Node 2
Serivce
nginx-ingress-controller
Load Balancer IP
10.0.50.201
Serivce
nginx-server
nginx.kube.home.labへのhttpsアクセス
EdgeRouter
DNS フォワーダ
名前解決
Serivce
k8s_gateway
Load Balancer IP
10.0.50.202
Pod
k8s_gateway
.kube.home.labの問い合わせ
CoreDNSのk8s_gatewayプラグインを使って、DNSサーバーへの
連携のイメージ
Pod
nginx-server

PersistentVolumeについて
PersistentVolume(PV)を使いたい
Rook Ceph
 Kubernetes上に分散ストレージのCephをデプロイ
 仮想マシンでRook Cephを使った分散ストレージのインストールが可能
vSphere CSI
 vSphereと連携して、データストアからPVの作成が可能
Worker
Node 1
Worker
Node 2
Worker
Node 3
100G 100G 100G 100G 100G 100G
osd mgr
mon
osd mgr
mon
osd
mon
Rook Ceph vSphere CSI
Worker
Node
SPBM
VMFS FCD
10G
vSphere CSI
Plugin
Cloud Controller
Manager
vSphere
CPI
vCenter
NFS

最後に

まとめ
自宅にサーバーがあると、物理構成からハイパーバイザー、仮想マ
シン、 Kubernetesといった様々なレイヤーを試すことができる
どこから始めるとよいか
VirtualBoxなどPC上で仮想マシンを立てるところから
Intel NUCなどのPC1台にハイパーバイザーを入れる
複数サーバーを用意したくなるとネットワーク機器を追加
徐々にhomelabを育てていく

その他
今回紹介した内容について、詳細はブログに記載しています。
https://hidemium.hatenablog.com/
そろそろリプレイス時期なので、Intel NUCの次のサーバーを探し
ています
6コア(12スレッド)、64GBメモリぐらいほしい

Thank you

自宅k8s/vSphere入門

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Similar to 自宅k8s/vSphere入門

Similar to 自宅k8s/vSphere入門 (20)

More from 富士通クラウドテクノロジーズ株式会社

More from 富士通クラウドテクノロジーズ株式会社 (20)

自宅k8s/vSphere入門