コンテナ共創センター勉強会#29 公開資料②

1. ROSA(Red Hat OpenShift on AWS) で
試す
OpenShift Virtualization
1
Managed OpenShift Black Belts
APAC
APAC Cloud Services
Managed OpenShift Team
Yuhki Hanada (花田祐樹)

2. 2
OpenShift ?
ROSA ?

3. EKS AKS GKE DIY
On-prem
Additional Cloud Services or
Software Components
Additional Cloud Services or
Software Components
Additional Cloud Services or
Software Components
Additional Cloud Services or
Software Components
どのパブリッククラウドでも、オンプレミスでも同じ Kubernetes を…
3
Microsoft
AWS
OpenShiftとは？
・RHEL ベース
・どのプラットフォームにもインストールできる (プラットフォームの違いを吸収)
・Managed Service も複数プラットフォーム上で展開
Google..
Oracle...

4. Managed OpenShift の提供形態
サービス名 契約先 概要
ARO
(Azure Red Hat OpenShift)
Microsoft 現時点で OpenShift Virt は非対応
Baremetal node を提供しているリージョンが限られている。
RHOIC
(Red Hat OpenShift on IBM
Cloud)
IBM 現時点で OpenShift Virt は非対応
Red Hat OpenShift Service
on AWS
(ROSA Classic)
AWS OpenShift Virt 対応
Red Hat OpenShift Service
on AWS
(ROSA HCP)
AWS 2024年1月にリリースされた新アーキテクチャー版
OpenShift Virt は、現時点では未対応。サポート予定。
OSD on Google Cloud Red Hat /
Google
現時点で OpenShift Virt は非対応
Managed OpenShift は、クラウドプロバイダー / Red Hatが提供している OpenShift です。
大まかに言うと、Control Plane の部分の管理は、クラウドプロバイダー / Red Hat が行うタイプの PaaS 製品です。
Managed
OpenShift
4
OpenShift Virt Ready
サポート前 / Quality Engieering 中
・OCP Virt 正式サポート前（でもやってみると動く）
・terraform サポート (クラスター作るのハードルが高め）
が解消されれば、ROSA HCP の方がおすすめ。
2024/04/24時点の情報

5. ROSA Classic + OpenShift Virt 環境
etcd
kube-scheduler
kube-apiserver
local local local
Classic ROSA最小構成 (Single AZ)
Infra nodes ベアメタル
Node
OpenShfit Virt 用の Node
(ベアメタルのみのサポート[2])
SRE 管理領域 [1]
（Admission Control などで改変が禁止されているが
User の AWS Account 内に存在）
[1] 細かい責任分解点はいろいろあるものののざっくり。
[2] 仮想化 on 仮想化になってしまうため、仮想 Node はサポートしてない
ingress

6. ROSA HCP + OpenShift Virt 環境
Classic ROSA最小構成 (Single AZ)
ベアメタル
Node
OpenShfit Virt 用の Node
(ベアメタルのみのサポート[2])
最小初期構成として、Compute Node
x 2 が必須
[1] 細かい責任分解点はいろいろあるものののざっくり。
[2] 仮想化 on 仮想化になってしまうため、仮想 Node はサポートしてない
ingress

7. 7
コストの話し

8. コスト比較イメージ
ROSA Classic
ROSA HCP
Controlplane の EC2費用の差が大きく、
イニシャルコストが低いため、Worker
Node数が少ないほど価格差が大きく出
る。
Node数が増える程、AWS イン
フラのコスト割合が増えるため
全体から見た価格差は小さくな
る。
Worker Node 数
お得感が大きいゾーン
低コストではじめやすく

9. 最小構成のCluster のコスト
ROSA Classic ( m5.xlarge x 2本 の Compute nodes)
11,000円/ Day ～程度 → 460円 / hour ～程度
ROSA HCP (m5.xlarge x 2本 の Compute nodes)
4,000円 / Day～ 程度 → 170円 / hour ～ 程度
OpenShift Virtulaization を試すにはVMを載せるために ベアメタルノードを追加する必要があるので、その
費用が追加されます。

10. ROSA がサポートする Baremetal インスタンス
$ rosa list instance-types | grep metal
g4dn.metal accelerated_computing 96 384.0 GiB
c5d.metal compute_optimized 96 192.0 GiB
c5.metal compute_optimized 96 192.0 GiB
c5n.metal compute_optimized 72 192.0 GiB
c6id.metal compute_optimized 128 256.0 GiB
c6i.metal compute_optimized 128 256.0 GiB
m5d.metal general_purpose 96 384.0 GiB
m5dn.metal general_purpose 96 384.0 GiB
m5.metal general_purpose 96 384.0 GiB
m5n.metal general_purpose 96 384.0 GiB
m5zn.metal general_purpose 48 192.0 GiB
m6a.metal general_purpose 192 768.0 GiB
m6id.metal general_purpose 128 512.0 GiB
m6i.metal general_purpose 128 512.0 GiB
m7a.metal-48xl general_purpose 192 768.0 GiB
m7i.metal-24xl general_purpose 96 384.0 GiB
m7i.metal-48xl general_purpose 192 768.0 GiB
r5b.metal memory_optimized 96 768.0 GiB
r5d.metal memory_optimized 96 768.0 GiB
r5dn.metal memory_optimized 96 768.0 GiB
r5.metal memory_optimized 96 768.0 GiB
r5n.metal memory_optimized 96 768.0 GiB
r6id.metal memory_optimized 128 1.0 TiB
r6i.metal memory_optimized 128 1.0 TiB
r7iz.metal-16xl memory_optimized 64 512.0 GiB
r7iz.metal-32xl memory_optimized 128 1.0 TiB
u-12tb1.metal memory_optimized 448 12.0 TiB
u-18tb1.metal memory_optimized 448 18.0 TiB
u-24tb1.metal memory_optimized 448 24.0 TiB
u-6tb1.metal memory_optimized 448 6.0 TiB
u-9tb1.metal memory_optimized 448 9.0 TiB
x2idn.metal memory_optimized 128 2.0 TiB
x2iedn.metal memory_optimized 128 4.0 TiB
x2iezn.metal memory_optimized 48 1.5 TiB
z1d.metal memory_optimized 48 384.0 GiB
i3en.metal storage_optimized 96 768.0 GiB
i3.metal storage_optimized 72 512.0 GiB
i4i.metal storage_optimized 128 1.0 TiB
$
使えるインスタンスを表示してくれる
便利なコマンドがある。
48 core が最小
メモリは192 GB から
現状、ROSA でサポートされるものとしては、m5zn.metal が (簡易テス
ト用に）よさそう。

11. AWS Baremetal インスタンスのお値段
11
On Demand (時間課金)
5.12 USドル x 24 時間 x 150円/ドル= 18,432円 / 日 (768円/ hour)
Savings Plan
3.8464 USドル x 24時間 x 150円/ドル = 13,847円 / 日
Reserved Instance 1 year (1年契約)
3.205 USドル x 24時間 x 150 円/ドル = 11,538円 / 日
Reserved Instance 3 year (3年契約)
2.232 USドル x 24時間 x 150円/ドル = 8,035円 / 日
OnDemand の Baremetal Node は、そのまま
起動させ続けるにはちょっと高額
テストで使うには気を付けたい価格

12. ライブマイグレーション
12
● VM を Worker ノードから別の Worker ノードに無停止で移動
● 2 通りの方法で実行
○ 手動マイグレーション
■ ユーザが Administrative に実行（ノードのメンテナンスなど）
○ 自動マイグレーション
■ OpenShift により自動で実行（リソース競合によるリバランス発生時、クラスタアップグレード時、など）
● RWX モードの永続ボリューム (PV) を使用
○ 一時的に 2 つのノードから同時にアクセスするため
Worker Node Worker Node
VM
RWXモード
PV

13. 作業の流れ
13
1.ROSA クラスターを作成
2.Baremetal Node を追加
3.OpenShift Virt Operator を追加
4.Catalog から仮想マシンを作成
(RHEL や Fedora は、権利の問題が無いの
ですぐに作成できる）
1.ROSA Classic クラスターを作成
2.Baremetal Node を追加
3.OpenShift Virt Operator を追加
4.RWX のストレージを購入
(Portworx / FSx for NetApp ONTAP )
5.Catalog から仮想マシンを作成
(RHEL や Fedra は権利があるのですぐに作成
できる）
6. Live Migration のテスト
Case 1:
とりあえず仮想マシンを作成してみたい。
Case 2:
Live Migration も試してみたい。
今回はこちら

14. 14
ROSA Classic を使って OpenShift Virt を
試す

15. ROSA Classic Cluster を作る
オプションがたくさんあるので、CLI / GUI で作成するより、terraform で作成するのが一番簡単
https://qiita.com/Yuhkih/items/38a8ea5c2e1ae470ebf4
一度 CLI周りをセットアップしてしまえば….
作成
管理ユーザーの作成
削除
terraform apply
terraform destroy
rosa create admin $CLUSTER_NAME
以上

16. 1. Baremetal インスタンスの 追加
$ kubectl get nodes | grep worker | grep -v infra
ip-10-0-41-238.ap-northeast-1.compute.internal Ready worker 116m v1.28.6+6216ea1
ip-10-0-59-74.ap-northeast-1.compute.internal Ready worker 116m v1.28.6+6216ea1
$
現在の Worker Node 数 (Cluster 作成直後)
$ oc get nodes | grep worker | grep -v infra
ip-10-0-41-238.ap-northeast-1.compute.internal Ready worker 139m v1.28.6+6216ea1
ip-10-0-59-74.ap-northeast-1.compute.internal Ready worker 139m v1.28.6+6216ea1
ip-10-0-62-243.ap-northeast-1.compute.internal Ready worker 85s v1.28.6+6216ea1
$
20分～後
Baremetal が生えてきた。
$ export CLUSTER_NAME=mycluster
$ rosa create machinepool -c $CLUSTER_NAME --name=metalpool --replicas=1 --instance-type=m5zn.metal
ベアメタルの Machinepool の作成 (GUIからもできます）
baremetal のインスタンスを1つ持った
machinepool を作成している。
worker node 以外 ( control plane node 等）を
フィルター

17. 2. OpenShift Virtualization 機能の有効化
① Operator Hub から「OpenShift Virtualization」
をインストールして
②「Create HyperConverged」をクリックすれ
ばインストールは完了
テストなら全てデフォルトで OK テストなら全てデフォルトで OK

18. 3. 仮想マシンの作成
Virtualization というメニューが出てくる
無かったらリロード
Open Source なOSはすぐに使える。
Windows はメディアが必要

19. 4. 仮想マシンの作成
デフォルトでクリックしてしまえば、仮想マシンが起動します。
通常のインスタンスであれば、1分以内に Running
Spot インスタンスの場合は、10分程化かかる事も。
この例では、AWS の EBS (RWO)がボリュームに使用されます。
Live Migration (RWXが必要)ができない等の制限があります。

20. 20
ROSA HCP を使って OpenShift Virt を試
す

21. 1.ROSA HCP Cluster を作る
・ROSA の新アーキテクチャー
・日本リージョンでは１月に GAされた。(現在 東京、大阪リージョンが GA)
・安い (ROSA Classic 比)
・まだ正式にはサポートされてない (QE前) でも普通に動く
導入方法
https://yuhkih.github.io/mcs-docs/docs/rosa-hcp/create-delete/rosa-hcp-enable/
で、基本のインストール後 Bearmetal ノードを追加
ROSA HCP ?
・terraform provider が Preview 段階なので通常通りのインストール方法で…

22. 2. Baremetal インスタンスの 追加 (Classic と全く同じ)
$ kubectl get nodes | grep worker | grep -v infra
ip-10-0-41-238.ap-northeast-1.compute.internal Ready worker 116m v1.28.6+6216ea1
ip-10-0-59-74.ap-northeast-1.compute.internal Ready worker 116m v1.28.6+6216ea1
$
現在の Worker Node 数 (Cluster 作成直後)
$ oc get nodes | grep worker | grep -v infra
ip-10-0-41-238.ap-northeast-1.compute.internal Ready worker 139m v1.28.6+6216ea1
ip-10-0-59-74.ap-northeast-1.compute.internal Ready worker 139m v1.28.6+6216ea1
ip-10-0-62-243.ap-northeast-1.compute.internal Ready worker 85s v1.28.6+6216ea1
$
20分後
Baremetal が生えてきた。
$ export CLUSTER_NAME=mycluster
$ rosa create machinepool -c $CLUSTER_NAME --name=metalpool --replicas=1 --instance-type=m5zn.metal
ベアメタルの Machinepool の作成 (GUIからもできます）
baremetal のインスタンスを1つ持った
machinepool を作成している。

23. 3. OpenShift Virtualization 機能の有効化
① Operator Hub から「OpenShift Virtualization」
をインストールして
②「Create HyperConverged」をクリックすれ
ばインストールは完了
テストなら全てデフォルトで OK テストなら全てデフォルトで OK

24. 4.仮想マシンの作成
Virtualization というメニューが出てくる
無かったらリロード
Open Source なOSはすぐに使える。
Windows はメディアが必要

25. 5. 仮想マシンの作成
デフォルトでクリックしてしまえば、仮想マシンが起動します。
通常のインスタンスであれば、1分以内に Running
Spot インスタンスの場合は、10分程化かかる事も。
この例では、AWS の EBS (RWO)がボリュームに使用されます。
Live Migration (RWXが必要)ができない等の制限があります。

26. 26
コストの節約

27. Hibernation (Tech Preview) 1 of 4
Cluster の一覧 https://console.redhat.com/openshift/
Technology Preview ですので、本番環境には使わない方が良いですが、Cluster
のインスタンスを停止させる事ができます。
NAT Gateway などの、存在しているだけで課金される Network のコンポーネントがある
ので、Hibernate しても料金はゼロにはなりません。
メニューから「Hiberante Cluster」が選
べるます。
ROSA Classic のみ

28. Hibernation (Tech Preview) 2 of 4
Hibernate すると、Limited Support になります。
まれに、起動しない事もありえますので、本番環境には使
用しない事をおすすめします。
インスタンスは「停止」
状態になります。
ROSA Classic のみ

29. Hibernation (Tech Preview) 3 of 4
9:20
正常に回復した場合は、Full Support に戻った事を通知するメールが来ます。
(現実として回復しない時もあります…そういう時はCluster 削除して作り直し)
メニューから
「Resume from Hibernate Cluster」が
選べます。
正常に回復できた場合は、Limited
Support が消えます。
ROSA Classic のみ

30. Hibernation (Tech Preview) 4 of 4
最小構成のクラスタで (Single AZで Worker Node x 2本) 45分くらいで、
Limited Support => Full Support に回復
• 時間はあくまでサンプルです。
• 通常、Full Support のメールがくる前に、クラスターとしては使用可能
になっています。
• まれに復活しない事も…(レアですがあります）
• 復活しない場合は削除して作り直し。しかないで、だめだったら気軽
に terraform で削除して作り直しましょう。
• Tech Preview なので、あくまでテスト環境用途に。
ROSA Classic のみ

31. ROSA HCP でのコスト節約方法は？
ここは口頭で

32. 32
可用性とサイジングの話し

33. 一般的な VM の可用性の見積もり
33
平常時
VM VM VM VM
Node Node
VM VM
Node
VM VM VM VM
Node Node
VM VM
Node
60% 60% 60%
障害時
100% 100%
オンプレミスのサイジング基本
・1台の障害時に他のマシンが、そのVMを収容できるだけの
見積もりをする。
・実際にはギリギリではなくもっと余裕を持たせる。
・インスタンスの見積もりは、年間の成長率を見込んだ余裕
を取る。
・ストレージの見積もりも、年間の成長を率を見込んだものを
サイジングする。
例) 年間20%のストレージの使用率増加を見込み 5年運用す
る。
100GByte x 1.2 x 1.2. x 1.2 x 1.2 = 207GByte
クラウドでは実際に増えそうであれば乗り換えれば良い

34. 34
ストレージの選択

35. OpenShift Virt で必要な VM のディスク
● VM が使用するディスクはブロックデバイス
● PVC の VolumeMode によって VM ディスクの実体は異なる。
○ Filesystem Mode
■ ファイルシステム上に作られる Thin-provisioned な raw イメー
ジファイルが VM ディスクとなる
○ Block Mode
■ PV そのものが VM ディスクとなる
● オーバーヘッドが少ない Block Mode が好ましい。
○ 多くのストレージパートナーのプロダクトは、RWX が可能な Block
mode に対応している。
35

36. ストレージの選択
36
・ノード間のVM ライブ・マイグレーションを行うには、RWX のストレージが必要
・ EBS のような RWO を使用した場合は、VM は Node に固定される。
VM
Node Node
RWX
Storage System
実験、社内デモなどで良く使われているストレージ
・FSx for NetApp ONTAP
・ODF (OpenShift Data Foundation) -> IBM の SDS
=>ROSAでは現状、サポートしてない（動いちゃう）
・Portworks (AWS Marketplace)
・Kunbernetes に対応した CSI を持ったストレージで、適切な速度
があれば、大丈夫というスタンス。
(まぁ。Windowsがサポートするストレージ装置は、みたいなのもな
いので、そういうものかも)
・ちなみに… AWS EFS では、遅すぎて仮想マシンが起動しな
かった（人によっては15分待てば起動するという人もいる※
EBS での起動は1分程度）

37. AWS のメンテナンス通知
https://aws.amazon.com/jp/maintenance-help/

38. ストレージの選択例1) Amazon FSx for NetApp ONTAP
https://aws.amazon.com/jp/fsx/
・AWS がマネージするファイルストレージ
サービス
・現在は、Technology の違いにより4種
類がラインナップされている。
・OpenShift Virt で使われている事が確
認されてるのは、FSx for NetApp
ONTAP

39. ストレージの選択例1) Amazon FSx for NetApp ONTAP
https://aws.amazon.com/jp/fsx/
・シングル AZ 配置と、マルチ AZ 配置がある。
・SSD容量や IOPS の項目で、マルチAZ 配置の場合の料金は、シングルAZ配置の料金の 2倍の単価設定になっている。
・コストを考えて、シングルAZという選択肢もありえる (そもそもオンプレ DC は、シングルAZとも言える）
シングルAZ マルチ AZ

40. ROSA + FSx for NetApp ONTAP
Scaling container workloads with shared storage for Red Hat OpenShift Service on AWS
マルチ AZ 構成

41. ストレージの選択例2) Portworx Enterprise
Usage Instruction
https://docs.portworx.com/portworx-enterprise/install-portworx/kuberne
ws/aws-marketplace
・Marketpalce 製品
・EC2 Node を用意してそこにインストールして分散ストレージを
構成する。

42. 有用なリソース
OpenShift Virtualization ( Kubevirt ) でVM管理もCloud Nativeに (1)
OpenShift Virtualization ( Kubevirt ) でVM管理もCloud Nativeに (2)

43. 43
Thank you
APAC Cloud Services
Managed OpenShift Team