Downloaded 25 times
![バックアップ前後処理の実行
25
バックアップ前後に任意のコマンドが実行可能
kubectl annotate pod -n nginx-example -l app=nginx ¥
pre.hook.backup.velero.io/command='["/sbin/fsfreeze", "--freeze", "/var/log/nginx"]' ¥
pre.hook.backup.velero.io/container=fsfreeze ¥
post.hook.backup.velero.io/command='["/sbin/fsfreeze", "--unfreeze", "/var/log/nginx"]' ¥
post.hook.backup.velero.io/container=fsfreeze
※注意点
• コンテナ内にコマンドがない場合、コマンドが実行できるコンテナをPodに入れる必要あり
• fsfreezeなどボリューム操作を伴う場合はvolumeを共有する必要あり
• コマンドによっては強力な権限(privileged: true)が必要になる場合あり
ファイルシステムの静止化などで活用可能](https://image.slidesharecdn.com/cndo2021velero-210312030511/75/Kubernetes-Velero-25-2048.jpg)
![リストア前後処理の実行
26
リストア前の処理についてはinitコンテナを立ち上げることで実施
$ kubectl annotate pod -n <POD_NAMESPACE> <POD_NAME>
init.hook.restore.velero.io/container-name=restore-hook
init.hook.restore.velero.io/container-image=alpine:latest
init.hook.restore.velero.io/command='["/bin/ash", "-c", "date"]'
※注意点
• リストア前の処理はv1.4.x以前だと未対応。v1.5以降を使う必要あり
リストア後の処理指定はバックアップ時と同様](https://image.slidesharecdn.com/cndo2021velero-210312030511/75/Kubernetes-Velero-26-2048.jpg)
![小ネタ２
veleroコマンドにない機能はKubernetesリソースから操作
（原則的には非推奨）
例）
28
Usage:
velero snapshot-location [command]
Available Commands:
create Create a volume snapshot location
get Get snapshot locations
Deleteが提供されていない
$ velero get snapshot-locations
NAME PROVIDER
default aws
vsl-vsphere velero.io/vsphere
$ kubectl delete volumesnapshotlocations.velero.io -n velero vsl-vsphere
volumesnapshotlocation.velero.io "vsl-vsphere" deleted
$ velero get snapshot-locations
NAME PROVIDER
default aws
CRDのオブジェクトを消す形で代用可能](https://image.slidesharecdn.com/cndo2021velero-210312030511/75/Kubernetes-Velero-28-2048.jpg)
![苦労1：あるある話
31
Resticを入れているのに、PVが取得されない
原因：
1. PodのAnnotationに"backup.velero.io/backup-volumes=<volume名>"
を書いている場合、Resticはそのボリュームをバックアップする
2. Annotationは誰も自動では書いてくれない ※1.5.1以降は自動化オプションあり
# mc ls -r minio
[2021-02-24 18:52:05 PST] 29B tkg/backups/fuga/fuga-csi-volumesnapshotcontents.json.gz
[2021-02-24 18:52:05 PST] 29B tkg/backups/fuga/fuga-csi-volumesnapshots.json.gz
：(pluginの下に何も作られない）](https://image.slidesharecdn.com/cndo2021velero-210312030511/75/Kubernetes-Velero-31-2048.jpg)
![苦労1：あるある話
32
回避策：
Annotationでバックアップ対象を指定する
or
--default-volumes-to-restic オプションをつけてインストールしておく
(v1.5.1以降)
kubectl annotate pod testpod backup.velero.io/backup-volumes=testvol
：
volumes:
- name: testvol
persistentVolumeClaim:
claimName: velerotest
containers:
- name: busybox
image: busybox-test:1.29
command: [ "sleep", "365d" ]
：](https://image.slidesharecdn.com/cndo2021velero-210312030511/75/Kubernetes-Velero-32-2048.jpg)
![苦労1：あるある話
33
回避策：
Annotationでバックアップ対象を指定する
or
--default-volumes-to-restic オプションをつけてインストールしておく
(v1.5.1以降)
kubectl annotate pod testpod backup.velero.io/backup-volumes=testvol
：
volumes:
- name: testvol
persistentVolumeClaim:
claimName: velerotest
containers:
- name: busybox
image: busybox-test:1.29
command: [ "sleep", "365d" ]
：
教訓
• ドキュメントは部分的ではなく一通り読む
※ドキュメントがあまり整理されていない](https://image.slidesharecdn.com/cndo2021velero-210312030511/75/Kubernetes-Velero-33-2048.jpg)
![苦労3：完了の確認
38
回避策：
プラグインのログからPVのバックアップの完了を確認してからリストアする
またはCRDの状態から確認する
$ kubectl logs -n velero ds/datamgr-for-vsphere-plugin
：（省略）
msg="Upload status updated from InProgress to Completed"
msg="Upload Completed"
$ kubectl get upload -n velero -o jsonpath={.items[*].status.phase}
Completed
※プラグインによって挙動が違うと考えられるため、利用するプラグインごとに確認すること](https://image.slidesharecdn.com/cndo2021velero-210312030511/75/Kubernetes-Velero-38-2048.jpg)
![苦労3：完了の確認
39
回避策：
プラグインのログからPVのバックアップの完了を確認してからリストアする
またはCRDの状態から確認する
$ kubectl logs -n velero ds/datamgr-for-vsphere-plugin
：（省略）
msg="Upload status updated from InProgress to Completed"
msg="Upload Completed"
$ kubectl get upload -n velero -o jsonpath={.items[*].status.phase}
Completed
※プラグインによって挙動が違うと考えられるため、利用するプラグインごとに確認すること
教訓
• プラグインの扱いが本体と分離している
• Velero本体の挙動だけでなく、プラグインの
挙動を理解した上で利用する](https://image.slidesharecdn.com/cndo2021velero-210312030511/75/Kubernetes-Velero-39-2048.jpg)
![苦労4：本体のバグ
E0105 21:55:15.865928 1 runtime.go:78] Observed a panic: "invalid memory address or nil pointer dereference" (runtime error: invalid memory address or nil pointer dereference) goroutine
551 [running]: k8s.io/apimachinery/pkg/util/runtime.logPanic(0x163e040, 0x26dfda0) /go/pkg/mod/k8s.io/apimachinery@v0.17.9/pkg/util/runtime/runtime.go:74 +0xa3
k8s.io/apimachinery/pkg/util/runtime.HandleCrash(0x0, 0x0, 0x0)
40
CAPIを含むクラスタをリストアすると、 capi-controller-managerがリストア後にpanicする
原因：
1. Veleroはリソースをアルファベット順で復元する
2. CRDによっては、あるリソースのオブジェクトが先に作られていることを前提としている
（今回の場合はClusterResourceSetBindingsはClusterResourceSetsが
先に起動するのを前提としている）
回避策：
Veleroの引数で起動順序を指定する（--restore-resource-priorities)
※このオプションで指定したリソースが優先的にリストア
指定しなかったものはアルファベット順
※v1.6.0で対策予定 参考： https://github.com/kubernetes-sigs/cluster-api/issues/4105
https://github.com/vmware-tanzu/velero/pull/3446](https://image.slidesharecdn.com/cndo2021velero-210312030511/75/Kubernetes-Velero-40-2048.jpg)
![苦労4：本体のバグ
E0105 21:55:15.865928 1 runtime.go:78] Observed a panic: "invalid memory address or nil pointer dereference" (runtime error: invalid memory address or nil
pointer dereference) goroutine 551 [running]: k8s.io/apimachinery/pkg/util/runtime.logPanic(0x163e040, 0x26dfda0)
/go/pkg/mod/k8s.io/apimachinery@v0.17.9/pkg/util/runtime/runtime.go:74 +0xa3 k8s.io/apimachinery/pkg/util/runtime.HandleCrash(0x0, 0x0, 0x0)
41
CAPIを含むクラスタをリストアすると、 capi-controller-managerがリストア後にpanicする
原因：
1. Veleroはリソースをアルファベット順で復元する
2. CRDによっては、あるリソースのオブジェクトが先に作られていることを前提としている
（今回の場合はClusterResourceSetBindingsはClusterResourceSetsが
先に起動するのを前提としている）
回避策：
Veleroの引数で起動順序を指定する（--restore-resource-priorities)
※このオプションで指定したリソースが優先的にリストア
指定しなかったものはアルファベット順
※v1.6.0で対策予定 参考： https://github.com/kubernetes-sigs/cluster-api/issues/4105
https://github.com/vmware-tanzu/velero/pull/3446
教訓
• リコンサイルループで復旧しないリソースもある
• CRD関連の挙動を全て把握するのは困難
→ ユースケースベースでの事前検証は大事
• 怪しいと思ったら中の人に早く聞く
（velero bugコマンド)](https://image.slidesharecdn.com/cndo2021velero-210312030511/75/Kubernetes-Velero-41-2048.jpg)
![苦労5：プラグインのバグ
# mc ls -r minio
[2021-02-23 22:33:58 PST] 0B tkg/plugins/vsphere-astrolabe-repo/ivd/data/ivd:xxxx
[2021-02-23 22:33:59 PST] 3.1KiB tkg/plugins/vsphere-astrolabe-repo/ivd/md/ivd:xxxx
[2021-02-23 22:33:59 PST] 984B tkg/plugins/vsphere-astrolabe-repo/ivd/peinfo/ivd:xxxx
42
PVのバックアップが正常に成功するも、サイズがゼロbyte ※vSphere plugin利用時
原因：
1. PVの要求サイズをテスト用に1MBと小さい値を指定していた
2 . vSphere Pluginが10MB未満のPVはデータを取りに行かない作りになっていた
対策：
PVのサイズを変更（念の為100MB程度に）](https://image.slidesharecdn.com/cndo2021velero-210312030511/75/Kubernetes-Velero-42-2048.jpg)
![苦労5： プラグインのバグ
# mc ls -r minio
[2021-02-23 22:33:58 PST] 0B tkg/plugins/vsphere-astrolabe-repo/ivd/data/ivd:xxxx
[2021-02-23 22:33:59 PST] 3.1KiB tkg/plugins/vsphere-astrolabe-repo/ivd/md/ivd:xxxx
[2021-02-23 22:33:59 PST] 984B tkg/plugins/vsphere-astrolabe-repo/ivd/peinfo/ivd:xxxx
43
PVのバックアップが正常に成功するも、サイズがゼロbyte ※vSphere plugin利用時
原因：
1. PVの要求サイズをテスト用に1MBと小さい値を指定していた
2 . vSphere Pluginが10MB未満のPVはデータを取りに行かない作りになっていた
対策：
PVのサイズを変更（念の為100MB程度に）
教訓
• 仕様として明記されていないものは
テストされていない可能性がある
• 実態にあったケースでテストする](https://image.slidesharecdn.com/cndo2021velero-210312030511/75/Kubernetes-Velero-43-2048.jpg)
Uploaded byimurata8203
KubernetesバックアップツールVeleroとちょっとした苦労話
Cloud Native Days Online 2021で発表した際に使った資料です。 尺の都合上カットしたスライドも含んでいるため、実際に話した際に使ったスライドよりも多いです。
![[Aurora事例祭り]Amazon Aurora を使いこなすためのベストプラクティス](https://cdn.slidesharecdn.com/ss_thumbnails/amazonauroratips-170307140000-thumbnail.jpg?width=640&height=640&fit=bounds)
KubernetesバックアップツールVeleroとちょっとした苦労話
- 1.
- 2. 注意事項 2 • 以下のバージョンで話をします。 Velero, Restic：1.4.3,1.5.3 Velero Plugin for vSphere (vSphere Plugin)： 1.0.2 ※ほとんど出てきません • ログなどは見やすさを優先して一部加工している箇所もあります • 開発が活発なため、実際に触る際は公式サイトもご参照お願いします https://velero.io/docs/
- 3. Who are you? 3 村田一平 (Murata Ippei) • デグー飼ってます。 • メダカ、オトシンクルス、 クーリーローチ、ヤマトヌマエビ、飼ってます。 • TL: 41（あとイーブイ1進化でTL42）
- 4. Agenda ● セッションの内容説明 ● Kubernetesのバックアップ ●Veleroとは ● Veleroの仕組み ● Veleroの機能 ● Veleroで苦労したこと ● 最後に 4
- 5. Agenda ● セッションの内容説明 ● Kubernetesのバックアップ ●Veleroとは ● Veleroの仕組み ● Veleroの機能 ● Veleroで苦労したこと ● 最後に 5
- 6. セッションの内容説明 6 ● 発表の目的：Veleroを知らない人に知ってもらう K8sのバックアップツールの紹介 バックアップ以外のでの活用方法 使う際の注意事項 Veleroのすごく細かい話 バックアップソフトの比較 Veleroの運用事例 こういう内容はあります この辺はないです
- 7. Agenda ● セッションの内容説明 ● Kubernetesのバックアップ ●Veleroとは ● Veleroの仕組み ● Veleroの機能 ● Veleroで苦労したこと ● 最後に 7
- 8.
- 9. Kuberneteのバックアップ Spotifyの事例：2018年にやらかした話 9 KubeCon + CloudNativeConEurope 2019 • 手動で誤って本番クラスタの削除を実行 （1回目） • Terraformのスクリプトミスで 本番クラスタ消失（2回目） • k8sへの移行途中で段階的移行を 取っていたので、サービス影響はなし • 障害発生以降はTerraformで構築後 Ark(現Velero)でバックアップを実施
- 10. Agenda ● セッションの内容説明 ● Kubernetesのバックアップ ●Veleroとは ● Veleroの仕組み ● Veleroの機能 ● Veleroで苦労したこと ● 最後に 10
- 11. Veleroとは 11 ● Heptio (K8sのFounderが立ち上げた会社) が開発したKubernetes用バックアップOSS ●Kubernetesのリソース・オブジェクト (PVやCRD含む)をバックアップ ● 現在はVMwareを中心に開発 '17/8 v0.3.0(Initial) '19/5 v1.0.0 '21/1 v1.5.3(Latest)
- 12. Veleroの特徴 12 • マルチクラウドサポート • PV、CRDを含めたバックアップ •Namespace単位でのバックアップ • プラグインによる拡張が可能
- 13. Veleroのユースケース 障害対策としてバックアップ・リストア クラスタのマイグレーション (オンプレミス⇔ パブリッククラウド） クラスタの複製 13
- 14.
- 15.
- 16. クラスタの複製 こんな時に • 開発者ごとにFluentbit, Prometheus,Harbor導入・設定済みの クラスタを用意したい • アップデート前に今のクラスタと同等構成で事前検証したい 16 Master Node Worker Node Worker Node Worker Node Master Node Worker Node Worker Node Worker Node Master Node Worker Node Worker Node Worker Node
- 17. Agenda ● セッションの内容説明 ● Kubernetesのバックアップ ●Veleroとは ● Veleroの仕組み ● Veleroの機能 ● Veleroで苦労したこと ● 最後に 17
- 18. Veleroの構成 18 Master Node Worker Node WorkerNode Worker Node CRD backups restores schedules backupstoragelocations volumesnapshotlocations podvolumerestores podvolumebacdkups resticrepositories downloadrequests serverstatusrequests deletebackuprequests Velero + Restic Plugin(PV取得用プラグイン)導入時
- 19. Veleroの構成 19 Master Node Worker Node WorkerNode Worker Node CRD backups restores schedules backupstoragelocations volumesnapshotlocations podvolumerestores podvolumebacdkups resticrepositories downloadrequests serverstatusrequests deletebackuprequests Velero + Restic Plugin(PV取得用プラグイン)導入時 ■構成はシンプル • 司令塔となるDeployment • 各Nodeに紐づくPVを吸い上げる DaemonSet (※Restic導入時)
- 20. Veleroの構成 20 Master Node Worker Node WorkerNode Worker Node CRD backups restores schedules backupstoragelocations volumesnapshotlocations podvolumerestores podvolumebacdkups resticrepositories downloadrequests serverstatusrequests deletebackuprequests Velero + Restic Plugin(PV取得用プラグイン)導入時 ■CRDは多様 • ほとんどの機能・操作をCRDで実現 → 操作の状況をkubectlでも確認可能 (veleroコマンドの方が使えないこと多々) → 消費リソースは抑え気味 • KubernetesのAPIで機能を実行 → 非同期なので動きが読みづらいことも
- 21. Veleroの仕組み 21 オペレータ # velero backupcreate Master Node Worker Node Worker Node Worker Node カスタムリソースの 作成要求 (Kubernetes API) MinIO S3 ABS GCS etc カスタムリソースの 作成要求 (Kubernetes API)
- 22. Agenda ● セッションの内容説明 ● Kubernetesのバックアップ ●Veleroとは ● Veleroの仕組み ● Veleroの機能 ● Veleroで苦労したこと ● 最後に 22
- 23. Backup/Restore 23 対象を絞ってのバックアップ・リストア バックアップの例： • Namespace • Resource •Label • クラスタースコープ ※ velero restore create <backup-name> --include-namespaces <namespace1>,<namespace2> velero restore create <backup-name> --include-resources deployments,configmaps velero backup create <backup-name> --selector <key>=<value> velero restore create <backup-name> --include-cluster-resources=false ※Namespaceと紐付かないもの。 PVやStorageClassなど。 kubectl api-resources でNAMSPACEDがfalseになっているリソース。
- 24. Backup/Restore 24 バックアップの内容はdescribe --detailsで確認可能 $ velerodescribe backup <backupname> --details ：（省略） Resource List: addons.cluster.x-k8s.io/v1alpha3/ClusterResourceSet: - default/dummyworkload-cni-antrea - default/dummyworkload-csi - default/dummyworkload-default-storage-class - default/dummyworkload-tkg-metadata addons.cluster.x-k8s.io/v1alpha3/ClusterResourceSetBinding: - default/dummyworkload apiextensions.k8s.io/v1/CustomResourceDefinition: - apps.kappctrl.k14s.io - certificaterequests.cert-manager.io ：(省略)
- 25. バックアップ前後処理の実行 25 バックアップ前後に任意のコマンドが実行可能 kubectl annotate pod-n nginx-example -l app=nginx ¥ pre.hook.backup.velero.io/command='["/sbin/fsfreeze", "--freeze", "/var/log/nginx"]' ¥ pre.hook.backup.velero.io/container=fsfreeze ¥ post.hook.backup.velero.io/command='["/sbin/fsfreeze", "--unfreeze", "/var/log/nginx"]' ¥ post.hook.backup.velero.io/container=fsfreeze ※注意点 • コンテナ内にコマンドがない場合、コマンドが実行できるコンテナをPodに入れる必要あり • fsfreezeなどボリューム操作を伴う場合はvolumeを共有する必要あり • コマンドによっては強力な権限(privileged: true)が必要になる場合あり ファイルシステムの静止化などで活用可能
- 26. リストア前後処理の実行 26 リストア前の処理についてはinitコンテナを立ち上げることで実施 $ kubectl annotatepod -n <POD_NAMESPACE> <POD_NAME> init.hook.restore.velero.io/container-name=restore-hook init.hook.restore.velero.io/container-image=alpine:latest init.hook.restore.velero.io/command='["/bin/ash", "-c", "date"]' ※注意点 • リストア前の処理はv1.4.x以前だと未対応。v1.5以降を使う必要あり リストア後の処理指定はバックアップ時と同様
- 27. 小ネタ１ 進捗はveleroコマンドではなくPodから確認する 27 • バックアップの細かい進捗状況はveleroコマンドから確認不可 • PluginによってはVeleroの完了と非同期でバックアップを実行する※後述、要注意 $ kubectl logs -n velero deploy/velero -f ：（省略） time="2021-02-26T02:52:54Z" level=info msg="Processing item" backup=velero/cndo1151 logSource="pkg/backu time="2021-02-26T02:52:54Z" level=info msg="Backing up item" backup=velero/cndo1151 logSource="pkg/backu time="2021-02-26T02:52:54Z" level=info msg="Backed up 779 items out of an estimated total of 785 (estimate $ velero restore logs testbk Logs for restore "testbk" are not available until it's finished processing.
- 28. 小ネタ２ veleroコマンドにない機能はKubernetesリソースから操作 （原則的には非推奨） 例） 28 Usage: velero snapshot-location [command] AvailableCommands: create Create a volume snapshot location get Get snapshot locations Deleteが提供されていない $ velero get snapshot-locations NAME PROVIDER default aws vsl-vsphere velero.io/vsphere $ kubectl delete volumesnapshotlocations.velero.io -n velero vsl-vsphere volumesnapshotlocation.velero.io "vsl-vsphere" deleted $ velero get snapshot-locations NAME PROVIDER default aws CRDのオブジェクトを消す形で代用可能
- 29. 小ネタ３ K8sのバージョンが異なるリストアについては保証されていない Veleroのエンジニアコメント： 29 • k8sの2バージョンサポートのポリシーより、 アップデート直後のAPI互換性は期待している • ただし、非互換になる問題も出てくると考えている •特にk8sクラスタの長期的な保存は今後の課題である • K8sのVUP前後と定期的なバックアップを推奨する PV用プラグインがサポートするVeleroのバージョンも注意 例）https://github.com/vmware-tanzu/velero-plugin-for-aws#compatibility
- 30. Agenda ● セッションの内容説明 ● Kubernetesのバックアップ ●Veleroとは ● Veleroの仕組み ● Veleroの機能 ● Veleroで苦労したこと ● 最後に 30
- 31. 苦労1：あるある話 31 Resticを入れているのに、PVが取得されない 原因： 1. PodのAnnotationに"backup.velero.io/backup-volumes=<volume名>" を書いている場合、Resticはそのボリュームをバックアップする 2. Annotationは誰も自動では書いてくれない※1.5.1以降は自動化オプションあり # mc ls -r minio [2021-02-24 18:52:05 PST] 29B tkg/backups/fuga/fuga-csi-volumesnapshotcontents.json.gz [2021-02-24 18:52:05 PST] 29B tkg/backups/fuga/fuga-csi-volumesnapshots.json.gz ：(pluginの下に何も作られない）
- 32. 苦労1：あるある話 32 回避策： Annotationでバックアップ対象を指定する or --default-volumes-to-restic オプションをつけてインストールしておく (v1.5.1以降) kubectl annotatepod testpod backup.velero.io/backup-volumes=testvol ： volumes: - name: testvol persistentVolumeClaim: claimName: velerotest containers: - name: busybox image: busybox-test:1.29 command: [ "sleep", "365d" ] ：
- 33. 苦労1：あるある話 33 回避策： Annotationでバックアップ対象を指定する or --default-volumes-to-restic オプションをつけてインストールしておく (v1.5.1以降) kubectl annotatepod testpod backup.velero.io/backup-volumes=testvol ： volumes: - name: testvol persistentVolumeClaim: claimName: velerotest containers: - name: busybox image: busybox-test:1.29 command: [ "sleep", "365d" ] ： 教訓 • ドキュメントは部分的ではなく一通り読む ※ドキュメントがあまり整理されていない
- 34. 苦労2：オフライン固有 34 オフライン環境で、PV含むリストア時にInProgressで固まる。 kubectl get podすると、リストア対象のPodがInitコンテナを持っていないのに何故かInit処理で死んでいる。 原因： 1.resticプラグイン利用時、PVリストアの際にInitコンテナを作成する 2. Initコンテナのイメージをオフライン環境に持ち込んでいない 3. Initコンテナのイメージの参照先が変更されていない $ kubectl describe pod -n velerotest testpod Warning Failed 5m7s (x4 over 6m37s) Error: ErrImagePull Warning Failed 4m29s (x7 over 6m37s) Error: ImagePullBackOff Normal BackOff 94s (x19 over 6m37s) Back-off pulling image "velero/velero-restic-restore-helper:v1.4.3"
- 35. 苦労2：オフライン固有 35 回避策： • velero-restic-restore-helperを持ち込む • Configmapを作成してimageのパスを指定する velero.io/docsの記載より 分かりづらい点： •「Air-gapped deployments」のところに Configmapの話がない • 「Restic Integration」の箇所には記載があるが、 目的がカスタマイズするためとなっており、 問題と関連付けにくい • デフォルトのConfigmapもなく、記載箇所を 見つけられなかった場合にimageの指定箇所の 特定が非常に困難
- 36. 苦労2：オフライン固有 36 回避策： • velero-restic-restore-helperを持ち込む • Configmapを作成してimageのパスを指定する velero.io/docsの記載より 分かりづらい点： •「Air-gapped deployments」のところに Configmapの話がない • 「Restic Integration」の箇所には記載があるが、 目的がカスタマイズするためとなっており、 問題と関連付けにくい • デフォルトのConfigmapもなく、記載箇所を 見つけられなかった場合にimageの指定箇所の 特定が非常に困難 教訓 • ドキュメントは部分的ではなく一通り読む ※ドキュメントがあまり整理されていない
- 37. 苦労3：完了の確認 37 バックアップ実行後、状態がCompletedになったにも関わらず、 プラグイン側は完了せず動き続けているように見える。 この状態でリストアを実行するとPVのリストアに失敗する $ kubectl logs-n velero ds/datamgr-for-vsphere-plugin -f ：（省略） msg="Upload ongoing, Part: 84 Bytes Uploaded: 840 MB" msg="Read returning 10485760, len(p) = 10485760, offset=891289600n" msg="Upload ongoing, Part: 85 Bytes Uploaded: 850 MB" msg="Read returning 10485760, len(p) = 10485760, offset=901775360n" 原因： vSphere Plugin利用時、PVのバックアップはVeleroのバックアップと非同期で実施される
- 38. 苦労3：完了の確認 38 回避策： プラグインのログからPVのバックアップの完了を確認してからリストアする またはCRDの状態から確認する $ kubectl logs-n velero ds/datamgr-for-vsphere-plugin ：（省略） msg="Upload status updated from InProgress to Completed" msg="Upload Completed" $ kubectl get upload -n velero -o jsonpath={.items[*].status.phase} Completed ※プラグインによって挙動が違うと考えられるため、利用するプラグインごとに確認すること
- 39. 苦労3：完了の確認 39 回避策： プラグインのログからPVのバックアップの完了を確認してからリストアする またはCRDの状態から確認する $ kubectl logs-n velero ds/datamgr-for-vsphere-plugin ：（省略） msg="Upload status updated from InProgress to Completed" msg="Upload Completed" $ kubectl get upload -n velero -o jsonpath={.items[*].status.phase} Completed ※プラグインによって挙動が違うと考えられるため、利用するプラグインごとに確認すること 教訓 • プラグインの扱いが本体と分離している • Velero本体の挙動だけでなく、プラグインの 挙動を理解した上で利用する
- 40. 苦労4：本体のバグ E0105 21:55:15.865928 1runtime.go:78] Observed a panic: "invalid memory address or nil pointer dereference" (runtime error: invalid memory address or nil pointer dereference) goroutine 551 [running]: k8s.io/apimachinery/pkg/util/runtime.logPanic(0x163e040, 0x26dfda0) /go/pkg/mod/k8s.io/apimachinery@v0.17.9/pkg/util/runtime/runtime.go:74 +0xa3 k8s.io/apimachinery/pkg/util/runtime.HandleCrash(0x0, 0x0, 0x0) 40 CAPIを含むクラスタをリストアすると、 capi-controller-managerがリストア後にpanicする 原因： 1. Veleroはリソースをアルファベット順で復元する 2. CRDによっては、あるリソースのオブジェクトが先に作られていることを前提としている （今回の場合はClusterResourceSetBindingsはClusterResourceSetsが 先に起動するのを前提としている） 回避策： Veleroの引数で起動順序を指定する（--restore-resource-priorities) ※このオプションで指定したリソースが優先的にリストア 指定しなかったものはアルファベット順 ※v1.6.0で対策予定 参考： https://github.com/kubernetes-sigs/cluster-api/issues/4105 https://github.com/vmware-tanzu/velero/pull/3446
- 41. 苦労4：本体のバグ E0105 21:55:15.865928 1runtime.go:78] Observed a panic: "invalid memory address or nil pointer dereference" (runtime error: invalid memory address or nil pointer dereference) goroutine 551 [running]: k8s.io/apimachinery/pkg/util/runtime.logPanic(0x163e040, 0x26dfda0) /go/pkg/mod/k8s.io/apimachinery@v0.17.9/pkg/util/runtime/runtime.go:74 +0xa3 k8s.io/apimachinery/pkg/util/runtime.HandleCrash(0x0, 0x0, 0x0) 41 CAPIを含むクラスタをリストアすると、 capi-controller-managerがリストア後にpanicする 原因： 1. Veleroはリソースをアルファベット順で復元する 2. CRDによっては、あるリソースのオブジェクトが先に作られていることを前提としている （今回の場合はClusterResourceSetBindingsはClusterResourceSetsが 先に起動するのを前提としている） 回避策： Veleroの引数で起動順序を指定する（--restore-resource-priorities) ※このオプションで指定したリソースが優先的にリストア 指定しなかったものはアルファベット順 ※v1.6.0で対策予定 参考： https://github.com/kubernetes-sigs/cluster-api/issues/4105 https://github.com/vmware-tanzu/velero/pull/3446 教訓 • リコンサイルループで復旧しないリソースもある • CRD関連の挙動を全て把握するのは困難 → ユースケースベースでの事前検証は大事 • 怪しいと思ったら中の人に早く聞く （velero bugコマンド)
- 42. 苦労5：プラグインのバグ # mc ls-r minio [2021-02-23 22:33:58 PST] 0B tkg/plugins/vsphere-astrolabe-repo/ivd/data/ivd:xxxx [2021-02-23 22:33:59 PST] 3.1KiB tkg/plugins/vsphere-astrolabe-repo/ivd/md/ivd:xxxx [2021-02-23 22:33:59 PST] 984B tkg/plugins/vsphere-astrolabe-repo/ivd/peinfo/ivd:xxxx 42 PVのバックアップが正常に成功するも、サイズがゼロbyte ※vSphere plugin利用時 原因： 1. PVの要求サイズをテスト用に1MBと小さい値を指定していた 2 . vSphere Pluginが10MB未満のPVはデータを取りに行かない作りになっていた 対策： PVのサイズを変更（念の為100MB程度に）
- 43. 苦労5： プラグインのバグ # mcls -r minio [2021-02-23 22:33:58 PST] 0B tkg/plugins/vsphere-astrolabe-repo/ivd/data/ivd:xxxx [2021-02-23 22:33:59 PST] 3.1KiB tkg/plugins/vsphere-astrolabe-repo/ivd/md/ivd:xxxx [2021-02-23 22:33:59 PST] 984B tkg/plugins/vsphere-astrolabe-repo/ivd/peinfo/ivd:xxxx 43 PVのバックアップが正常に成功するも、サイズがゼロbyte ※vSphere plugin利用時 原因： 1. PVの要求サイズをテスト用に1MBと小さい値を指定していた 2 . vSphere Pluginが10MB未満のPVはデータを取りに行かない作りになっていた 対策： PVのサイズを変更（念の為100MB程度に） 教訓 • 仕様として明記されていないものは テストされていない可能性がある • 実態にあったケースでテストする
- 44. Agenda ● セッションの内容説明 ● Kubernetesのバックアップ ●Veleroとは ● Veleroの仕組み ● Veleroの機能 ● Veleroで苦労したこと ● 最後に 44
- 45. 最後に 言いたかったこと • Kubernetes向けのバックアップソフトを活用しよう！ • Veleroがんばってるよ！ •ハマりどころがちょいちょいあるので、事前検証はしっかりやろう！ • 公式ドキュメントは頑張って隅々まで読もう • 何か見つけたらvelero bugコマンド 45
- 46.