Rook v1.0で試すCSI

1. GWにやってきた！
Rook v1.0で試すCSI
（Container Storage Interface）
2019/5/30
@tzkb
@tzkoba

2. 自己紹介
• 名 前 ：Takahiro Kobayashi
• 勤務先 ：SIer
• 出没場所 ：Oracle、PostgreSQL、k8s関連に色々と
• キャリア ：DB、ストレージを中心にインフラ
• 好きなもの：速いDB 、太い帯域、小さいレイテンシ

3. DB on Kubernetes、色々やってます。
•CloudNativeDays Tokyo 2019で、
Cloud Native Storageが開く
Database on Kubernetesの未来
というタイトルで登壇予定。
• と を近付けたい！

4. 今日話すこと
• Rancherいいよ v1.0リリース！！
• Rook v1.0のデプロイの仕方
• Cephクラスタ構築時の注意点
• Ceph CSIを試してみよう

5. Rookって何だっけ？
• CNCF Incubatingなプロジェクト。
• Cloud-Native Storageで大きな注目を集める。

6. worker
operator
agent/discover agent/discover agent/discover
osd osd osd
mon mon mon
CSI
csi-provisioner
csi-rbdplugin csi-rbdplugin csi-rbdplugin
worker
worker
Rook
今回の構成（完成図）
• Rookはoperatorとして、
Cephクラスタを構築。
• CephはRAWデバイスを
使って構築され、RBD
を提供。
• Ceph CSIはPodから
RBDをマウントするIF
を提供。

7. worker
operator
agent/discover agent/discover agent/discover
worker
worker
Rook
手順１．Rook(operator)の構築
$ git clone https://github.com/rook/rook.git
$ cd rook/rook/cluster/examples/kubernetes/ceph/
$ kubectl apply -f common.yaml
$ kubectl apply -f operator.yaml

8. worker
operator
agent/discover agent/discover agent/discover
worker
worker
Rook
手順２．Cephクラスタの構築
osd osd osd
mon mon mon
$ kubectl apply -f cluster.yaml

9. 注意点① BlueStoreの罠
• git上のyamlをそのまま適用すると、CephのBlueStore
という形式でOSDが作られます。
• BlueStore＝Block + NewStore、RAWデバイス
（≒未フォーマットのディスク）が必要です。
• パフォーマンスに優れるそうですが、お試しとか既存環
境でとか、そうした場合はFileStoreで使いましょう。
• cluster.yamlのstoreTypeを書き換えるとFileStoreで
利用可能です。

10. worker
operator
agent/discover agent/discover agent/discover
worker
worker
Rook
手順３．Ceph CSI(plugin等)の構築
osd osd osd
mon mon mon
CSI
csi-provisioner
csi-rbdplugin csi-rbdplugin csi-rbdplugin
$ kubectl apply -f csi/rbac/rbd/
$ kubectl apply -f rook-operator-with-csi.yaml

11. worker
operator
agent/discover agent/discover agent/discover
worker
worker
Rook
手順４．プロビジョニング・アタッチ
osd osd osd
mon mon mon
CSI
csi-provisioner
csi-rbdplugin csi-rbdplugin csi-rbdplugin
1. replicapoolを作成
2. StorageClassを作成
3. Ceph側に認証情報を作成
4. Cephからキー取得して、
secret.yamlを作成
5. PVCを作成
6. Podを作成
#1. RBD用のreplicapoolを作成
$ kubectl apply -f pool.yaml
#2. StorageClassでmonのアドレスを修正して作成
$ cd csi/exsample/rbd/
$ vi storageclass.yaml
$ kubectl apply -f storageclass.yaml
#3. Cephクラスタにclient.Kubernetesの認証情報を作成
$ kubectl exec -ti -n rook-ceph rook-ceph-operator-xxx -- bash -c "ceph -c /var/lib/rook/rook-ceph/rook-ce
ph.config auth get-or-create-key client.kubernetes mon ¥"allow profile rbd¥" osd ¥"profile rbd pool=rbd¥""
#4. ceph auth get-keyでキーを取得してsecret.yamlに反映して作成
$ kubectl exec -ti -n rook-ceph rook-ceph-operator-7bc8459977-zkz5r -- ceph auth get-key client.admin|base64
$ vi secret.yaml
$ kubectl apply -f secret.yaml
#5. PVCを作成
$ kubectl apply -f pvc.yaml
#6. 5.のPVCを利用するPodを作成
$ kubectl apply -f pod.yaml

12. 注意点② 初期化の罠
• Rookを構築する場合、何度もCephクラスタを作って、
壊してを繰り返すと思います。
• その際の初期化が少し面倒。
• さらにBlueStoreだと、以下のコマンドを使うことが
推奨されています。
• デバイスの中身を吹き飛ばす、滅びの呪文です。
• 利用はなるべく避けましょう。
$ sgdisk --zap-all デバイス名

13. まとめ
• Rook v1.0はCeph CSIを試すには良い環境。
• そもそもCSI難しいので、覚悟は必要。
• Cephクラスタの初期化は面倒なので注意！
• 皆さんも楽しいRook、CSIライフを！