Operator reading and writing ( Operator SDK 編 )

Operator reading and writing
Operator SDK 編
2020/1/17 #ふくばねてす node-3
@loftkun

About Me
@loftkun ( 甲斐新悟 )
ヤフー株式会社サービスプラットフォーム本部
2019年登壇数 : 10
ふくばねてす皆勤
#ふくばねてす node-1
#ふくばねてす virtual-kubelet-1

Motivation
• 前回、Prometheus Operatorの利用方法を含む話題をLTしました
• 今回はOperatorの実装面に着目してお話しします

Environment
CPU Intel(R) Core(TM) i7-8700K CPU @ 3.70GHz
6C/12T
RAM 64GB
OS Ubuntu 18.04.3 LTS
Go 1.13.5
Operator SDK v0.13.0
kubectl v1.17.0
minikube v1.6.2 ( Kubernetes version : v1.17.0 )

Agenda
Operator is 何？
Reading
Writing

予備知識
https://kubernetes.io/docs/concepts/overview/components/
リソース
情報
リソース
操作

Operator is 何？
built-in controller の例
Repo Resource Controller ( pkg/controller/ )
kubernetes/kubernetes ReplicaSet replicaset/replica_set.go
DeamonSet daemon/daemon_controller.go
Deployment deployment/deployment_controller.go
HPA podautoscaler/horizontal.go

予備知識
1. 監視 ( watch )
resourceのイベント(Add/Update/Delete)をwatch
2. 調整 ( reconcile )
1. イベント毎の reconcile.Requests がトリガー
2. オブジェクトのSpec(あるべき状態)とシステムの状態が
一致するか確認
3. 一致しない場合、必要に応じた調整を行う
必要なオブジェクトをAdd/Update/Deleteする。
https://kubernetes.io/docs/concepts/overview/components/
宣言的設定に基づいた自己修復機能が実装されている
監視(watch)と調整(reconcile)を行うのがController

Operator is 何？
Operator = Custom Resource + Custom Controller
https://kubernetes.io/docs/concepts/extend-kubernetes/operator/
• CR ( Custom Resource )
– Deploymentのような built-inなresourceではなく、独自に定義した resource
– CRD（ Custom Resource Definition ）で定義できる
• Custom Controller
– CRを監視(watch)、調整(reconcile)し面倒を見るために、独自に実装したcontroller
– 基本的な作りはDeployment controllerのような built-inなcontrollerと同様
• watch や reconcile を行う
人間の手作業による運用(Operation)を自動化するのがOperator

Operator is 何？
built-in controller の例 ( 再掲 )
Repo Resource Controller ( pkg/controller/ )
kubernetes/kubernetes ReplicaSet replicaset/replica_set.go
DeamonSet daemon/daemon_controller.go
Deployment deployment/deployment_controller.go
HPA podautoscaler/horizontal.go
Repo Custom Resource Controller
operator-framework/operator-sdk-samples
Memcached Operator
Memcached controller/memcached/memcached_cont
roller.go
coreos/prometheus-operator Prometheus
Alertmanager , etc
prometheus/operator.go
oracle/mysql-operator Cluster
Backup
Restore , etc
pkg/controllers/
cluster_control.go
backup/operator_controller.go
restore/operator_controller.go
Operator の例

実装手段
• ライブラリを使う
– client-go , code-generator など
• built –in なコントローラーはこれらのライブラリで実装されている
• 他にはcoreos/prometheus-operatorなどもこの手段で実装されているようだ
• フレームワークを使う
– kubernetes-sigs/kubebuilder
– operator-framework/operator-sdk
• OLM ( Operator LifeCycle Manager )
• その他
– KUDO
– Metacontroller

読む箇所
Operator = Custom Resource + Custom Controller なので、
• CRD ( Custom Resource Definition ）を読む
– spec
• reconcile loopで参照される情報
– specと現在のオブジェクトの状態を比較してreconcileする
– status
• reconcile loopで更新される情報
– 現在のオブジェクトの状態 ( kubeclt describe で確認できる )
• Reconcile の処理を読む
– Specと現在のシステムの状態の比較
– 必要に応じてオブジェクトの操作(Add/Update/Delete)

operator-framework/operator-sdk-samples
• Operator SDK で作成されたOperatorのサンプル (Memcached Go Operator)
CRD Reconcile
https://github.com/operator-framework/operator-sdk-samples

Install Operator SDK
https://github.com/operator-framework/operator-sdk/blob/master/doc/user/install-operator-sdk.md

operator-framework/getting-started
1. 新規プロジェクト作成
2. CRDを追加
3. コントローラーを追加
4. ビルド & 動作確認
https://github.com/operator-framework/getting-started

新規プロジェクトを生成する
Operatorのソースコードのscaffold(足場)ができる

失敗

GOROOTを設定するとうまくいった

2. CRDを追加
CRDのscaffoldを追加する

2. CRDを追加
CRDのscaffoldを編集する
specを編集
・我々はkubectl createでCR生成時に値を指定
できる
・Operatorがreconcile の際に参照する
本チュートリアルではint型のsize(レプリカ数)を定義してい
る。
statusを編集
・Operatorが現在の状態を設定する
・我々はkubectl describeで確認できる
本チュートリアルではstringの配列としてpod名のリストを
定義している。

2. CRDを追加
*_types.goを編集した場合は、リソースのコードを再生成する

2. CRDを追加
OpenAPI validations を生成する

2. CRDを追加
生成されたCRDのyaml
Memcachedというkindはbuilt-inな
resouceにはない
このCRDをクラスタに適用すると、
kind:Memcachedが使えるようになる

2. CRDを追加
生成されたCRDのyaml ( つづき抜粋 )
specのvalidation
statusのvalidation

3. Controllerを追加
Controllerのscaffoldを追加する

追加されたソース
( pkg/controller/memcached/mem
cached_controller.go )
CRをwatch
Podをwatch
このようにscaffoldとしてはPodをwatch
するコードが生成される。
Deploymentをwatchするよう改造する。

CRをwatch
Podをwatch
このようにscaffoldとしてはPodをwatch
するコードが生成される。
Deploymentをwatchするよう改造する。

( 続く )
Reconcile処理のscaffold
CRのオブジェクトを取得

Reconcile処理のscaffold
Podを生成する
このようにscaffoldは、Podを生成
するコードである。(imageは
busybox)
Deploymentを生成するようコード
に差し替える

1 Deploymentを作成
m がカスタムリソースの参照情報で、
同じ名前、同じネームスペースに作
成している
Imageはmemcached-alpine

1 Deploymentを作成
r.Clientはsigs.k8s.io/controller-runtime

2 Deploymentを更新
以下が一致するか確認し、一致しない場合は更新する
– CRのspecで定義したsize
– Deploymentのsize(replica数)

3 CRのstatus(describeで見れるやつ)を更新(pod名リストを書く)

3 CRのstatus(describeで見れるやつ)を更新(pod名リストを書く)
StatusのNodesに
node名のリストを
書けている

4 build & 動作確認
CRDをAPI Serverに登録する
( 略 )

コンテナイメージのbuild & push

デプロイ

カスタムリソースを生成する

確かにpodが3つ作成された
Operatorのcustom controllerがwatchし、reconcileした結果
Deploymentのreplia数を3に更新している

カスタムリソースのsizeを4にしてみる

確かにpodが4つになった
Operatorのcustom controllerがwatchし、reconcileした結果
Deploymentのreplia数を3から4に更新している

Tips
Operatorをローカルで起動できる。開発&テストを素早く回せる
この場合、Operatorはコンテナではなく、goのプロセスとしてローカルで起動する
K8sとの通信にはdefaultで $HOME/.kube/config が使われる

まとめ
• Operator = Custom Resource + Custom Controller
– 人間の手作業による運用(Operation)を自動化
• Reading
– CRD ( Custom Resource Definition ) を読む
–reconcile処理を読む
• Writing
– Operator SDK による実装手順を紹介しました

まとめ
• Operator = Custom Resource + Custom Controller
– 人間の手作業による運用(Operation)を自動化
• Reading
– CRD ( Custom Resource Definition ) を読む
–reconcile処理を読む
• Writing
– Operator SDK による実装手順を紹介しました
Operatorを完全に理解しました

Operator reading and writing ( Operator SDK 編 )

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Similar to Operator reading and writing ( Operator SDK 編 )

Similar to Operator reading and writing ( Operator SDK 編 ) (20)

More from ロフトくん

More from ロフトくん (10)