talked by Prometheus Tokyo Meetup #2 https://prometheus.connpass.com/event/127574/ re-upload: https://speakerdeck.com/whywaita/prometheus-monitoring-from-outside-of-kubernetes-kubernetesprometheus-prometheustokyo

1. Prometheus monitoring
from outside of Kubernetes
〜どうして我々はKubernetes上のPrometheusを破壊したのか〜
株式会社サイバーエージェント 技術本部 プライベートクラウドグループ
Nakanishi Kento @whywaita
Prometheus Tokyo Meetup #2
!1

2. Nakanishi Kento / whywaita
• 株式会社サイバーエージェント 技術本部
プライベートクラウドグループ 開発チーム
• 2019年年新卒⼊入社 (⼊入社して2ヶ⽉月経ちました)
• 仕事: OpenStack / Kubernetes ベースの
プライベートクラウドのお守り, 新機能の開発
• 趣味: ⾃自宅サーバ / ⾃自宅インフラ, アニソン
最近趣味で我が家とAS59105がBGPで繋がりました
!2

3. 1.最初のPrometheus
2.破滅、突然に
3.そして未来へ……
!3

4. 最初のPrometheus
!4

5. Prometheus Tokyo Meetupですが
皆さんPrometheus運⽤用してますか？
!5

6. Prometheus Tokyo Meetupですが
皆さんどこで運⽤用してますか？
!6

7. 【緊急アンケート】Prometheusどこに置いてますか？
•Kubernetesの上にPodとして
•EC2 / GCEなどVMの上にプロセスとして
•タンスの上に良い感じに
•その他
!7

8. (結果は⾒見見てないけど)
やはり皆さんKubernetesの上ですね！
!8

9. 我々のチームもそんな感じ
!9

10. 我々のチームもそんな感じでした…
!10

11. ざっくり図 (on Private Cloud)
m01物理理 k8s-worker(s)
etcd
m02 m03 m04 m05
etcd etcdetcdetcdコンテナ
!11

12. 必要なものと⾔言えば？
!12

13. Persistent Volumeですよね！
!13

14. ざっくり図 (on Private Cloud)
m01物理理 k8s-worker(s)
etcd
m02 m03 m04 m05
etcd etcdetcdetcdコンテナ
!14

15. ざっくり図 (on Private Cloud)
m01物理理 k8s-worker(s)
etcd
m02 m03 m04 m05
etcd etcdetcdetcdコンテナ
PVC
ストレージ
アプライアンス
リクエスト
pvc-prom
提供
!15

16. Prometheusをk8sの上に置くと嬉しい
•k8s_sd_config がバリバリ動く
•TLS証明書周りは⾃自動的に良い感じに更更新
•クラスタエンドポイント設定不不要
•ClusterIPなどにそのままアクセス可
!16

17. 最⾼高じゃん！！！！😊😊😊
!17

18. 最⾼高の⽇日々を過ごしていた
!18

19. 破滅、突然に
!19

20. が…………
!20

21. 免責事項
•ここからの話は開発環境で⾏行行われたものです
•本番ではここからの話と同様のものは起きていません
•説明簡易易化のため実際の挙動とは若⼲干違う説明をします
!21

22. ある⽇日
!22

23. ざっくり図 (on Private Cloud)
m01物理理 k8s-worker(s)
etcd
m02 m03 m04 m05
etcd etcdetcdetcdコンテナ
PVC
ストレージ
アプライアンス
リクエスト
pvc-prom
提供
!23

24. 「メンテしますね〜」
『は〜い！』
!24

25. ざっくり図 (on Private Cloud)
m01物理理 k8s-worker(s)
etcd
m02 m03 m04 m05
etcd etcdetcdetcdコンテナ
PVC
ストレージ
アプライアンス
リクエスト
pvc-prom
提供
メンテナンス
!25

26. ｶﾁｬｶﾁｬｶﾁｬ……
!26

27. ざっくり図 (on Private Cloud)
m01物理理 k8s-worker(s)
etcd
m02 m03 m04 m05
etcd etcdetcdetcdコンテナ
PVC
ストレージ
アプライアンス
リクエスト
pvc-prom
提供
メンテナンス
!27

28. 「…ん？」
!28

29. ざっくり図 (on Private Cloud)
m01物理理 k8s-worker(s)
etcd
m02 m03 m04 m05
etcd etcdetcdetcdコンテナ
PVC
ストレージ
アプライアンス
リクエスト
pvc-prom
提供
メンテナンス
!29

30. ざっくり図 (on Private Cloud)
m01物理理 k8s-worker(s)
etcd
m02 m03 m04 m05
etcd etcdetcdetcdコンテナ
PVC
ストレージ
アプライアンス
リクエスト
pvc-prom
提供
メンテナンス
!30

31. 「…あ！！！！」
!31

32. 🔥🔥障害発⽣生🔥🔥
!32

33. ざっくり図 (on Private Cloud)
m01物理理 k8s-worker(s)
etcd
m02 m03 m04 m05
etcd etcdetcdetcdコンテナ
PVC
ストレージ
アプライアンス
リクエスト
pvc-prom
提供
メンテナンス
!33

34. • 普段のetcd クラスタ台数は5台
• メンテナンスで -2台
• 障害で更更に -1台
あとは分かるな…？
!34

35. 🔥etcdクラスタ崩壊🔥
!35

36. 🔥Kubernetesクラスタ崩壊🔥
!36

37. 😱😱😱
!37

38. ざっくり図 (on Private Cloud)
m01物理理 k8s-worker(s)
etcd
m02 m03 m04 m05
etcd etcdetcdetcdコンテナ
PVC
ストレージ
アプライアンス
リクエスト
pvc-prom
提供
メンテナンス
!38

39. ざっくり図 (on Private Cloud)
m01物理理 k8s-worker(s)
etcd
m02 m03 m04 m05
etcd etcdetcdetcdコンテナ
PVC
ストレージ
アプライアンス
リクエスト
pvc-prom
提供
メンテナンス
!39

40. つまり
!40

41. ざっくり図 (on Private Cloud)
m01物理理 k8s-worker(s)
etcd
m02 m03 m04 m05
etcd etcdetcdetcdコンテナ
PVC
ストレージ
アプライアンス
リクエスト
pvc-prom
提供
メンテナンス
!41

42. ざっくり図 (on Private Cloud)
m01物理理 k8s-worker(s)
etcd
m02 m03 m04 m05
etcd etcdetcdetcdコンテナ
PVC
ストレージ
アプライアンス
リクエスト
pvc-prom
提供
メンテナンス
!42

43. 🔥Cephも死亡🔥
!43

44. ざっくり図 (on Private Cloud)
m01物理理 k8s-worker(s)
etcd
m02 m03 m04 m05
etcd etcdetcdetcdコンテナ
PVC
ストレージ
アプライアンス
リクエスト
pvc-prom
提供
メンテナンス
!44

45. ざっくり図 (on Private Cloud)
m01物理理 k8s-worker(s)
etcd
m02 m03 m04 m05
etcd etcdetcdetcdコンテナ
PVC
ストレージ
アプライアンス
リクエスト
pvc-prom
提供
メンテナンス
!45

46. 🔥PVC提供も失敗🔥
!46

47. ざっくり図 (on Private Cloud)
m01物理理 k8s-worker(s)
etcd
m02 m03 m04 m05
etcd etcdetcdetcdコンテナ
PVC
ストレージ
アプライアンス
リクエスト
pvc-prom
提供
メンテナンス
!47

48. ざっくり図 (on Private Cloud)
m01物理理 k8s-worker(s)
etcd
m02 m03 m04 m05
etcd etcdetcdetcdコンテナ
PVC
ストレージ
アプライアンス
リクエスト
pvc-prom
提供
メンテナンス
!48

49. 🔥Prometheusも無事死亡🔥
!49

50. 🔥アラート発砲できず🔥
!50

51. 🔥🔥🔥🔥🔥🔥🔥🔥
!51

52. 復復旧は淡々と⾏行行われた…
•etcdクラスタ復復旧
•ちゃんと設定を⼊入れるとスッと直って優秀！
•kube masterクラスタ復復旧
•Cephクラスタ復復旧
•3台⽬目を急遽差し込みブートストラップ
•PVC提供再開
•Prometheus含め完全復復旧！
!52

53. 😥
!53

54. こうして我々はPrometheusを
Kubernetesの外に置くことに……
!54

55. そして未来へ……
!55

56. 【再掲】Prometheusをk8sの上に置くと嬉しい
•k8s_sd_config がバリバリ動く
•TLS証明書周りは⾃自動的に良い感じに更更新
•クラスタエンドポイント設定不不要
•ClusterIPなどにそのままアクセス可
!56

57. では外に置くときは？
!57

58. Prometheusをk8sの外から監視するときは
• k8s_sd_config がバリバリ動くかもしれない
• TLS証明書周りは⾃自動的に良い感じに更更新されない
• しっかり更更新する仕組みを⼊入れましょう
• クラスタエンドポイント設定不不要必要
• しっかり設定しましょう
• ClusterIPなどにそのままアクセス可不不可
• しっかりプロキシするルールを書きましょう
!58

59. Kubernetes APIアクセス⽤用証明書の設定
•Prometheusを動作させているVMに配置
•/etc/prometheus/ca.pem などファイルシステム直置き
•監視 / アラートルールをansibleで管理理しているため、
証明書も同じタイミングで適⽤用する運⽤用
•定期的に流さないといけないのでもうちょっと
良い⽅方法があればそちらにしたい……
!59

60. クラスタエンドポイントの設定
•kubernetes_sd_config の api_server で設定可能
•弊社の場合はansibleのjinja2で本番 / 開発を切替
•APIエンドポイント向けの証明書とPodアクセス向けの
TLS証明書は切替可能なので適宜やってください!!
!60

61. クラスタエンドポイントの設定
!61

62. Podへの監視プロキシの設定
•NodePortがあるものはKubernetesのプロキシ
• /api/v1/nodes/${node名}/proxy/metrics
•Serviceがあるものはrelabel_configを駆使して頑張る!!
•blackbox_exporterは
•__address__ をblackboxが動作している所に書き換え
•__param_target を監視先に書き換え
!62

63. 今はk8s上とVM上の並⾏行行運⽤用中
(統合タスクが進⾏行行中)
!63

64. まとめ
• Kubernetesは意外と壊れる
• 監視のためのプロセスが⼀一緒に壊れたら破滅する
• ストレージってやっぱり⼤大変
• PrometheusはKubernetesの外からでもちゃんと監視
できます！！！！
• もっと良いソリューションあれば懇親会で教えて
ください!!!
!64

65. ありがとうございました
Thank you!!!
!65