Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
Prometheus monitoring
from outside of Kubernetes

〜どうして我々はKubernetes上のPrometheusを破壊したのか〜
株式会社サイバーエージェント 技術本部 プライベートクラウドグルー...
Nakanishi Kento / whywaita
• 株式会社サイバーエージェント 技術本部

プライベートクラウドグループ 開発チーム
• 2019年年新卒⼊入社 (⼊入社して2ヶ⽉月経ちました)
• 仕事: OpenStack / Ku...
1.最初のPrometheus
2.破滅、突然に
3.そして未来へ……
!3
最初のPrometheus
!4
Prometheus Tokyo Meetupですが

皆さんPrometheus運⽤用してますか?
!5
Prometheus Tokyo Meetupですが

皆さんどこで運⽤用してますか?
!6
【緊急アンケート】Prometheusどこに置いてますか?
•Kubernetesの上にPodとして
•EC2 / GCEなどVMの上にプロセスとして
•タンスの上に良い感じに
•その他
!7
(結果は⾒見見てないけど)

やはり皆さんKubernetesの上ですね!
!8
我々のチームもそんな感じ
!9
我々のチームもそんな感じでした…
!10
ざっくり図 (on Private Cloud)
m01物理理 k8s-worker(s)
etcd
m02 m03 m04 m05
etcd etcdetcdetcdコンテナ
!11
必要なものと⾔言えば?
!12
Persistent Volumeですよね!
!13
ざっくり図 (on Private Cloud)
m01物理理 k8s-worker(s)
etcd
m02 m03 m04 m05
etcd etcdetcdetcdコンテナ
!14
ざっくり図 (on Private Cloud)
m01物理理 k8s-worker(s)
etcd
m02 m03 m04 m05
etcd etcdetcdetcdコンテナ
PVC
ストレージ

アプライアンス
リクエスト
pvc-prom...
Prometheusをk8sの上に置くと嬉しい
•k8s_sd_config がバリバリ動く
•TLS証明書周りは⾃自動的に良い感じに更更新
•クラスタエンドポイント設定不不要
•ClusterIPなどにそのままアクセス可
!16
最⾼高じゃん!!!!😊😊😊
!17
最⾼高の⽇日々を過ごしていた
!18
破滅、突然に
!19
が…………
!20
免責事項
•ここからの話は開発環境で⾏行行われたものです
•本番ではここからの話と同様のものは起きていません
•説明簡易易化のため実際の挙動とは若⼲干違う説明をします
!21
ある⽇日
!22
ざっくり図 (on Private Cloud)
m01物理理 k8s-worker(s)
etcd
m02 m03 m04 m05
etcd etcdetcdetcdコンテナ
PVC
ストレージ

アプライアンス
リクエスト
pvc-prom...
「メンテしますね〜」

『は〜い!』
!24
ざっくり図 (on Private Cloud)
m01物理理 k8s-worker(s)
etcd
m02 m03 m04 m05
etcd etcdetcdetcdコンテナ
PVC
ストレージ

アプライアンス
リクエスト
pvc-prom...
カチャカチャカチャ……
!26
ざっくり図 (on Private Cloud)
m01物理理 k8s-worker(s)
etcd
m02 m03 m04 m05
etcd etcdetcdetcdコンテナ
PVC
ストレージ

アプライアンス
リクエスト
pvc-prom...
「…ん?」
!28
ざっくり図 (on Private Cloud)
m01物理理 k8s-worker(s)
etcd
m02 m03 m04 m05
etcd etcdetcdetcdコンテナ
PVC
ストレージ

アプライアンス
リクエスト
pvc-prom...
ざっくり図 (on Private Cloud)
m01物理理 k8s-worker(s)
etcd
m02 m03 m04 m05
etcd etcdetcdetcdコンテナ
PVC
ストレージ

アプライアンス
リクエスト
pvc-prom...
「…あ!!!!」
!31
🔥🔥障害発⽣生🔥🔥
!32
ざっくり図 (on Private Cloud)
m01物理理 k8s-worker(s)
etcd
m02 m03 m04 m05
etcd etcdetcdetcdコンテナ
PVC
ストレージ

アプライアンス
リクエスト
pvc-prom...
• 普段のetcd クラスタ台数は5台
• メンテナンスで -2台
• 障害で更更に -1台
あとは分かるな…?
!34
🔥etcdクラスタ崩壊🔥
!35
🔥Kubernetesクラスタ崩壊🔥
!36
😱😱😱
!37
ざっくり図 (on Private Cloud)
m01物理理 k8s-worker(s)
etcd
m02 m03 m04 m05
etcd etcdetcdetcdコンテナ
PVC
ストレージ

アプライアンス
リクエスト
pvc-prom...
ざっくり図 (on Private Cloud)
m01物理理 k8s-worker(s)
etcd
m02 m03 m04 m05
etcd etcdetcdetcdコンテナ
PVC
ストレージ

アプライアンス
リクエスト
pvc-prom...
つまり
!40
ざっくり図 (on Private Cloud)
m01物理理 k8s-worker(s)
etcd
m02 m03 m04 m05
etcd etcdetcdetcdコンテナ
PVC
ストレージ

アプライアンス
リクエスト
pvc-prom...
ざっくり図 (on Private Cloud)
m01物理理 k8s-worker(s)
etcd
m02 m03 m04 m05
etcd etcdetcdetcdコンテナ
PVC
ストレージ

アプライアンス
リクエスト
pvc-prom...
🔥Cephも死亡🔥
!43
ざっくり図 (on Private Cloud)
m01物理理 k8s-worker(s)
etcd
m02 m03 m04 m05
etcd etcdetcdetcdコンテナ
PVC
ストレージ

アプライアンス
リクエスト
pvc-prom...
ざっくり図 (on Private Cloud)
m01物理理 k8s-worker(s)
etcd
m02 m03 m04 m05
etcd etcdetcdetcdコンテナ
PVC
ストレージ

アプライアンス
リクエスト
pvc-prom...
🔥PVC提供も失敗🔥
!46
ざっくり図 (on Private Cloud)
m01物理理 k8s-worker(s)
etcd
m02 m03 m04 m05
etcd etcdetcdetcdコンテナ
PVC
ストレージ

アプライアンス
リクエスト
pvc-prom...
ざっくり図 (on Private Cloud)
m01物理理 k8s-worker(s)
etcd
m02 m03 m04 m05
etcd etcdetcdetcdコンテナ
PVC
ストレージ

アプライアンス
リクエスト
pvc-prom...
🔥Prometheusも無事死亡🔥
!49
🔥アラート発砲できず🔥
!50
🔥🔥🔥🔥🔥🔥🔥🔥
!51
復復旧は淡々と⾏行行われた…
•etcdクラスタ復復旧
•ちゃんと設定を⼊入れるとスッと直って優秀!
•kube masterクラスタ復復旧
•Cephクラスタ復復旧
•3台⽬目を急遽差し込みブートストラップ
•PVC提供再開
•Prometh...
😥
!53
こうして我々はPrometheusを

Kubernetesの外に置くことに……
!54
そして未来へ……
!55
【再掲】Prometheusをk8sの上に置くと嬉しい
•k8s_sd_config がバリバリ動く
•TLS証明書周りは⾃自動的に良い感じに更更新
•クラスタエンドポイント設定不不要
•ClusterIPなどにそのままアクセス可
!56
では外に置くときは?
!57
Prometheusをk8sの外から監視するときは
• k8s_sd_config がバリバリ動くかもしれない
• TLS証明書周りは⾃自動的に良い感じに更更新されない
• しっかり更更新する仕組みを⼊入れましょう
• クラスタエンドポイント設定...
Kubernetes APIアクセス⽤用証明書の設定
•Prometheusを動作させているVMに配置
•/etc/prometheus/ca.pem などファイルシステム直置き
•監視 / アラートルールをansibleで管理理しているため、...
クラスタエンドポイントの設定
•kubernetes_sd_config の api_server で設定可能
•弊社の場合はansibleのjinja2で本番 / 開発を切替
•APIエンドポイント向けの証明書とPodアクセス向けの
TLS証明...
クラスタエンドポイントの設定
!61
Podへの監視プロキシの設定
•NodePortがあるものはKubernetesのプロキシ
• /api/v1/nodes/${node名}/proxy/metrics
•Serviceがあるものはrelabel_configを駆使して頑張る!!...
今はk8s上とVM上の並⾏行行運⽤用中

(統合タスクが進⾏行行中)
!63
まとめ
• Kubernetesは意外と壊れる
• 監視のためのプロセスが⼀一緒に壊れたら破滅する
• ストレージってやっぱり⼤大変
• PrometheusはKubernetesの外からでもちゃんと監視

できます!!!!
• もっと良いソリ...
ありがとうございました

Thank you!!!
!65
Upcoming SlideShare
Loading in …5
×

Prometheus monitoring from outside of Kubernetes
 〜どうして我々はKubernetes上のPrometheusを破壊したのか〜 #prometheustokyo

8,188 views

Published on

talked by Prometheus Tokyo Meetup #2 https://prometheus.connpass.com/event/127574/

Published in: Technology
  • DOWNLOAD FULL eBOOK INTO AVAILABLE FORMAT ......................................................................................................................... ......................................................................................................................... 1.DOWNLOAD FULL. PDF eBook here { https://tinyurl.com/y3nhqquc } ......................................................................................................................... 1.DOWNLOAD FULL. EPUB eBook here { https://tinyurl.com/y3nhqquc } ......................................................................................................................... 1.DOWNLOAD FULL. doc eBook here { https://tinyurl.com/y3nhqquc } ......................................................................................................................... 1.DOWNLOAD FULL. PDF eBook here { https://tinyurl.com/y3nhqquc } ......................................................................................................................... 1.DOWNLOAD FULL. EPUB eBook here { https://tinyurl.com/y3nhqquc } ......................................................................................................................... 1.DOWNLOAD FULL. doc eBook here { https://tinyurl.com/y3nhqquc } ......................................................................................................................... ......................................................................................................................... ......................................................................................................................... .............. Browse by Genre Available eBooks ......................................................................................................................... Art, Biography, Business, Chick Lit, Children's, Christian, Classics, Comics, Contemporary, CookeBOOK Crime, eeBOOK Fantasy, Fiction, Graphic Novels, Historical Fiction, History, Horror, Humor And Comedy, Manga, Memoir, Music, Mystery, Non Fiction, Paranormal, Philosophy, Poetry, Psychology, Religion, Romance, Science, Science Fiction, Self Help, Suspense, Spirituality, Sports, Thriller, Travel, Young Adult,
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here
  • DOWNLOAD FULL BOOKS, INTO AVAILABLE FORMAT ......................................................................................................................... ......................................................................................................................... 1.DOWNLOAD FULL. PDF EBOOK here { https://tinyurl.com/y3nhqquc } ......................................................................................................................... 1.DOWNLOAD FULL. EPUB Ebook here { https://tinyurl.com/y3nhqquc } ......................................................................................................................... 1.DOWNLOAD FULL. doc Ebook here { https://tinyurl.com/y3nhqquc } ......................................................................................................................... 1.DOWNLOAD FULL. PDF EBOOK here { https://tinyurl.com/y3nhqquc } ......................................................................................................................... 1.DOWNLOAD FULL. EPUB Ebook here { https://tinyurl.com/y3nhqquc } ......................................................................................................................... 1.DOWNLOAD FULL. doc Ebook here { https://tinyurl.com/y3nhqquc } ......................................................................................................................... ......................................................................................................................... ......................................................................................................................... .............. Browse by Genre Available eBooks ......................................................................................................................... Art, Biography, Business, Chick Lit, Children's, Christian, Classics, Comics, Contemporary, Cookbooks, Crime, Ebooks, Fantasy, Fiction, Graphic Novels, Historical Fiction, History, Horror, Humor And Comedy, Manga, Memoir, Music, Mystery, Non Fiction, Paranormal, Philosophy, Poetry, Psychology, Religion, Romance, Science, Science Fiction, Self Help, Suspense, Spirituality, Sports, Thriller, Travel, Young Adult,
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here
  • DOWNLOAD FULL BOOKS, INTO AVAILABLE FORMAT ......................................................................................................................... ......................................................................................................................... 1.DOWNLOAD FULL. PDF EBOOK here { https://tinyurl.com/y3nhqquc } ......................................................................................................................... 1.DOWNLOAD FULL. EPUB Ebook here { https://tinyurl.com/y3nhqquc } ......................................................................................................................... 1.DOWNLOAD FULL. doc Ebook here { https://tinyurl.com/y3nhqquc } ......................................................................................................................... 1.DOWNLOAD FULL. PDF EBOOK here { https://tinyurl.com/y3nhqquc } ......................................................................................................................... 1.DOWNLOAD FULL. EPUB Ebook here { https://tinyurl.com/y3nhqquc } ......................................................................................................................... 1.DOWNLOAD FULL. doc Ebook here { https://tinyurl.com/y3nhqquc } ......................................................................................................................... ......................................................................................................................... ......................................................................................................................... .............. Browse by Genre Available eBooks ......................................................................................................................... Art, Biography, Business, Chick Lit, Children's, Christian, Classics, Comics, Contemporary, Cookbooks, Crime, Ebooks, Fantasy, Fiction, Graphic Novels, Historical Fiction, History, Horror, Humor And Comedy, Manga, Memoir, Music, Mystery, Non Fiction, Paranormal, Philosophy, Poetry, Psychology, Religion, Romance, Science, Science Fiction, Self Help, Suspense, Spirituality, Sports, Thriller, Travel, Young Adult,
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here

Prometheus monitoring from outside of Kubernetes
 〜どうして我々はKubernetes上のPrometheusを破壊したのか〜 #prometheustokyo

  1. 1. Prometheus monitoring from outside of Kubernetes
 〜どうして我々はKubernetes上のPrometheusを破壊したのか〜 株式会社サイバーエージェント 技術本部 プライベートクラウドグループ
 Nakanishi Kento @whywaita Prometheus Tokyo Meetup #2 !1
  2. 2. Nakanishi Kento / whywaita • 株式会社サイバーエージェント 技術本部
 プライベートクラウドグループ 開発チーム • 2019年年新卒⼊入社 (⼊入社して2ヶ⽉月経ちました) • 仕事: OpenStack / Kubernetes ベースの
 プライベートクラウドのお守り, 新機能の開発 • 趣味: ⾃自宅サーバ / ⾃自宅インフラ, アニソン 最近趣味で我が家とAS59105がBGPで繋がりました !2
  3. 3. 1.最初のPrometheus 2.破滅、突然に 3.そして未来へ…… !3
  4. 4. 最初のPrometheus !4
  5. 5. Prometheus Tokyo Meetupですが
 皆さんPrometheus運⽤用してますか? !5
  6. 6. Prometheus Tokyo Meetupですが
 皆さんどこで運⽤用してますか? !6
  7. 7. 【緊急アンケート】Prometheusどこに置いてますか? •Kubernetesの上にPodとして •EC2 / GCEなどVMの上にプロセスとして •タンスの上に良い感じに •その他 !7
  8. 8. (結果は⾒見見てないけど)
 やはり皆さんKubernetesの上ですね! !8
  9. 9. 我々のチームもそんな感じ !9
  10. 10. 我々のチームもそんな感じでした… !10
  11. 11. ざっくり図 (on Private Cloud) m01物理理 k8s-worker(s) etcd m02 m03 m04 m05 etcd etcdetcdetcdコンテナ !11
  12. 12. 必要なものと⾔言えば? !12
  13. 13. Persistent Volumeですよね! !13
  14. 14. ざっくり図 (on Private Cloud) m01物理理 k8s-worker(s) etcd m02 m03 m04 m05 etcd etcdetcdetcdコンテナ !14
  15. 15. ざっくり図 (on Private Cloud) m01物理理 k8s-worker(s) etcd m02 m03 m04 m05 etcd etcdetcdetcdコンテナ PVC ストレージ
 アプライアンス リクエスト pvc-prom 提供 !15
  16. 16. Prometheusをk8sの上に置くと嬉しい •k8s_sd_config がバリバリ動く •TLS証明書周りは⾃自動的に良い感じに更更新 •クラスタエンドポイント設定不不要 •ClusterIPなどにそのままアクセス可 !16
  17. 17. 最⾼高じゃん!!!!😊😊😊 !17
  18. 18. 最⾼高の⽇日々を過ごしていた !18
  19. 19. 破滅、突然に !19
  20. 20. が………… !20
  21. 21. 免責事項 •ここからの話は開発環境で⾏行行われたものです •本番ではここからの話と同様のものは起きていません •説明簡易易化のため実際の挙動とは若⼲干違う説明をします !21
  22. 22. ある⽇日 !22
  23. 23. ざっくり図 (on Private Cloud) m01物理理 k8s-worker(s) etcd m02 m03 m04 m05 etcd etcdetcdetcdコンテナ PVC ストレージ
 アプライアンス リクエスト pvc-prom 提供 !23
  24. 24. 「メンテしますね〜」
 『は〜い!』 !24
  25. 25. ざっくり図 (on Private Cloud) m01物理理 k8s-worker(s) etcd m02 m03 m04 m05 etcd etcdetcdetcdコンテナ PVC ストレージ
 アプライアンス リクエスト pvc-prom 提供 メンテナンス !25
  26. 26. カチャカチャカチャ…… !26
  27. 27. ざっくり図 (on Private Cloud) m01物理理 k8s-worker(s) etcd m02 m03 m04 m05 etcd etcdetcdetcdコンテナ PVC ストレージ
 アプライアンス リクエスト pvc-prom 提供 メンテナンス !27
  28. 28. 「…ん?」 !28
  29. 29. ざっくり図 (on Private Cloud) m01物理理 k8s-worker(s) etcd m02 m03 m04 m05 etcd etcdetcdetcdコンテナ PVC ストレージ
 アプライアンス リクエスト pvc-prom 提供 メンテナンス !29
  30. 30. ざっくり図 (on Private Cloud) m01物理理 k8s-worker(s) etcd m02 m03 m04 m05 etcd etcdetcdetcdコンテナ PVC ストレージ
 アプライアンス リクエスト pvc-prom 提供 メンテナンス !30
  31. 31. 「…あ!!!!」 !31
  32. 32. 🔥🔥障害発⽣生🔥🔥 !32
  33. 33. ざっくり図 (on Private Cloud) m01物理理 k8s-worker(s) etcd m02 m03 m04 m05 etcd etcdetcdetcdコンテナ PVC ストレージ
 アプライアンス リクエスト pvc-prom 提供 メンテナンス !33
  34. 34. • 普段のetcd クラスタ台数は5台 • メンテナンスで -2台 • 障害で更更に -1台 あとは分かるな…? !34
  35. 35. 🔥etcdクラスタ崩壊🔥 !35
  36. 36. 🔥Kubernetesクラスタ崩壊🔥 !36
  37. 37. 😱😱😱 !37
  38. 38. ざっくり図 (on Private Cloud) m01物理理 k8s-worker(s) etcd m02 m03 m04 m05 etcd etcdetcdetcdコンテナ PVC ストレージ
 アプライアンス リクエスト pvc-prom 提供 メンテナンス !38
  39. 39. ざっくり図 (on Private Cloud) m01物理理 k8s-worker(s) etcd m02 m03 m04 m05 etcd etcdetcdetcdコンテナ PVC ストレージ
 アプライアンス リクエスト pvc-prom 提供 メンテナンス !39
  40. 40. つまり !40
  41. 41. ざっくり図 (on Private Cloud) m01物理理 k8s-worker(s) etcd m02 m03 m04 m05 etcd etcdetcdetcdコンテナ PVC ストレージ
 アプライアンス リクエスト pvc-prom 提供 メンテナンス !41
  42. 42. ざっくり図 (on Private Cloud) m01物理理 k8s-worker(s) etcd m02 m03 m04 m05 etcd etcdetcdetcdコンテナ PVC ストレージ
 アプライアンス リクエスト pvc-prom 提供 メンテナンス !42
  43. 43. 🔥Cephも死亡🔥 !43
  44. 44. ざっくり図 (on Private Cloud) m01物理理 k8s-worker(s) etcd m02 m03 m04 m05 etcd etcdetcdetcdコンテナ PVC ストレージ
 アプライアンス リクエスト pvc-prom 提供 メンテナンス !44
  45. 45. ざっくり図 (on Private Cloud) m01物理理 k8s-worker(s) etcd m02 m03 m04 m05 etcd etcdetcdetcdコンテナ PVC ストレージ
 アプライアンス リクエスト pvc-prom 提供 メンテナンス !45
  46. 46. 🔥PVC提供も失敗🔥 !46
  47. 47. ざっくり図 (on Private Cloud) m01物理理 k8s-worker(s) etcd m02 m03 m04 m05 etcd etcdetcdetcdコンテナ PVC ストレージ
 アプライアンス リクエスト pvc-prom 提供 メンテナンス !47
  48. 48. ざっくり図 (on Private Cloud) m01物理理 k8s-worker(s) etcd m02 m03 m04 m05 etcd etcdetcdetcdコンテナ PVC ストレージ
 アプライアンス リクエスト pvc-prom 提供 メンテナンス !48
  49. 49. 🔥Prometheusも無事死亡🔥 !49
  50. 50. 🔥アラート発砲できず🔥 !50
  51. 51. 🔥🔥🔥🔥🔥🔥🔥🔥 !51
  52. 52. 復復旧は淡々と⾏行行われた… •etcdクラスタ復復旧 •ちゃんと設定を⼊入れるとスッと直って優秀! •kube masterクラスタ復復旧 •Cephクラスタ復復旧 •3台⽬目を急遽差し込みブートストラップ •PVC提供再開 •Prometheus含め完全復復旧! !52
  53. 53. 😥 !53
  54. 54. こうして我々はPrometheusを
 Kubernetesの外に置くことに…… !54
  55. 55. そして未来へ…… !55
  56. 56. 【再掲】Prometheusをk8sの上に置くと嬉しい •k8s_sd_config がバリバリ動く •TLS証明書周りは⾃自動的に良い感じに更更新 •クラスタエンドポイント設定不不要 •ClusterIPなどにそのままアクセス可 !56
  57. 57. では外に置くときは? !57
  58. 58. Prometheusをk8sの外から監視するときは • k8s_sd_config がバリバリ動くかもしれない • TLS証明書周りは⾃自動的に良い感じに更更新されない • しっかり更更新する仕組みを⼊入れましょう • クラスタエンドポイント設定不不要必要 • しっかり設定しましょう • ClusterIPなどにそのままアクセス可不不可 • しっかりプロキシするルールを書きましょう !58
  59. 59. Kubernetes APIアクセス⽤用証明書の設定 •Prometheusを動作させているVMに配置 •/etc/prometheus/ca.pem などファイルシステム直置き •監視 / アラートルールをansibleで管理理しているため、
 証明書も同じタイミングで適⽤用する運⽤用 •定期的に流さないといけないのでもうちょっと
 良い⽅方法があればそちらにしたい…… !59
  60. 60. クラスタエンドポイントの設定 •kubernetes_sd_config の api_server で設定可能 •弊社の場合はansibleのjinja2で本番 / 開発を切替 •APIエンドポイント向けの証明書とPodアクセス向けの TLS証明書は切替可能なので適宜やってください!! !60
  61. 61. クラスタエンドポイントの設定 !61
  62. 62. Podへの監視プロキシの設定 •NodePortがあるものはKubernetesのプロキシ • /api/v1/nodes/${node名}/proxy/metrics •Serviceがあるものはrelabel_configを駆使して頑張る!! •blackbox_exporterは •__address__ をblackboxが動作している所に書き換え •__param_target を監視先に書き換え !62
  63. 63. 今はk8s上とVM上の並⾏行行運⽤用中
 (統合タスクが進⾏行行中) !63
  64. 64. まとめ • Kubernetesは意外と壊れる • 監視のためのプロセスが⼀一緒に壊れたら破滅する • ストレージってやっぱり⼤大変 • PrometheusはKubernetesの外からでもちゃんと監視
 できます!!!! • もっと良いソリューションあれば懇親会で教えて
 ください!!! !64
  65. 65. ありがとうございました
 Thank you!!! !65

×