Elastic Stack を活用した Kubernetes のアプリ監視 https://event.cloudnativedays.jp/cndo2021/speaker_dashboard/speakers/941/

1. Elastic オブザーバビリティを
活⽤した Kubernetes のアプリ監視
鈴⽊ 章太郎
Elastic テクニカルプロダクトマーケティングマネージャー/エバンジェリスト
内閣官房 IT 総合戦略室 政府 CIO 補佐官

2. Elastic
Technical Product Marketing
Manager/Evangelist
内閣官房 IT 総合戦略室
政府 CIO 補佐官
元 Microsoft Technical Evangelist
Twitter : @shosuz
Shotaro Suzuki

3. Elastic 概要

4. 3 Solutions, 1 Stack, Deploy Anywhere
Elastic スタックで実現
Kibana
Elasticsearch
Beats Logstash
Elastic エンタープライズサーチ Elastic セキュリティ
Elastic オブザーバビリティ
3つのソリューション
SaaS
(AWS/Azure/GCP)
IaaS
(クラウド & オンプレ）
Elastic Cloud
on Kubernetes
Elastic Cloud Elastic Cloud
Enterprise
豊富なデプロイ選択肢
Kubernetes
(クラウド & オンプレ）
蓄積、検索、分析
可視化 & 管理
収集

5. Kubernetes 監視における課題

6. Kubernetes の課題
Infrastructure
Dev
Ops
Container
Runtime

7. Kubernetes のログとメトリック、トレースを組み合わせる
● コマンド1つで Kubernetes のアプリからログをストリーミング可能
● テレメトリーのインフラデータから Prometheus のメトリック、Jaeger のトレースまで収集し、オープンソースの Elastic APM
エージェントで分散トレーシングを実施可能
● 事前設定済みの Kibana ダッシュボードですぐに確認でき、Metricsアプリで横断的に検索できる

8. Kubernetes サービスの変化を把握する
● MetricbeatとFilebeatの⾃動
探知機能 で、環境のあらゆる変化
を把握できる
● モジュールを追加したり、パスを記録
するプロセスは⾃動化され、
Docker や Kubernetes の API
フックを使って監視設定が動的に
調整される
● さらにメタデータが付記されることに
より、すべてのデータの出所を把握
できる

9. 9
filebeat
metricbeat
packetbeat
APM
MySQL
Elastic Search Service (Elastic Cloud)
Elastic Cloud on Kubernetes (ECK)
or
Kubernetes に Elastic Observability を適⽤したサンプル
Azure Kubernetes Service

10. Elastic Cloud on Azure と
サンプルアプリのデプロイ

11. Kubernetes クラスターのセットアップとデモアプリのデプロイ
https://www.elastic.co/blog/kubernetes-observability-tutorial-k8s-cluster-setup-demo-app-deployment

12. GitHubのレポジトリ:
https://github.com/michaelhyatt/k8s-o11y-workshop

13. Elastic Cloud デプロイ (Elastic & 各 Marketplace)
https://www.elastic.co/jp/
https://portal.azure.com/#create/hub
https://aws.amazon.com/marketplace/
https://console.cloud.google.com/marketplace
Elastic
Azure
AWS
GCP

14. Elastic Cloud on Azure デプロイ https://www.elastic.co/jp/
# Get credentials for
create_secrets.sh
# - cloud_id,
cloud_auth,
apm_url,
apm_token
https://github.com/michaelhyatt/k8s-o11y-
workshop/tree/cc6095210180f8526a9fdc518cf9
e3894b9ea9d0#elastic-cloud

15. Secrets の設定、Beats のセットアップ
# create_secrets.sh を更新して実⾏する
$HOME/k8s-o11y-workshop/install/create_secrets.sh
./create_secrets.sh
# metricbeat と filebeat を動かしてセットアップする
kubectl create -n kube-system -f metricbeat/metricbeat-setup.yml
kubectl create -n kube-system -f filebeat/filebeat-setup.yml
# 完了状況をウォッチする (completed になれば OK)
kubectl get pods --namespace=kube-system

16. Demo
Secrets の設定、Beats のセットアップ

18. Kubernetes ログの監視

19. Kubernetes のログを収集
Deployment options
Node 1 Node 2 Node n
Filebeat
DaemonSet
Filebeat Filebeat Filebeat

20. Kubernetes ログの集約
- クラスターレベルのログ
- サービスレベルのログ (例︓nginxのログ)
- Auto-discovery
- アプリのログ
- 全てコンテナのログを tail
- add_kubernetes_metadata でログをエンリッチ
- 各イベントは下記の情報が追加される
- Pod Name
- Pod UID
- Namespace
- Labels
./filebeat modules enable kubernetes
processors:
- add_kubernetes_metadata:
host: <host_name>
kube_config: ${HOME}/.kube/config

21. メタデータプロセッサー
イベントにメタデータを追加してログ、メトリックス、トレースを関連付け
• cloud.availability_zone
• cloud.region
• cloud.instance_id
• cloud.machine_type
• cloud.project_id
• cloud.provider
• docker.container.id
• docker.container.image
• docker.container.name
• docker.container.labels
• kubernetes.pod.name
• kubernetes.namespace
• kubernetes.labels
• kubernetes.annotations
• kubernetes.container.name
• kubernetes.container.image
add_cloud_metadata add_docker_metadata add_kubernetes_metadata

22. Demo
Filebeat と Metricbeat のデプロイと
ログ監視

25. Kubernetes メトリクスの監視

26. Kubernetes のメトリックスを収集
Deployment options
Node 1
Metricbeat
Node 2
Metricbeat
Node n
Metricbeat
Metricbeat
DaemonSet

27. Kubernetes メトリックスの集約
- Kubernetes モジュール
- pod と service の監視
- Cluster、 pod、 container のメトリックス
- Auto-discovery によるアプリメトリックス
- メトリックスのソース
- Kubelet (heapster, cAdvisor)
- kube-state-metrics
- apiserver
- controller-manager
- scheduler
- proxy
- Prometheus module (beta)
- ⼀元的な Kibana UI
./metricbeat modules enable kubernetes

28. Kubernetes インベントリのビュー
Kubernetes クラスターの俯瞰図

29. Kubernetes ダッシュボード
Metricset 毎のダッシュボード

30. Node 1
Metricbeat Autodiscover
動的なターゲットも残さずデータ収集する
Logs
Metrics
Nginx
- コンテナ上でアプリを実⾏していると、
監視対象が動的になる
- Autodiscover により、設定の変化
にも柔軟に対応可能になる
- Template を指定する事で
Autodiscover はコンテナの起動時
から監視ができる Elasticsearch

31. ヒントベース auto-discovery
- Metricbeat はヒントを元にコンテナから取得す
べき情報を判断する
- 設定も⾃動で反映
- Logs, Metrics, Modules
- 次の⽂字列で始まる Pod の annotation か
Docker ラベルを元に hint を探す
co.elastic.metrics
- 9 種類のヒント
- co.elastic.metrics/module
- co.elastic.metrics/hosts
- co.elastic.metrics/metricsets
- co.elastic.metrics/raw
- ...
metricbeat.autodiscover:
providers:
- type: kubernetes
hints.enabled: true
annotations:
co.elastic.metrics/module: prometheus
co.elastic.metrics/metricsets: collector
co.elastic.metrics/hosts: '${data.host}:9090'
co.elastic.metrics/period: 1m

32. Kubernetes
アプリケーションパフォーマンスの監視

33. APM
Logs + Metrics + APM の統合
オープンソース
⾔語＆エージェント
Java, C#, Go, Node.js, Python, Ruby,
RUM (React, Vue.js, Angular)
専⽤の UI
合理化された APM ワークフロー
分散トレーシング
インデックス
他データと関連付ける
Elastic stack の機能をフル活⽤

34. アプリ（MySQL, nginx, petclinic）のデプロイと
Autodiscovery
# Deploy MySQL DB
kubectl create -f mysql/mysql.yml
# Deploy petclinic and nginx
kubectl create -f petclinic/petclinic.yml
kubectl create -f nginx/nginx.yml
# Observe the application components in Running state
kubectl get pods
kubectl get services

35. Demo
アプリ（MySQL, nginx, Petclinic）
のデプロイ

38. Prometheus メトリックを活⽤する
● MetricbeatのPrometheusモジュールでメトリックを捕捉、シッピング可能
● /metrics エンドポイントを使⽤するか、Prometheus Federation API を使って、Prometheus サーバーに接続
● 収集済みのメトリックをプルすることにより、Prometheus が収集するメトリックを補⾜できる
● Prometheus エクスポーターを直接 Metricbeat に接続し、ゲートウェイをプッシュする⽅法もある
● ※ 詳しくは、Elastic StackとPrometheusメトリックに関するドキュメントをご覧ください。

41. まとめ
• Filebeat & Metricbeat を使⽤してアプリケーションと Kubernetes のログとメトリックを収集
• すぐにシステムとインフラストラクチャの監視を開始できる
• Elastic Cloud で Elasticsearch Service の無料トライアルにサインアップ
• 稼働したら、稼働時間モニタリングを使⽤してホストの可⽤性を監視
• Elastic APM を使⽤してホストで実⾏されているアプリケーションを計測
• 新しいメトリックスクラスターと完全に統合された、完全に監視可能なシステム

42. リソース
• サンプルソリューション Github レポジトリ
‒ https://github.com/michaelhyatt/k8s-o11y-workshop
• 関連ブログ
‒ https://www.elastic.co/blog/kubernetes-observability-tutorial-k8s-log-
monitoring-and-analysis-elastic-stack
‒ https://www.elastic.co/blog/kubernetes-observability-tutorial-k8s-
metrics-collection-and-analysis
‒ https://www.elastic.co/blog/kubernetes-observability-tutorial-k8s-
monitoring-application-performance-with-elastic-apm

43. Thank you for your attention!