2019/3/20 Cloud Monitoring meetup with AWSの発表資料

1. 0
ここが良かったDatadog
～ソフトバンクのDatadog活用事例～
ソフトバンク株式会社
アプリケーション技術本部
DevOps基盤開発部
山根 武信

2. 1
自己紹介
プロフィール：
2003年～ソフトバンク：
・ISP系サーバ（認証/DNS/メール等）構築
・サーバ基盤開発
・インフラ自動化開発
・DevOps基盤開発
AWS利用歴：
2018/4月～
山根 武信

3. 2
Datadog採用の背景

4. 3
アプリケーション開発の課題
環境構築などアプリ開発以外の作業負荷
開発から商用環境へのスムーズな移行
可用性（継続的な稼働）の向上
監視設定・統計解析の作業負荷

5. 4
運用基盤アプリ実行基盤
CI/CD
パイプライン
DevOps実践環境導入
作業の自動化
可用性向上
作業の省力化

6. 5
DevOps
基盤開発
アプリ開発
アプリ開発と基盤開発のロール
アプリケーション開発
AWS
RDSなどアプリ部分
Kubernetes
manifest
CI/CD実行
Kubernetes
Terraform
template
AWS
VPCなど基盤部分
CI/CD Tool chain
オンプレ
OpenStack
アプリ運用
基盤運用

7. 6
導入スケジュール
DevOps
基盤開発
アプリ開発
2018/4月
★
7月 10月
チーム発足
DevOps
キャッチアップ
CI/CD PoC
基盤導入調整
開発環境
導入
商用環境
導入
Datadog
Trial ★Datadog
使用開始
★チーム発足
CI/CD PoC
Ph1開発
負荷
試験
Ph2開発
Datadog
Trial
★S-in
監視
検討
2019/1月
★Datadog
使用開始
総合
試験

8. 7
Datadogの選定経緯
学習コスト
オンプレ連携
構築工数
インスタンス
オートディスカバリ
PoDオートディスカバリ

9. 8
Datadogの適用範囲
基盤開発
アプリ開発
アプリケーション開発
AWS
RDSなどアプリ部分
Kubernetes
manifest
CI/CD実行
Kubernetes
Terraform
template
AWS
VPCなど基盤部分
CI/CD Tool chain
オンプレ
OpenStack
アプリ運用
基盤運用

10. 9
Datadogで良かったこと

11. 10
モニター設定が簡単
10分程度でホスト100台設定
● Multi Alertで複数ホスト設定
● Load Average正規化で異なるvCPU数に対応 (system.load.norm.1)
● テンプレート変数でアラート通知にホスト名埋め込み
(Load Average is high on {{host.name}})
● ホスト追加時に追加設定不要

12. 11
連携機能が豊富
導入している連携機能。この他に150以上

13. 12
【連携例】Datadogで監視するシステム
k8s
全てのレイヤを監視
Pod Pod
Service

14. 13
AWS オンプレ
【連携例】Datadogアラート通知
既存監視
システム
連携VM
Publish
Message
Send
Message
チケット管理
Consume
Message
REST-API
既存監視システムに連携

15. 14
インスタンス/コンテナオートディスカバリ
動的に変化する環境に対応
Proc Log Proc Log
Auto Scaling
Deployment Pod Pod
Auto Discovery
Auto Discovery
HPA

16. 15
Kubernetesリソース監視
複雑な監視にも対応
Pod Pod
Worker Node Worker Node Worker Node
Resource
Requests
Resource
Requests
Resource
Requests
Kubernetes Cluster
Deployment
HPA
リソース超過！

17. 16
導入効果 ※私の主観です
リソース監視 監視対象登録
Agentインストール
ACL変更 Route追加
Template適用 閾値調整 1週間
既存監視システム
ログ監視 監視文字列
調整/決定 1週間
ミドルウェア監視 Script作成
Script設定 1週間
統計作成 Script作成
Script設定
グラフ設定
2週間
ボトルネック分析 デバッグ設定
ログ収集
ログ分析
3週間
リソース監視 Agentインストール
Monitor作成 1日
Datadog
ログ監視 監視文字列設定
2時間
ミドルウェア監視 Integration設定
2時間
統計作成 グラフ設定
グラフ公開 2時間
ボトルネック分析 分析コード埋め込み
APM設定 2時間
全Agent監視
文字列設定
閾値設定
グラフ設定
資料化

18. 17
ありがとうございました