ソフトバンクのAWS活用事例 Drink Meetup #2での発表資料

1. 0
DatadogでAWS監視やってみた
ソフトバンク株式会社
アプリケーション技術本部
DevOps基盤開発部
山根 武信

2. 1
自己紹介
山根 武信
プロフィール：
前職：
ソフトウェア開発
2003年～ソフトバンクBB：
・ISP系サーバ（認証/DNS/メール等）構築
・サーバ基盤開発
・インフラ自動化開発
AWS利用歴：
2018/4月～

3. 2
とは
Linux Kubernetes Spring NW機器
３．アラート通知２．データ閾値超えで
１．データ集めて

4. 3
で良かったこと
● モニター設定が簡単
● 連携機能が豊富
● インスタンス コンテナオートディスカバリ
● ダッシュボード作成が簡単
● パフォーマンス分析が簡単
監視設定・運用省力化

5. 4
モニター設定が簡単
分程度でホスト 台設定
● Multi Alertで複数ホスト設定
● Load Average正規化で異なるvCPU数に対応 (system.load.norm.1)
● テンプレート変数でアラート通知にホスト名埋め込み
(Load Average is high on {{host.name}})
● ホスト追加時に追加設定不要

6. 5
連携機能が豊富
導入している連携機能。この他に 以上

7. 6
【連携例】 で監視するシステム
k8s
全てのレイヤを監視
Pod Pod
Service

8. 7
AWS オンプレ
【連携例】 アラート通知
既存監視
システム
連携VM
Publish
Message
Send
Message
チケット管理
Consume
Message
REST-API
既存監視システムに連携

9. 8
インスタンス コンテナオートディスカバリ
動的に変化する環境に対応
Proc Log Proc Log
Auto Scaling
Deployment Pod Pod
Auto Discovery
Auto Discovery
HPA

10. 9
DatadogでAWS監視やってみた
（アプリ編）
ソフトバンク株式会社
アプリケーション技術本部 IoTシステム開発部 SoE開発課
関 修康（せき のぶやす）

11. 10自己紹介
■氏名
関 修康（せき のぶやす）
■業務上の役割
【アプリケーション開発エンジニア】
・外部ベンダー製システムをオンプレに構築・運用
・IoTアプリケーションの内製開発・運用

12. 11
ソフトバンクのAWS利用状況は
本部毎に異なるので詳細は不明

13. 12
アプリケーション技術本部は
アプリケーション開発基盤に
AWSが利用可能

14. 13
ただし
通信業界の制約等から
採用事例は少ない

15. 14
AWSの熟練度はまだまだ

16. 15
この様な状況下で

17. 16
IoT関連でAWSを
利用可能な案件を担当

18. 17
同時にAgile開発の取り組み

19. 18
更にアプリ基盤として
kubernetes系のコンテナサービス採用

20. 19
AWS＋IoT＋Agile＋kubernetes

21. 20
初めてだらけ

22. 21
当然、悪戦苦闘の毎日

23. 22
その中での課題の一つ

24. 23
今までのオンプレ監視との違い

25. 24いままでの監視のイメージ
• Zabbixのagent入れる
• Hostnameの設定
• ZabbixServerで監視項目インポート

26. 25監視の課題
● Agentどこに入れるの？
○ Dockerにzabbix-gentいれる？
● コンテナリソースの監視
○ Zabbixでdocker監視するの大変そう。
● AWSのリソース監視
○ CloudWatchから、zabbixに飛ばす方法は？。
● ログ監視
○ CloudWatchLogs？
意外に大変そう

27. 26Datadog
そこで出てきたのがDatadog
【採用理由】
1. SaaS型ですぐ使える
2. アプリケーション基盤側での検証結果
3. ？

28. 27Datadog
そこで出てきたのがDatadog
【採用理由】
1. SaaS型ですぐ使える
2. アプリケーション基盤側での検証結果
3. アイコンが可愛い

29. 28
EC2EC2
cluster
pod
Spring
Application
Datadogのメトリクスデータ&Logデータの流れ
kubernetes cluster
kubernetes pod
aws ec2
application
pod
Spring
Application
pod
Spring
Application

30. 29
Datadog-java-agent設定: 1日
java -javaagent:/path/to/the/dd-java-agent.jar -jar /your/app.jar
- name: AGENT_ENABLE
value: "true"
- name: DD_AGENT_HOST
valueFrom:
fieldRef:
fieldPath: status.hostIP
- name: DD_TRACE_SPAN_TAGS
value: "env:prod"
- name: DD_SERVICE_NAME
value: "admin-app"
- name: DD_SERVICE_MAPPING
value: "mysql:mysql,redis:redis"
deployment.yml
起動コマンド

31. 30
アプリ観点で便利だと思うポイント

32. 31
Dashboards

33. 32Dashboards
グラフィカルなダッシュボードがテンプレで準備

34. 33
APM
Trace Search & Analytics

35. 34APM Trace Search & Analytics 1/2
ユーザートランザクション毎のパフォーマンスの可視化

36. 35APM Trace Search & Analytics 2/2
ユーザートランザクション毎のパフォーマンスの可視化

37. 36
Log Management

38. 37Log Management
クエリ書式が利用可能、全podを横断的に検索可能

39. 38
利用してみて感じた
注意するべきポイント

40. 39利用してみて感じた注意するべきポイント
負荷試験・限界値試験の実施時のログ送信 → ×

41. 40
今後改善して欲しい点

42. 41今後改善して欲しい点
• HTTP外形監視が無い
– 自分でAgentを立ててメトリクスデータを取得し、
トリガーによって監視を行う必要がある。

43. 42最後に
AWSで簡単に監視している方、
Datadog利用している方、
情報交換させてください！

44. 43告知
https://www.datadoghq.com/ja/event/japan-meetup-19/

45. 44
ありがとうございました