1. Copyright © GREE, Inc. All Rights Reserved.Copyright © GREE, Inc. All Rights Reserved.
Sumo Logic活用事例とその運用
Hiroaki Kobayashi
2019-02-21

2. Copyright © GREE, Inc. All Rights Reserved.
小林 裕明
● 所属: グリー株式会社 開発本部 インフラストラクチャ部
● 業務:
● プロダクトリリース・運用支援
● モニタリングシステム運用
自己紹介

3. Copyright © GREE, Inc. All Rights Reserved.
話すこと
● グリーにおけるログ分析基盤
● ユースケース
● 導入する上でのTips
● 利点・欠点
話さないこと
● 競合サービス/OSSとの比較
アジェンダ

4. Copyright © GREE, Inc. All Rights Reserved.
● グリーにおけるログ分析基盤
● ユースケース
● 導入する上でのTips
● 利点・欠点
アジェンダ

5. Copyright © GREE, Inc. All Rights Reserved.
● アプリケーションのデバッグ
● 正しい振る舞いができているかを検査する
● 障害の原因調査・パフォーマンスのボトルネック特定
● ミドルウェアが正常に処理できているか
● セキュリティ・監査
● 誰がいつ何をしたか証跡を残す
● ユーザ分析
● ページ遷移・離脱など行動の分析
ログの用途

6. Copyright © GREE, Inc. All Rights Reserved.
● アプリケーションのデバッグ
● Sumo Logic
● 障害の原因調査・パフォーマンスのボトルネック特定
● 状態監視: 内製基盤
● パフォーマンス分析: Sumo Logic, NewRelic, 内製基盤
● セキュリティ・監査
● CloudTrail: Sumo Logic
● その他: 内製基盤
● ユーザ分析
● 内製基盤
グリーにおけるログ分析基盤

7. Copyright © GREE, Inc. All Rights Reserved.
● グリーにおけるログ分析基盤
● ユースケース
● Application / Middleware Log
● CloudTrail
● Alert Report
● Grafana Integration
● 導入する上でのTips
● 利点・欠点
アジェンダ

8. Copyright © GREE, Inc. All Rights Reserved.
● Application Log
● ex: php.log, app.log
● 全文検索やLog Reduceでバグ調査
● デプロイ時にLive Tailでエラー確認
● 独自ダッシュボードを作成している部署もある
● Middleware Log
● ex: mysql error/slow log, apache error
● App Catalogで簡単にダッシュボードが作成可能
● Sumo LogicはCloudNativeな要件にも対応
● インスタンスのライフサイクルとは独立したログ管理
● Service, Roleなど任意の集合に対する検索
Application / Middleware Log

9. Copyright © GREE, Inc. All Rights Reserved.
簡単なクエリでも十分に効果を発揮する
Application / Middleware Log

10. Copyright © GREE, Inc. All Rights Reserved.
既存のダッシュボードから知見を享受できる
Application / Middleware Log

11. Copyright © GREE, Inc. All Rights Reserved.
Architecture
Application / Middleware Log
(event) CreateLogGroup
EC2
Aurora
RDS
CloudWatch Logs Connector
Subscriber
Subscription Filter
Refs
● https://github.com/SumoLogic/fluentd-output-sumologic
● https://github.com/SumoLogic/sumologic-aws-lambda

12. Copyright © GREE, Inc. All Rights Reserved.
● 全AWSアカウントのCloudTrail LogをSumo Logicへ集約
● 全アカウントに対する横断検索も容易
● 地味に全文検索が活躍
CloudTrail

13. Copyright © GREE, Inc. All Rights Reserved.
Architecture
CloudTrailの収集
CloudTrail
CloudTrail
CloudTrail
CloudTrail
CloudTrail
S3 Sender

14. Copyright © GREE, Inc. All Rights Reserved.
● アラートもログとしてSumo Logicへ送信
● 前週発生したアラートを集計しSlackへ定期通知
● アラートの削減・恒久対応に利用
Alert Report

15. Copyright © GREE, Inc. All Rights Reserved.
Architecture
Sumo LogicでScheduling, Notification全て完結
Alert Report
Scheduled Search
Webhook Connection
Webhook
Webhook

16. Copyright © GREE, Inc. All Rights Reserved.
GrafanaでSumo Logicのログを表示する
Grafana Integration

17. Copyright © GREE, Inc. All Rights Reserved.
Architecture
Grafana Integration
Sumo Logic
Data Source
Search Job API
Refs
● https://github.com/mtanda/grafana-sumologic-datasource

18. Copyright © GREE, Inc. All Rights Reserved.
● グリーにおけるログ分析基盤
● ユースケース
● 導入する上でのTips
● 収集するログの精査
● Metadataの設計
● 利点・欠点
アジェンダ

19. Copyright © GREE, Inc. All Rights Reserved.
無作為にログを溜めない
● ログは肥大化しやすい
● 時系列で分析したいものだけを送る
● Application, Middleware, …
● 自社基盤と役割が重複しないよう住み分けをする
● Access Log: 内製データ分析基盤
● Error Log: Sumo Logic
● Status Check, Alerting: 内製監視基盤
Tips1: 収集するログの精査

20. Copyright © GREE, Inc. All Rights Reserved.
● Metadataは権限やCollectorを管理する上で重要
● _collector, _sourceHostはデフォルトで同値
● 権限管理に有効な命名規則にする
● ex1: _collector=<ProductName>
● ex2: _sourceCategory=<Role>_<LogName>
● _sourceHostは自社基盤や運用との相性を考える
● IP, HostName, InstanceId, ...
Tips2: Metadataの設計

21. Copyright © GREE, Inc. All Rights Reserved.
グリーでの設計例
● _collector: プロダクト名
● _source: ミドルウェアなどログの種類
● _sourceCategory: 一意な識別子
Tips2: Metadataの設計
Apache Error
MySQL Slow
Foo Log
Apache Error
MySQL Slow
Bar Log
Nginx Error
MySQL Slow
Baz Log
Product A Product B Product C

22. Copyright © GREE, Inc. All Rights Reserved.
● グリーにおけるログ分析基盤
● ユースケース
● 導入する上でのTips
● 利点・欠点
アジェンダ

23. Copyright © GREE, Inc. All Rights Reserved.
● 平均データ転送量からなる費用体系
● スパイクを許容した料金設計
● 新規リリースや突発的なアクセス増加
● 共通基盤, IaaSの大障害
● リソースのキャパシティプランから開放される
● ストレージのコスト最適化
● 全文検索に対応するための計算リソース確保
● スパイクを処理するためのスケール戦略
Sumo Logicの利点

24. Copyright © GREE, Inc. All Rights Reserved.
● クエリの学習コスト
● 仕方ない
● チートシート作成や布教活動を通して習得してもらう
● 全員が全ての機能を使えなくても良いと割り切る
● 個人向けユーザへ開放されていない
● 検証に対するハードルが少し高い
● Weekend Projectなどでは利用できない
Sumo Logicの欠点

25. Copyright © GREE, Inc. All Rights Reserved.
● グリーにおけるユースケース紹介
● Application / Middleware Logの時系列分析
● CloudTrailの横断検索
● Alert Reportの通知
● Grafana Integration
● 導入する上でのTips
● ユースケースを考えてログは送る
● Metadataは運用しやすいよう設計する
● 利点: 柔軟な料金体系とスケーラビリティ
● 欠点: 利用者の学習コスト
まとめ

26. Copyright © GREE, Inc. All Rights Reserved.Copyright © GREE, Inc. All Rights Reserved.
インターネットを通じて、
世界をより良くする。

27. Copyright © GREE, Inc. All Rights Reserved.