LINE DEVELOPER DAY 2017 C-16

2. Observability at LINE
Huy Do
@dxhuy
開発１センター・開発３室

3. - Observabilityとは
- LINEの成長と伴うObservability EcoSystem: IMON
- いろいろな観点から見るIMON
目次

4. Observabilityとは
直接にサーバ入ったり、デバッグしたりせずにシステムの状態を把握すること
Metrics Tracing
Logging
https://peter.bourgon.org/blog/2017/02/21/metrics-tracing-and-logging.html

5. Metrics 時系列データ、集約可能、トレンド把握のため
Observabilityとは
Tracing スコープを持っているリクエスト、デバッグのため
Logging 離散的なイベント、デバッグのため

6. LINEの成長と伴う
Oservability EcoSystem
- LINEのスケールを支えるため全部自作する
- たくさんサブシステムを持っているMetrics Monitoring /
Logging用の社内共通インフラ
- 社内では「IMON」と呼んでいる
- ホストが初期化されると自動的にモニタリングされる
- 可愛いロゴと可愛いマスコット持っている

7. 使用イメージ

8. ユーザから見るIMON
The four golden signal
- Latency: デフォルトでTomcatの遅延を見て、アラートする
- armeriaを使うと、自動的にエンドポイント毎がモニタリングされる

9. ユーザから見るIMON
The four golden signal
- Traffic: どのぐらいリクエスト来ているのかを把握する

10. ユーザから見るIMON
The four golden signal
- Error: 20分毎にグルーピングされてチケットとして登録
- エラーが多すぎると気づかないことが多いので毎日集計してメール
でリポート

11. ユーザから見るIMON
The four golden signal
- Saturation: 基本javaシステムのサチレーションを表す数字はスレッドカウ
ント ( tomcatの ThreadCount / MaxThread )
- 直接JMX見て、10秒毎のスレッドカウントアラートするサブシステムを
開発した

12. アーキテクチャから見るIMON
Java web app
logback
Host
Agent
IMON server
IMON server
IMON serverMySQL
Sharding
IMON UI
IMON server
IMON serverElasticsearch
Cluster
Metadata
MySQL
Engineer
Arbitrary script
Alert
JMX
Metrics
Log

13. 数字から見る IMON
- 1分 10万 メトリックリクエスト
- 一つのリクエストはメトリックがバッチされているので、
メトリックから見ると ~130万データポイント
- 1分 6万 ~ 8万 ログリクエスト（ピークは100万）

14. スケール問題から見るIMON
- サーバスケール問題
- Kafkaを活用して疎結合を実現する＋SPOFを防ぐ
IMON FrontEnd
Cleanup
Metrics
Kafka
MySQL Worker
Alert Worker
ES Worker
- HAのために二つのIMONクラスターを用意、お互いを監視する

15. スケール問題から見るIMON
- ストレージ問題
- MySQLのデータ圧縮率悪いのでストレージ量が大きくなる
- データ量減らすためにResolutionを分ける
- 1分のデータ（短期間保存）
- 5分のデータ / 10分のデータ（長期間保存）
- OpenTSDB / ElasticSearchなどへの移行も検討中
- 検討のためにKafkaが助かる

16. スケール問題から見るIMON
- ホストエージェントの管理が大変問題
- 数千、数万ホストで動いているエージェントどう管理するのが困難
- ホストが死亡！＝エージェントがバグ
- PythonからGoに
- 環境依存性をなくす、開発コスト・テストコストを削減
- エージェントが自分のhttpサーバを持って状態をprometheus形式でエク
スポートする
- そこで全ホストのエージェントをprometheusで監視・アラート可能

17. スケール問題から見るIMON
- ホストエージェントの管理が大変問題
- 全ホストのエージェント状態を一目でわかる

18. サイトは間に合うけど当日掲示す
るボードは入稿しちゃったので間
に合いません！未来から見る
IMON
- オンコールをサポートするアラートシステム（PagerDutyみたい）
- 社内共通トレシーングインフラ（OpenTracing, Zipkinなど）
- 新しいインフラスタックに対応する（k8sなど）
- ......... （やりたいことがたくさんあります）

19. Thank you