ログについて改めて考えてみた

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

© Opt, Inc. All Rights Reserved.
ログについて改めて考えてみた話
株式会社オプト　仙台テクノロジー開発部
第11回タガヤス登壇資料

© Opt, Inc. All Rights Reserved.
自己紹介
- 佐藤宏
- 株式会社オプト仙台テクノロジー開発部所属
- 2011年入社
- シニアエンジニア
- 直近5年くらいはバックエンドしかやってない

© Opt, Inc. All Rights Reserved.
目次
1. What is a ログ？
2. ログの蓄積方法
3. ログの使い方
4. まとめ

© Opt, Inc. All Rights Reserved.
#0 きっかけ

© Opt, Inc. All Rights Reserved.
そもそもなんでログの事を考え始めたか？
- 性能改善やチューニングをする機会があった
- 前後での性能比較
- バックエンド側のバッチを主に担当していた
- 日々動いている事の確...

© Opt, Inc. All Rights Reserved.
今日のゴール
以下の事を考えるきっかけになればゴール達成
- ログのことを考え直すきっかけ
- 様々なログの保存方法を知るきっかけ
- ログの使い方について考えるきっかけ

© Opt, Inc. All Rights Reserved.
#1 What is a ログ？

© Opt, Inc. All Rights Reserved.
1. What is a ログ？
データログ
履歴、情報を記録に残すこと。また、その記録自体を
指す。
元々は航海日誌の意味であり、語源は「丸太」を海
に流して船の速さを測ったこ...

© Opt, Inc. All Rights Reserved.
1. What is a ログ？
コンピュータのログファイル。
アプリケーション、OS、サービスが処理内容、警告な
どの履歴を逐一記録し、障害発生時や開発時（デ
バッグ）などに参...

© Opt, Inc. All Rights Reserved.
逐一記録して、
　使いたい時に参照するもの

© Opt, Inc. All Rights Reserved.
記録したいもの
- アプリケーションの処理履歴（イベントログ）
- 障害（エラー）内容
- 開発時のデバッグ情報
など
目的によって、記録したいログは色々ある

© Opt, Inc. All Rights Reserved.
目的＝ログレベル
ログレベルを用いたログ管理の仕組みは、
syslog（プロトコル）が由来といわれている。
※syslog は、ログメッセージをIPネットワーク上で転送するための...

© Opt, Inc. All Rights Reserved.
RFC 5424
Emergency: system is unusable
Alert: action must be taken immediately
Critical: ...

© Opt, Inc. All Rights Reserved.
ロギングツール
例えば
- Java：Apache log4j
- PHP：Monolog
- Ruby：Logging
などなど色々ある

© Opt, Inc. All Rights Reserved.
log4jのログレベル
FATAL 致命的なエラー
ERROR エラー
WARN 警告
INFO 情報
DEBUG デバッグ用の情報
TRACE トレース情報

© Opt, Inc. All Rights Reserved.
１章まとめ

© Opt, Inc. All Rights Reserved.
1章まとめ
【再掲】
逐一記録して、
　使いたい時に参照するもの

© Opt, Inc. All Rights Reserved.
1章まとめ
- ログは明確な目的（エラーレベル）で出力している
か？
- ログに出力する内容は誰が決めている？
- ログの目的は誰が決めている？

© Opt, Inc. All Rights Reserved.
1章まとめ
- ログを使うのは誰か？利用用途は明確か？
- 開発者
- 運用保守担当者
- 非エンジニアのモニタリング用途

© Opt, Inc. All Rights Reserved.
問題

© Opt, Inc. All Rights Reserved.
例えば
Webアプリケーションで、ログイン失敗しました。
この時、ログレベルはどうするべきか？

© Opt, Inc. All Rights Reserved.
ログイン失敗
- ログイン出来ていないから、Error？
- ログイン処理として異常では状態じゃないけど、
正常とは異なるから、Warning(Notice)?
- サービスに影...

© Opt, Inc. All Rights Reserved.
答え
- 一概には言えない
- 認証サービスが落ちているならError以上
- IDやパスワードの入力ミスならInfo以下

© Opt, Inc. All Rights Reserved.
#2 ログの蓄積方法

© Opt, Inc. All Rights Reserved.
2. ログの蓄積方法
- サーバ上のファイル
- テキストフォーマット（text,csv,json）
- 列指向(カラムナ)フォーマット（Parquet）
- データベース
- ...

© Opt, Inc. All Rights Reserved.
何を保存する？
- Webアプリケーション
- Accessログ
- Eventログ
- Errorログ
- Info/Debugログ

© Opt, Inc. All Rights Reserved.
サーバ上のファイルにためる

© Opt, Inc. All Rights Reserved.
サーバ上のファイル
- テキストファイル
- 区切り文字（空白、カンマ、タブ）ファイル
- JSONファイル
- XMLファイル
- バイナリファイル（列指向フォーマット）
- ...

© Opt, Inc. All Rights Reserved.
テキストファイル
メリット：
- ライブラリが対応しているフォーマットであれば用
意に出力可能
- 各Editor/Viewerで閲覧可能

© Opt, Inc. All Rights Reserved.
テキストファイル
デメリット：
- ファイルがサイズが大きくなる
- 圧縮
- ローテーション
- 検索しづらい（用途による）
- 集計しづらい（用途による）

© Opt, Inc. All Rights Reserved.
サーバ上のファイル
所感：
- 区切り文字のファイルは拡張性に難がある
- jsonが好き（メタデータを含めた形で保存可）
- Parquet形式も便利（テキストファイルと比較す...

© Opt, Inc. All Rights Reserved.
データベースにためる

© Opt, Inc. All Rights Reserved.
データベース
メリット
- クエリが使える
- 検索、集計が出来る
- GUIツールや、クエリ等で閲覧可能

© Opt, Inc. All Rights Reserved.
データベース
デメリット
- テーブル定義をする必要がある
- ログ蓄積機能の開発
- トランザクション管理（性能劣化の可能性?）
- テーブルサイズが肥大化する
- テーブル定...

© Opt, Inc. All Rights Reserved.
クラウドサービスにためる

© Opt, Inc. All Rights Reserved.
クラウドサービス
メリット
- ロギングサービスを外に出せる
- サービス本体と切り離して考えられる
- 既存のサービスを利用して、提供されている機能
がすぐ利用できる

© Opt, Inc. All Rights Reserved.
クラウドサービス
デメリット
- コスト（使い方によっては有料）
- クラウドサービス側の障害の影響を受ける
- 各サービスのSLA次第
- 用途に合わないケース

© Opt, Inc. All Rights Reserved.
クラウドサービス
- Fluentd + α
- Sentry
- Amazon CloudWatch Logs

© Opt, Inc. All Rights Reserved.
Fluentd

© Opt, Inc. All Rights Reserved.
Fluentdとは
- オープンソースのデータログ収集ツール
- ログの取り込み（Input）と出力先（Output）を制
御（エージェントという形で常駐）
- Pluginとい...

© Opt, Inc. All Rights Reserved.
引用：https://www.ﬂuentd.org/architecture

© Opt, Inc. All Rights Reserved.
Fluentd
- ログを保存するシステムではない
- td-agent.confファイルを設定するだけで、　任意
のInputとOutputを繋げられる
- 様々なPlugin...

© Opt, Inc. All Rights Reserved.
Sentry

© Opt, Inc. All Rights Reserved.
Sentry とは
- ログの収集、監視サービス
- 言語ごとに用意されたSDKを使用してログをAPI
で送信
- エラー通知をSlackに連携することも可能

© Opt, Inc. All Rights Reserved.
引用：https://github.com/getsentry/sentry

© Opt, Inc. All Rights Reserved.
Sentry
- 個人用と開発初期のアプリケーション用途として、
無料版もあり
- プランごとにログイベントを受信できる制限が設け
られている

© Opt, Inc. All Rights Reserved.
Amazon CloudWatch Logs

© Opt, Inc. All Rights Reserved.
Amazon CloudWatch Logs とは
- AWSのログをためるサービス
- Lambda等、マネージドサービスのログは
CloudWatch Logsへ
- オンプ...

© Opt, Inc. All Rights Reserved.
Amazon CloudWatch Logs

© Opt, Inc. All Rights Reserved.
Amazon CloudWatch Logs
{
“aaa”: “hogehoge”,
“bbb”: 12345,
“ccc”: {
“c1”: 111,
“c2”: “222”...

© Opt, Inc. All Rights Reserved.
２章まとめ

© Opt, Inc. All Rights Reserved.
2章まとめ
- ログのため方は色々ある

© Opt, Inc. All Rights Reserved.
#3 ログの使い方

© Opt, Inc. All Rights Reserved.
3. ログの使い方
- イベントの監視/モニタリング
- 障害時のログ
- 開発時のログ

© Opt, Inc. All Rights Reserved.
クラウドサービス（モニタリング）
- DataDog
- Amazon CloudWatch Logs Insights
- Kibana

© Opt, Inc. All Rights Reserved.
DataDog
- サーバの監視/モニタリングツール
- 似たサービスとしてMackerel（マカレル）
- Freeプラン（サーバ5台、データ保管期間は1日）
- 様々なサービ...

© Opt, Inc. All Rights Reserved.
引用：https://docs.datadoghq.com/ja/guides/overview/
Host Map

© Opt, Inc. All Rights Reserved.
引用：https://docs.datadoghq.com/ja/guides/overview/
イベントの時系列表示

© Opt, Inc. All Rights Reserved.
Amazon CloudWatch Logs Insights
- 2018年末のre:Inventで発表されたサービス
- CloudWatch Logs のログデータを検索＆...

© Opt, Inc. All Rights Reserved.
24時間で1分でコールされたAPIの回数

© Opt, Inc. All Rights Reserved.
24時間で1分でコールされたAPIの平均応答速度

© Opt, Inc. All Rights Reserved.
Amazon CloudWatch Logs Insights（印象）
- 現状では、CloudWatch Logs データをクエリで検
索しビジュアライズできるが、おまけ機能レ...

© Opt, Inc. All Rights Reserved.
Kibana
デモ

© Opt, Inc. All Rights Reserved.
#4 まとめ

© Opt, Inc. All Rights Reserved.
ログは、使い方にあった
　　ため方をすることが大事

© Opt, Inc. All Rights Reserved.
定量的に計りたいイベントログは
常にモニタリング

© Opt, Inc. All Rights Reserved.
改善は
　モニタリングのその先に

© Opt, Inc. All Rights Reserved.
ご清聴ありがとうございました

Share Slideshare

LinkedIn
Facebook
Twitter

Embed

Size (px)

Show related Slideshows at end

WordPress Shortcode

Link

Share
Email

2024 Trend Updates: What Really Wor... by Search Engine Jou... 1038569 views
Storytelling For The Web: Integrate... by Chiara Aliotta 950715 views
Artificial Intelligence, Data and C... by OECD Directorate ... 873965 views
How to Leverage AI to Boost Employe... by SocialHRCamp 367437 views
2024 State of Marketing Report – by... by Marius Sescu 208765 views
Everything You Need To Know About C... by Expeed Software 228715 views

View on Slideshare

1 of 68 Ad

View on Slideshare

1 of 68 Ad