Grafana Lokiの Docker Logging Driver入門 (Docker Meetup Tokyo #34, 2020/01/16) Masahiko Utsunomiya, NTT DATA

1. Grafana Loki の
Docker Logging Driver 入門
Masahiko Utsunomiya
2020/1/16
Docker Meetup Tokyo #34

2. 1#dockertokyo https://bit.ly/2Nd7hfu
掲載内容は個人の見解であり、
所属する企業や組織の立場、戦略、意見を
代表するものではありません

3. 2#dockertokyo https://bit.ly/2Nd7hfu
Whois
 金融分野のお客様のクラウド導入支援
 興味：Observability（Prometheus, Fluentd, Loki, Jaeger, etc.）
 Grafana Loki コントリビュータ
Helm Chart のメンテナンスなどしています
polar3130
Masahiko Utsunomiya
Infrastructure Engineer / Relationship Builder
NTT DATA Corporation

4. 3#dockertokyo https://bit.ly/2Nd7hfu
制作に参加した書籍がでました
“Kubernetes
ポケットリファレンス”
ISBN : 978-4-297-10957-8
2019/11/16発売
技術評論社より
主にレビュアとして参加、
本編・コラムの一部執筆も担当させて頂きました

5. 4#dockertokyo https://bit.ly/2Nd7hfu
Docker のログ、どうしてますか
例えば、次のような環境で動いているシステムのログ収集を...
ホストのログは Cloudwatch Logs へ
Docker エンジンのログは
rsyslog でファイルサーバへ
application
アプリケーションのログは
Fluentd で Elasticsearch へ

6. 5#dockertokyo https://bit.ly/2Nd7hfu
Docker のログ、どうしてますか
バラバラに収集すると後から特定のログを探すのは大変
ホストのログは Cloudwatch Logs へ
Docker エンジンのログは
rsyslog でファイルサーバへ
application
アプリケーションのログは
Fluentd で Elasticsearch へ
アプリの利用傾向から
将来のリソースを予測したい、
ログから相関とかわからない？
監査に必要だから
この期間の関連するログを
全部もってきて！
デバッグしたいけど、
関連するログは
どこに置いてあったっけ？

7. 6#dockertokyo https://bit.ly/2Nd7hfu
目的と手段のミスマッチ
改変できない、されていないと
証明できることが必要
プロセスの透明性が重視される
軽量性、高可用性が必要
できるだけ多くの生ログと、
簡便なgrepツールが求められる
Logging
短期的目線長期的目線
監査・実績管理傾向分析・予測
複雑な二次加工が必要（傾向）
多角的な集計・フィルタリング
ができるツールが求められる
デバッグ傾向分析・予測
目的に合わない手段では、ログの運用負荷が不必要に高まる場合がある

8. 7#dockertokyo https://bit.ly/2Nd7hfu
手段に応じたロギングドライバの選択
Docker はロギングソリューションに応じてドライバを変更できる
デフォルトは json-file, その他は Fluentd などがサポートされている
公式にないものもプラグインをインストールして利用可能
none
local
json-file (default)
journald
syslog
gelf
fluentd
awslogs
splunk
etwlogs
gcplogs
logentries
○ docker logs
✕ docker logs
(Docker CEの場合)
built-in logging drivers※
$ docker plugin install <org/image>logging driver plugins
※ Docker v19.03

9. 8#dockertokyo https://bit.ly/2Nd7hfu
ロギングドライバの設定
デフォルトのロギングドライバは daemon.json で設定
log-opts にドライバに応じたオプション設定を追記
コンテナ起動時にドライバを個別指定することも可能
参考：https://docs.docker.com/config/containers/logging/configure/
daemon.json
{
"log-driver": "syslog",
"log-opts": {
"syslog-address": "udp://1.2.3.4:1111"
}
}
$ vim /etc/docker/daemon.json
$ docker info --format '{{.LoggingDriver}}'
syslog
$ docker run --name hoge ...
$ docker inspect hoge --format '{{.HostConfig.LogConfig.Type}}’
syslog

10. 9#dockertokyo https://bit.ly/2Nd7hfu
ロギングドライバの設定
デフォルトのロギングドライバは daemon.json で設定
log-opts にドライバに応じたオプション設定を追記
コンテナ起動時にドライバを個別指定することも可能
参考：https://docs.docker.com/config/containers/logging/configure/
daemon.json
{
"log-driver": "syslog",
"log-opts": {
"syslog-address": "udp://1.2.3.4:1111"
}
}
$ vim /etc/docker/daemon.json
$ docker info --format '{{.LoggingDriver}}'
syslog
$ docker run --name hoge --log-driver json-file ...
$ docker inspect hoge --format '{{.HostConfig.LogConfig.Type}}’
json-file

11. 10#dockertokyo https://bit.ly/2Nd7hfu
• 圧縮された非構造化ログとメタデータのインデックスのみを扱うことで軽量に動作
• Prometheusにインスパイアされた設計：
時系列データベース、サービスディスカバリ、ラベルによる多次元データモデル
• 水平スケーラビリティ、高可用性、マルチテナンシーをデフォルトで組み込み
Grafana Labs が開発中のOSSロギングツール
（以降、Lokiと記載）
- latest: v1.2.0 （KubeCon + CloudNativeCon NA 2019 にて GA）
- Github Star 8,416（1/11時点）
- Go 言語で開発
- https://grafana.com/lokilike Prometheus, but for logs.
Grafana Loki とは

12. 11#dockertokyo https://bit.ly/2Nd7hfu
Grafana Loki の Docker ロギングドライバ
logging driver plugins のひとつとして公開されているドライバ
下記のように docker plugin コマンドでインストール
Loki サーバ または Grafana Cloud へのログ転送をサポート
インストールが完了すれば daemon.json でデフォルトドライバにも指定可能
デュアルロギング方式
Docker Enterprise Edition のように、json-file 形式も併せて出力される
Loki サーバとの接続に問題がある場合でもホスト上で docker logs によりログを確認できる
$ docker plugin install grafana/loki-docker-driver:latest --alias loki --grant-all-permissions

13. 12#dockertokyo https://bit.ly/2Nd7hfu
Grafana Loki によるログ検索
Grafana Loki Logging Driver for Loki
コンテキストに応じた
ラベルを選択し、
grep感覚でフィルタリング
ログの量や頻度に応じた
メトリクスも生成できる
ラベルベースで
コンテナを横断した
検索が可能

14. 13#dockertokyo https://bit.ly/2Nd7hfu
まとめ
目的に応じたロギングソリューションを選択する
ログはモニタリングの中でも特にデータ量が多いテレメトリ
無作為に収集するとログ管理の運用負荷が不必要に増える
ソリューションに応じて Docker のロギングドライバを使い分ける
デフォルト設定は /etc/docker/daemon.json で指定
コンテナ起動時に明示すればオーバーライドも可能
Loki スタックによる Docker ロギングソリューション
ラベルベースでコンテナやノードを横断的に検索でき、軽量かつ直感的
Docker Compose や Swarm など複数のコンテナを実行する環境で特に有効

15. Thank you for your attention!