• Like
  • Save
Fluentd + Elasticsearch + Kibanaで行うログの分析と可視化
Upcoming SlideShare
Loading in...5
×
  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Be the first to comment
No Downloads

Views

Total Views
6,425
On Slideshare
0
From Embeds
0
Number of Embeds
8

Actions

Shares
Downloads
0
Comments
0
Likes
23

Embeds 0

No embeds

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
    No notes for slide

Transcript

  • 1. Fluentd + Elasticsearch + Kibana で行うログの分析と可視化 西谷圭介
  • 2. 自己紹介 eXcaleというPaaSの企画開発やってます 好きなAWSサービス:ELB, Route53 好きなCDP: Direct Hostingパターン @Keisuke69 https://www.facebook.com/keisuke69 https://github.com/Keisuke69
  • 3. Ruby製ログ収集ツール Treasure Dataがオープンソースで開発 200を超えるプラグイン 大規模Webサービス系を中心に導入事例多数 Elasticsearch社が開発するオープンソースの検索エンジン 分散型でRestfulAPIを持つ Apache Luceneベース、Luceneクエリもサポート Apache Solrの対抗馬で最近人気が高い Elasticsearch社が開発するオープンソースのログビジュアライゼー ションツール HTML/CSS/JSだけなので簡単に設置できる 自由にパネルを追加して好みのダッシュボードを作成 今日のメイン
  • 4. ログ分析 ログは情報の宝庫 プロモーションや新機能リリースの結果分析 ユーザの行動分析 UX等の改善 日々集積されるログの量は膨大 生ログを用いた解析は現実的ではない 見たい情報、見たい条件ですぐアクセスして可視化した い
  • 5. Why Kibana? UIがカッコ良い 好みのダッシュボードを作れるだけでなく、リアルタイムでクエ リをいじれるので見たい情報に素早く簡単にアクセスできる OSSなのでとりあえずログ分析始めるのにはちょうど良 い Javascript製のフロントエンドなのでブラウザだけあれ ばいい バックエンドのElaticsearchがLuceneベースなので直感 的なLuceneクエリが使える
 (例) status:200 AND host:hoge.example.com
  • 6. 分析ツールいろいろ Tableau + Redshift Tableau Softwareが提供するBIツールとAWSのDWHサービスの組み合わせ ログに限らない 見た目はすごく良い 有料、それなりの価格 Macで動かない Splunk Splunk社が提供するデータ分析ツール とりあえず高い、無償版とSplunk Stormはデータ量的に厳しかった クエリがわけわからなくて苦痛を感じるレベル Sumo Logic、Loggly SaaS
  • 7. システム構成
  • 8. システム構成 fluentd 各サーバのログをアグリゲータへとフォワード アグリゲータは集めたログをS3(保全用)、MongoDB(参照用)、Elasticsearch(解 析用)に流し込み Elasticsearch Kibanaで分析するためのデータストア Nginxをリバースプロキシとして設置 Kibana Nginxで配信 Basic認証を実施
  • 9. Kibana
  • 10. ダッシュボード
  • 11. Terms Bar Pie Table クエリ結果のフィールドごとの集計結果を可視化 表示形式をBar、Pie、Tableから選択可能
  • 12. Histgram クエリの結果を時系列で可視化
  • 13. Hits クエリの総ヒット件数を可視化 Bar、Pie、Listから選択可
  • 14. Sparkline クエリ結果の傾向だけを可視化
  • 15. 気をつけること Elasticsearchにダイレクトに接続できる必要がある v3からはJavascriptフロントエンドだけになったため インターネット越しに使いたい場合は怖い
 → リバースプロキシを用意すればOK 誰でもアクセスできてしまう 今のところ手前にWebサーバをおいてBasic認証するしかない リロードする前にまずセーブ 消えます カッコイイダッシュボードを眺めるだけで仕事をしてる気 になる
  • 16. 参考情報 Kibanaデモサイト
 http://demo.kibana.org Elasticsearch
 http://www.elasticsearch.org/ Fluentd
 http://fluentd.org/ 導入方法などはeXcaleのブログにも書いてます fluentd + Elasticsearch + Kibana セットアップ編
 http://blog.excale.net/index.php/archives/1929 fluentd + Elasticsearch + Kibana アクセス制御編
 http://blog.excale.net/index.php/archives/2291 fluentdに関しても書いてます
 http://blog.excale.net/index.php/archives/1704
 http://blog.excale.net/index.php/archives/1997