Fluentd + Elasticsearch + Kibanaで行うログの分析と可視化

14,090 views

Published on

Published in: Technology
0 Comments
56 Likes
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total views
14,090
On SlideShare
0
From Embeds
0
Number of Embeds
382
Actions
Shares
0
Downloads
0
Comments
0
Likes
56
Embeds 0
No embeds

No notes for slide

Fluentd + Elasticsearch + Kibanaで行うログの分析と可視化

  1. 1. Fluentd + Elasticsearch + Kibana で行うログの分析と可視化 西谷圭介
  2. 2. 自己紹介 eXcaleというPaaSの企画開発やってます 好きなAWSサービス:ELB, Route53 好きなCDP: Direct Hostingパターン @Keisuke69 https://www.facebook.com/keisuke69 https://github.com/Keisuke69
  3. 3. Ruby製ログ収集ツール Treasure Dataがオープンソースで開発 200を超えるプラグイン 大規模Webサービス系を中心に導入事例多数 Elasticsearch社が開発するオープンソースの検索エンジン 分散型でRestfulAPIを持つ Apache Luceneベース、Luceneクエリもサポート Apache Solrの対抗馬で最近人気が高い Elasticsearch社が開発するオープンソースのログビジュアライゼー ションツール HTML/CSS/JSだけなので簡単に設置できる 自由にパネルを追加して好みのダッシュボードを作成 今日のメイン
  4. 4. ログ分析 ログは情報の宝庫 プロモーションや新機能リリースの結果分析 ユーザの行動分析 UX等の改善 日々集積されるログの量は膨大 生ログを用いた解析は現実的ではない 見たい情報、見たい条件ですぐアクセスして可視化した い
  5. 5. Why Kibana? UIがカッコ良い 好みのダッシュボードを作れるだけでなく、リアルタイムでクエ リをいじれるので見たい情報に素早く簡単にアクセスできる OSSなのでとりあえずログ分析始めるのにはちょうど良 い Javascript製のフロントエンドなのでブラウザだけあれ ばいい バックエンドのElaticsearchがLuceneベースなので直感 的なLuceneクエリが使える
 (例) status:200 AND host:hoge.example.com
  6. 6. 分析ツールいろいろ Tableau + Redshift Tableau Softwareが提供するBIツールとAWSのDWHサービスの組み合わせ ログに限らない 見た目はすごく良い 有料、それなりの価格 Macで動かない Splunk Splunk社が提供するデータ分析ツール とりあえず高い、無償版とSplunk Stormはデータ量的に厳しかった クエリがわけわからなくて苦痛を感じるレベル Sumo Logic、Loggly SaaS
  7. 7. システム構成
  8. 8. システム構成 fluentd 各サーバのログをアグリゲータへとフォワード アグリゲータは集めたログをS3(保全用)、MongoDB(参照用)、Elasticsearch(解 析用)に流し込み Elasticsearch Kibanaで分析するためのデータストア Nginxをリバースプロキシとして設置 Kibana Nginxで配信 Basic認証を実施
  9. 9. Kibana
  10. 10. ダッシュボード
  11. 11. Terms Bar Pie Table クエリ結果のフィールドごとの集計結果を可視化 表示形式をBar、Pie、Tableから選択可能
  12. 12. Histgram クエリの結果を時系列で可視化
  13. 13. Hits クエリの総ヒット件数を可視化 Bar、Pie、Listから選択可
  14. 14. Sparkline クエリ結果の傾向だけを可視化
  15. 15. 気をつけること Elasticsearchにダイレクトに接続できる必要がある v3からはJavascriptフロントエンドだけになったため インターネット越しに使いたい場合は怖い
 → リバースプロキシを用意すればOK 誰でもアクセスできてしまう 今のところ手前にWebサーバをおいてBasic認証するしかない リロードする前にまずセーブ 消えます カッコイイダッシュボードを眺めるだけで仕事をしてる気 になる
  16. 16. 参考情報 Kibanaデモサイト
 http://demo.kibana.org Elasticsearch
 http://www.elasticsearch.org/ Fluentd
 http://fluentd.org/ 導入方法などはeXcaleのブログにも書いてます fluentd + Elasticsearch + Kibana セットアップ編
 http://blog.excale.net/index.php/archives/1929 fluentd + Elasticsearch + Kibana アクセス制御編
 http://blog.excale.net/index.php/archives/2291 fluentdに関しても書いてます
 http://blog.excale.net/index.php/archives/1704
 http://blog.excale.net/index.php/archives/1997

×