Fluentd + ElasticSearch +
Kibana
JAWS-UG沖縄 米須
自己紹介
• Twitter: @asumaslv
• Facebook: asumaslv
• YO: ASUMASLV
• 熱しやすく冷めやすい飽きっぽい性格
• 好きなAWSサービス CloudFront
• JAWS-UG沖縄 代表
2...
お願い
• LTなのでマサカリ を投げていただけるなら歓
迎です。
• TwitterやFacebookに写真付きの投稿よろしく
お願いいたします。#hcmpl
• YOはコンテキストだ!!!
2014-07-11
最近流行の単語
• Vagrant/Docker
• Chef/Puppet
• Serf/Consul
• Fluentd/Kibana
• Sensu
2014-07-11
個人的なお願い
• 伊藤さん Chef実践入門にサインしてください
2014-07-11
5月のJAWS-UGでのTweet
• 今日のイベントで極めて普通なんですけど…といった
場合の構成は「R53・CF・ELB・EC2・RDS・
ElastiCache・DynamoDB・SQS・(Fluentd・
NewRelic・Elasti...
2014-05-24
時代の流れが速すぎてついていけてない
今日話すこと
• ElasticSearch やKibanaの話をしてみる
• Kibanaのデモが出来ればそれはそれでOK
2014-07-11
台数増えるとLogの管理が大変
2014-07-11
いたって普通の構成
2014-07-11
2014-05-24
Fluentd+ElasticSearch+kibana
ログ解析
ElasticSearch
• Javaで書かれた全文検索ライブラリ
• Apache Luceneを用いた全文検索、解析サー
バ
• RESTfullで容易にアクセス可能
• スケールも可能
2014-07-11
kibana
• ビジュアライズできるデータ分析ツール
• 見た目が美しい
• 色々なプロダクションにも入れるべき
2014-07-11
どんなLogを視覚化するといい?
• あらゆるLog
• td-agentのformatでがんばればなんだってい
ける
2014-07-11
構築
• LogがたまるServer
• td-agent
• fluent-plugin-elasticsearch
• 集計側
• ElasticSearch
• kibana
• nginx
2014-07-11
ハマッタ箇所
• Indexに大文字は使えない
• An index is a collection of documents that have
somewhat similar characteristics. For example, y...
Demo
2014-07-11
Sample
2014-07-11
実際つかってみて
• 遊ぶとCPUが足りない
• HDDはもっと足りない(/var/lib/elasticsearch/)
• ビジュアルかできるのはすごい
• Query自分で書けるのもいい
• グラフが並ぶとなぜか嬉しい
2014-07-11
Upcoming SlideShare
Loading in …5
×

ハッカーズチャンプル2014 LT Fluentd + ElasticSearch + Kibana

1,644 views

Published on

ハッカーズチャンプル2014 LT「Fluentd + ElasticSearch + Kibana」

Published in: Technology
0 Comments
1 Like
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total views
1,644
On SlideShare
0
From Embeds
0
Number of Embeds
707
Actions
Shares
0
Downloads
4
Comments
0
Likes
1
Embeds 0
No embeds

No notes for slide

ハッカーズチャンプル2014 LT Fluentd + ElasticSearch + Kibana

  1. 1. Fluentd + ElasticSearch + Kibana JAWS-UG沖縄 米須
  2. 2. 自己紹介 • Twitter: @asumaslv • Facebook: asumaslv • YO: ASUMASLV • 熱しやすく冷めやすい飽きっぽい性格 • 好きなAWSサービス CloudFront • JAWS-UG沖縄 代表 2014-07-11
  3. 3. お願い • LTなのでマサカリ を投げていただけるなら歓 迎です。 • TwitterやFacebookに写真付きの投稿よろしく お願いいたします。#hcmpl • YOはコンテキストだ!!! 2014-07-11
  4. 4. 最近流行の単語 • Vagrant/Docker • Chef/Puppet • Serf/Consul • Fluentd/Kibana • Sensu 2014-07-11
  5. 5. 個人的なお願い • 伊藤さん Chef実践入門にサインしてください 2014-07-11
  6. 6. 5月のJAWS-UGでのTweet • 今日のイベントで極めて普通なんですけど…といった 場合の構成は「R53・CF・ELB・EC2・RDS・ ElastiCache・DynamoDB・SQS・(Fluentd・ NewRelic・ElasticSearch・kibana)」といった感じ。 2014-07-11
  7. 7. 2014-05-24 時代の流れが速すぎてついていけてない
  8. 8. 今日話すこと • ElasticSearch やKibanaの話をしてみる • Kibanaのデモが出来ればそれはそれでOK 2014-07-11
  9. 9. 台数増えるとLogの管理が大変 2014-07-11
  10. 10. いたって普通の構成 2014-07-11
  11. 11. 2014-05-24 Fluentd+ElasticSearch+kibana ログ解析
  12. 12. ElasticSearch • Javaで書かれた全文検索ライブラリ • Apache Luceneを用いた全文検索、解析サー バ • RESTfullで容易にアクセス可能 • スケールも可能 2014-07-11
  13. 13. kibana • ビジュアライズできるデータ分析ツール • 見た目が美しい • 色々なプロダクションにも入れるべき 2014-07-11
  14. 14. どんなLogを視覚化するといい? • あらゆるLog • td-agentのformatでがんばればなんだってい ける 2014-07-11
  15. 15. 構築 • LogがたまるServer • td-agent • fluent-plugin-elasticsearch • 集計側 • ElasticSearch • kibana • nginx 2014-07-11
  16. 16. ハマッタ箇所 • Indexに大文字は使えない • An index is a collection of documents that have somewhat similar characteristics. For example, you can have an index for customer data, another index for a product catalog, and yet another index for order data. An index is identified by a name (that must be all lowercase) and this name is used to refer to the index when performing indexing, search, update, and delete operations against the documents in it. 2014-07-11
  17. 17. Demo 2014-07-11
  18. 18. Sample 2014-07-11
  19. 19. 実際つかってみて • 遊ぶとCPUが足りない • HDDはもっと足りない(/var/lib/elasticsearch/) • ビジュアルかできるのはすごい • Query自分で書けるのもいい • グラフが並ぶとなぜか嬉しい 2014-07-11

×