FluentdとRで簡単ログ解析第30回R勉強会@東京(#TokyoR)
自己紹介• @_TRIP_DANCER• お仕事– 仮想化エンジニア(VMware)• 学生時代– 心理学専攻↑ここでRと出会う• Rはほぼ趣味– 来るべき時に備えて・・・
Fluentd,MongoDB,Rでお手軽ログ解析環境をつくる話
Fluentdとは?• ログ収集基盤ソフトウェア• Fluentdにインプットされた、すべてのログをJSONに変換し、アウトプット簡単にいうと・・・。• 機器・システムのログのフォーマット/形式の違いをFluentdで吸
JSON?RでもJSON扱えるパッケージあったような?ってことは、Fluentdを使えば、ログ解析がもっと幸せになれるはず!
FluentdとRを簡単につなぐには???
FluentdとRを簡単につなぐには???MongoDBがお手軽!
なぜMongo?• MongoDBはREST(HTTP)で取得可能– MySQLなどのデータベースは、SQLとかドライバとか面倒だなぁと思ってた• MongoDBなら、Rcurlでデータ取れる– SQLとかデータベースドライバは不要• http...
環境ApacheアクセスログrculRJSONIOApaceのアクセスログをRで解析可能!
手順• Apache2のインストール• Fluentdのインストール• MongoDBのインストール– FluentdがMongoDBに吐くように設定– RESRでデータがとれるように設定• Rcurl/RJSONIOでデータ取得、解析!
Upcoming SlideShare
Loading in...5
×

Fluentd,mongo db,rでお手軽ログ解析環境

4,166

Published on

第30回R勉強会@東京(#TokyoR)でのLT資料

Published in: Technology
0 Comments
10 Likes
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total Views
4,166
On Slideshare
0
From Embeds
0
Number of Embeds
8
Actions
Shares
0
Downloads
0
Comments
0
Likes
10
Embeds 0
No embeds

No notes for slide

Fluentd,mongo db,rでお手軽ログ解析環境

  1. 1. FluentdとRで簡単ログ解析第30回R勉強会@東京(#TokyoR)
  2. 2. 自己紹介• @_TRIP_DANCER• お仕事– 仮想化エンジニア(VMware)• 学生時代– 心理学専攻↑ここでRと出会う• Rはほぼ趣味– 来るべき時に備えて・・・
  3. 3. Fluentd,MongoDB,Rでお手軽ログ解析環境をつくる話
  4. 4. Fluentdとは?• ログ収集基盤ソフトウェア• Fluentdにインプットされた、すべてのログをJSONに変換し、アウトプット簡単にいうと・・・。• 機器・システムのログのフォーマット/形式の違いをFluentdで吸
  5. 5. JSON?RでもJSON扱えるパッケージあったような?ってことは、Fluentdを使えば、ログ解析がもっと幸せになれるはず!
  6. 6. FluentdとRを簡単につなぐには???
  7. 7. FluentdとRを簡単につなぐには???MongoDBがお手軽!
  8. 8. なぜMongo?• MongoDBはREST(HTTP)で取得可能– MySQLなどのデータベースは、SQLとかドライバとか面倒だなぁと思ってた• MongoDBなら、Rcurlでデータ取れる– SQLとかデータベースドライバは不要• http://192.168.xx.xx:28017/apache/access/アクセスJSON形式データ
  9. 9. 環境ApacheアクセスログrculRJSONIOApaceのアクセスログをRで解析可能!
  10. 10. 手順• Apache2のインストール• Fluentdのインストール• MongoDBのインストール– FluentdがMongoDBに吐くように設定– RESRでデータがとれるように設定• Rcurl/RJSONIOでデータ取得、解析!

×