10分で説明するfluentd 社内勉強会用の資料 fluentdの概要とプラグイン作成が簡単であることのアピール

1. fluentdへようこそ
サーバーワークス 新坂

2. アジェンダ





概要
要求
作る
公開する
使う

3. fluentdとは

4. fluentdって
オープンソースなログコレクタ
Input+Buffering+Output
JSONで出力
ファイル
syslog
DBMS
apache log
アプリケーション
ストレージ
[{ “type”: “JSON”} ]
http://fluentd.org/

5. デフォルト プラグイン
INPUT Plugin
OUTPUT Plugin
in_forward
in_http
in_unix
in_tail
in_exec
in_syslog
in_scribe
etc...
out_file
out_forward
out_exec
out_copy
out_stdout
out_s3
out_mongo
etc...

6. コミュニティ プラグイン
http://fluentd.org/plugin/

7. 要求は魔物

8. こんな要求
RDS(MySQL)の
general_logを
取得して
保存したい。

9. 捜索
コミュニティプラグインに
RDSの
slowlogを
取得するものは
あった。
（general_log取得ではない）

10. プラグイン、
ありません

11. できませんは言いません
できませんは
言いません。
福岡県から来ました、
大家志津香です。

12. プラグイン、
作ります

13. プラグインを作る
プラグインをつくるルールがある。

14. 既存のプラグインを真似る
GitHubでソース公開されている
（ことが多いようだ）
↓
forkして改造
（ライセンスは確認しつつ）

15. rubygem

16. インストール
gem install fluent-plugin-rds-log

17. 設定
<source>
type rds_log
log_type general_log
host hoge.cxsdbrhobd0u.ap-northeast-1.rds.amazonaws.com
username shinsaka
password hoge
refresh_interval 10
auto_reconnect true
tag rds.general
</source>
<match rds.general>
type file
path /tmp/rds.general
</match>

18. ログ確認
2013-10-25T00:07:35+09:00
rds.general
{"event_time":"2013-10-24
15:07:45","user_host":"rdsadmin[rdsadmin]
@ localhost
[127.0.0.1]","thread_id":"9","server_id":"138
8689632","command_type":"Query","argume
nt":"SELECT 1"}

19. まとめ
 fluentdで、とりあえずログ採取
 扱いやすいデータ
 分析もしやすいに違いない

20. おわり
必要なプラグインは作ってみよう！

21. 資料
Fluentdで始めるリアルタイムでのログ有効活用
http://codezine.jp/article/detail/6958
Fluentd meetup #2
http://www.slideshare.net/treasure-data/fluentdmeetup-2