FluentdやNorikraを使った データ集約基盤への取り組み紹介
Upcoming SlideShare
Loading in...5
×
 

Like this? Share it with your network

Share

FluentdやNorikraを使った データ集約基盤への取り組み紹介

on

  • 3,803 views

Hadoop Conference Japan 2014 LTの資料になります。

Hadoop Conference Japan 2014 LTの資料になります。

Statistics

Views

Total Views
3,803
Views on SlideShare
1,251
Embed Views
2,552

Actions

Likes
5
Downloads
25
Comments
0

8 Embeds 2,552

http://atl.recruit-tech.co.jp 1338
http://blog.yoslab.com 1114
https://twitter.com 45
https://redmine.fout.jp 28
http://www.slideee.com 17
http://feedly.com 5
http://yoshi0309.hatenablog.com 4
http://digg.com 1
More...

Accessibility

Categories

Upload Details

Uploaded via as Adobe PDF

Usage Rights

© All Rights Reserved

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Processing…
Post Comment
Edit your comment

FluentdやNorikraを使った データ集約基盤への取り組み紹介 Presentation Transcript

  • 1. FluentdやNorikraを使った データ集約基盤への取り組み紹介 Hadoop Conference Japan 2014 LT 添田健輔 そえだけんすけ
  • 2.     そえだ けんすけ !  添田 健輔 !  Twitter:@soestudio !  所属:リクルートテクノロジーズ !  イクメンエンジニア 自己紹介
  • 3. 資料の要約 データ集約にはFluentdを、 自動復旧にmonitを、 データ可視化にelasticsearch, kibanaを、 異常値検知にNorikraを、 ポータビリティのためにdockerを使った話し。 データ集約基盤を作った話し
  • 4. 資料の要約 データ集約基盤を作った話し ※Hadoopほとんど関係ない
  • 5. データ集約といえば
  • 6. Fluentd!
  • 7. http://docs.fluentd.org/articles/architecture
  • 8. Fluentd http://docs.fluentd.org/articles/architecture
  • 9. Fluentd !  超定番のログコレクタ / アグリゲータ。 !  各種データソースを各種データストアに出力可能。 !  Inputデータはタグで管理可能。 !  Json形式でデータを扱う。 !  プラグインで自由に拡張可能。
  • 10. どのように使っているか?
  • 11. http://docs.fluentd.org/articles/architecture
  • 12. Beaconログ S3 Redshift
  • 13. やっていることは超シンプル! データをかき集めて貯めるだけ。 ※一部加工処理もあり
  • 14. •  データ集約 = Fluentd •  自動復旧 = monit •  データ可視化 = elasticsearch, kibana •  異常値検知 = Norikra •  ポータビリティ = docker データ集約基盤の中身
  • 15. データ集約基盤の中身 •  データ集約 = Fluentd •  自動復旧 = monit •  データ可視化 = elasticsearch, kibana •  異常値検知 = Norikra •  ポータビリティ = docker
  • 16. •  fluent-plugin-record-reformer •  fluent-plugin-secure-forward •  fluent-plugin-flowcounter •  fluent-plugin-dstat •  fluent-plugin-elasticsearch •  fluent-plugin-s3 •  fluent-plugin-redshift Fluentdで使っているPlugin
  • 17. getconfig() サービスの起動時にカジュアルに設定 ファイルをダウンロード。 getconfig(){ echo -n "Getting config file:” /usr/lib64/fluent/ruby/bin/ruby /etc/td-agent/download_config_file.rb RETVAL=$? if [ $RETVAL -eq 0 ]; then success else failure fi echo return $RETVAL } td-agent.confの設定反映
  • 18. データ集約基盤の中身 •  データ集約 = Fluentd •  自動復旧 = monit •  データ可視化 = elasticsearch, kibana •  異常値検知 = Norikra •  ポータビリティ = docker
  • 19. サービスやプロセスを監視し、 自動メンテナンスや復旧を行うためのOSS http://mmonit.con/monit/ monit
  • 20. monit Monitを使用して、万が一td-agentが  ダウンした際に自動復旧。 check process td-agent with pidfile /var/run/td-agent/td-agent.pid start program = "/etc/init.d/td-agent start" stop program = "/etc/init.d/td-agent stop" if 5 restarts within 5 cycles then timeout 自動復旧
  • 21. データ集約基盤の中身 •  データ集約 = Fluentd •  自動復旧 = monit •  データ可視化 = elasticsearch, kibana •  異常値検知 = Norikra •  ポータビリティ = docker
  • 22. elasticsearch + kibana fluent-plugin-elasticsearchで超簡単に 可視化 データ可視化
  • 23. データ集約基盤の中身 •  データ集約 = Fluentd •  自動復旧 = monit •  データ可視化 = elasticsearch, kibana •  異常値検知 = Norikra •  ポータビリティ = docker
  • 24. SQLでスキーマレスなストリーム処理ができるOSS Norikra http://norikra.github.io/
  • 25. Norikra td-agentのキューやバッファが れてい ないかを一定間隔でチェック "queries": [ { "name": "view.monitor_agent.per_5min", "group": null, "expression": "SELECT * FROM monitor_agent.win:ext_timed_batch(timestamp * 1000, 300 sec)" } ] キューやバッファ れ対策など
  • 26. データ集約基盤の中身 •  データ集約 = Fluentd •  自動復旧 = monit •  データ可視化 = elasticsearch, kibana •  異常値検知 = Norikra •  ポータビリティ = docker
  • 27. OSSのコンテナ管理ツール docker http://www.docker.com/
  • 28. FROM centos MAINTAINER Kensuke Soeda <ksoeda@r.recruit.co.jp> ADD gpg-key/GPG-KEY-td-agent /tmp/GPG-KEY-td-agent RUN rpm --import /tmp/GPG-KEY-td-agent ADD yum.repos.d/td.repo /etc/yum.repos.d/td.repo RUN yum install -y td-agent RUN sed -i 's/ulimit/# ulimit/' /etc/init.d/td-agent RUN cat /dev/null > /var/log/td-agent/td-agent.log RUN chown td-agent. -R /var/log/td-agent/ RUN chkconfig td-agent on EXPOSE 8888 EXPOSE 24224 docker runするだけでどっかーの環境でも再現可能に!!
  • 29. •  データ集約 = Fluentd •  自動復旧 = monit •  データ可視化 = elasticsearch, kibana •  異常値検知 = Norikra •  ポータビリティ = docker まとめ データ集約基盤の中身
  • 30. •  td-agentは安定していて運用が楽。 •  これまでに特に大きな障害もなし。 •  データ可視化はes & kibanaが楽ちん。 •  Norikraは他にも使い道はいろいろありそう。 •  docker超便利。 どうだったか。
  • 31. •  td-agent2に置き換えていきたい。 •  Bigqueryなどにも本格的に貯めていきたい。 •  Treasure Agent Monitoring Serviceも試してい きたい。 •  Norikraはリアルタイム集計用途で他サービスへ も展開していきたい。 •  dockerは今後も各種アプリやプロセスの配布に 使っていきたい。 今後どうしていきたいか。
  • 32. 最後に