Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

FluentdとAWSを使ったログの運用

7,867 views

Published on

Published in: Technology
  • Be the first to comment

FluentdとAWSを使ったログの運用

  1. 1. FluentdとAWSを使ったログ運用 2014/04/05 JAWS-UG 千葉支部 vol3 泉谷圭祐(@syguer)
  2. 2. 自己紹介 • 名前 泉谷圭祐 • 所属 • TIS株式会社 IT基盤サービス企画室 • eXcale(https://www.excale.net/)の中の人 • 好きなAWSのサービス • Route 53 • SNS • Twitter @syguer • Facebook https://www.facebook.com/keisuke.izumiya
  3. 3. 突然 ですが、
  4. 4. こんなことありませんか?
  5. 5. あとで大事な領収書が…
  6. 6. ・Immutable Infrastructure ・Auto Scale
  7. 7. ポイ捨ての時代
  8. 8. 大事なものは ちゃんととっておく
  9. 9. 大事なものは ちゃんととっておく
  10. 10. Fluentd • Ruby製のコマンドラインツール • 設定が簡単、みかけの動作はシンプル
  11. 11. 構成図
  12. 12. 設定例
  13. 13. fluentdの設定(1)
  14. 14. fluentdの設定(1) # Input <source> type tail path /var/log/messages format syslog pos_file /var/log/fluentd/messages.pos tag messages </source> # Output <match messages> type forward send_timeout 60s recover_wait 10s heartbeat_interval 1s phi_threshold 8 hard_timeout 60s <server># <= 送信先サーバーの指定 name log_proxy host 192.168.1.1 port 24224 </server> </match>
  15. 15. fluentdの設定(2)
  16. 16. fluentdの設定(2) # Input <source> type forward port 24224 bind 0.0.0.0 </source> # Output <match messages> type s3 aws_key_id ACCESS_KEY aws_sec_key SECRET_KEY path / ! s3_bucket BUCKET_NAME s3_endpoint END_POINT s3_object_key_format %{time_slice}%{path}_%{index}.%{file_extension} ! time_slice_format %Y/%m/%d/ time_slice_wait 10m store_as text </match>
  17. 17. lifecycleの設定
  18. 18. lifecycleの設定
  19. 19. lifecycleの設定
  20. 20. 注意したい点
  21. 21. 氷河は簡単には溶かせない
  22. 22. 氷河は簡単には溶かせない • 一旦Glacierに入れてしまうと出すのに4時間ほどかかる • アーカイブする期限については検討が必要
  23. 23. HeartBeatがUDP
  24. 24. HeartBeatがUDP • fluentdはforward先が生きているかudpで見ている • SecurityGroupの設定を足すか、fluentdの設定にオプ ションを入れる必要あり heartbeat_type tcp # v0.10.31以降
  25. 25. Terminateするとログが消える
  26. 26. Terminateするとログが消える • fluentdはシャットダウン時にバッファをflushするが、 いわゆる電プチだとアウト • これを解決する方法は…
  27. 27. ごめんなさい
  28. 28. 参考リンク ・fluentdで始めるログ管理【基本編】   http://blog.excale.net/index.php/archives/1704 ! ・fluentdで始めるログ管理【フォワード設定まとめ】  http://blog.excale.net/index.php/archives/1997 ! ・これは便利!fluentdが更に便利になるfluent-plugin-forest  http://blog.excale.net/index.php/archives/2506
  29. 29. CDP Log Aggregation パターン 参考URL http://aws.clouddesignpattern.org/index.php/CDP:Log_Aggregation_%E3%83%91%E3%82%BF %E3%83%BC%E3%83%B3
  30. 30. クラウド時代の ログ運用を始めよう
  31. 31. ご清聴ありがとうございました

×