Shadow Server on Fluentd at Fluentd Casual Talks #3

8. Fluentdの用途 ⁃ ログ監視 ⁃ grep, grepcounter, ikachan, mail ⁃ ログ可視化 ⁃ datacounter, numeric-monitor, calc, yohoushi, record-reformer ⁃ ログ収集 ⁃ rewrite, ﬁle-alternative http://blog.livedoor.jp/sonots/archives/25861525.html 8 Copyright (C) 2013 DeNA Co.,Ltd. All Rights Reserved.

12. 困ってるんです(31歳男性 ⁃ Fluentd のプラグインを作った！単体テストも書いた！ ⁃ 実際に本番に入れてみてたら変なデータ(例えば UTF-8 invalid とかとか！)が入ってきてあぼーん ⁃ Fluentd の設定を書いた！動作確認もした！ ⁃ 実際に本番に入れてみたら負荷があがってあぼーんあるある！ 12 Copyright (C) 2013 DeNA Co.,Ltd. All Rights Reserved.

14. Shadow (プロキシ)サーバとは Webアプリケーションのテストをいくら入念に整備したとしても、実際に起こり得るすべての可能性を網羅することは難しいのはもちろん、同じコードを複数の環境(言語やフレームワーク、ミドルウェア等のバージョン)で同じように動作することを保証するのは至難の業です。そこで、ユーザの実リクエストを複製して、稼働中の環境とは別に用意したテスト用の環境にもリクエストを送ることで検証をするというアプローチがとられます。そのために使われるツールのことを、シャドウプロキシサーバ (shadow proxy server)と呼びます。主な実装・Kage (Ruby) ・Geest (Perl) ・Delta (Go) http://qiita.com/kentaro/items/17e2c334a902677af995 14 Copyright (C) 2013 DeNA Co.,Ltd. All Rights Reserved.

18. # deliver.conf <match **> type copy <store> type forward <server> host real.local port 24224 </server> </store> <store> type forward <server> host shadow.local port 24224 </server> </store> </match> type copy して shadow サーバに forward するだけ (web サーバのようにレスポンスを切る必要すらない) Copyright (C) 2013 DeNA Co.,Ltd. All Rights Reserved. 18

29. dummy_log_generator ⁃ ログを吐き出しまくるツール ⁃ 特徴 ⁃ rate (行数/秒)を指定できる ⁃ ログメッセージをランダム生成できる ⁃ dummy_log_generator_simple も付属 ⁃ システムのI/O限界を引き出せる http://qiita.com/sonots/items/750da77a18e62852a02f 29 Copyright (C) 2013 DeNA Co.,Ltd. All Rights Reserved.

31. ログ読み込み(送信なし) 限界 lines / sec CPU (%) メモリ (kB) fluent-agent-lite 560,219 99.8 952 fluentd v10 (in_tail) 157,148 100.4 38,280 fluentd v10 (in_tail_ex) 154,107 100.1 43,980 fluentd v11 (in_tail) 159,178 99.8 27,372 ・fluent-agent-lite はログ送信しないように改変 https://gist.github.com/sonots/7586077 ・負荷なく計測できるように https://github.com/sonots/fluent-plugin-flowcounter-simple を作成 31 Copyright (C) 2013 DeNA Co.,Ltd. All Rights Reserved.

35. ログ送信(1) fluentd v10 (out_forward) buffer_chun k_limit num_thre 限界 lines / sec CPU (%) ads 100k 32 32000 1m 32 100936 100% 10m 32 88208 100% 100m 8 メモリ (kB) 88814 備考 [warn] size of the emitted data exceeds buffer_chunk_limit. 165212 安定時は 150000 lines /sec だがそれを超えると詰まり始める詰まった。10 sec に１回まとめて 888143 行の emit fluentd v10 (keep_forward with keepalive) buffer_chun k_limit num_thre 限界 lines / sec CPU (%) ads 1m 32 115460 103% メモリ (kB) 備考 chunk が小さい場合、keepalive に効果あり。10m では効果なし flush_interval はメモリを出来る限り早く空けるために 0s に固定 buffer_queue_limit は「queue size limit exceeds」の warn が出ない程度に大きくした 35 Copyright (C) 2013 DeNA Co.,Ltd. All Rights Reserved.

36. ログ送信(2) 受信(in_forward)は受け取って捨てるだけ (type null) fluent-agent-lite 限界 lines / sec 送信 CPU (%) メモリ (%) 受信 CPU (%) メモリ (%) 528,749 99.8 87% 0.1% 0.3% out_forward はなぜ詰まる？ ⁃ fluent-agent-lite はログを送信できない場合は、読み込まない、という制御が入っている ⁃ 一方、fluentd は、ログを送信できなくても、どんどんログを読み込んでしまう ⁃ バッファにログが溜まってどんどん処理効率が落ちて性能劣化・fluentd の out_forward にログを出すパッチ https://gist.github.com/sonots/7646378 をあてて計測・out_forward って詰まると劣化する？ http://togetter.com/li/595607 36 Copyright (C) 2013 DeNA Co.,Ltd. All Rights Reserved.

37. ログ送信まとめ ⁃ fluentd の送信制御は out_forward 側で行われる ⁃ fluent-agent-lite は素晴らしい ⁃ 全く詰まりなし ⁃ 528,749 lines /sec ⁃ out_forward 安定パラメタ ⁃ flush_interval 0s ⁃ buffer_chunk_limit 1m ⁃ num_threads 32 (サーバの数に合わせて要調節) ⁃ 100,936 lines / sec ⁃ chunk が 1m 程度に小さい場合 keepalive に効果あり 37 Copyright (C) 2013 DeNA Co.,Ltd. All Rights Reserved.

38. 全体まとめ ⁃ Shadow サーバを導入しました ⁃ かじゅあるに本番データでテスト可能になった :D ⁃ Haikanko で Shadow だけ更新できるようにしている ⁃ Deliver ノードの安定パラメータを紹介 ⁃ buffer_chunk_limit 1m が安定 ⁃ ※ただし、詰まりがなければ 10m のほうが性能は出る ⁃ num_threads も大きくしましょう ⁃ 色々作った ⁃ ベンチマークツール dummy_log_generator ⁃ keep_forward で keepalive 接続 38 Copyright (C) 2013 DeNA Co.,Ltd. All Rights Reserved.

40. Appendix: 監視の話 ⁃ プロセス監視 ⁃ fluentd は daemontools で起動しているので svstat で生死監視 ⁃ fluent-plugin-ping-message で agent 含め生死監視 ⁃ 重複デーモン監視: 直っているのでやってない ⁃ 負荷監視 ⁃ flowcounter で流量を監視。安定稼働できる流量を把握 ⁃ queue size limit exceeds (out_forward で詰まると出る) ⁃ detached forwarding server の頻度 ⁃ その他各種プラグインのエラーログメッセージ http://www.slideshare.net/GedowFather/fluentd-meetup-2-fluentd http://docs.fluentd.org/ja/articles/monitoring 40 Copyright (C) 2013 DeNA Co.,Ltd. All Rights Reserved.