delayed_jobをmontで監視する

1. delayed_job の自動再起動
Shinjuku.rb #29
firewood@github

2. 対象サイト
 https://competitiveprogramming.info/
 Rails 4.0
 コンテスト情報の更新の際に
delayed_job を使用

3. 背景
 delayed_job のイメージ ( 偏見 )
 redis 等が不要なので手軽
 たまにゾンビプロセス化する

4. 要求
 落ちること自体は仕方ない
 ただし、正常に動いてないなら自動的
に再起動してほしい

5. 信頼する・しない
 monit ( デーモンの監視 )
 とりあえず信頼する
 delayed_job
 完了したタスクについては信頼する
 常に生きてるとは思わないことにする

6. monit
 https://mmonit.com/monit/
 様々な種類のリソースが監視できる
 process ID(PID) 、ポート、 CPU 負荷など

7. 何を監視するか決める
 プロセスは存在しているが仕事をして
いなかったり、ポートは開いているが
サービスを提供していなかったりする
 実際の仕事を監視したほうがいい
 一箇所だけならアプリケーションレベルで
監視する

8. 基本方針
 cron で delayed_job にタスクを積む
 ファイルの日付を更新するだけの touch と
いうタスク
 タスクが実行されなかったら monit 経
由で再起動させる

9. crontab -l
0,30 * * * * /bin/bash -lc 'cd /data/compinfo/current &&
./bin/rake hoge:touch‘
30 分に一度タスクを積む

10. /etc/monit.d/delayed_job
check file delayed_job with path
/data/compinfo/shared/tmp/pids/alive
if timestamp > 60 minutes then restart
start program = “/bin/su - user –c 'cd /data/compinfo/current;
bin/delayed_job start;
bin/rake hoge:touch'“
stop program = "/bin/su - user –c 'cd /data/compinfo/current;
bin/delayed_job stop'“
60 分更新がなければ、 delayed_job
を再起動させてタスクを積む

11. lib/tasks/hoge.rake
namespace :hoge do
task :touch => :environment do
Hoge.delay.touch
end
end
Hoge.touch をタスクに積
む

12. touch
class Hoge < ActiveRecord::Base
def self.touch
FileUtils.touch Rails.root.join('tmp/pids/alive')
end
end
ファイルのタイムスタンプを更新す
る

13. 課題
 再起動するまでが長い
→ プロセスが落ちている場合にも再起動す
る
 monit の default の監視間隔が 1 分なの
で、復帰直後に重いタスクがあると再
起動してしまう
→ すべてのタスクの先頭で Hoge.touch を呼
ぶようにする