Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

2013 11-30-mailqueue-monitoring

720 views

Published on

Monitoring Casual Talk in KyotoでのLT資料

Published in: Technology
  • Be the first to comment

  • Be the first to like this

2013 11-30-mailqueue-monitoring

  1. 1. Monitoring Casual Talk in Kyoto @はてなさん 2013/11/30(土) Mail queue monitoring メールキューの監視、主にSendmailの。 @azumakuniyuki Cubicroot Co. Ltd.
  2. 2. Monitoring Casual Talk in Kyoto@はてなさん 2013/11/30(土) 2 自己紹介 @azumakuniyuki あずま(猫)@京都 別のあずまさんと識別の為、最近+=(猫)。 主にサーバ管理者 プログラム書く時は/bin/sh or Perl bouncehammer,Haineko 主にメール関係の何かを開発することが多いです。 Mail queue monitoring @azumakuniyuki / Cubicroot Co. Ltd.
  3. 3. Monitoring Casual Talk in Kyoto@はてなさん 2013/11/30(土) 3 Mail queue monitoring @azumakuniyuki / Cubicroot Co. Ltd.
  4. 4. Monitoring Casual Talk in Kyoto@はてなさん 2013/11/30(土) 4 Mail queue Monitoring だいたい異常はメールキューに現れる Mail queue monitoring @azumakuniyuki / Cubicroot Co. Ltd.
  5. 5. Monitoring Casual Talk in Kyoto@はてなさん 2013/11/30(土) 5 What MTA do you use? どのMTA使ってはります? Mail queue monitoring @azumakuniyuki / Cubicroot Co. Ltd.
  6. 6. Monitoring Casual Talk in Kyoto@はてなさん 2013/11/30(土) 6 Major MTAs - 歴史と伝統・信頼と実績の Sendmail - 西暦2000年代の主流MTA Postfix - 堅牢性と安全、信者の為の qmail - Exim - Courier MTA - OpenSMTPD Mail queue monitoring @azumakuniyuki / Cubicroot Co. Ltd.
  7. 7. Monitoring Casual Talk in Kyoto@はてなさん 2013/11/30(土) 7 現在の状況と背景 - 前職の時はラック10本ぐらい - 現職は他社(顧客)のサーバ監視をすることが殆ど - エージェントを必要とする監視ソフトウェア=NG - L8? L9? 政治層の問題で... - 監視サーバを顧客ネットワークだけに置くならOK - 死活監視はNagios - リソース監視はMunin or CloudForecast -  監視ページ・サーバが複数個所に散らばってる Mail queue monitoring @azumakuniyuki / Cubicroot Co. Ltd.
  8. 8. Monitoring Casual Talk in Kyoto@はてなさん 2013/11/30(土) 8 うちは主にSendmail - 構築するMTAは原則としてSendmail - Maildir/とMilter対応でソースビルドして構築 - 標準的な内容から不要なもの削ったsendmail.cf - 自分が一番慣れてるし - 必要ならルールセットも書く - Mailboxがいる場合はDovecotも構築 - それとMDAとしてprocmail,maildropも - ルールセット書かないならSendmailは難しくない - 正しくチューニングすれば遅くない Mail queue monitoring @azumakuniyuki / Cubicroot Co. Ltd.
  9. 9. Monitoring Casual Talk in Kyoto@はてなさん 2013/11/30(土) 9 普通の監視しかやってない - MTAが複数台あるネットワークはMuninを設置 - Muninの標準プラグインの - Sendmail email traffic - Sendmail email volumes - Sendmail queued mails - 追加で - Sendmail quarantined mails ←隔離キュー数 - plugins/sendmail_mailqueueをコピーして作成 Mail queue monitoring @azumakuniyuki / Cubicroot Co. Ltd.
  10. 10. Monitoring Casual Talk in Kyoto@はてなさん 2013/11/30(土) 10 普通のキュー数観測 Mail queue monitoring @azumakuniyuki / Cubicroot Co. Ltd.
  11. 11. Monitoring Casual Talk in Kyoto@はてなさん 2013/11/30(土) 11 隔離したキュー数観測 Mail queue monitoring @azumakuniyuki / Cubicroot Co. Ltd.
  12. 12. Monitoring Casual Talk in Kyoto@はてなさん 2013/11/30(土) 12 キューを隔離する - # sendmail -QSEND_20131201 -qRdocomo.ne.jp -v - 隔離するキュー(いつ届いても良い系) - 夜中に流れると苦情が来る(携帯電話宛とか) - 21時過ぎたら残ってるのは隔離、朝9時に復帰。 - # sendmail -QGOMI -qSinfo@example.jp -v - 隔離するキュー(もう捨てても良い系) - ドメイン打ち間違い(DNS引けずに滞留、邪魔) - 期限内に送れなかった(短期間キャンペーンとか) Mail queue monitoring @azumakuniyuki / Cubicroot Co. Ltd.
  13. 13. Monitoring Casual Talk in Kyoto@はてなさん 2013/11/30(土) 13 キューの急激な増加 - 大きめの配信が始まると急増 - 負荷対策(こっちとあっち)の為、一旦キューに入れる - 配送に失敗したら勝手に別MTAに流れて行く - Nagiosでのキュー数監視 - 大きめの閾値・滅多にアラートは来ない - だいたいディスクIOで負荷が上がる - /var/spoolをioDriveにすれば解決 - やってみたい Mail queue monitoring @azumakuniyuki / Cubicroot Co. Ltd.
  14. 14. Monitoring Casual Talk in Kyoto@はてなさん 2013/11/30(土) 14 キューがたまりすぎ - だいたいネットワーク系の障害(こっちかあっちか) - 相手側MTAからブロックされてる? - そもそも普段の行いが悪い - 死んでるアドレス管理とか行儀の悪い配信とか - とりあえずキューにあるメールを全部隔離 - ログ見る・手動接続 telnet 25 - あかんとこ以外を復帰させてキュー処理 - あかんとこは個別対処(別MTAとか明日送るとか) - アプリ側でSMTP接続失敗例外処理あるならMTA停止可 Mail queue monitoring @azumakuniyuki / Cubicroot Co. Ltd.
  15. 15. Monitoring Casual Talk in Kyoto@はてなさん 2013/11/30(土) 15 全体のキュー数見たい - # imomushi -cC queues.cf ⏎ mta01 ------------- 1/10000 キュー数/閾値 mta02 ----------- 314/ 1000 mta03 ------------- 0/ 500 mx1 --------------- 4/ 20 mx2 --------------- 2/ 10 bulk1 --------- 44551/50000 50%超でアラート来る bulk2 ---------- 3334/50000 Mail queue monitoring @azumakuniyuki / Cubicroot Co. Ltd.
  16. 16. Monitoring Casual Talk in Kyoto@はてなさん 2013/11/30(土) 16 まとめ - 大きめの配信では必ずキューが急増 - グラフの変化を見ると異常な感じがするけど... - 万単位の配信なら普通 - Disk I/O対策で一旦キューに保存してあとで配信 - メモリがあるなら/dev/shmとかmfsとか使う - 消えないように! - 恒常的に残ってるキュー数の方が問題 - MTAを沢山用意して負荷が急上昇しにくい対策を - 自分やチームが慣れているMTAが一番 Mail queue monitoring @azumakuniyuki / Cubicroot Co. Ltd.
  17. 17. 17 終

×