Zabbix勉強会
Upcoming SlideShare
Loading in...5
×
 

Zabbix勉強会

on

  • 4,640 views

第3回のときの。

第3回のときの。

Statistics

Views

Total Views
4,640
Views on SlideShare
4,631
Embed Views
9

Actions

Likes
5
Downloads
43
Comments
0

2 Embeds 9

http://paper.li 8
http://a0.twimg.com 1

Accessibility

Categories

Upload Details

Uploaded via as Adobe PDF

Usage Rights

© All Rights Reserved

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Processing…
Post Comment
Edit your comment

Zabbix勉強会 Zabbix勉強会 Presentation Transcript

  • 400台のサーバを監視する!Zabbixを用いた運用の実際 2010/12/18 ミツバチワークス株式会社 & All right reserved by mitsubachi works 1
  • 自己紹介 Copyright(C) 2007-2010 mitsubachi works inc. All Rights Reserved. 2
  • ミツバチワークス株式会社 TECHチーム(仮)諸富 洋(もろとみ ひろし) @164c @DECOLOG_TECH http://tech.dclog.jp/ 3
  • DECOLOG のご紹介 Copyright(C) 2007-2010 mitsubachi works inc. All Rights Reserved. 4
  • ■ What’s DECOLOG ? DECOLOG は 10代~20代の女子に一番人気のある ケータイ・ブログサービス です サービス開始 2007年2月 URL http://dclog.jp ・総合TOPページ ・BLOG TOPページ ・Entry(記事)ページ AD SPACE Copyright(C) 2007-2010 mitsubachi works inc. All Rights Reserved. 5
  • 月間ページ閲覧数 60億PV 以上 それなりの規模のサービス です。1日あたり平均送信メール数 1,200万通月間想定訪問UU数 800万人 6,000,000 5,000,000ブログ開設数 210万件 以上 4,000,000 3,000,000 2,000,000 1,000,000 ↓DECOLOGオープン 0 1月 4月 4月 1月 4月 4月 1月 2月 2月 7月 2月 2月 7月 7月 7月 11月 12月 11月 12月 3月 11月 12月 3月 3月 5月 8月 3月 5月 8月 6月 8月 5月 6月 8月 5月 9月 6月 9月 9月 6月 10月 10月 10月 2007年 2008年 2009年 2010年 6
  • アプリケーション・インフラの 開発・運用を 5人 のエンジニアで支えています仲間募集中 400台! 7
  • DECOLOG のシステム構成 Copyright(C) 2007-2010 mitsubachi works inc. All Rights Reserved. 8
  • DECOLOGサーバ構成超概要 図 インターネットページリバースプロキシ群 画像リバースプロキシ群 受信メールサーバ群 送信メールサーバ群 解析サーバ群 ページWEBサーバ群 画像キャッシュサーバ群 XXデータDB群 XXデータmemcachedサーバ群 画像WEBサーバ群 XXデータDB群 XXデータDB群 画像データDB群 All right reserved by mitsubachi works 9
  • システム構成超概要• 基本、LAMPスタック• squid、nginx、memcached、qmail、redis、etc…• イケそうであればなんでも使います。好き嫌いありま せん。 10
  • ZABBIX構成 ZABBIX agent v1.4.5 ZABBIX agent v1.4.5Zabbix Server1.8.3MySQL5.1 ZABBIX agent v1.4.5 ・ ・ ・ ZABBIX agent v1.4.5 1:400でやってます 11
  • DECOLOG のシステム監視の方針 Copyright(C) 2007-2010 mitsubachi works inc. All Rights Reserved. 12
  • システムを安定運用するには 見える化 が重要 13
  • 何を「見える化」するか?• システムが正常稼働していることを「見える化」する• システムに異常があることを「見える化」する• システムが異常になりそうなことを「見える化」する これらを「点」と「線」で見えるようにする 14
  • 「点」と「線」の「点」• システムに異常が起きたことを把握する例)サーバ死活を検知して、アラートメールを飛ばす 異常発生した時点でわかる 15
  • 「点」と「線」の「線」 図1.正常な状態のapacheのロードアベレージ(1h)図2.異常かもしれないapacheのロードアベレージ(1h) 統計でわかる 16
  • DECOLOGで「見える化」のために見てるもの• アプリケーションのエラーログ• アプリケーションのスローログ• メールの送信件数• メールの受信件数• 各サーバの生死・CPU・メモリ・HDD使用率・etc… ZABBIX登場! 17
  • ZABBIXで監視している項目• CPUのロードアベレージ• メモリ使用量• HDD使用率• キャッシュヒット率• メールサーバのメールキュー• etc・・・ 用途ごとに見ている項目は違います 18
  • 監視する項目はどうやって決めるか?• とりあえず思いついたものは監視する• 運用の中で、必要と思ったら足す• 運用の中で、不要と思ったら削る 最初からはわからない。 大事なのは日々の改善。 PDCAの継続=ノウハウ 19
  • ZABBIX設定具体例 Copyright(C) 2007-2010 mitsubachi works inc. All Rights Reserved. 20
  • ZABBIXの設定• serverもagentもパスワード以外、デフォルト• インストールも公式のマニュアルどおり ZABBIXってかんたん! 21
  • 個別の監視設定• 全サーバ共通• Apache• MySQL• qmail 22
  • 全サーバ共通• 死活監視(ping,ssh,etc….)• CPUのロードアベレージ• トラフィック(in,out)• HDD使用率 23
  • Apacheの監視項目• 80ポート監視(Template Linuxに入ってる)• Busy Worker(ZABBIX-JPに設定方法載ってる) 24
  • MySQLの監視項目• Thread• replicationのディレイ 25
  • Threadの監視設定/etc/cron.d/mysqlstat* * * * * root /usr/local/mysql/bin/mysqladmin -u checker status extended-status> /var/log/mysqlstat.log/etc/zabbix/zabbix_agentd.confUserParameter=mysql.current_threads,grep Threads_connected /var/log/mysqlstat.log | cut -d | -f3 | sed -e s/ //g 26
  • Threadの監視設定 27
  • replicationディレイの監視設定/etc/zabbix/zabbix_agentd.confUserParameter=mysql.replication_delay,/usr/local/mysql/bin/mysql -u checker -e show slave status ¥G | ¥ tail -1 | cut -f2 -d":" | sed s/ //; s/NULL/-1/; 28
  • qmailの監視項目• キューの数 29
  • キューの数の監視設定/etc/cron.d/qmail_qstat* * * * * root (/bin/date; /var/qmail/bin/qmail-qstat) >/var/log/qstat.log/etc/zabbix/zabbix_agentd.confUserParameter=qmail.qstat,awk (NR == 2){print $4} /var/log/qstat.log 30
  • キューの数の監視設定 31
  • DECOLOGではZABBIXをこう見てます Copyright(C) 2007-2010 mitsubachi works inc. All Rights Reserved. 32
  • graph• 同じ役割のホストは、監視項目ごとにgraphにまとめる 例1.Apache load average 例2.Apache Busy Worker Copyright(C) 2007-2010 mitsubachi works inc. All Rights Reserved. 33
  • graph• 一台だけ異常があったときにわかりやすい 例1.何かがおかしいの図 Copyright(C) 2007-2010 mitsubachi works inc. All Rights Reserved. 34
  • screen• Screenは基本的に同じ役割かミドルウェア単位でまとめる• ちょっと整理ついてないかも Copyright(C) 2007-2010 mitsubachi works inc. All Rights Reserved. 35
  • 例:Entry関連 screen• 記事(entry)のDB• Master→slave(load ave.)→slave(rep delay)・・・• まあ、見やすいようにやったらいいと思ってる Copyright(C) 2007-2010 mitsubachi works inc. All Rights Reserved. 36
  • main screen• 常時見る者だけ特別に切り出す Copyright(C) 2007-2010 mitsubachi works inc. All Rights Reserved. 37
  • パフォーマンスを見る• weekとかmonth単位でみるとわかりやすい 例1.とあるDBのload average 上がってきてたら要注意。 Copyright(C) 2007-2010 mitsubachi works inc. All Rights Reserved. 38
  • アラートについて Copyright(C) 2007-2010 mitsubachi works inc. All Rights Reserved. 39
  • アラートメールは超重要• 障害が起きたらすぐに検知・対応できる• うまくすれば、ユーザーに影響を与えずに対応できることもある 40
  • 3種類のアラートレベルを使い分ける• なんでもかんでもメールを飛ばすと、重要度がわか らなくなる• 分けすぎても、わけわからなくなる• だから3種類くらいにアラートレベルを分けてる 41
  • 3種類のアラートレベルを使い分ける• Alert • 特段サービスに問題なし。数が重要。• High • 警戒したほうがいい。 PCを開いてZABBIXを見よう• Critical • 高確率でサービスに影響でるよ。でてるよ。 出動だ! 42
  • 敷居をどうやって決めるか?• やっぱり、最初はわからない。• 最初は、いっぱいメールが飛んでもしょうがない• 結局はPDCA 43
  • 一応、設定方法①• Triggerの設定 このDBが落ちたらやばい! →Disaster 44
  • 一応、設定方法②• SMTP、送信先の設定 45
  • 一応、設定方法③• アラートレベルごとにメールの送信先をわける ちゃんと飛ぶかテストを忘れずに! 46
  • ZABBIXを使ってきて思うこと Copyright(C) 2007-2010 mitsubachi works inc. All Rights Reserved. 47
  • 仕様• 1.8になって、かなり不満がなくなった• 1.4時代は、screen内でgraphを移動するのが嫌で 嫌でたまらなかった 48
  • パフォーマンス• そんな困ってない• 大事なのは、historyとtrendsを欲張らないこと• でも、1d単位が軽くなるといいなぁ• 監視ホストが400でも、見るのは5人。だから 今後、人が増えたらどうなるかがちょっと気に なる 49
  • あったらいいなあ。できたらいいなあ。• Templateごとにzabbix_agentd.confの設定が一括 でできる• DBのレプリケーションを考慮した設定• 考え中なのをわかるようにしてほしい• 設定がCUIでできたらいいな 50
  • ありがとうございました! ご意見その他 @DECOLOG_TECHで待ってます!仲間募集中 400台! 51