第3回のときの。

1. 400台のサーバを監視する！
Zabbixを用いた運用の実際
2010/12/18
ミツバチワークス株式会社
＆
All right reserved by mitsubachi works
1

2. 自己紹介
Copyright（C） 2007-2010 mitsubachi works inc. All Rights Reserved. 2

3. ミツバチワークス株式会社
TECHチーム（仮）
諸富 洋（もろとみ ひろし）
@164c
@DECOLOG_TECH
http://tech.dclog.jp/
3

4. DECOLOG のご紹介
Copyright（C） 2007-2010 mitsubachi works inc. All Rights Reserved. 4

5. ■ What’s DECOLOG ?
DECOLOG は
10代～20代の女子に一番人気のある
ｹｰﾀｲ･ﾌﾞﾛｸﾞｻｰﾋﾞｽ です
ｻｰﾋﾞｽ開始 2007年2月
URL http://dclog.jp ・総合TOPﾍﾟｰｼﾞ ・BLOG TOPﾍﾟｰｼﾞ ・Entry（記事）ﾍﾟｰｼﾞ
AD SPACE
Copyright（C） 2007-2010 mitsubachi works inc. All Rights Reserved. 5

6. 月間ﾍﾟｰｼﾞ閲覧数 60億PV 以上
それなりの規模のサービス
です。
1日あたり平均送信メール数 1,200万通
月間想定訪問UU数 800万人 6,000,000
5,000,000
ﾌﾞﾛｸﾞ開設数 210万件 以上
4,000,000
3,000,000
2,000,000
1,000,000
↓DECOLOGｵｰﾌﾟﾝ
0
1月
4月
4月
1月
4月
4月
1月
2月
2月
7月
2月
2月
7月
7月
7月
11月
12月
11月
12月
3月
11月
12月
3月
3月
5月
8月
3月
5月
8月
6月
8月
5月
6月
8月
5月
9月
6月
9月
9月
6月
10月
10月
10月
2007年 2008年 2009年 2010年
6

7. アプリケーション・インフラの
開発・運用を
5人
のエンジニアで支えています
仲
間
募
集
中
400台
！
7

8. DECOLOG のシステム構成
Copyright（C） 2007-2010 mitsubachi works inc. All Rights Reserved. 8

9. DECOLOGサーバ構成超概要
図
インターネット
ページリバースプロキシ群 画像リバースプロキシ群 受信メールサーバ群 送信メールサーバ群
解析サーバ群
ページWEBサーバ群 画像キャッシュサーバ群
XXデータDB群 XXデータmemcachedサーバ群 画像WEBサーバ群
XXデータDB群 XXデータDB群
画像データDB群
All right reserved by mitsubachi works
9

10. システム構成超概要
• 基本、LAMPスタック
• squid、nginx、memcached、qmail、redis、etc…
• イケそうであればなんでも使います。好き嫌いありま
せん。
10

11. ZABBIX構成
ZABBIX agent
v1.4.5
ZABBIX agent
v1.4.5
Zabbix Server1.8.3
MySQL5.1
ZABBIX agent
v1.4.5
・
・
・
ZABBIX agent
v1.4.5
１：４００でやってます
11

12. DECOLOG のシステム監視の方針
Copyright（C） 2007-2010 mitsubachi works inc. All Rights Reserved. 12

13. システムを安定運用するには
見える化
が重要
13

14. 何を「見える化」するか？
• システムが正常稼働していることを「見える化」する
• システムに異常があることを「見える化」する
• システムが異常になりそうなことを「見える化」する
これらを「点」と「線」で見えるようにする
14

15. 「点」と「線」の「点」
• システムに異常が起きたことを把握する
例）サーバ死活を検知して、アラートメールを飛ばす
異常発生した時点でわかる
15

16. 「点」と「線」の「線」
図1．正常な状態のapacheのロードアベレージ（1h)
図2．異常かもしれないapacheのロードアベレージ（1h)
統計でわかる
16

17. DECOLOGで「見える化」のために見てるもの
• アプリケーションのエラーログ
• アプリケーションのスローログ
• メールの送信件数
• メールの受信件数
• 各サーバの生死・CPU・メモリ・HDD使用率・etc…
ZABBIX登場！
17

18. ZABBIXで監視している項目
• CPUのロードアベレージ
• メモリ使用量
• HDD使用率
• キャッシュヒット率
• メールサーバのメールキュー
• etc・・・
用途ごとに見ている項目は違います
18

19. 監視する項目はどうやって決めるか？
• とりあえず思いついたものは監視する
• 運用の中で、必要と思ったら足す
• 運用の中で、不要と思ったら削る
最初からはわからない。
大事なのは日々の改善。
PDCAの継続＝ノウハウ
19

20. ZABBIX設定具体例
Copyright（C） 2007-2010 mitsubachi works inc. All Rights Reserved. 20

21. ZABBIXの設定
• serverもagentもパスワード以外、デフォルト
• インストールも公式のマニュアルどおり
ZABBIXってかんたん！
21

22. 個別の監視設定
• 全サーバ共通
• Apache
• MySQL
• qmail
22

23. 全サーバ共通
• 死活監視（ping,ssh，etc….)
• CPUのロードアベレージ
• トラフィック(in,out)
• HDD使用率
23

24. Apacheの監視項目
• 80ポート監視（Template Linuxに入ってる）
• Busy Worker（ZABBIX-JPに設定方法載ってる）
24

25. MySQLの監視項目
• Thread
• replicationのディレイ
25

26. Threadの監視設定
/etc/cron.d/mysqlstat
* * * * * root /usr/local/mysql/bin/mysqladmin -u checker status extended-status> /var/log/mysqlstat.log
/etc/zabbix/zabbix_agentd.conf
UserParameter=mysql.current_threads,grep Threads_connected /var/log/mysqlstat.log | cut -d '|' -f3 | sed -e 's/ //g'
26

27. Threadの監視設定
27

28. replicationディレイの監視設定
/etc/zabbix/zabbix_agentd.conf
UserParameter=mysql.replication_delay,/usr/local/mysql/bin/mysql -u checker -e 'show slave status ¥G' | ¥
tail -1 | cut -f2 -d":" | sed 's/ //; s/NULL/-1/;'
28

29. qmailの監視項目
• キューの数
29

30. キューの数の監視設定
/etc/cron.d/qmail_qstat
* * * * * root (/bin/date; /var/qmail/bin/qmail-qstat) >/var/log/qstat.log
/etc/zabbix/zabbix_agentd.conf
UserParameter=qmail.qstat,awk '(NR == 2){print $4}' /var/log/qstat.log
30

31. キューの数の監視設定
31

32. DECOLOGではZABBIXをこう見てます
Copyright（C） 2007-2010 mitsubachi works inc. All Rights Reserved. 32

33. graph
• 同じ役割のホストは、監視項目ごとにgraphに
まとめる
例1．Apache load average 例2．Apache Busy Worker
Copyright（C） 2007-2010 mitsubachi works inc. All Rights Reserved. 33

34. graph
• 一台だけ異常があったときにわかりやすい
例1．何かがおかしいの図
Copyright（C） 2007-2010 mitsubachi works inc. All Rights Reserved. 34

35. screen
• Screenは基本的に同じ役割かミドルウェア単位
でまとめる
• ちょっと整理ついてないかも
Copyright（C） 2007-2010 mitsubachi works inc. All Rights Reserved. 35

36. 例：Entry関連 screen
• 記事（entry)のDB
• Master→slave(load ave.)→slave(rep delay)・・・
• まあ、見やすいようにやったらいいと思ってる
Copyright（C） 2007-2010 mitsubachi works inc. All Rights Reserved. 36

37. main screen
• 常時見る者だけ特別に切り出す
Copyright（C） 2007-2010 mitsubachi works inc. All Rights Reserved. 37

38. パフォーマンスを見る
• weekとかmonth単位でみるとわかりやすい
例1．とあるDBのload average
上がってきてたら要注意。
Copyright（C） 2007-2010 mitsubachi works inc. All Rights Reserved. 38

39. アラートについて
Copyright（C） 2007-2010 mitsubachi works inc. All Rights Reserved. 39

40. アラートメールは超重要
• 障害が起きたらすぐに検知・対応できる
• うまくすれば、ユーザーに影響を与えずに対応
できることもある
40

41. 3種類のアラートレベルを使い分ける
• なんでもかんでもメールを飛ばすと、重要度がわか
らなくなる
• 分けすぎても、わけわからなくなる
• だから3種類くらいにアラートレベルを分けてる
41

42. 3種類のアラートレベルを使い分ける
• Alert
• 特段サービスに問題なし。数が重要。
• High
• 警戒したほうがいい。
PCを開いてZABBIXを見よう
• Critical
• 高確率でサービスに影響でるよ。でてるよ。
出動だ！
42

43. 敷居をどうやって決めるか？
• やっぱり、最初はわからない。
• 最初は、いっぱいメールが飛んでもしょうがない
• 結局はPDCA
43

44. 一応、設定方法①
• Triggerの設定
このDBが落ちたらやばい！
→Disaster
44

45. 一応、設定方法②
• SMTP、送信先の設定
45

46. 一応、設定方法③
• アラートレベルごとにメールの送信先をわける
ちゃんと飛ぶかテストを忘れずに！ 46

47. ZABBIXを使ってきて思うこと
Copyright（C） 2007-2010 mitsubachi works inc. All Rights Reserved. 47

48. 仕様
• 1.8になって、かなり不満がなくなった
• 1.4時代は、screen内でgraphを移動するのが嫌で
嫌でたまらなかった
48

49. パフォーマンス
• そんな困ってない
• 大事なのは、historyとtrendsを欲張らないこと
• でも、1d単位が軽くなるといいなぁ
• 監視ホストが400でも、見るのは5人。だから
今後、人が増えたらどうなるかがちょっと気に
なる
49

50. あったらいいなあ。できたらいいなあ。
• Templateごとにzabbix_agentd.confの設定が一括
でできる
• DBのレプリケーションを考慮した設定
• 考え中なのをわかるようにしてほしい
• 設定がCUIでできたらいいな
50

51. ありがとうございました！
ご意見その他
@DECOLOG_TECHで待ってます！
仲
間
募
集
中
400台
！
51