Web dbの監視

1. Web・DB
監視

2. Webサーバの監視
No 監視分類 監視項目 監視内容 監視間
隔
1 死活監視 L3(ICMP) Ping監視を行う。 1分
L4(ポート) 80ポートを監視する。 1分2
L7(アプリ) Webコンテンツへのアクセ
スを監視する。
1分
3
4 リソース監視 ロードアベレージ 重要度に応じた閾値を設け
て各リソースを監視する。
[重要度]
緊急：使用率90%以上
警告：使用率80%以上
5分
5 CPU使用率 5分
6 メモリ使用率 5分
7 ディスク使用率 毎時
8 Inode使用率 毎時
9 ネットワーク使用率 5分

3. Webサーバの監視
No 監視分類 監視項目 監視内容 監視間隔
10 プロセス監視 プロセスの状態 httpdプロセスが稼働してい
ることを監視する。またプロ
セス稼働数がMaxClientの値
に達していないか監視する。
1分
11 ログ監視 エラーメッセー
ジ
フィルタリングによるログ監
視
5分
12 セキュリティ
監視
改ざんチェック Webコンテンツが改ざんされ
ていないかチェックサムで監
視する。
1日1回
13 その他監視 リンクチェック Webコンテンツ内で参照して
いる外部リンクへのアクセス
を監視する。
1日1回

4. スクリプト(メール送信用)
#!/bin/bash
# メール送信
export LC_CTYPE=ja_JP.UTF-8
TO=“宛先”
FROM=“送信元”
SUBJECT=“”
MESSAGE=“”
case “$1” in
1 ) MESSAGE=“本文1” SUBJECT=“件名1” ;;
2 ) MESSAGE=“本文2” SUBJECT=“件名2” ;;
・・・
20 ) MESSAGE=“本文20” SUBJECT=“件名20” ;;
esac
if [ -n $MESSAGE ]; then
echo -e $MESSAGE | mail -s “$SUBJECT” -r $FROM $TO
fi

5. スクリプト1,2
#!/bin/bash
# L3(ICMP)
IP=“対象IP”
TO=“宛先”
FROM=“送信元”
SUBJECT=“件名”
MESSAGE=“本文”
ping -c 1 $IP > /dev/null
if [ $? -ne 0 ]; then
mail.sh 1
fi
#!/bin/bash
# L4(ポート)
IP=“対象IP”
PORT=“ポート番号”
nc -z $IP $PORT > /dev/null
if [ $? -ne 0 ]; then
mail.sh 2
fi

6. スクリプト3
#!/bin/bash
# L7(アプリ)
URL=“対象URL”
PORT=“ポート番号”
TRY=“リトライ回数”
TIMEOUT=“タイムアウト”
alive=`wget -nv --spider -t $TRY -T $TIMEOUT $URL 2>&1 | grep “200 OK”`
if [ $alive -ne 0 ]; then
mail.sh 3
fi

7. スクリプト4
#!/bin/bash
WARNING=1
avglist=$(cat /proc/loadavg | cut -d" " -f1,2,3)
for avg in ${avglist[@]}; do
avg=$(echo "$avg * 100" |bc|cut -d"." -f1)
if [ $avg -gt $WARNING ]; then
mail.sh 4
fi
done

8. スクリプト5
#!/bin/bash
WARNING=1
user=`env LANG=C mpstat 1 1 | grep Average | awk '{print $3}' | sed -e "s/..*//g"`
nice=`env LANG=C mpstat 1 1 | grep Average | awk '{print $4}' | sed -e "s/..*//g"`
sys=`env LANG=C mpstat 1 1 | grep Average | awk '{print $5}' | sed -e "s/..*//g"`
cpu=`expr $user + $nice`
cpu=`expr $cpu + $sys`
if [ $cpu -gt $WARNING ]; then
mail.sh 5
fi

9. スクリプト6
#!/bin/bash
WARNING=1
total=`grep "MemTotal" /proc/meminfo | awk '{print $2}'`
free=`grep "MemFree" /proc/meminfo | awk '{print $2}'`
buffers=`grep "Buffers" /proc/meminfo | awk '{print $2}'`
cached=`grep "Cached" /proc/meminfo | grep -v "SwapCached" | awk '{print $2}'`
memfree=`expr $free + $buffers`
memfree=`expr $memfree + $cached`
use=`expr $total - $memfree`
use=`expr $use * 100`
percent=`expr $use / $total`
if [ $percent -gt $WARNING ]; then
mail.sh 6
fi

10. スクリプト7
#!/bin/bash
WARNING=1
percent_list=(`df -P | awk '{print $5}' | grep -v Capacity | sed -e "s/%//g"`)
for percent in ${percent_list[@]}; do
if [ $percent -gt $WARNING ]; then
mail.sh 7
fi
done

11. スクリプト8
#!/bin/bash
WARNING=1
percent_list=(`df -i | awk '{print $5}' | grep -v IUse | sed -e "s/%//g"`)
for percent in ${percent_list[@]}; do
if [ $percent -gt $WARNING ]; then
mail.sh 8
fi
done

12. スクリプト9
!/bin/bash
rx_WARNING=1
tx_WARNING=1
NIC="eth0"
TRAFFIC=(`sar -n DEV 1 1 | grep $NIC | awk 'NR==1 {print $5" "$6}'`)
rx=`echo ${TRAFFIC[0]} | sed s/.[0-9,]*$//g`
tx=`echo ${TRAFFIC[1]} | sed s/.[0-9,]*$//g`
if [ $rx -gt $rx_WARNING -o $tx -gt $tx_WARNING ]; then
mail.sh 9
fi

13. スクリプト10
#!/bin/bash
WARNING=
User=
MAXCLIENTS=
count=`ps aux | grep httpd | grep $User | wc -l`
if [ $count -eq 0 ]; then
mail.sh 10
elif [ $count -ge $MAXCLIENTS ]; then
mail.sh 11
fi

14. スクリプト11
#!/bin/bash
FILTER=""
LOG=""
while read line
do
log_message=`grep $FILTER $LOG`
if [ $? -eq 0 ]; then
mail.sh 12
fi
done < $FILTER

15. スクリプト12
# cat sum_list.txt
2333890027d6a922a11b4408d1f9d483 /var/www/html/index.html
482769eb9418fd49b077cb22e045a744 /var/www/html/test.html
#!/bin/bash
SUM_LIST="sum_list.txt"
html_list=(`ls /var/www/html`)
for html in ${html_list[@]}; do
sum1=`grep $html $SUM_LIST | awk '{print $1}'`
sum2=`md5sum /var/www/html/$html | awk '{print $1}'`
if [ $sum1 != $sum2 ]; then
echo $html >> disagreement_list.txt
fi
done
if [ -s disagreement_list.txt ]; then
mail.sh 13
fi

16. スクリプト13
#!/bin/perl
# HTTP Link Check
use LWP;
use HTML::LinkExtor;
$url="チェック対象URL"
$browser = LWP::UserAgent->new;
$response = $brower->get($url);
$error_url="";
$p = HTML::LinkExtor->new(unlink(),$tag,$url);
$p->parse($response->{_content});
for $x ($p->links) {
@ret=@{$x};
$check_url=@{ret[2]};
$alive = `wget -nv --spider -t 1 -T 60 $check_url 2>&1 | grep "200 OK"`;
if ( $? != 0 ) {
$error_url = $error_url . $check_url . "n";
}
}
if($error){
system(`mail.sh 14`);
}

17. DBサーバの監視
No 監視分類 監視項目 監視内容 監視間
隔
1 死活監視 MySQLデータベー
スへの接続確認
MySQLデータベースへ接続
できるか監視する。
1分
2 プロセス監視 プロセスの状態 MySQLデータベース・プロ
セスの稼働状況を監視する。
1分
3 レプリケーショ
ン監視
レプリケーション
の状態
レプリケーションの稼働状況
を監視する。
5分
4 その他の監視 スレッド数 スレッド数を閾値で監視する。5分
5 テーブルスペース
の空き
データベースのテーブルス
ペースの空き容量を監視する。
1日1回
6
クエリキャッシュ
ヒット率
クエリキャッシュヒット率が
閾値より低くないか監視する
1日1回
7
スロークエリログ スロークエリログの確認する。1日1回

18. スクリプト1
#$!/bin/bash
# MySQLデータベースへの接続確認
User=""
Pas=""
alive=`mysqladmin ping -u $User -p$Pas > /dev/null 2>&1`
if [ $alive -ne 0 ]; then
mail.sh 1
fi

19. スクリプト2
#!/bin/bash
# MySQLデータベース・プロセスの稼働確認
mysqld_pro=`ps -e | grep mysqld | grep -v mysqld_safe | grep -v grep |
wc -l`
if [ $mysqld_pro -ne 0 ]; then
mail.sh 2
fi

20. スクリプト3
#!/bin/bash
# レプリケーションの稼働状況確認
User=""
Pas=""
Host=""
Port="3306"
status=`mysql -u $User -p$Pas -P $Port -h $Host -e 'show slave statusG' 2>&1`
if [ $? -gt 0 ]; then
echo $MESSAGE | mail -s $SUBJECT -r $FROM $TO
fi
badcount=`echo $status | grep Running | grep No | wc -l`
if [ $badcount -gt 0 ]; then
mail.sh 3
fi

21. スクリプト4
#!/bin/bash
# スレッド数の閾値監視
WARNING="閾値"
pro_count=`mysql -u $User -p$Pas -P $Port -h $Host -BNe 'show processlist' |
awk '{print $5}' | grep -v Sleep | wc -l`
if [ $pro_count -ge $WARNING ]; then
mail.sh 4
fi

22. スクリプト5
#!/bin/bash
# データベースのテーブルスペースの空き容量チェック
WARNING="閾値"
DB_NAME="データベース名"
free=`mysql -u $User -p$Pas $DB_NAME -e "SHOW TABLE STATUS" | awk
'NR==2 {print $10}'`
if [ $free -gt $WARNING ]; then
mail.sh 5
fi

23. スクリプト6
#!/bin/bash
# クエリキャッシュヒット率が閾値より低くないか監視する
WARNING=1
cache=(`mysqladmin -u $User -p$Pas extended-status | grep Qcache`)
Qcache_hits=`echo ${cache[2]}`
Qcache_inserts=`echo ${cache[3]}`
Qcache_not_cached=`echo ${cache[5]}`
sum=`expr $Qcache_hits + $Qcache_inserts + $Qcache_not_cached`
hit=`echo "scale=2; $Qcache_hits / $sum" | bc | sed s/^.//g`
if [ $hit -lt $WARNING ]; then
mail.sh 6
fi

24. スクリプト7
#!/bin/bash
# スロークエリログの確認
SLOW_QUERY_LOG="スロークエリログのパス"
mysqldumpslow $SLOW_QUERY_LOG | mail -s $SUBJECT $TO

25. おまけ（ネットワーク構成）
LVS *2
WEB *2
AP *2
DB *2
ルータ ルータ
インターネット
LVS LVS
WEB WEB
AP AP
DB DB
LVS LVS
タグVLAN(10,20)
タグVLAN(20,30)
タグVLAN(30,40)
ポートVLAN(40)