Download as PDF, PPTX
Uploaded byKodai Terashima
オープンソースでシステム監視！統合監視ソフトウェアZABBIXの機能と利用事例のご紹介
2009年2月21日 オープンソースカンファレンス2009 Tokyo/Spring
オープンソースでシステム監視！統合監視ソフトウェアZABBIXの機能と利用事例のご紹介
- 1.
- 2. OSS統合監視ソフトウェアZABBIXのご紹介 ◦ ～ZABBIXの概要と機能のご紹介～ ◦ ZABBIX-JP代表 (ミラクル・リナックス株式会社) 寺島広大 ZABBIXによるWebシステムの監視事例 ◦ ～無償ソフトウェアでここまでできる！～ ◦ 有限会社PITS 伊藤一生 ZABBIXによるネットワーク機器のパフォーマンス測定検証事例 ◦ ～ZABBIXの意外な利用方法～ ◦ 株式会社PFU 半澤雄二郎 2
- 3.
- 4. 寺島 広大 (てらしま こうだい) ZABBIX-JP 代表 ◦ 2005年よりZABBIX-JPを設立、運営 ミラクル・リナックス株式会社に勤務 ◦ 社内の情報システム担当 ◦ ZABBIXのコンサルティング、サポート担当 4
- 5. 監視機能 ◦ 機器からステータス情報を取得する ◦ 取得したステータス情報の保存 表示機能 ◦ 監視データの表示 ◦ グラフ、マップ表示 障害検知、通知機能 ◦ 障害を検知するための閾値設定 ◦ 管理者への障害通知 5
- 6. オープンソース製品 ◦ Nagios ◦ BigBrother (Hobbit) ◦ Hinemos ◦ Cacti など 商用製品 ◦ JP1/NNM ◦ WebSAM ◦ System Walker など 6
- 7. オープンソース製品 ◦ 設定や設定管理が煩雑 ◦ 設定をテキストエディタで行うなど、Linuxの知識を要する ◦ 大規模システムでの利用が困難 商用製品 ◦ 非常に高価 ◦ 高機能だが、不要な機能が多い 7
- 8. オープンソース・ソフトウェア さまざまなOSに対応した専用エージェント SNMP v1、v2、v3に対応 エージェントレスの監視に対応 Webインターフェースから選択式による監視設定/表示が可能 柔軟に設定可能な監視/障害検知/通知機能 マップ/グラフ/複数グラフの表示機能 監視設定/収集データをRDBMSで一元管理 テンプレートによる監視/障害検知/グラフ設定の管理 ユーザスクリプトによる監視項目の拡張機能 8
- 9. 障害通知 SNMP & SNMP Trap ネットワーク機器 MySQL PostgreSQL ZABBIXサーバ Oracle ZABBIXエージェント SQLite ZABBIXエージェント導入サーバ Ping/ポート監視 表示 Apache + PHP 設定 管理者 ZABBIXエージェント未導入サーバ 9
- 10. プラットフォーム ZABBIX Server ZABBIX Agent Linux ○ ○ Windows － ○ Solaris ○ ○ AIX ○ ○ HP-UX ○ ○ Mac OS X ○ ○ FreeBSD ○ ○ OpenBSD ○ ○ Novell Netware － ○ SCO Open Server ○ ○ Tru64/OSF ○ ○ 10
- 11. 基本監視項目 ◦ CPU使用率 ◦ ディスク使用率 ◦ メモリ使用率 ◦ ネットワーク使用率 ◦ ポート監視 ◦ プロセス監視 ◦ ログ監視 ◦ ファイル監視 など 監視項目を独自に拡張可能 ◦ アプリケーションの監視などを独自に設定可能 11
- 12. 監視データの表示 障害発生箇所の一覧表示 グラフ表示 マップ表示 スクリーン機能(レポート作成機能) 12
- 13. メールによる通知 ◦ 障害時、復旧時にメールを送信 ◦ 送信するメールの内容を個別に設定可能 通知先、障害レベルの設定が可能 ◦ 通知するユーザ、グループを設定可能 ◦ 通知する障害レベルを設定可能 スクリプトの実行 ◦ 自動でプロセスを再起動 ◦ 特定アプリケーションを実行 13
- 14. ZABBIXは中小規模のシステム監視に最適！ ◦ 商用製品は高価すぎる ◦ 「統合監視」に特化したシンプルな製品が欲しい シェルスクリプト、MRTGの置き換えに！ ◦ 複数のツール、設定を一元管理 ◦ 過去のデータを蓄積、傾向分析を行いたい 14
- 15. 2005年よりWebサイトの運営を開始 ZABBIXの日本語化 フォーラムによるサポート リリースノート翻訳 15
- 16. サポート価格 (定価) サポート内容 (監視対象台数) 価格 基本パック (監視対象20台まで) 300,000円/年 監視対象追加パック 10台 150,000円/年 監視対象追加パック 50台 650,000円/年 監視対象追加パック 100台 1,200,000円/年 コンサルティング価格 (監視対象25台の構成例) コンサルティング内容 価格 監視システム設計支援サービス (5日) 920,000円 ZABBIX導入支援サービス (オンサイト2日) 470,000円 教育サービス (研修、ドキュメント作成) 100,000円～(個別見積) 開発支援サービス (インターフェースのカスタマイズ等) 個別見積 16
- 17.
- 18. 伊藤 一生 (いとう かずお) 有限会社PITSに勤務 ◦ 2007年より有限会社PITS(http://www.pits.jp)に勤務 ◦ ZABBIX 1.1系の構築、導入に携わり、ZABBIX 1.4系への移 行を経て現在に至る ZABBIX-JP スタッフ ◦ 2008年よりZABBIX-JPに参加 18
- 19. 環境1 ◦ 43台のサーバで構成されるWebホスティングサービス 環境2 ◦ Xen仮想OSで構成されるWebホスティングサービス 環境3 ◦ 自由度の高い監視が必要な小規模ASPサービス 19
- 20. ZABBIXサーバ: CentOS 4.4 ZABBIXエージェント: CentOS 4.4、RHEL 3.8 監視サーバ数: 43台 その他: ◦ SNMP Trapによるクラスタの監視 ◦ PingによるL2/L3スイッチの死活監視 なぜZABBIXを導入したのか？ • 無料だから！ • IT業界の専門誌に特集記事が掲載 • 使っている人が少ないから！ • 企業による導入、構築、運用サポート • Google日本語検索で9万件以上Hit 2007年 Google日本語検索で 3件しかHitしない・・・ 20
- 21. ZABBIXサーバ: CentOS 4.6 ZABBIXエージェント: RHEL5.1/CentOS 4.6 監視サーバ数: 7台 + Xen仮想ゲスト 45台 その他: PingによるL2/L3スイッチの死活監視 Domain-0 zabbix agentd Domain-0 zabbix agentd Domain-U zabbix server Domain-U zabbix agentd Domain-U zabbix agentd Domain-U zabbix agentd Domain-0 zabbix agentd NFS Domain-U zabbix agentd 監視データ Domain-U zabbix agentd 21
- 22. ZABBIXサーバ: CentOS 4.2 64bit ZABBIXエージェント: CentOS 4.2 32bit/64bit 監視サーバ数: 23台 その他: ◦ SNMPによるNASディスク監視 x2 ◦ PingによるL2/L3スイッチの死活監視 plug-inが必要！ モニタリング Cacti spineが必要！ それをクリアしたとしても 監視追加・変更が大変… 障害検知／メール送信 ■監視間隔を１分以下にしたい zabbix ■アラートメールが欲しい 22
- 23. Cacti(永年)とZABBIX(1～3ヶ月)による統計情報の溜 め込み お客様単位、Webサイト単位に障害検知/回復メールの 送信 ブラウザでの監視情報の参照はアクセス権を設定し、お客 様/サイト単位に参照できるサーバを限定して情報を公開 ZABBIXのDBは週に1回、MySQLのDB再編を行いデー タ量の増加を防止 23
- 24. 監視項目 監視方法 備考 CPU使用率 ZABBIXエージェント ロードアベレージ SNMP Cactiと同一の情報を監視するため、OIDを指定しSNMP経由で監視 スワップ使用率 ZABBIXエージェント - ディスク使用率 ZABBIXエージェント ファイルシステム単位の使用率を監視 ディスク使用量監視 拡張監視 duコマンドで指定ディレクトリ配下の使用量を監視 メモリ使用率 - ZABBIX未監視。Cactiのみで監視 ネットワーク使用率 - ZABBIX未監視。Cactiのみで監視 Ping監視 シンプルチェック - リンクダウン監視 SNMP OID指定しSNMP経由でリンクダウンを監視 URL監視 拡張監視 「ThinkIT記事 第6回 UserParameterで様々な監視を実現」の拡張監視 プロセス監視 ZABBIXエージェント - ポート監視 ZABBIXエージェント ldap、ssh、dns、apache、tomcat 等の監視 システムログ監視: 監視対象はユーザ:グループがroot:root、アクセス権640に設定し、 ZABBIXエージェント ログ監視 zabbixアカウントをzabbix:rootで作成し実現 (アクティブ) アプリログ監視: zabbix_agentdを改造しzabbixユーザのアクセス権がないログを監視 拡張監視 PostgreSQLのテーブルスペースやセッション数を監視 拡張監視 MySQLに対しmytop相当の情報を収集する監視 特殊な監視 SNMP Tomcatに監視用のcontextを配置しdb connection pooling数等監視 SNMP jdk snmp interfaceを利用。javaheap、GC数等の監視 24
- 25. ZABBIX Configureインストール ◦ インストール順序 1.apache、MySQL 2.gd、libxml2、libpng、libjpeg 3.php 4.zabbix MySQLはInnoDBを使用する ◦ create databaseする前に/etc/my.cnfを作成 ◦ my.cnfにinnodb_file_per_tableを設定することで、1テーブル 1ファイル構成になる ◦ 上記の設定を行えば、定期的にデフラグを実行することでデータ 量をスリム化させることが可能 25
- 26. 異なるバージョンのZABBIXの平行RUN ◦ 新バージョン導入時の不安 1.収集されたデータは以前と同じ精度か？ 2.検知、メール送信は以前と同じ動作ができるのか？ 3.監視設定は簡単に移行できるのか？ 4.etc 監視１号機 実行ファイル名：zabbix_server port ：10051 監視２号機 実行ファイル名：zabbix_agentd 実行ファイル名：zabbix_server port ：10050 port ：10051 実行ファイル名：zabbix_agentd14 port ：10052 zabbix1.1.6とzabbix1.4.1を平行RUNさせ、一定期間様子を見る。 26
- 27.
- 28. はじめに自己紹介 課題定義 ◦ 既存構成 ◦ 既存構成の課題あれこれ ◦ ZABBIX選定理由 仕様と構成 ◦ やること ◦ とりあえずしないこと ◦ ZABBIX導入後の構成 導入から実運用 ◦ とりあえず食べてみる ◦ お菓子は1日1個まで ◦ おいしいお菓子はみんなで食べてみる 予想外の効果あり！ ◦ 想定効果 ◦ 予想外な発見 28
- 29. 名前: 半澤 雄二郎 (はんざわ ゆうじろう) 職業: カスタマーエンジニア (CE) 会社: 株式会社PFU 所属: カスタマーサポート事業部 ZABBIX使用歴 ◦ 2008/09 MIRACLE PLUS+セミナー受講 ◦ 2008/10 とりあえずインストール ◦ 2008/11 ラボの評価機一式からデータ収集 ◦ 2008/12 とりあえずパフォーマンステスト ◦ 2009/XX パフォーマンステストの評価レポート ZABBIX-JP スタッフ ◦ 2008/12からZABBIX-JPに参加 29
- 30. CLIENT#N ISP#A ISP#B Router#A Router#B SLB #1 SLB #2 Server#1 Server#N 30
- 31. 既存構成の課題あれこれ ◦ 新規導入編: 製品ラインアップのどれがコストパフォーマンスが高いの？ ◦ 運用編: 筐体内の温度とか、ファンの回転数ってどのくらいなの？ ◦ リプレイス編: うちの既存アプリで実測どのくらいでるの？ ◦ トラブル編: パフォーマンス改善、どのパラメータを変えればいいの？ ZABBIX選定理由 ◦ OSSである: 案件ベースでしか買えないソフトにあんまり興味ないです ◦ Fedoraに標準採用: 新しいもの好きにはありがたいFedora # yum install zabbix ◦ エージェントレス環境: エージェントありきの実装ではなく、SNMP周りも充実 ◦ ユーザ定義が柔軟: テンプレート、グループ化、一括変更が可能。インポー ト、エクスポート機能も実装 実装、設計がすてき ■HinemosさんもV2.XからSNMP周りを強化されているそうです 31
- 32. やること ◦ 新規導入編: メーカーの資料はとりあえず置いておいて、公平に実測 ◦ 運用編: 筐体内の温度、ファンの回転数を観測 ◦ リプレイス編: 既存アプリで実測し、効果を測定できるといいな ◦ トラブル編: 過激な負荷をかけて、エレガントな設定を模索したいな とりあえずしないこと ◦ 綺麗なグラフ: とりあえず傾向が分かればよしとする。時間がかかりそうなので 保留 ◦ 機能拡張: 時間がかかるのはパスして、標準機能を使いこなす ◦ カスタマイズ:時間がかかるのはパスして、標準機能を使いこなす 基本ポリシーは必要最低限、楽しそうなことは後に取っておく 32
- 33. CLIENT#N ISP#A ISP#B Router#A Router#B SLB #1 SLB #2 Server#1 NMS#N 33
- 34. とりあえず食べてみる ◦ 実際に実環境で試してみる ◦ 評価環境は常に整理整頓してあるといいよね お菓子は1日1個まで ◦ おいしいからって食べ過ぎはよくありません ◦ 夢中になりすぎるのは禁物です おいしいものはみんなで食べる ◦ 満足いくものができたら誰かに評価してもらう ◦ フィードバックが帰ってきて仲間が増える とりあえず動かしてみて、楽しかったら周りを巻き込む 34
- 35. 想定効果 ◦ 各種リソースの使用状況、傾向を把握できた (CPU、メモリ、回線帯域、Connections、Throughput、SSLTPSとか) ◦ チューニング時に戦う相手は対象機器だけになった (各機器ごとにログとって > 設定変えて > 傾向見て のループから卒業できました) 予想外な発見 ◦ 新バージョンの効率良いバグチェック (あれ？機器のバージョンを変えたら正常な値が帰ってこないんだけど、これって、、) ◦ 過去に起きた問題のトラブルシュートが容易になった (ある月曜のできごと「誰だよ、金曜設定変えて戻してないのは！」) • パフォーマンスチューニングに便利 • 新バージョンの評価にいかがでしょう？ • ルールを守らない無法者はいませんか？ 35
- 36. ZABBIXをはじめるにあたって ◦ 私がZABBIX-JPに入会したのは2008/12月です ◦ 基本ポリシーは必要最低限、楽しそうなことは後に取っておく ◦ とりあえず動かしてみて、楽しかったら周りを巻き込む ZABBIXを試用、導入する大義名分として ◦ パフォーマンスチューニングに便利ですよ ◦ 新バージョンの評価にいかがでしょう？ ◦ ルールを守らない無法者はいませんか？ おまけ ◦ HinemosさんもV2.xからSNMP周りを強化されているそうです。 36
- 37.