Hyper-V上での大規模監視システム構築事例のご紹介

5. 背景 Copyright (c) 2015 Atomitech CORPORATION 5 お客様 • 某通信会社系データセンタ業務内容 • ホスティングとホスティング顧客システムの監視システム環境（監視） • OS:WindowsServer 2012 • 仮想環境：Hyper-V（KVM環境から移行） • 正副2系統の冗長構成のアクティブ/スタンバイ構成 • 正系と副系それぞれにホストマシンを用意 • マルチテナント構成 • １ホスティング顧客（システム）に対し２台のHinemos（正系１台、副系１台） • Hinemosは複数バージョンが存在規模 • 監視システム数（Hinemosサーバ数）：100台程度（正副それぞれ：40～50台程度）・運用のしやすさを考慮・Windows GUIによるオペレーション

7. 課題と対処 Copyright (c) 2015 Atomitech CORPORATION 7 課題 • Hinemosのメンテナスが煩雑 • 正副のHinemosは独立しており、監視対象や監視項目の変更はそれぞれに行う必要がある • 2台ホストだと可用性とメンテナンスに制限対処 • WSFC/MSFC（Windows Server Failover Clustering/Microsoft Failover Cluster）構成 • １ホスティング顧客（システム）に対し1台のHinemos • 仮想マシン移動で簡単に切り替え • 3台以上のホストで可用性を担保しながら柔軟なメンテナスが可能

8. 専用物理マシン、Hyper-V、OpenStack、VMware、KVM、etc ・・・顧客システム顧客システム顧客システム WSFC 構成(WSFC) Copyright (c) 2015 Atomitech CORPORATION 8 仮想マシン仮想化ホスト Hyper-V ・・・顧客用ホスティング環境監視システム共有ストレージ仮想化ホスト Hyper-V 仮想化ホスト Hyper-V ・・・・・・

9. 仮想マシンの移動についてライブマイグレーション •共有ディスクを使用しない •ディスク情報とメモリ情報をネットワークで移動先に転送 •ダウンタイムがほとんど発生しないクイックマイグレーション •共有ディスクを使用する •メモリ情報をディスクに保存し、そのメモリ情報を移動先で読み込み仮想マシンを再開させる •ダウンタイムが発生（通常、数秒～数十秒程度） 9Copyright (c) 2015 Atomitech CORPORATION 仮想化ホストのメンテナスを行う際にも監視を継続仮想マシンの移動でHinemosの動作に影響がない WSFC の仮想マシンの移動方式

10. 仮想マシンの移動について Copyright (c) 2015 Atomitech CORPORATION 10  ライブマイグレーション方式を検討するも課題あり  ライブマイグレーションは高速なネットワークが必要  事例の環境ではネットワークは100Mbps  当時10Gbpsは出始めたばかりで高価  クイックマイグレーション方式を採用  対障害性のために共有ストレージは必要  共有ストレージは高速なものを採用  ライブマイグレーションより高速に仮想マシンの移動が可能  ダウンタイムが数秒程度仮想マシンの移動にかかる時間 100Mbps:数十秒 10Gbps：数秒 Hinemosの監視処理継続性に影響なしクイックマイグレーション方式でライブマイグレーションを実現

11. WSFCへの移行について Copyright (c) 2015 Atomitech CORPORATION 11  顧客のシステムを停止できないので、監視も停止できない  監視を停止せずに正副冗長構成をWSFC構成に移行  移行手順 1. 仮想化ホストを１台追加 2. 追加した仮想化ホストと副系仮想化ホストのHyper-V間でWSFC を構築 3. Hinemosによる監視を正系から副系への切り替え 4. 正系の仮想化ホストを加えWSFCを構築 5. 正副２台のHinemos用仮想ノードを１台に整理し、仮想化ホストへ配置

17. まとめ Copyright (c) 2015 Atomitech CORPORATION 17  操作しやすいGUI  オペレータにとって慣れ親しんだWindowsのGUIによる操作  監視を継続しながらの仮想ノードの移動  高速なネットワークがなくても、クイックマイグレーションで、監視に影響を与えずに監視用の仮想ノードを移動し、ライブマイグレーションを実現  監視を停止せずにWSFCへ移行  正副2系統の冗長構成から、WSFC+共有ストレージ構成による監視仮想ノードの集約を、ホスティング顧客システムとその監視を停止することなく実現

19. 運用管理業務にも解決すべき問題が 19Copyright (c) 2015 Atomitech CORPORATION 運用状況： • 運用管理ツールからアラート情報を運用管理者にメール通知している • 運用管理者はアラート情報の内容を判断して、顧客担当者および顧客へメール通知を行っている • 顧客ごとにアラート発生からメール通知までの通知時間に関する SLAが異なる課題： • アラートメール通知時間が長い（SLA低）顧客システムで、大量にアラートが発生すると、メール通知が運用管理者に大量に送られる • この時、アラートメール通知時間の短い（SLA高）顧客システムでアラートが発生しメール通知が来ても、大量メールに埋もれてしまい、顧客へのメール通知が遅れてしまう

20. 「SLA高」顧客問題発生時の運用管理ログ収集ツール運用手順書運用管理者顧客 20 顧客担当者監視対象監視対象監視対象監視対象監視対象監視対象ある顧客のシステムで重大な障害発生！障害を検知してアラート情報として大量にメール通知運用管理者の処理が間に合わず大量のメールが蓄積「SLA高」顧客の監視対象でも障害発生「SLA高」顧客のアラート情報が埋もれる大量のアラート情報を受け取るアラート情報を受け取るまで時間がかかる Copyright (c) 2015 Atomitech CORPORATION 「ルールエンジンによる運用管理自動化」で解決へ

24. 問題解決に自動運用管理解決策: •アラート情報メールの集約 •同じイベント(同じホストの同じ監視項目で発生したイベント)が発生した場合は、指定された間隔で集約して通知 •重大エラー発生時の通知停止 •顧客担当者から予め重大エラーが発生した場合に監視を停止する「監視解除依頼届」を受け付け、該当エラー発生時に監視対象機器の監視を停止 •顧客と顧客担当者へのメール自動送信 •アラート情報の内容を判断し、宛先、件名、本文を設定してメール送信運用自動化（ルールエンジン）の適用個所: •メールの集約条件 •監視停止依頼による監視停止判断 •アラートの発生箇所と項目、重要度によるメールの宛先、件名、本文（アラート内容、担当者の署名）の設定 24Copyright (c) 2015 Atomitech CORPORATION

26. 「SLA高」顧客自動運用管理適用イメージログ収集ツール顧客 26 顧客担当者監視対象監視対象監視対象監視対象監視対象監視対象運用手順書監視解除依頼自動運用管理機能ルールエンジン運用管理者ルールルールルール条件の定義アクションの定義監視を解除するアラートを監視項目と重要度で指定監視を解除する監視項目を設定する判断する項目アクションの内容（Javaコード）判断する項目にマッチする値アクションの内容でセットするパラメータルール設定例（監視解除ルール） rule "Monitor_Control_10" no-loop true when //条件 ei: EventInfo(managerFacilityId == “HINEMOS_MANAGER_003”, //運用監視ツールID facility_id == “DB_SERVER_001”, //ファシリテイID monitor_id == “DB_PING”, //監視項目ID priority_num == “0”) //重要度 act: ActionFlg(flg == "0") then //アクション //停止するプラグインID,監視項目ID（１） SetValidMonitorActionInfo monitorActionInfo = new SetValidMonitorActionInfo($ei.getManagerFacilityId()); monitorActionInfo.setMonitorTypeId(“MON_PNG”); //プラグインID monitorActionInfo.setMonitorId(“DB_PING”); //監視項目ID monitorActionInfo.setValidFlag(false); sysActInfoList.add(monitorActionInfo); //停止するプラグインID,監視項目ID（2）・・・ end ルールエンジンにより 1行1ルールとして変換される Copyright (c) 2015 Atomitech CORPORATION

27. 「SLA高」顧客自動運用管理適用イメージログ収集ツール顧客 27 顧客担当者監視対象監視対象監視対象監視対象監視対象監視対象運用手順書監視解除依頼自動運用管理機能ルールエンジン監視解除運用管理者ある顧客のシステムで重大な障害発生！「SLA高」顧客の監視対象でも障害発生障害を検知してアラート情報として大量にメール通知ルールルールルール監視の停止によるアラート発生の抑止アラート情報を受け取る同一アラート情報の集約メール自動送信遅延なくアラート情報を受け取る項目値運用HinemosID HINEMOS_MANAGER_003 ファシリティID DB_SERVER_001 重要度 0 プラグインID MON_PNG 監視項目ID DB_PING 発生日時 2014/12/4 14:35:10 メッセージ Packets: Sent = 1, Received = 0, Lost = 1 (100% loss), 項目値運用HinemosID HINEMOS_MANAGER_003 監視項目ID MON_PNG 監視種別ID DB_PING 有効/無効無効アラート情報監視制御情報アラート情報にマッチするルール停止する監視項目情報の作成項目値運用HinemosID HINEMOS_MANAGER_003 監視項目ID MON_SNMP 監視種別ID DB_SNMP 有効/無効無効項目値運用HinemosID HINEMOS_MANAGER_003 監視項目ID MON_PRC 監視種別ID DB_PROCESS 有効/無効無効項目値運用HinemosID HINEMOS_MANAGER_003 監視項目ID MON_PRT 監視種別ID DB_PORT 有効/無効無効ルール動作例（監視解除ルール） Copyright (c) 2015 Atomitech CORPORATION

28. 自動運用管理化ツールの今後  ２つの方向性でソリューションを検討中 28 インシデント監視ツール自動運用管理機能ルールエンジンリポジトリ監視ジョブ性能 Hinemosの機能拡張各種運用管理ツールインシデント監視ツール自動運用管理機能ルールエンジン自動運用管理ツール独立した自動運用管理ツール Hinemosに限らず各種の運用管理ツールからの情報を集約し、ルールエンジンにより的確な判断を施し、運用の自動化を目指すソリューションルールエンジンによる的確な判断機能をHinemos自身に組み込み、運用の自動化を目指すソリューションご期待ください！！ Copyright (c) 2015 Atomitech CORPORATION

31. Atomitech OnCloud Service for Hinemos  アトミテックの豊富なノウハウにより構築したクラウド上のHinemosマネージャと、その維持管理を含めた運用環境をサービスとして提供いたします。  お客様のシステムを管理する為の最適な機能と環境を備えたHinemosをご利用になれます。  対応予定クラウドサービス： Microsoft Azure , Cloudn Copyright (c) 2015 Atomitech CORPORATION 31 バックアップバージョンアップ保守サポートお客様システムマネージャお客様クライアント Elastic Load Balancin g Web サーバ Web サーバ Web サーバ EC2 EC2 EC2 DynamoDB Memcache d 各種テンプレート死活監視・性能管理クラウド管理ジョブ管理障害通知パッチ適用お客様は、Hinemosマネージャーの環境構築・維持管理を意識することなく、豊富な機能を利用できます