アラート対応自動化を組み込んでみた

1. アラート対応自動化を組み込んでみた講演者：柳井浩平（サービス基盤本部サービス運用企画部 M & O サービス開発課）

3. 32 楽にならない理由抜け出せない“人に依存した運用” 1.使わない手順書のための労力 2.対応するオペレーターの不足 3.増え続けるシステム＆クラウド

4. 自動化が解決するメリット

5. 34 使わない手順書のための労力プロセスを自動復旧【tomcat再起動】プロセス数確認 → 起動実行 tomcatのプロセスが落ちたらプロセスを自動起動したい！ 1. 運用対象ノードXのtomcatプロセス異常を検知 2. アラート通知メールをお客様に送信 3. 自動オペレーション（コマンド）実行 ① tomcatのプロセス数を取得 ② プロセス数が1であれば、処理なし ③ プロセス数が0であれば、tomcat再起動コマンドを実行し、戻り値を設定 ④ プロセス数が0、1以外であれば、戻り値2を設定 ⑤ 戻り値を返して終了 4. 実行結果メールをお客様に送信 5. チケットに起票タイムチャート【tomcat再起動】

6. 35 使わない手順書のための労力アプリケーションログを抜き出す【ログ確認】エラーログの前後20行を取得監視アラートだけではアプリケーションの挙動がわからない！ 1. 運用対象ノードZのアプリケーションログで異常を検知 2. アラート通知メールをお客様に送信 3. 自動オペレーション（コマンド）実行 ① ログに出力されたエラーの前後20行を取得 ② 戻り値を返して終了 4. 実行結果メールをお客様に送信 5. チケットに起票タイムチャート【ログ確認】

7. 36 対応するオペレーターの不足圧倒的な対応スピードの向上自動化で対応負荷アラート処理オペレーション手順書作成原因調査削減

8. 37 増え続けるシステム＆クラウド既存システムを生かした手軽な導入自由なIaaS環境自由な監視ツール監視メール取込統合ポータルチケット管理運用サービスジョブ管理インシデントAPI 中継自動オペレーション

9. 38 導入効果自動化によりシステム運用を楽に 80％運用コストの削減減対応スピードの向上 2倍 IIJが利用ユーザとして適用した際の導入効果です。同一人数で約5倍のサーバ数を運用することに成功し、アラート発生から初動の対応時間が従来に比べ半分の時間に短縮されました。

10. 39 システム運用者の毎日をもっと楽にする

11. APPENDIX

12. 41 サービスメニューマルチクラウドに最適な統合運用管理監視・運用・ジョブ管理・プライベート接続をSaaS型で提供し、お客様のすべてのITシステムの一元管理を実現 IIJ統合運用管理サービスメニュー統合管理ジョブ管理専用ジョブ管理共用ジョブ管理運用サービス拡張運用標準運用監視サービス簡易監視標準監視チケット管理統合Webポータル APIインタフェース統合サポート窓口プライベート接続インターネットVPNリンクリモート標準/拡張リンクエンタープライズ運用お客様担当者 Azure 他クラウド接続オンプレミス接続 GIO 標準/拡張リンク AWS IIJクラウド接続マルチクラウド運用管理画面自動オペレーション個別リンクその他

13. 42 サービス機能：統合管理ポータルとチケット管理チケット管理機能もある統合WEBポータルを標準提供 UOMポータルシステムの運用担当者向け情報、お客様の管理対象サービスに関する情報、及びコントロールパネルの操作を集約した、IIJ統合運用管理サービスのポータルサイト https://uom.iijgio.jp/UOMポータル URL UOMポータル監視サービス、ジョブ管理サービス、インシデントAPIで検知・発生したアラート、メール取り込みオプションで指定したメールがアラート中継システムを経由し、インシデント管理機能へ自動登録。対応状況をお客様自身で管理可能。チケット管理画面チケット管理標準機能 UOMポータルの主要機能 • ダッシュボード • チケット管理 • アラート情報 • ノード状態 • ファイル保管 • 監視コントロールパネル • 運用コントロールパネル • ジョブコントロールパネル機能概要チケットの登録・作成・確認インシデント管理機能へ自動登録。3ヶ月分の情報をチケットで確認可能チケットの担当者割り当て・ステータス変更・関連付け対応する担当者を割り当て、対応状況を変更、関連のある複数チケットをまとめができます。チケットの検索・編集・削除チケットの検索、情報の追加・修正、削除ができます。チケットの対応履歴「インシデント」、「リクエスト」、「タスク」に関する対応経緯を追加・修正できますチケット管理

14. 43 サービス主要機能：監視サービスマルチクラウドに対応可能な監視システムをSaaS提供 ■オプション SNMP Trap オプション: SNMP Trap監視標準監視簡易監視・Ping監視・Port監視（TCP）・EZURL監視・URL階層監視・プロセス監視・Winサービス監視・Logキーワード監視・Winイベントログ監視・CPU/メモリ/Disk監視・トラフィック監視・ESXi監視など＜提供監視機能＞・Ping監視・Port監視（TCP）・EZURL監視・URL階層監視 ※10ポイント単位＜提供監視機能＞ ※30ポイント単位監視アラート通知・メール・電話監視レポート参照監視設定監視ポイント制課金オンプレミス監視システムユーザ/Sler 管理画面一元管理と充実したレポートユーザセルフ監視設定マルチクラウド監視機能を提供する監視管理画面とアラート検知時のメール通知/ 自動電話通知を標準提供充実したレポート機能と監視アラートの一元管理により、システム運用の見える化を実現標準監視と簡易監視の2タイプの監視メニューをポイント制課金でコスト効率良く利用可能 ※ ポイント制課金とは、監視設定を項目ごとにポイントを利用し、そのポイント数に応じて料金が決定する仕組みです。エージェントレス監視 SaaS提供のエージェントレス監視により、IIJのクラウドサービス（IIJ GIO）だけでなく、オンプレミス環境やその他クラウド含めたマルチクラウド環境などあらゆる対象を監視可能

15. 44 サービス主要機能：運用サービス豊富な経験と実績から高品質のシステム運用を提供事前に用意した手順書に基づくオペレーション標準運用や、スクリプト自動実行などが実施できる安価な自動オペレーションを提供個別の定型手順書の実施や、障害対応エンジニアリングなどのエンタープライズ向け運用は、拡張運用で対応運用導入において、経験豊富なSEが運用コンサルティングを行い、安定的な運用を実現 ※拡張運用をご利用の場合は、事前に運用コンサルティングが必須となります。オンプレミスユーザ/Sler 管理画面マルチクラウド監視システム監視・運用 24h365d サポートエンジニア監視レポート参照監視設定報告監視・運用対象機器を1台から利用でき、台数の増減にも容易に対応可能なスケールアウト型の運用メニュー自動オペレーション標準運用標準プラスオプション拡張運用オプション弊社で用意済の標準手順書に基づくオペレーション弊社で用意済の定型手順書に基づくオペレーションお客様個別手順の実施と障害調査や復旧などのエンジニアリング SSL証明書更新、運用実績レポートなどの個別カスタマイズ運用 ※自動オペレーション含む ※拡張運用契約には標準運用の契約が必須アラート検知後に特定のコマンドを自動で実施

16. 45 サービス主要機能：ジョブ管理サービス小規模～大規模まで利用できるジョブ管理もSaaS提供専用ジョブ管理共用ジョブ管理中～大規模のジョブ管理向け小規模・スモールスタート＜対象エージェント台数＞・1台～10台ジョブ実行アラートメールレポート参照ジョブ設定ジョブ管理のシステムをSaaS型で提供するため、1台からでも早期導入が可能 ※ ジョブ管理は「標準監視」と「標準運用」を契約しているノードが対象です。充実したジョブコントロールパネルにより、ジョブのモニタリングやオペレーション、レポーティングが可能スモールスタート可能な共用ジョブ管理と大規模システムにも対応した専用ジョブ管理メニューを提供＜対象エージェント台数＞・10台～無制限 JOB管理マネージャ共用専用ジョブ実行ジョブコントロールパネルジョブコントロールパネルジョブネットスケジュールアラート通知 ■ 主な機能ジョブ管理サーバをSaaS型で提供し、対象サーバへエージェントを入れるだけで、ジョブ管理を実装可能オンプレミスマルチクラウドユーザ/Sler 管理画面エージェントエージェントエージェントエージェントエージェント

17. 46 システム接続イメージ Azure IaaS・AWS向けのプライベート接続 PBB プライベートバックボーンインターネットVPNリンクインターネット回線を介したVPN接続個別リンクさまざまなネットワーク構成に対応 Azure IaaS AWS インターネットインターネット VPNリンクインターネット VPNリンク IIJ統合運用管理サービス Azure VPN Gateway Amazon Virtual Private Cloud Azure IaaS AWS PBB プライベートバックボーン IIJ統合運用管理サービス Azure Express Route Amazon Direct Connect IIJクラウドエクスチェンジサービス for Microsoft Azure IIJクラウドエクスチェンジサービス for AWS NATルータ (個別構築) NATルータ (個別構築) インターネットVPNリンクの対向ルータとなる Azure VPN Gateway や Amazon VPC の設定はお客様で実施 • Azure VPN Gateway、Amazon VPC向けのプロファイル（設定値）を提供し、VPN接続を容易にします。監視のためのNATアドレスは1リンクあたり14個まで • 複数契約（最大3契約）することでNATアドレスを増加可能です。お客様システムにて閉域接続（Azure Express Route や Amazon Direct Connectを利用）している場合は、その経路を利用して運用管理が可能です。 • 監視用のNATルータは、独自に準備が必要です。上記の構成では、IIJ GIOにNAT用の仮想ルータをSIで導入いただく想定です。プロファイル

18. 47 パートナー様への展開パートナー様ブランドによる再販（OEM） IIJ パートナー様エンドユーザ OEM販売 IIJ統合運用管理サービス OEM版の特別機能メニュー制御メール送信元制御ドメイン変更アナウンス管理ロゴ差し替え顧客チケット管理サブスクリプション管理アカウント管理契約/請求管理 OEM専用環境 ※順次リリース予定