Zabbix監視運用業務の自動化事例

1. Zabbixだけじゃない！　 OSSを徹底活⽤用して運⽤用⾃自動化を実現「Zabbix監視運⽤用業務の⾃自動化事例例」 2015/9/25 Open Programmable Infrastructure Environment

3. システム運⽤用の⽬目的   「サービス」の継続的提供ビジネスに価値のあるサービスを、   より素早く ⇨計画〜～リリースの期間を短く   ⽋欠陥を減らし ⇨性能低下、障害発⽣生の防⽌止   効率率率を改善し ⇨サポートコストの削減継続的に提供する   障害対応障害発⽣生時に   迅速にサービスを復復旧し   再発を防⽌止する 15/09/24 Copyright 2015(C) OSS Laboratories Inc. All Rights Reserved 3

4. ⼿手作業の運⽤用の問題   撲滅できない操作ミス   タイプミス   ⼿手順書のタイポ   エラー時のロールバック⼿手順不不備   原因不不明の障害   開発環境、検証環境、本番環境が微妙に異異なる（ライブラリやOS設定）   環境によって操作⼿手順が異異なる   そもそも⼿手作業なので、再現が困難   秘伝のタレによる属⼈人化   リリースサイクルの⻑⾧長期化   変更更が適⽤用されるまでに、次の変更更要求が滞留留   変更更頻度度が少ないため、変更更箇所が増え、変更更のリスクが増⼤大   環境の複雑化への対応が困難   仮想化、クラウド化によってシステム環境が複雑化し、動的な変更更／変化が発⽣生   それに伴い作業⼿手順も複雑化し、メンテナンスが困難に   ⾮非効率率率、⾮非⼈人間的な作業   端末操作、⼿手順書読み上げ、作業確認の3⼈人体制   ⻑⾧長時間にわたる操作の緊張と重圧 15/09/24 Copyright 2015(C) OSS Laboratories Inc. All Rights Reserved 4

5. クラウドで求められる⾃自動化と可視化情報量量の爆発ガバナンス低下クラウドで重要になる⾃自動化と可視化 15/09/24 Copyright 2015(C) OSS Laboratories Inc. All Rights Reserved 5 仮想化による、論論理理構成と物理理構成の複雑化オンデマンドによる、変更更の⾼高速⾼高頻度度化動的構成管理理と関係マッピング監視や変更更管理理との連携運⽤用管理理の負担軽減⾃自動情報収集とワークフロー外部システムとの柔軟な連携管理理内容の可視化広がるパブリッククラウドプライベートクラウドの活⽤用

6. 運⽤用管理理を⾃自動化する効果   構築〜～実装〜～サービス稼働までプログラム化   コスト低減、ミスの削減、期間短縮   「運⽤用でカバー」から、「設計で保証」   運⽤用管理理の集中化と可視化   作業は⾃自動化し、⼈人間は判断に集中   ⼈人に依存しない標準化、品質向上   定量量評価による投資対効果の明確化   継続的デリバリーの実現   リリースの多頻度度化により、リリースのリスクを低減   ビジネスサイクルの⾼高速化に適応   広域分散環境に対応   AWS等のクラウドサービスから、オンプレミスの既存物理理サーバまで⼀一元管理理   リソースの最適化   ⽬目的に応じて最適なプラットフォームにアプリケーションを移動   DR/BCPへ対応   DR/BCPの⾃自動化 15/09/24 Copyright 2015(C) OSS Laboratories Inc. All Rights Reserved 6

7. 運⽤用管理理⾃自動化の役割 15/09/24 Copyright 2015(C) OSS Laboratories Inc. All Rights Reserved 7 要件定義設計コーディングテスト継続的インテグレーション開発サイクルの高速化ジョブ管理監視検知リカバリ運用サイクル運用サイクルの自動化運用引き継ぎの自動化バージョン管理構成管理自動デプロイ自動テスト •  全てプログラム化 •  どの環境でも同じ手順 •  何度実行しても同じ結果を再現 •  作業結果をログに保存

8. 構成管理理及びリリース管理理の成熟度度モデル「継続的デリバリー　信頼できるソフトウェアリリースのためのビルド・テスト・デプロイメントの⾃自動化」 David Farley (著), Jez Humble (著), 和智右桂 (翻訳), ⾼高⽊木正弘 (翻訳) アスキー・メディアワークス (2012/3/14) 15/09/24 Copyright 2015(C) OSS Laboratories Inc. All Rights Reserved 8 　レベル -1 レベル 0 レベル 1 レベル 2 レベル 3 プラクティスリグレッションエラー多発：  プロセスは繰返せず管理も貧弱、そして対症療法を行っている。繰返し可能：  プロセスは文書化され、一部は自動化されている。一貫している：  自動化されたプロセスが、アプリケーションのライフサイクル全体に適用されている。定量的な管理：  プロセスが計測可能で制御されている。最適化：  プロセスの改善に注力する。ビルド管理及び継続的インテグレーションソフトウェアのビルド手順が手動である。成果物やビルド結果の管理をしていない。普段のビルドやテストを自動化している。全てのビルドはソース管理システムを使って自動化された手順で再現できる。自動ビルドと自動テストのサイクルを、変更がコミットされるたびに実行する。依存関係を管理する。スクリプトやツールを再利用する。ビルドメトリクスを収集して可視化し、それに基づいて作業する。ビルドを壊れたままにしない。チームで定期的に話し合いの場を持ち、統合時の問題やその自動化による解決、素早いフィードバック、そしてより良い可視化について議論する。環境及びデプロイメントソフトウェアのデプロイ手順が手動である。バイナリが環境に依存する。環境の配布が手動である。一部の環境ではデプロイを自動化している。新しい環境を手軽に作成できる。全ての構成情報を外に出してバージョン管理する。ソフトウェアのデプロイは完全に自動化され、ボタンを押すだけで完結する。全ての環境に対して同じ手順でデプロイする。統合したデプロイ管理、リリースやリリース取消の手順もテストしている。全ての環境がうまく管理されている。プロビジョニングは完全に自動化、仮想化を適切に活用する。リリース管理及びコンプライアンスリリース頻度が低く、しかも信頼できない。面倒で頻度も低く、信頼できないリリース、リリース要件に関するトレーサビリティも限定的。変更管理とその承認プロセスが定義され、それを守っている。規約を遵守している。環境はアプリケーションの健康状態を監視し、能動的に管理している。サイクルタイムを監視している。運用チームとデリバリーチームが協力し、リスク管理やサイクルタイム削減を行う。テスト開発をした後に手作業でのテストを実施する。ストーリーの開発の一環として自動テストを書く。ユニットテストや受入テストを自動化する。受入テストはテスターが書く。テストが開発プロセスに組み込まれている。品質のメトリクスとその傾向を追跡する。非機能要件を定義し、計測する。本番環境への変更の取消は滅多に発生しない。問題があればすぐに見つかり、すぐに修正される。データ管理データのマイグレーションはバージョン管理されておらず、手作業で操作する。データベースへの変更は自動化したスクリプトで行い、スクリプトはアプリケーションと共にバージョン管理する。データベースの変更はデプロイメントプロセスの一環として自動的に行う。データベースの更新やロールバックはデプロイの度にテストされる。データベースのパフォーマンスを監視、最適化する。リリースのたびに、データベースのパフォーマンスやデプロイメントプロセス自体についてのフィードバックを得る。構成管理バージョン管理システムを使っていない、あるいは使っていても滅短チェックインしない。バージョン管理システムを使って、ソフトウェアの作成に必要な物を全て管理する。ソースコードや設定ファイル、ビルドやデプロイ用スクリプト、データのマイグレーション等。ライブラリや依存関係を管理する。バージョン管理システムの利用ポリシーは、変更管理プロセスで定義する。開発者は、少なくとも1日1度はメインラインにチェックインする。ブランチはリリース作業のときだけ使う。変更管理のポリシーを常に検証し、効率的な共同作業や素早いデプロイができているかを確かめる。また、変更管理プロセスの可監査性もチェックする。

10. 概念念アーキテクチャ運用ポータルジョブモニタリソースモニタチケットモニタカレンダイベントモニタニュース監視／アラートサービスデスク／構成管理／変更管理チケット作成障害通知プロジェクト管理作業依頼ソースコード管理コード作成／修正デプロイツールジョブ管理クラウドAPI テストデバッグリリースクラウドプロバイダリソース結果登録オーケストレーションレイヤイメージ置場レポジトリ CMDB メール 15/09/24 Copyright 2015(C) OSS Laboratories Inc. All Rights Reserved 10

11. ネットワーク管理アプリケーションフレームワーク監視資源管理（クラウド／VM／実機／ストレージ） OSインストール初期設定／構成管理アプリケーション構成コマンド自動実行 openQRM Docker Kubernetes GlusterFS Ceph XtreemFS Puppet Ansible Nagios Zabbix Fabric 運⽤用管理理⾃自動化ツール JobScheduler Open Contrail Etc. ジョブ管理 15/09/24 Copyright 2015(C) OSS Laboratories Inc. All Rights Reserved 11 サービスデスク／工程管理／リポジトリ Redmine Git/svn OTRS

12. バージョン管理理サービスデスク Open Programmable Infrastructure Environment 12 運⽤用ポータルヒヤリングシート設定シートミドルウェア／アプリ構成管理理実⾏行行管理理構築情報変更更依頼アラート／イベント API連携インベントリ／コンフィグ／ステータスユーザオペレータ SE 状態監視 vmware 構築/検証 Fabric 物理理サーバ 15/09/24 Copyright 2015(C) OSS Laboratories Inc. All Rights Reserved インベントリ収集ログ管理理

17. CloudConf概要ヒヤリングシート（記⼊入済み）ヒヤリングシート記⼊入ヒヤリングシート確認設定シート（記⼊入済み）プロビ実⾏行行コンフィグ構成確認コンフィグ監視設定ファイル設定シート（記⼊入済み） ServerSpec 結果引継ぎ設定コンバータ CloudConf vmware 物理理サーバ実⾏行行管理理 15/09/24 Copyright 2015(C) OSS Laboratories Inc. All Rights Reserved 17

18. Cloudconf導⼊入事例例管理理サーバ対象機器 sshログイン/WinRM 管理理マネージャ顧客環境対象機器存在チェックテキストファイル実⾏行行結果ログ監視設定登録 15/09/24 Copyright 2015(C) OSS Laboratories Inc. All Rights Reserved 18 監視サーバ踏み台サーバ Excelファイルアップロード Snmp/Ssh Zabbix 　API エラー通知メールファイル検知⾃自動実⾏行行種類／内容チェックエージェント対象状態確認エージェントインストール／アップデート／起動 CloudConf (+Getinfo) Ping

19. Getinfo導⼊入事例例監視サーバ対象機器 ssh/telnet ログインオペレータ端末顧客環境 Zabbixアラート検知トリガーからアクション実⾏行行 CMDBを検索索、ip/ user/pwd/機種を取得対象機器でコマンド実⾏行行対象機器に Ssh/telnetログインテキストファイル MySQL コマンド実⾏行行結果ファイル CMDB IP/ユーザー/パスワード/機種他コマンドテーブルコマンド実⾏行行結果をテキストファイルに保存元情報との差分を表⽰示操作ログ /var/log/messages 15/09/24 Copyright 2015(C) OSS Laboratories Inc. All Rights Reserved 19 バージョン管理理踏み台サーバ

22. CMDBuild構成管理理システム   2005年年プロジェクト開始   伊Tecnoteca 社が開発、AGPLライセンス   http://www.cmdbuild.org/ 15/09/24 Copyright 2015(C) OSS Laboratories Inc. All Rights Reserved 22 CMDB インベントリ収集ワークフロー文書管理地理情報レポーティング API JSON/SOAP APACHE TOMCAT アセットコンピュータライセンスサーバデスクトップユーザサプライヤドキュメント場所保守契約監視システムポータル

23. CMDBuildの特徴   ⾃自由なデータモデル   クラスとリレーションの設定で⾃自由に設計可能   組み込まれたワークフローエンジン   Together Workﬂow (Shark)を使⽤用し、ワークフローを設計／実⾏行行   他システムの連携   SOAP API, Mail, SQL, LDAP/AD, CSV, etc.   ITIL V3準拠   組み込まれた⽂文書管理理機能   多⾔言語対応   ⽇日本語／英語／ドイツ語スペイン／フランス／イタリアロシア／ポルトガル／セルビアブラジル 15/09/24 Copyright 2015(C) OSS Laboratories Inc. All Rights Reserved 23 サービス戦略略サービス設計サービス移⾏行行サービス運⽤用継続的改善財務管理理サービスカタログ管理理変更更管理理イベント管理理 7ステップ改善需要管理理サービスレベル管理理資産構成管理理インシデント管理理サービス測定ポートフォリオ管理理キャパシティ管理理ナレッジ管理理リクエスト対応サービスレポート可⽤用性管理理移⾏行行計画／⽀支援アクセス管理理サービス継続性管理理リリースデプロイ管理理問題管理理セキュリティ管理理サービスバリデーション／テストサービスデスクサプライヤ管理理評価技術管理理アプリケーション管理理オペレーション管理理アセットコンピュータライセンスサーバデスクトップユーザサプライヤドキュメント場所保守契約ロケーション顧客サービスネットワーク保守契約モデル

26. ワークフロー機能 15/09/24 Copyright 2015(C) OSS Laboratories Inc. All Rights Reserved 26   Together Workﬂow Editorで作成したワークフローを、インポート http://www.together.at/prod/workﬂow/twe Redmine'>) Cmdbuild) ) ) or Redmine Redmine XRFC X X X ) )X Redmine) ) ) XX X RFC01 RFC02 RFC03 RFC04 RFC05 RFC00 RFC06 RFC07 RFC08 RFC09 RFC10 RFC11 RFC12 RFC13 RFC14 )

32. インベントリ収集フロー 15/09/24 Copyright 2015(C) OSS Laboratories Inc. All Rights Reserved 32 Webから実⾏行行 Network Groupがなければ作成 Nmapスクリプト実⾏行行ログ画⾯面にリダイレクト Nmap実⾏行行結果確認 Snmp? Snmpスキャン実⾏行行デバイス登録済? デバイス追加デバイス更更新 WMI? VBSスクリプト転送・実⾏行行 ssh? shellスクリプト転送・実⾏行行スクリプト実⾏行行結果を、 Open-‐‑‒Auditサーバにhttp put 終了了対象デバイス

34. ジョブ管理理：JobSchedulerの特⻑⾧長   オープンソース（GNU Public License V.2）   Linux/Windows版は、全ての機能が無料料で使⽤用可能。   サポートライセンスを購⼊入すれば、HP-‐‑‒UX/Solaris/AIX版の利利⽤用に加えて、障害対応、バグフィックス／ワークアラウンドの提供、新機能の早期提供、チケットシステム (OTRS)、JIRAの利利⽤用が提供される。   プログラマブル   ジョブの中で、Java, Perl, JavaScript, VBScript, Powershell, javax.scriptの内部 APIを使ったロジックを記述可能   外部API（XML形式）によりRESTまたはコマンドラインからジョブの実⾏行行制御、実⾏行行状況の取得が可能   エンタープライズ・グレード   ファイル転送やログローテンション等豊富なテンプレート機能   リモートジョブ実⾏行行、冗⻑⾧長化機能、ロードバランス、外部認証等、エンタープライズ向け⼤大規模システム対応   JasperReport（ジョブ実⾏行行レポート）やZabbix/Nagios（ジョブ実⾏行行監視）との連携機能   MySQLの他、PostgreSQL, Oracle, DB2, MS SQL Server, Firebirdに対応   豊富な導⼊入実績15/09/24 Copyright 2015(C) OSS Laboratories Inc. All Rights Reserved 34

35. 35 JobSchedulerの導⼊入実績ドイツ eBankやカード決済サービス会社イギリス財務アプリケーションのプロバイダオーストリア (イタリアの)⼤大⼿手⾦金金融グループアメリカノースカロライナ州保健福祉サービス機関ヨーロッパを中⼼心に⾦金金融・産業・政府・⼤大学などの様々な機関で使⽤用されているドイツ⼤大学図書館 15/09/24 Copyright 2015(C) OSS Laboratories Inc. All Rights Reserved

36. ユニバーサル・エージェント   最新版でリリース（V1.10）   従来のエージェント（クラシック・エージェント）との違い https://kb.sos-‐‑‒berlin.com/display/PKB/JobScheduler+Universal+Agent+-‐‑‒+Features   Pure Java、シングルバイナリー   次ページ「サポートプラットフォーム」を参照   ゼロ・コンフィグレーション   エージェント側での設定を廃⽌止、マスタ側からのリクエストに変更更   リモート・ファイル監視   エージェント側ホストのファイル監視が可能   Docker サポート   Dockerコンテナ内でのエージェント稼働、ジョブの起動／停⽌止   Raspberry Pi サポート   有償ライセンスのみのリリース（V1.10以降降）   オープンソースライセンスは、SSHのみ   尚、JobSchedulerのマスタ（エンジン）とエージェントは、異異なるバージョンでも、使⽤用可能です。（マスタ／エージェント互換性情報を参照ください） 15/8/1 Copyright 2015(C) OSS Laboratories Inc. All Rights Reserved 36

38. 導⼊入事例例１   国内製造業A社   流流通・⼩小売業向けの各種機器を製造   機器導⼊入先のエンドユーザー企業で、機器の保守のほか、ネットワーク監視、運⽤用監視サービスも併せて提供している   監視システムのリプレースプロジェクト   Nagiosを監視エンジンとして使⽤用したシステムを開発・導⼊入   2012年年1⽉月開発開始、同年年9⽉月から本稼働   フロントエンドはCakePHPで開発   監視対象ノードは現在6,000を超える   監視対象   疎通やサーバの⽣生死等のネットワーク監視   業務運⽤用系の監視　←これはNagiosだけでは難しい   店舗レジの開閉店処理理の実施有無   マスタファイルの送信処理理の成否   監視規模   1つのエンドユーザー企業で、数百店舗（＝ノード）の監視が必要となることも 15/09/24 Copyright 2015(C) OSS Laboratories Inc. All Rights Reserved 38

40. JobSchedulerを採⽤用したメリット   監視システムとのワンストップのフロントエンドシステムを開発できた   JobSchedulerはAPIが提供されているので、フロントエンドを独⾃自に開発できる   既存の監視スクリプトを流流⽤用できた   JobSchedulerは何でも実⾏行行できる   Shell / Perl / Java / JavaScript ...   Nagiosへの連携ジョブを共通化できた   JobSchedulerはジョブチェーンが組めるので、共通ジョブを開発しておけば便便利利   オープンソース！ 15/09/24 Copyright 2015(C) OSS Laboratories Inc. All Rights Reserved 40

42. 導⼊入事例例２   データセンタ事業者   監視サービス設定の⾃自動化   設定シートを読み込んで、監視対象へのZabbixエージェントインストール／設定と、Zabbixサーバへの監視登録を⾃自動化   通信事業者   社内設備テスト環境の⾃自動化   数百パターンの試験項⽬目を⾃自動実⾏行行 15/09/24 Copyright 2015(C) OSS Laboratories Inc. All Rights Reserved 42

43. HyClops JobMonitoring概要 15/09/24 Copyright 2015(C) OSS Laboratories Inc. All Rights Reserved 43 ジョブをZabbix監視アイテムに⾃自動登録   JobSchedulerにジョブを登録すると、⾃自動的にZabbixにジョブ監視アイテムを設定 Zabbixからジョブのアラート監視   ジョブ定義で指定したアラート（開始遅延、実⾏行行失敗等）を監視 Zabbixからジョブの実⾏行行時間監視   各ジョブの実⾏行行時間履履歴を監視、傾向グラフを表⽰示 Zabbix監視閾値をジョブから⾃自動変更更   特定のジョブを実⾏行行する際に、cpu loadやmemory free の閾値を変更更し、実⾏行行完了了後元に戻す

44. Zabbixによるジョブ実⾏行行状況監視   Hyclops Jobmonitoring   http://tech-‐‑‒sketch.github.io/hyclops_̲jm/jp/   Zabbix APIとJobScheduler APIを使った、連携モジュール   実⾏行行モジュールはFabricで実装   他のプログラムからも呼び出し可能 15/09/24 Copyright 2015(C) OSS Laboratories Inc. All Rights Reserved 44 WEB APIpolling ZabbixAPI

46. CMDBuild情報   ⽇日本語メーリングリスト（Google グループ）   https://groups.google.com/forum/?hl=ja#!forum/ cmdbuild-‐‑‒ja   CMDBuildの紹介（⽇日本語）   http://www.ossl.co.jp/jpn/Products/infrastructure/ CMDBuild   プロジェクト   http://cmdbuild.org/en   開発元   http://tecnoteca.com 15/09/24 Copyright 2015(C) OSS Laboratories Inc. All Rights Reserved 46

47. ⽇日本JobSchedulerユーザーグループ   2013/4発⾜足   JobSchedulerいけるやん、という⼈人の集まり   独SOSサイトにも掲載 “Company News : Japanese language JobScheduler user group on Facebook” http://www.sos-‐‑‒berlin.com/modules/news/article.php?storyid=42   会則／会費ありません   会員資格ありません、Google Groupsに参加して下さい https://groups.google.com/forum/?fromgroups#!forum/jobscheduler-‐‑‒ja   JobSchedulerを使う上での疑問やノウハウの共有   勉強会と⾔言う名の飲み会 15/09/24 Copyright 2015(C) OSS Laboratories Inc. All Rights Reserved 47

48. 活動内容   グループサイトの運営 https://sites.google.com/site/jobschedulerja/home   Wiki, tips, ドキュメントを掲載   Facebookページ http://ja-‐‑‒jp.facebook.com/pages/Jobscheduler-‐‑‒Japan-‐‑‒ユーザーグループ/594469610565511   各種告知   いいね！をお願いします！！   普及活動   定期勉強会 15/09/24 48Copyright 2015(C) OSS Laboratories Inc. All Rights Reserved

Zabbix監視運用業務の自動化事例

OSSラボ株式会社

Zabbix監視運用業務の自動化事例