Recommended
More Related Content
What's hot
What's hot (20)
Viewers also liked
Viewers also liked (8)
Similar to プロが解説！Hinemosによる運用管理テクニック
Similar to プロが解説！Hinemosによる運用管理テクニック (20)
Recently uploaded
Recently uploaded (8)
プロが解説！Hinemosによる運用管理テクニック
- 2. 自己紹介・弊社の紹介 Hinemosとは Hinemosのお問い合わせ事例紹介 Hinemosへのジョブ移行時のポイント （ソリューション紹介） アジェンダ Copyright (c) 2015 Atomitech Inc.1
- 3. 自己紹介・弊社の紹介 Copyright (c) 2015 Atomitech Inc.2
- 4. 吉永 圭佑(よしなが けいすけ) 1991年 11月13日生まれ 趣味 絵を描くこと 歌を歌うこと 所属 株式会社アトミテック Hinemosソリューション部 日々の主な業務 Hinemos保守対応 自己紹介 Copyright (c) 2015 Atomitech Inc.3
- 5. 株式会社アトミテック 2004年 7月 1日設立 Hinemosに関わる主なサービス Hinemos保守サービス Hinemosを用いた運用管理システムの構築支援 各種商用運用管理ツールからHinemosへの移行 Hinemosの提供製品 ミドルウェア監視用スクリプト Ubuntu版Hinemos NTTデータ開発有償機能 StartUpガイド 中国語版Hinemos 弊社の紹介 Copyright (c) 2015 Atomitech Inc.4
- 6. Hinemosとは Copyright (c) 2015 Atomitech Inc.5
- 7. システム運用管理で要求される各種機能を備えた、 「統合運用管理ソフトウェア」 Hinemosとは 監視 ジョブ環境構築 複雑化するシステムを、Hinemosで統合運用管理 一元管理 物理環境 仮想化環境 ネットワーク 機器類 Copyright (c) 2015 Atomitech Inc.6
- 8. Copyright (c) 2015 Atomitech Inc. 『必要な機能を、シンプルで使いやすい操作性と共に、安価で提供する』 Hinemosの特徴・コンセプト 物理環境 仮想化環境 日本製OSS シンプルな操作性 →GUIアプリケーションならではの、柔軟な操作性 →システム全体をグループ毎に俯瞰的に管理可能 →運用現場に応じた、GUIのカスタマイズも容易 充実の機能 →日本の運用管理ニーズに必要な機能を厳選 →日本語インタフェース、ドキュメント、保守サポート提供 →OSSとして、安価に導入が可能 →監視・ジョブの両方をワンパッケージで提供 →環境構築機能や、クラウド管理機能を完備 →本体機能に加え、オプション製品でニーズを先取り 7
- 9. 多種多様な環境をHinemosで一元管理可能 対応プラットフォーム 物理環境 仮想化環境 ネットワーク 機器類 OS Red Hat Enterprise Linux CentOS Oracle Linux Windows Solaris HP-UX AIX ハイパーバイザ VMware ESXi KVM XenServer Hyper-V Oracle VM その他 ネットワーク機器 アプライアンス製品 クラウド Amazon Web Services Microsoft Azure Cloudn Copyright (c) 2015 Atomitech Inc.8
- 11. Hinemosのお問い合わせ事例紹介 Copyright (c) 2015 Atomitech Inc.10
- 12. Hinemos保守サポートとは？ お問い合わせ対応 障害調査 修正モジュールの提供等 Copyright (c) 2015 Atomitech Inc.11
- 13. Hinemos保守サポートお問い合わせ分類 Copyright (c) 2015 Atomitech Inc.12 0 20 40 60 80 100 120 140 160 180 68 68 72 75 101 99 70 100 107 88 120 97 47 31 40 30 45 64 55 77 71 40 53 42 障害 仕様 年間約1500件以上
- 14. 1. Hinemos Webクライアントのサービスの起動が遅延する 2. リソース監視の結果で情報ステータスと不明ステータスが繰り返し出力される 3. カーネルモードで動作するプロセスの監視 4. Hinemosメンテナンス機能について 5. Javaヒープメモリに関するHinemosInternalエラーが出力された 6. HinemosクライアントからHinemosマネージャにログインできるがビューが表示されない 7. システムログ監視の結果の通知に遅延があった 8. システムログ監視で監視漏れが発生した 9. ジョブの実行に30秒かかる？ 10. 環境構築機能にて登録可能なファイルサイズについて 11. ジョブの判定対象の時刻が機能しない 12. 終了遅延の “26:00:00”と “2:00:00”の違い 13. Hinemosエージェントレスで可能な監視について 14. Hinemosマネージャ接続におけるプロキシ中継について 15. プロキシを経由したHTTP監視の方法は？ 16. rsyslog_hinemos.confのコメントアウト箇所の意味 17. Hinemosマネージャからエージェントが認識されていない事象について 18. Windowsサービス監視で監視対象のサービス名に半角空白が含まれていても監視に影響はないか 19. Hinemos 履歴保管期間変更について 20. メンテナンス設定の作成が行えない 21. イベントログ名はあっているはずなのにWindowsイベントログが監視できない 22. Hinemosのプロセスを監視したい 23. カレンダ機能の登録上限は？ Hinemosトラブルシューティングの事例一覧(一部) Copyright (c) 2015 Atomitech Inc.13
- 15. カーネルモードで動作するプロセスの監視 事象 Linuxのカーネルモードで動作するプロセスが監視できない 原因 net-snmpの仕様 カーネルモードで動作するプロセスは、 ”hrSWRunPath”を一律“<exited>“という文字列で返す。 -> コマンド(パス)を判別することができず、 カーネルモードのプロセスを監視することができない。 Copyright (c) 2015 Atomitech Inc.14
- 16. カーネルモードで動作するプロセスの監視 仕組み Hinemosのプロセス監視は、原則として、 SNMPポーリングで取得した値 と 監視設定で指定した値を比較し、 一致した場合にプロセスが存在するものと判定する。 対処 カスタム監視を用いる 対象プロセス数をカウントするコマンドを実行して監視 # echo -n "NumOfProcs_kthreadd,";ps -ef|grep kthreadd|grep -v grep|wc –l Copyright (c) 2015 Atomitech Inc.15 SNMPで取得した”hrSWRunPath”の値 ⇔ 監視対象プロセスのコマンド SNMPで取得した”hrSWRunParameters”の値 ⇔ 監視対象プロセスのコマンド引数
- 17. Hinemosメンテナンス機能について 事象 ジョブ履歴が10万件越え、警告メッセージを検知したので、 メンテナンス機能でジョブ履歴削除を行ったが、失敗した。 原因 一度に削除する履歴件数が多い マネージャの内部DBに対する、ジョブ実行履歴削除のためのSQL文の 実行に時間がかかっている。 -> Hinemosマネージャが内部DBと通信する際にソケットタイムアウトが 発生。 これにより内部DBとの通信が強制的に切断。 Copyright (c) 2015 Atomitech Inc.16
- 18. Hinemosメンテナンス機能について 対処 徐々にジョブ履歴を削除する 例えば、 保存期間 31日 → 30日 (1回目) 保存期間 30日 → 29日 (2回目) : (途中省略) 保存期間 12日 → 11日 (*回目) 保存期間 11日 → 10日 (*回目) 保存期間 31日 → 10日 Copyright (c) 2015 Atomitech Inc.17 一度に21日分の履歴情報を削除 →タイムアウトが発生 一度に削除するのは1日分 →タイムアウトは発生しない
- 19. システムログ監視の結果の通知に遅延があった 事象 システムログ監視の結果で「出力日時」 と「受信日時」に 差があり、通知に遅延が発生している。 原因 瞬間的に大量(※)のsyslogがHinemosマネージャに転送 ->システムログ監視のパターマッチ処理に遅れがでてしまった。 ※ 環境によるが、この事例の場合は10分間に10000件 対処 (1)通知の遅延が発生した時間帯に転送されているsyslogの流量を減らす。 ※rsyslog.confの設定で、転送量を抑制するなど。 (2)システムログ監視やそのフィルタの件数を見直す。 (3)当該監視設定の通知設定を見直す。 18 Copyright (c) 2015 Atomitech Inc.
- 20. Copyright (c) 2015 Atomitech Inc. システムログ監視で監視漏れが発生した 事象 監視対象サーバでは、システムログが出力されたが、 システムログ監視にて検知できず、通知もされなかった。 マネージャサーバの /var/log/messagesに、次のメッセージが出力されていた。 原因 複数の監視対象サーバからsyslogが転送されたことによって、 rsyslogのTCP最大接続数を超えてしまった。 <syslog.err> rsyslogd-2079: too many tcp sessions – dropping incomingrequest 19
- 21. Copyright (c) 2015 Atomitech Inc. システムログ監視で監視漏れが発生した 対処 (1)監視対象サーバ側で、HinemosマネージャへのTCPによる syslog転送を行わない。 -> 514/TCP から 514/UDP へ変更する。 (2)マネージャサーバ側で、rsyslogのTCPセッション上限数を増やす -> rsyslog_hinemos.confを編集し、セッション数を増やす。 20 $InputTCPMaxSessions 1000 *.info;mail.none;authpriv.none;cron.none @@{ManagerIP}:514 ↓ *.info;mail.none;authpriv.none;cron.none @{ManagerIP}:514
- 22. ジョブの実行に30秒かかる？ 事象 コマンド(スクリプト) の処理自体は一瞬で完了するはずが、 ジョブを開始してから終了するまでに30秒かかってしまう。 原因 (1)即時反映用ポート(デフォルトで24005/UDP)が不通となってい る。 または、 (2) Hinemosエージェントサーバで他のプロセスが 24005/UDPポートを使用中 Copyright (c) 2015 Atomitech Inc.21
- 23. 【補足】ジョブの実行の仕組み Copyright (c) 2015 Atomitech Inc. ジョブ実行時のマネージャとエージェント間の通信 ①ジョブ実行指示情報を、マネージャ内部のtopicに格納 ②ジョブ実行対象ノードのIPアドレスの即時反映用ポート(24005番) にUDPパケットを送信 ③UDPパケットを受信したエージェントは、Web/API経由で マネージャの topicからジョブ実行指示情報を取得する。 ④エージェントはコマンドを実行し、結果をWeb/API経由で マネージャに送信 ⑤マネージャは実行結果を元に次のジョブ制御を実施 22
- 24. 【補足】今回の事象の場合 Copyright (c) 2015 Atomitech Inc. ジョブ実行時のマネージャとエージェント間の通信 ①ジョブ実行指示情報を、マネージャ内部のtopicに格納 ②ジョブ実行対象ノードのIPアドレスの即時反映用ポート(24005番) にUDPパケットを送信 ③UDPパケットを受信できなかった ④エージェントはコマンドを実行し、結果をWeb/API経由で マネージャに送信 ⑤マネージャは実行結果を元に次のジョブ制御を実施 即時反映ポート(24005番)が不通または、使用中 Hinemosエージェントは、 定期的(30秒間隔)にWeb/API経由でマネージャのtopicに ジョブ実行指示情報が格納されていないか確認 格納されている場合は取得 23
- 25. Copyright (c) 2015 Atomitech Inc. ジョブの判定対象の時刻が機能しない 事例 ジョブの待ち条件を次のように設定した。しかし、想定通りに動作しな い。 設定者の想定したジョブフロー 07/28 23:55にジョブネットAが実行開始 ↓ 07/29 00:10にジョブBが実行 ↓ 07/29 06:00にジョブCが実行 しかし、23:55にジョブネットAが実行されたところ、 ジョブB、ジョブC も23:55に実行されてしまった。 ジョブネット・ジョブの設定 23:55：ジョブネットAの実行(ジョブスケジュール) 00:10：ジョブネットAの中にあるジョブBの実行(待ち条件の時刻判定) 06:00：ジョブネットAの中にあるジョブCの実行(待ち条件の時刻判定) 24
- 26. Copyright (c) 2015 Atomitech Inc. ジョブの判定対象の時刻が機能しない 対処 設定者の想定どおりにジョブBとジョブCを実行するには 以下のように設定の変更が必要 ・ジョブBの待ち条件(時刻)：00:10:00 ・ジョブCの待ち条件(時刻)：06:00:00 ・ジョブBの待ち条件(時刻)：24:10:00 ・ジョブCの待ち条件(時刻)：30:00:00 25 待ち条件(時刻)は、以下の式を満たした場合にジョブ(ジョブネット)が実行される。 ジョブセッション開始日 + 待ち条件の時刻 ≦ 現在時刻 例)ジョブネットAの実行時間が「2016/7/28 23：55」の場合 ・ジョブB 待ち条件(時刻)の判定式： 2016/7/28 0:10 <= 現在時刻(2016/7/28 23:55) ・ジョブC 待ち条件(時刻)の判定式： 2016/7/28 6:00 <= 現在時刻(2016/7/28 23:55) 23:55 7/29 0:007/28 0:00 06:000:10 0:10 06:00 理想のジョブB実行時間 理想のジョブC実行時間
- 27. Copyright (c) 2015 Atomitech Inc. 終了遅延の “26:00:00”と “2:00:00”の違い 質問 次のように設定した場合、終了遅延判定の動作に違いはあるか。 終了遅延に“26:00:00”と設定した場合 終了遅延に“02:00:00"と設定した場合 回答 例えば、2016/09/29 23:00:00 にジョブを開始。 ・ジョブの終了遅延「時刻」が“26:00:00”の場合 ジョブセッション開始日“2016/09/29”の”26:00:00” -> “2016/09/30 02:00:00”以降に発動 ・ジョブの終了遅延「時刻」が“02:00:00”の場合 ジョブセッション開始日“2016/09/29”の”02:00:00” 現在時刻(ジョブ開始時刻)は”23:00:00”でこれを超えている -> “2016/09/29 23:00:00“に発動 26 ジョブの終了遅延監視の時刻判定の条件は、以下の式に基づいている ジョブセッション開始日 + 終了遅延監視に設定した時刻 ≦ 現在日時 上記の式が満たされた場合、終了遅延監視の条件が満たされたものを判定
- 28. Copyright (c) 2015 Atomitech Inc. Hinemosエージェントレスで可能な監視について 質問 Hinemosエージェントをインストールしていない監視対象には、 どの監視が行えるのか？ 回答 27 機能 Linux Windows NW機器 Hinemosエージェント監視 × × - HTTP監視 ○ ○ ○ リソース監視 ○ ○ ○ PING監視 ○ ○ ○ サービス・ポート監視 ○ ○ ○ プロセス監視 ○ ○ - SNMP監視 ○ ○ ○ SQL監視 ○ ○ ○ システムログ監視 ○ - ○ ログファイル監視 × × × カスタム監視 × × × SNMPTRAP監視 ○ ○ ○ Windowsサービス監視 - ○ - Windowsイベント監視 - × -
- 29. Hinemosマネージャ接続におけるプロキシ中継について 質問 Hinemosの通信をプロキシサーバ経由としたい場合、 必要な設定は？ 回答 Hinemosマネージャについては設定不要。 Hinemosエージェント、Hinemosクライアントでそれぞれ 以下の設定が必要。 ・HTTP ProxyサーバのIPアドレス及びホスト名 ・HTTP Proxyサーバの待ち受けポート ・HTTP Proxyサーバの認証ユーザ ・HTTP Proxyサーバの認証パスワード 28 Copyright (c) 2015 Atomitech Inc.
- 30. プロキシを経由したHTTP監視の方法は？ 質問 HTTP監視を行う際、プロキシを経由した監視は実施可能か。 回答 Hinemos ver4.1では、HTTP監視でHTTPリクエストを行う際に、 プロキシサーバを経由するよう設定することができない。 Hinemos ver5.0では、新たにHTTP監視(シナリオ)という監視種別が 追加され、プロキシサーバを経由したHTTP監視が可能。 29 Copyright (c) 2015 Atomitech Inc.
- 31. Copyright (c) 2015 Atomitech Inc. Hinemosマネージャからエージェントが 認識されていない事象について 事例 リポジトリに登録した一部のノードのHinemosエージェントが、 リポジトリ[エージェント]ビューに表示されていない。 リポジトリ[ノード]ビュー上には、当該ノードは表示されている。 原因 (1)HinemosエージェントサーバからHinemosマネージャサーバに 対して、8080/TCPの通信が行えるようになっていない (2)Hinemosエージェントが自身のファシリティIDを 解決できていない。 30
- 32. Copyright (c) 2015 Atomitech Inc. Hinemosマネージャからエージェントが 認識されていない事象について 対処 (1)HinemosエージェントサーバからHinemosマネージャサーバに 対して、8080/TCPの通信が行えるようになっているか確認する (F/W等で通信がブロックされていないかなど) (2)Hinemosエージェントは、自身のホスト名とIPアドレスを元に Hinemosマネージャに問い合わせ、自身のファシリティIDを解決 ・条件1 [ホスト名] 以下の 2つが一致 ・ノードプロパティの“サーバ基本情報 – OS –ノード名” ・対象サーバのホスト名(hostnameコマンドで表示されるホスト名) ・条件2 [IPアドレス] 以下の 2つが一致 ・ノードプロパティの“サーバ基本情報 - ネットワーク - IPアドレス” ・対象サーバの(実際の)IPアドレス 31
- 33. 対処 (1)HinemosエージェントサーバからHinemosマネージャサーバに 対して、8080/TCPの通信が行えるようになっているか確認する (F/W等で通信がブロックされていないかなど) (2)Hinemosエージェントは、自身のホスト名とIPアドレスを元に Hinemosマネージャに問い合わせ、自身のファシリティIDを解決 ・条件1 [ホスト名] 以下の 2つが一致 ・ノードプロパティの“サーバ基本情報 – OS –ノード名” ・対象サーバのホスト名(hostnameコマンドで表示されるホスト名) ・条件2 [IPアドレス] 以下の 2つが一致 ・ノードプロパティの“サーバ基本情報 - ネットワーク - IPアドレス” ・対象サーバの(実際の)IPアドレス Copyright (c) 2015 Atomitech Inc. Hinemosマネージャからエージェントが 認識されていない事象について 32
- 34. Copyright (c) 2015 Atomitech Inc. Windowsサービス監視で監視対象のサービス名 に半角空白が含まれていても監視に影響はないか 質問 Windowsサービス監視で監視したいサービス名に 半角空白を含むものを設定したい。正常に監視は可能か。 例：「hoge hoge」 回答 監視可能。 サービス名に半角空白を含むWindowsサービスを指定する場合も、 正常に監視を行うことができる。 サービス名を指定する際、サービス名全体をクォートで囲む 必要はない。 33
- 35. Copyright (c) 2015 Atomitech Inc. Hinemos 履歴保管期間変更について 質問 メンテナンス機能の定期的なジョブ実行履歴やイベント履歴の 削除で、履歴情報の保管期間はデフォルトで30日だが、93日などに 増やすことは可能か。 増やした結果、Hinemosの動作に影響はあるか。 回答 保存期間を増やすことが可能。 ただし、保存期間を延長する場合は、延長した分だけ Hinemosマネージャサーバのディスク使用容量が増加する。 34
- 36. Hinemosのマネージャ、エージェントの 起動状態を監視したい 質問 Hinemosのプロセス監視で、以下の点について知るための設定 内容を教えて欲しい(1)(2) また、Windowsサービス監視でエージェントの起動状態を確認 する設定を教えて欲しい(3) (1)Linux に導入するHinemos Managerのプロセス名とプロセス数 (2)Linux に導入するHinemos Agentのプロセス名とプロセス数 (3)Windows に導入するHinemos Agentのサービス名 35 Copyright (c) 2015 Atomitech Inc.
- 37. Copyright (c) 2015 Atomitech Inc.36 回答 (1)コマンド ： ${JAVA_HOME}/bin/java 引数 ： .*-Dhinemos.manager.* プロセス数 ： 1個以上 (2)コマンド ： ${JAVA_HOME}/bin/java 引数 ： .*-Dhinemos.agent.* プロセス数 ： 1個以上 (3)サービス名 ： HinemosAgent ※Hinemosマネージャ自ら、自身のプロセスを監視することは推奨していない。 監視したい場合は、もう一台Hinemosマネージャを用意するなどして相互監視を行う。 Hinemosのマネージャ、エージェントの 起動状態を監視したい
- 38. Copyright (c) 2015 Atomitech Inc. 事象 原因 仕組み 対処 不明点を解消 まとめ 37
- 39. Hinemosへのジョブ移行のポイント Copyright (c) 2015 Atomitech Inc.38
- 40. Copyright (c) 2015 Atomitech Inc.39 商用運用管理ツールから Hinemosへのジョブ移行を進める為には Hinemosへのジョブ移行に必要なこと 既存のジョブ定義の把握 既存ツールとHinemosとの 機能差異の把握 Hinemosでの機能差異の 対応方法の検討 対応方法の検討結果を元に ジョブ定義を設計 不要なジョブの削除 を含むジョブフロー の見直しも重要
- 41. Copyright (c) 2015 Atomitech Inc.40 商用運用管理ツールとHinemosとの主な機能差異 既存ツールとHinemosとの機能差異の把握 • ログファイルに特定のキーワードを含むログが出力されるまで待機するジョブ ログファイル監視ジョブ • ファイルが作成・更新・削除されるまで待機するジョブ ファイル監視ジョブ • イベント受信ジョブに対しイベントを送信するジョブ イベント送信ジョブ • イベント送信ジョブからイベントを受信するまで待機するジョブ イベント受信ジョブ • 指定の期間・回数・間隔に従い、ジョブ(ネット)を繰り返し実行するジョブ(ネット) 繰り返しジョブ（ジョブネット）
- 42. Copyright (c) 2015 Atomitech Inc.41 Hinemosとの機能差異の対応方法① ログファイル監視ジョブ • ジョブフローから対象ジョブが切り離せる場合、ログファイル監視機能の 監視結果と連動してジョブを実行することで対応 • 指定したログファイルに特定のキーワードを含むログが出力されるまで、 ログ監視を繰り返し実施するスクリプトを作成し対応 • 弊社では、Hinemosのログファイル監視機能をベースにしたスクリプトで対応 ファイル監視ジョブ • ジョブフローから対象ジョブが切り離せる場合、カスタム監視機能の 監視結果と連動してジョブを実行することで対応 • 指定したファイルが作成・更新・削除されるまでファイルの状態の 監視を繰り返し実施するスクリプトを作成し対応 • 弊社では、Hinemosのジョブ実行契機のファイル監視をベースにしたスクリプトで対応
- 43. Copyright (c) 2015 Atomitech Inc.42 Hinemosとの機能差異の対応方法② イベント送信ジョブ • ジョブ通知を利用して、任意のジョブが完了したタイミングで 他のジョブを実行することで対応（※推奨せず） • イベント受信ジョブに対してイベントを送信するスクリプトを作成し対応 • 弊社では、イベント通知を利用したイベント送信スクリプトで対応 イベント受信ジョブ • ジョブ通知を利用して、任意のジョブが完了したタイミングで 他のジョブを実行することで対応（※推奨せず） • イベント送信ジョブからイベント受信するまで待機するスクリプトを 作成し対応 • 弊社では、イベント通知を利用したイベント受信スクリプトで対応
- 44. Copyright (c) 2015 Atomitech Inc.43 Hinemosとの機能差異の対応方法③ 繰り返しジョブ • ジョブフローから繰り返し対象のジョブが切り離せる場合、 ジョブスケジュールによる繰り返し実行にて対応 • 指定したコマンドを期間・回数・間隔に従い、繰り返し実行する スクリプトを作成し対応 • 参照ジョブを直列に定義し対応 繰り返しジョブネット • ジョブフローからジョブネットが切り離せる場合、 ジョブスケジュールによる繰り返し実行にて対応 • 繰り返し対象のジョブネットを直列に定義し対応
- 45. Copyright (c) 2015 Atomitech Inc.44 ご紹介できなかった機能差異 ジョブフロー制御のアーキテクチャ コマンドの返り値の範囲指定の複数対応 カレンダの営業日制御 ジョブの対話式実行 その他
- 46. Copyright (c) 2015 Atomitech Inc.45 Hinemosへのジョブ移行実績 JP1/AJS Senju Tivoli ノウハウを活かしコストダウンを実現！
- 47. Copyright (c) 2015 Atomitech Inc.46 Hinemosへのジョブ移行に必要なこと Hinemosでの機能差異の対応方法 Hinemosへのジョブ移行実績 まとめ
- 48. Hinemos関連サービス Copyright (c) 2015 Atomitech Inc.47
- 49. Copyright (c) 2015 Atomitech Inc. Hinemos関連サービス 移行・構築 最適なHinemos環境 を提供します。 保守 年間1,000件を超 える実績でご期待 に応えます。 開発 新機能を開発、 提供します。 あらゆるフェーズで最適な ソリューションをご提供 いたします。 48
- 50. アライアンス 2016年7月19日にHinemosアライアンス体制を発足 Hinemosアライアンス Copyright (c) 2015 Atomitech Inc.49 Hinemosアライアンス 株式会社NTTデータ、 NTTデータ先端技術株式会社、 株式会社NTTデータ関西、 株式会社クニエ、 株式会社アトミテック 以下を目的としたアライアンス ・迅速な機能向上・サービス提供 ・最適なHinemosソリューション の共同開発 ・Hinemosの導入を促進
- 51. Copyright (c) 2015 Atomitech Inc. ご不明な点等ございましたら、お気軽にブースまで お越しください。 お問い合わせ先 株式会社アトミテック 050-3775-7632 hsd-sales@atomitech.jp または、k.yoshinaga@atomitech.jp 吉永まで 事業拡大に伴いエンジニア募集中！ ご清聴ありがとうございました 50
Editor's Notes
- それでは、時間になりましたので、講演を開始させていただきます。 題目は、「プロが解説！ Hinemosによる運用管理テクニック！」 ということで、 Hinemosの導入を検討されている方、実際に使われている方を対象とした講演となります。 本日は、Hinemosを使う上で困ったこと、これから困りそうなこと 一つでも記憶の片隅に残して帰っていただけたらなと思います。
- 今回のアジェンダです。 まず、軽く私と、弊社の紹介をさせてください。 その後は、そもそもHinemosとは何か、Hinemosの特徴などをお話したあと、 Hinemosの問い合わせ事例から、使用するうえでの注意事項や、ジョブ移行のポイントをご紹介いたします。 弊社のHinemosに関するソリューションの紹介なども少しできればなと考えております。
- では、まずは簡単に自己紹介を
- 名前、誕生日、趣味 所属は株式会社アトミテック～ 日々の業務 Hinemos構築 Hinemosを使用するまえにつまずいてしまった方の代わりにHinemos環境を作っています。 Hinemos保守 Hinemosを使用していてつまずいてしまった方のサポート、トラブルシューティングを行っています。 と日々の業務を通して取得した称号が次となります。 ・Hinemos認定アソシエイト（監視＆ジョブ） こちら、NTTデータ様が提供している技術認定プログラムとなります。 詳細は、スライドのURLをご確認ください。 是非みなさんも受けてみてはどうでしょう。 さて、これら日々の業務から気が付いたHinemosによる運用管理のテクニックを、少しではありますが ご紹介できればと思います。
- 名前、誕生日、趣味 所属は株式会社アトミテック～ 日々の業務 Hinemos構築 Hinemosを使用するまえにつまずいてしまった方の代わりにHinemos環境を作っています。 Hinemos保守 Hinemosを使用していてつまずいてしまった方のサポート、トラブルシューティングを行っています。 と日々の業務を通して取得した称号が次となります。 ・Hinemos認定アソシエイト（監視＆ジョブ） こちら、NTTデータ様が提供している技術認定プログラムとなります。 詳細は、スライドのURLをご確認ください。 是非みなさんも受けてみてはどうでしょう。 さて、これら日々の業務から気が付いたHinemosによる運用管理のテクニックを、少しではありますが ご紹介できればと思います。
- 運用管理のテクニックをご紹介する前に、まずは簡単に「Hinemos」とはなにかをお話致します。
- Hinemosとは、簡潔にいうと ・システム運用管理で要求される各種機能「環境構築」「監視」「ジョブ」の全てを備えた、”統合運用管理ソフトウェア”である。 ・複数のPCを単一のPCのように、一元的に管理することができるOSSです。
- コンセプト Hinemosは、「必要な機能を～」をコンセプトとしており、今回、特徴を3点あげました。 特徴 3つ まず一点目は…、 俯瞰的=ふかんてき 環境構築機能 ver5.0から追加 複数のノード(サーバ)にインストーラーの配布や、インストールコマンドの実行等の処理を、一度の操作で行い、ノードの環境構築を可能とする機能
- Hinemosの対応プラットフォームについて説明 Hinemosは、多種多様な環境を一元的に管理できる。 #プラットフォームを少し言う Hinemosは多種多様な環境を一元的に管理することが可能です。 例えば、AWSやCloudn、CentOS、Windows等です。 Vmware上に存在するOSを一元的に管理できます。 次に、Hinemosの基本構成についてお話いたします。
- ・Hinemosは「運用管理サーバ(Hinemosマネージャ)」、「管理対象システム(Hinemosエージェント)」、「運用管理端末(Hinemosクライアント)」の3つのコンポーネントから構成されている。 ・マネージャ、エージェント、クライアントそれぞれの詳しい説明 ・ちなみにWebクライアントはver5.0から新たに追加された ざっとHinemosとは何かについて、ここまでお話させていただきましたが、
- ここまで目標10分未満 導入する際の文句を考える では、本日の主役であるHinemos保守サポートについて、 ・Hinemosで運用監視をする際困ったこと、疑問等 実際にあった事例をベースに、Hinemosを使う上でのテクニックを少しではありますがご紹介致します。
- Hinemos保守サポートでは、主に、スライドに記載した内容を行っています。 ・Hinemosを使用される方が感じた疑問などについて回答したり ・障害調査では、Hinemosを使用していて、なにか障害がおこった際に、 その原因や対象方法などを解明することを行っております。 その際に、判明した原因が、Hinemosの不具合だった場合は、 その修正モジュールを提供を行っています。 次に、この保守サポートがどれだけ利用されているかについてご紹介します。
- こちら、弊社の過去1年間の問い合わせ対応件数です。 お問い合わせは、大きく分けて、仕様と障害調査の2種類に分類できます。 お問い合わせは、年々増えており、ひと月あたりあわせて約100～150件、年間1500件以上対応しております。 #あまり数が多いと品質を疑われるため、控えめに説明してすぐ次へ進んだ方がいいかも。。→その数の問い合わせに対応できる実績を持っていることをアピール
- ver5 の事例を追加？ 障害系1つ、仕様系1つ追加 今回、その中でも、これだけの事例を紹介できればと考えています。 ・しかし、全部は紹介できないかもしれません。 ・時間の許す限り、これらの事例を紹介いたします。 ・これ知りたかった、聞きたかったというものは、ブースまでお越しください。
- ・事例の詳細を簡潔に説明 カーネルモードで動作しているプロセスをHinemosで監視したいのだが、正常に監視できていない ・原因 net-snmpの仕様による問題でした。 net-snmpは、カーネルモードで動作するプロセスの値を一律文字列で返してしまうため、 Hinemosのプロセス監視では、これらカーネルモードで動作するプロセスのコマンド(パス)を判別することができず、正常に監視 がされなかった。
- ・仕組み Hinemosのプロセス監視では、原則としてSNMPポーリングで取得した値と監視対象プロセスのコマンド(パス)、 SNMPポーリングで取得したこの値と監視対象プロセスのコマンド引数とをマッチングし、いずれも一致した場合に、 そのプロセスが存在するものと判定する。 ・対処方法 プロセス監視の代わりに、カスタム監視を用いてプロセスを監視する方法が考えられます。 カスタム監視の説明 ・ユーザが定義したコマンドを定期的に実行して、その結果を監視する機能 そのため、このコマンドをカスタム監視のコマンド部分に設定し、実行することでカーネルモードで動作する プロセスを監視できます。
- セルフチェック機能の解説 時間についてはごまかす ・事象 ジョブ履歴が10万件を超えた警告メッセージを検知したため、ジョブ履歴の削除を行ったが 処理が完了したメッセージ等が出力されず、ジョブ履歴数も実行前と変わらなかった。 ・原因 一度に削除する履歴件数が多かった Hinemosマネージャの内部DB上で、ジョブ実行履歴削除のためのSQL文の実行に時間がかかりすぎ、 Hinemosマネージャが内部DBと通信する際のソケットタイムアウトまでに終了しなかったため、 通信が強制的に切断された。 ----------読まなくてもいいかも-------------- これにより、ジョブ実行履歴削除のSQL文がロールバックされたうえ、 該当のメンテナンス機能自体もエラーとなり、処理が完了しませんでした。 以上が、ご質問の事象の直接の原因となります。
- ×と○にアニメーションあり [対処方法] 徐々にジョブ履歴を削除する のように少しずつ短縮していき、目標の保存期間(日)に達するまで、 ジョブ実行履歴情報を複数回に分けて削除するようにしてください。
- ・事象 システムログ監視の監視結果で、「受信日時」と「出力日時」に最大60分差が あった。 ・出力日時はトラップを受信した時点でのマネージャの時刻 ・受信日時は情報をマネージャに格納したタイミング ・原因 事象発生時間帯に大量のsyslogパケットがHinemosマネージャに転送されていた。 syslogメッセージを処理するキューが溢れるほどになってしまい、通知の出力日時と受信日時に大きな差が生じた。 ・対処 対処方法は3点考えられる。 以上、3点が対処方法として考えられます。
- 該当チケット：【AT】【T2013070023】HinemosサーバでTCPセッション数超過メッセージが出力される件について ・事例 システムログ監視が、通知されない。 監視対象サーバ側ではシステムログが出力されたが、Hinemosでは検知できず、通知もされなかった。 ・原因 複数の監視対象サーバからsyslogが転送されていた それにより、rsyslogのTCP最大接続数を超えてしまった。
- ・対処 ①の補足 TCPからUDPに変更することによって、信頼性という面では劣ってしまいます。 Hinemosマネージャサーバと監視対象サーバの距離が離れている場合なら気になりますが、 社内ネットワークなどマネージャと監視対象サーバの距離が近い場合は、UDPでもログをロストする 可能性はほとんどないかなと考えています。
- ・事例 本来は1秒程度で終了するジョブが、ジョブを開始してから終了するまで30秒程度かかっている。 ・原因 原因として考えられるものは2点あり、この2点のいずれかもしくは両方に起因して発生している可能性がある ①即時反映ポートが不通となっている場合 ②Hinemosエージェントサーバにて、他のプロセス24005ポートを使用している ここで、ジョブの実行の仕組みについて簡単に説明させていただきます。
- ここでジョブの実行の仕組みを簡単に説明する。
- つまっている 今回の事象の場合は、 即時反映用ポートにUDPパケットを送信したが、ポートが不通もしくは使用中だったため、 HinemosエージェントがUDPポートを受信できなかった。 なので、エージェントは定期的にマネージャのTOPICに指示情報が格納されていないかを 確認するタイミングでジョブ実行指示情報を取得したため、本来1秒程度で終わるはずのジョブが 30秒かかってしまいました。
- ・問い合わせ ジョブの待ち条件に「時刻」を設定したが、想定通りにジョブが動かなかった。 待ち条件 –補足- Hinemosでは、ジョブの待ち条件として先行ジョブの「終了状態」「終了値」「時刻」が設定できる。 v5以降この3つに加え「セッション開始後の時間(分)」も設定出来るようになった。 しかし実際は、～にされてしまいました。 #見せるのもあり(ジョブマップで？有償オプションだということをいう？) #問い合わせ内容に戻る
- 画像を読む ・ジョブBのあと 上記の判定式が満たされるので、ジョブネットAが実行された直後にジョブBが実行される。 ・ジョブCのあと 上記の判定式が満たされるので、ジョブネットAが実行された直後にジョブCが実行される。 なので、想定通りにジョブBとジョブCを動かすには、それぞれの待ち条件の時刻を以下のように変更する必要がある。 ジョブBの待ち条件の時刻を、00：10：00から24：10：00へ ジョブCの待ち条件の時刻を、06：00：00から30：00：00へ変更することで ジョブネットAが23：55：00に実行されたあと、24時10分にジョブBが実行され、30時(朝の6時)にジョブCが実行されるようになる。
- ・問い合わせ ジョブの終了遅延に、26：00：00と設定した場合と02：00：00に設定した場合の、終了遅延判定の動作に違いはあるのか ・回答 画像を読む なので、例えば、2016/09/29 23：00にジョブを開始したとして、 ジョブの終了遅延「時刻」が“26:00:00”だった場合、ジョブセッション開始日は “2016/09/29”で、終了遅延監視に設定した時刻は、”26:00:00”となり 先ほどの条件式は満たされないため、 ジョブセッション開始日の翌日 “2016/09/30 02:00:00”以降に発動します。 ジョブの終了遅延「時刻」が“02:00:00”だった場合、 ジョブセッション開始日は“2016/09/29”で、終了遅延監視に設定した時刻は”02:00:00”となり、 現在時刻(ジョブ開始時刻)は”23:00:00”でこれを超えており 先ほどの条件式が満たされるため、 “2016/09/29 23:00:00“に発動します。
- 管理対象ノードには、Hinemosエージェントをインストールできますが、最初にお話したとおりエージェントをインストールしなくても、ほとんどの監視機能を利用できます。 ・LinuxとWindowsで使用可能な監視機能は異なる ・△はなにかしら別の設定をいじる必要がある場合だったり、一部の項目のみ可能だったり ちなみに、ジョブ機能を利用する場合は、Hinemosエージェントが必須となっております。
- 目標35分～40分 あとの事例は割愛 ・問い合わせ内容 Hinemosの通信をプロキシサーバ経由にしたいのだが、その際に必要な設定はどんなことなのか ・回答 Hinemosマネージャ側での設定は不要である。 Hinemosクライアント・エージェント側で、それぞれ以下の設定が必要となる <そのまま読む>
- ・問い合わせ HinemosでHTTP監視を行う際、プロキシを経由した監視は実現可能か ・回答 ｖ4.1では、HTTP監視でHTTPリクエストを行う際にプロキシサーバを利用することができない。 Hinemos ver5.0では、新たにHTTP監視(シナリオ)という監視種別が 追加され、プロキシサーバを利用したHTTP監視が可能となった。 HTTP監視 ・Webページの応答時間や、Webページに表示される文字列の監視 HTTPシナリオ監視とは ・単一のURLではなく、複数のURLに順番にアクセスすることにより、監視対象に想定される アクセスが行われた際に正しく応答を返せるか監視する。 ・各URLにアクセスした際のステータスコードおよび、HTTPレスポンスの内容を文字列判定により 重要度を設定できる。
- ・事例 Hinemosのリポジトリに登録したノードのHinemosエージェントがリポジトリ[エージェント]ビューに表示されていない 通常、Hinemosエージェントがインストールされたノードをリポジトリに登録した際、 マネージャとエージェントの疎通が取れていれば、リポジトリ[エージェント]ビューに表示される。＜実際に画面を表示してもよし＞ ・原因 ①エージェントサーバ –> マネージャサーバの通信が正常に行えるようになっていない ②Hinemosエージェントが自身のファシリティIDを解決できていない。
- ・①の詳細 8080/TCPは、HinemosエージェントがHinemosマネージャへ接続する際に使用するポートである。 Hinemosマネージャは、そのエージェントがいつ接続してきたかを管理している。 定期的に接続してくるHinemosエージェントのみを利用可能と判断してリポジトリ[エージェント]ビューに表示する。 8080/TCPでの通信が行えないと、そのHinemosエージェントはHinemosマネージャへの接続を行うことができないため マネージャ側では、そのエージェントは利用不可を判断する。 そのため、8080/TCPがファイアウォール等で遮断されていないか設定を確認する必要がある ・②の詳細 Hinemosエージェントは、自身のホスト名とIPアドレスを元にHinemosマネージャに問い合わせ、自身のファシリティID を解決している ●解決する条件 そのまま読む
- ・①の詳細 8080/TCPは、HinemosエージェントがHinemosマネージャへ接続する際に使用するポートである。 Hinemosマネージャは、そのエージェントがいつ接続してきたかを管理している。 定期的に接続してくるHinemosエージェントのみを利用可能と判断してリポジトリ[エージェント]ビューに表示する。 8080/TCPでの通信が行えないと、そのHinemosエージェントはHinemosマネージャへの接続を行うことができないため マネージャ側では、そのエージェントは利用不可を判断する。 そのため、8080/TCPがファイアウォール等で遮断されていないか設定を確認する必要がある ・②の詳細 Hinemosエージェントは、自身のホスト名とIPアドレスを元にHinemosマネージャに問い合わせ、自身のファシリティID を解決している ●解決する条件 そのまま読む
- 特に補足なし そのまま読む
- -補足-(言わなくてもいいかも) 履歴をどのくらいの期間保存するのが最適であるかにつきましては、 運用方針やHinemosマネージャサーバのディスク容量等に依存しますので、 一概に申し上げることはできません。ご了承ください。 ある特定の閾値を超えると不具合を誘発するということはございませんので、 その点につきましては、ご安心ください。
- 監視ソフトで自身の状態を監視すること自体がナンセンス セルフチェック ・リソース状況 ・アプリケーション障害 ・パフォーマンス低下
- まとめ 今回障害調査の方では、 ・事象 について主にお話を致しました。 仕様では ・お客様からの不明点に対しての回答 について主に話をしました。
- ここまで目標35分 ここからは、既存の商用運用管理ツールから Hinemosへのジョブ移行について少しお話致します。
- 移行する際の流れ 順番に解説 赤字がジョブ移行の際に一番重要な点 まず、 ・既存のジョブ定義を把握する ・既存ツールとHinemosとの機能差異を把握する←赤字に変わる 既存の定義等を把握した後、 ・既存とHinemosとの機能差異をどうするのか対応方法の検討を行う←赤字に変わる 対応方法の検討ができたら、 ・検討結果を元にジョブ定義を設計する その際不要なジョブの削除等、ジョブフローの見直しも重要となる 既存の商用運用管理ツールからHinemosへジョブ移行する際は、 ・既存ツールのHinemosとの機能差異を把握し、 ・その差異をどうするのか対応方法を検討することが一番重要である
- ログファイル監視ジョブとかは、他の商用運用管理ツールで一般的に使われているジョブ それぞれ説明(全部はいらないかも。残り時間を見て判断) では、一つ目に重要とお話しました、既存ツールとHinemosとの機能差異の把握についてお話します。 ここにあげたジョブは主に商用運用管理ツールで使用されるジョブです。これらはHinemosには存在しません。 例えば、ログファイル監視ジョブだったり、ファイル監視ジョブだったり、これらはHinemosにはありません。 では、これらのジョブをHinemosでは、どう対応していくのかについて、次のスライドでお話致します。
- ログファイル監視ジョブ、ファイル監視ジョブについてしゃべる
- Hinemosでの対応方法 イベント送信ジョブは言わない
- 繰り返しジョブネットなどありますが、それぞれスクリプトなどを別途作成し、 実行させることで対応しています。
- 今回は時間の都合上、全て紹介できなかったが、商用運用管理ツールとHinemosには、他にも以下のような機能差異があったりします。
- 弊社は商用ツールである「Senju」や「JP1」からHinemosへ移行も 行ってきました。 商用ツールですと、先ほどお話した通りジョブのバリエーションも豊富で、Hinemosにはない機能もあったりします。 が、Hinemosも日々進化しているので、この辺にも十分に対応できました。 昔は、ちょっとひと工夫が必要だったりしたのですが、最近はすんなり、移行できました。 Hinemosへのジョブ移行をお考えの方等いらっしゃいましたら、お気軽にご相談ください。
- ここまで、 ・Hinemosへのジョブ移行を行う際に必要なこと ・商用運用管理ツールとHinemos間での機能差異の対応方法 ・Hinemosへのジョブ移行実績 についてお話させていただきました。
- 最後に、弊社の提供するHinemos関連サービスについて、少しご紹介させてください。
- 移行・構築、保守、開発の3本柱 弊社がご提供するHinemos関連サービスは、主に移行・構築サービス、保守サービス、開発サービスの3本柱となっております。 移行・構築サービスでは、 ・Hinemosの運用環境の構築 ・Hinemosのバージョンアップ など 保守サービスでは、 ・保守サポート ・有償オプションのご提供 開発サービスでは、弊社が開発した新機能のご提供や新たな機能の開発などを行っています。 Hinemosに関して、何かお困りのことなどございましたらお気軽にお問い合わせください。
- ・層迅速な機能向上・サービス提供 ・ビジネス領域、規模、地域に最適なHinemosソリューションの共同開発により、Hinemosの導入を促進
- また、今までお話した中でご不明な点等ございましたら、ブースまでお越しください。 以上で終わりとさせていただきます。 ご清聴ありがとうございました。