Successfully reported this slideshow.
Your SlideShare is downloading. ×

知って『得』する! Hinemos活用術 ver.OSC2015.Enterprise

Ad
Ad
Ad
Ad
Ad
Ad
Ad
Ad
Ad
Ad

Check these out next

1 of 55 Ad
Advertisement

More Related Content

Similar to 知って『得』する! Hinemos活用術 ver.OSC2015.Enterprise (20)

Advertisement

Recently uploaded (20)

Advertisement

知って『得』する! Hinemos活用術 ver.OSC2015.Enterprise

  1. 1. 株式会社アトミテック 知って『得』する! Hinemos 活用術 2015年12月09日 大澤 優人
  2. 2. Copyright (c) 2015 Atomitech Inc.1 自己紹介 Hinemosとは Hinemosのお問い合わせ事例とその対処 Hinemosへのジョブ移行のポイント (ソリューション紹介) アジェンダ
  3. 3. 自己紹介 Copyright (c) 2015 Atomitech Inc.2
  4. 4. Copyright (c) 2015 Atomitech Inc.3 大澤 優人 (おおさわ ゆうと) 1987年9月7日生まれ 趣味  カメラ(機種:EOS 70D) 所属  株式会社アトミテック Hinemosソリューション部 日々の業務  Hinemos保守、Hinemos構築 取得した称号  Hinemos認定アソシエイト(監視)  Hinemos認定アソシエイト(ジョブ)  Hinemos認定プロフェッショナル 自己紹介 資格詳細 : 被写体様: Hinemos公認キャラクター もにた くん http://www.hinemos.info/support/certificate
  5. 5. Copyright (c) 2015 Atomitech Inc.4 これまでも多くのHinemosに関する業務を 手掛けて参りました。 一例:メタウォーター株式会社様 ver.3.1.4からver.4.1.3へ  Ver.3.1 ⇒ ver.3.2 ⇒ ver.4.0 ⇒ ver.4.1 サービスを停止せずにバージョンアップを行うことが必須条件 詳しくは以下を参照 ・Hinemosポータルサイト http://www.hinemos.info/hinemos/case/010 ・アトミテック 事例紹介ページ http://atomitech.jp/hinemos/case/hinemos3to4/ 私がかかわったHinemosに関する業務の内容
  6. 6. Copyright (c) 2015 Atomitech Inc.5 私がかかわったHinemosに関する業務の内容(最近 バージョンアップの主な流れ ヒアリング お客様のご要望 をお聞かせくだ さい ご提案 ヒアリングに沿って 最適なバージョン アップサービスをご 提案いたします 既存データ 抽出 環境構築に向け 設計を行います 整形、変更、 補正 ご要望のバージョン にあったデータ形式 に整形等を行います 環境構築・ テスト 設計に基づき環境 を構築しテストを 行います 切替 (移行) リハーサルに基 づいて本番環境 に適用します 引き渡 し お客様へお引き 渡し致します # バージョン特定 ver.3.1.4から 4.1.3 # 必須条件の確認 無停止で 他、対象機能、対象 項目、ジョブ数、費 用、スケジュールな どを確認。 ヒアリング内容か ら条件を満たす バージョンアップ 作業を具体化。お 客様に大筋合意を 頂き詳細の意識合 わせ。 ※無停止 「監視及びジョブの 停止期間無く移行で きること」 無停止での バージョン アップ方式 の設計を実 施。 Hinemos上の監 視・ジョブの定義 だけでなく、 Hinemosの動作に 関連するsyslog周 りの設定見直しも 実施。 結合試験の 実施後、検 証環境にて、 無停止での バージョン アップのリ ハーサルを 実施。 本番環境にて、 無停止でのバー ジョンアップを 実施。 無停止での バージョン アップ後、監 視及びジョブ の動作に問題 が無いことを 確認した後に 引き渡し。
  7. 7. Copyright (c) 2015 Atomitech Inc.6 Hinemos ver.5.0構築 Hinemos保守サポート 商用ツール(JP1、Senju)から Hinemosへ移行 そのほかにも 本日はここを お話しします!
  8. 8. Hinemosとは Copyright (c) 2015 Atomitech Inc.7
  9. 9. Copyright (c) 2015 Atomitech Inc.8 システム運用管理で要求される各種機能を備えた、 「統合運用管理ソフトウェア」 Hinemosとは 監視 ジョブ環境構築 複雑化するシステムを、Hinemosで統合運用管理 一元管理 物理環境 仮想化環境 ネットワーク 機器類
  10. 10. Copyright (c) 2015 Atomitech Inc.9 『必要な機能を、シンプルで使いやすい操作性と共に、安価で提供する』 Hinemosの特徴・コンセプト 物理環境 仮想化環境 日本製OSS シンプルな操作性 →GUIアプリケーションならではの、柔軟な操作性 →システム全体をグループ毎に俯瞰的に管理可能 →運用現場に応じた、GUIのカスタマイズも容易 充実の機能 →日本の運用管理ニーズに必要な機能を厳選 →日本語インタフェース、ドキュメント、保守サポート提供 →OSSとして、安価に導入が可能 →監視・ジョブの両方をワンパッケージで提供 →環境構築機能や、クラウド管理機能を完備 →本体機能に加え、オプション製品でニーズを先取り
  11. 11. Copyright (c) 2015 Atomitech Inc.10 多種多様な環境をHinemosで一元管理可能 対応プラットフォーム 物理環境 仮想化環境 ネットワーク 機器類 サーバ Red Hat Enterprise Linux CentOS Oracle Linux Windows Solaris HP-UX AIX ハイパーバイザ VMware ESXi KVM XenServer Hyper-V Oracle VM その他 ネットワーク機器 アプライアンス製品 クラウド Amazon Web Services Microsoft Azure Cloudn
  12. 12. Copyright (c) 2015 Atomitech Inc.11 Hinemosは、以下の3つのコンポーネントから構成 Hinemos基本構成 運用管理サーバ(Hinemosマネージャ) Hinemosの運用管理機能を提供するサーバ。 各種設定内容を保持し、設定された監視機能や ジョブ管理機能の実行を指示します。また、監視 結果やジョブ実行結果を内部DBに蓄積します。 設定追加・変更 結果の表示 稼動監視 ジョブ実行指示 環境構築指示ログ・トラップ送信 運用管理端末 ->Hinemosリッチクライアント ->Webブラウザ オペレータが操作する統合コンソール端末。 監視やジョブ、環境構築設定の登録や、監視状況の把握、 ジョブや環境構築操作の実行状況把握など、システムの 稼働状況・運用状況を表示します。 管理対象システム (Hinemosエージェント) Hinemosの管理対象となるIT機器。専用エージェン トを導入しなくても、大半の監視機能が使用できま す。専用エージェントを導入することにより、すべ ての機能が使用できます。 管理DB
  13. 13. Hinemosのお問い合わせ事例と その対処 Copyright (c) 2015 Atomitech Inc.12
  14. 14. Copyright (c) 2015 Atomitech Inc.13 Hinemosお問い合わせって? 仕様確認 障害調査 修正モジュールの提供等
  15. 15. Copyright (c) 2015 Atomitech Inc.14 Hinemosお問い合わせ分類 44 51 47 94 48 45 85 68 60 54 68 68 45 38 42 43 66 41 61 48 27 43 47 31 仕様 障害 年間約1200 件以上
  16. 16. Copyright (c) 2015 Atomitech Inc.15 1. リソース監視やプロセス監視の結果で情報ステータスと不明ステータスが繰り返し出力される 2. カーネルモードで動作するプロセスの監視 3. Hinemosメンテナンス機能について 4. Javaヒープメモリに関するHinemosInternalエラーが出力された 5. HinemosクライアントからHinemosマネージャにログインできるがビューが表示されない 6. システムログ監視の結果の通知に遅延があった 7. システムログ監視で監視漏れが発生した 8. ジョブの実行に30秒かかる? 9. Hinemosマネージャ接続におけるプロキシ中継について 10.ジョブの判定対象の時刻が機能しない 11.プロキシを経由したHTTP監視の方法は? 12.Hinemosエージェントレスで可能な監視について 13.Hinemosマネージャからエージェントが認識されていない事象について 14.Hinemos 履歴保管期間変更について 15.終了遅延の “26:00:00”と “2:00:00”の違い 16.メンテナンス設定の作成が行えない 17.イベントログ名はあっているはずなのにWindowsイベントログが監視できない 18.Hinemosマネージャ2台からの1台のサーバを監視 19.Hinemosのプロセスを監視したい Hinemosのお問い合わせ事例一覧(一部)
  17. 17. Copyright (c) 2015 Atomitech Inc.16 障害調査 44 51 47 94 48 45 85 68 60 54 68 68 45 38 42 43 66 41 61 48 27 43 47 31 仕様 障害
  18. 18. Copyright (c) 2015 Atomitech Inc.17 リソース監視やプロセス監視の結果で 情報ステータスと不明ステータスが繰り返し出力される 事象 リソース監視やプロセス監視の結果で ”情報”ステータスと”不明”ステータスが繰り返し出力されている。 原因 SNMPポーリングのタイムアウトにより、値の取得に失敗した。 監視対象サーバ上のSNMPエージェントとの通信でタイムアウトが発生した。 【Hinemos ver.5.0、4.1 障害系 01/08 】
  19. 19. Copyright (c) 2015 Atomitech Inc.18 リソース監視やプロセス監視の結果で 情報ステータスと不明ステータスが繰り返し出力される 【補足】リソース監視やプロセス監視の仕組み ① SNMPポーリング処理 -> 5000ミリ秒(タイムアウト値)×3回(リトライ回数) ※デフォルト ② リソース情報及びプロセス数カウントの閾値判定処理 【Hinemos ver.5.0、4.1 障害系 01/08 】
  20. 20. Copyright (c) 2015 Atomitech Inc.19 リソース監視やプロセス監視の結果で 情報ステータスと不明ステータスが繰り返し出力される(対処) 対処 HinemosマネージャからSNMPエージェントへの経路に問題がないか確認する。 【Hinemos ver.5.0、4.1 障害系 01/08 】 ・高負荷により、SNMPのパケットが失われていないか ・ファイアーウォール等により、パケットが遮断されていないか ・ネットワーク経路が切断されていないか ・ネットワーク機器に障害が起きていないか ・HinemosマネージャサーバのOSのNWサービスに障害が起きていないか ・HinemosマネージャサーバのNICに障害が起きていないか ・SNMPエージェントが値を取得するのに時間がかかっていないか ・SNMPエージェントが起動しているか ・OSのネットワークサービスに障害が起きていなか ・サーバのNICに障害が起きていなか 観点1:監視対象サーバに問題がないか 観点2 : マネージャ ‐ 監視対象サーバ間のNWに問題がないか
  21. 21. Copyright (c) 2015 Atomitech Inc.20 カーネルモードで動作するプロセスの監視 事象 カーネルモードで動作するプロセスが監視できない 環境 Linux 仕組み Hinemosのプロセス監視は、原則として、 SNMPポーリングで取得した値 と 監視設定で指定した値を比較し、 一致した場合にプロセスが存在するものと判定する。 【Hinemos ver.5.0、4.1 障害系 02/08 】 SNMPで取得した”hrSWRunPath”の値 ⇔ 監視対象プロセスのコマンド SNMPで取得した”hrSWRunParameters”の値 ⇔ 監視対象プロセスのコマンド引数
  22. 22. Copyright (c) 2015 Atomitech Inc.21 カーネルモードで動作するプロセスの監視(原因と対処) 原因:net-snmpの仕様 カーネルモードで動作するプロセスは、 ”hrSWRunPath”を一律“<exited>“という文字列で返す。 プロセス監視では、カーネルモードで動作するプロセスの コマンド(パス)を判別することができず、 これらのプロセスを監視することができない。 対象方法:カスタム監視を用いる  対象プロセス数をカウントするコマンドを実行して監視 # echo -n "NumOfProcs_kthreadd,";ps -ef|grep kthreadd|grep -v grep|wc –l 【Hinemos ver.5.0、4.1 障害系 02/08 】
  23. 23. Copyright (c) 2015 Atomitech Inc.22 Hinemosメンテナンス機能について 事象 ジョブ履歴が10万件越え、警告メッセージを検知ので、 メンテナンス機能のジョブ履歴削除を行ったが、失敗した。 原因:履歴が多い マネージャの内部DBに対する、ジョブ実行履歴削除のためのSQL文の 実行に時間がかかっている(約21分) Hinemosマネージャが内部DBと通信する際にソケットタイムアウト(15分)が 発生した。これにより通信が強制的に切断された。 対処:徐々にジョブ履歴を削除する 例えば、 保存期間 31日 → 30日 (1回目) 保存期間 30日 → 29日 (2回目) : (途中省略) 保存期間 12日 → 11日 (*回目) 保存期間 11日 → 10日 (*回目) 保存期間 31日 → 10日 【Hinemos ver.5.0、4.1 障害系 03/08 】
  24. 24. Copyright (c) 2015 Atomitech Inc.23 Javaヒープメモリに関するHinemosInternalエラーが出力された 事象 Hinemosマネージャのログ(hinemos_internal.log)に 次のメッセージが出力された。 「利用可能なメモリ容量が閾値を下回ったため、Hinemosマネージャの 再起動を推奨する」 暫定的対処 Hinemosマネージャの再起動 恒久的対処 (1)監視項目、ジョブ数、ノード数の設定数を見直す。不要なものがないかなど。 (2)Hinemosマネージャサーバの物理メモリに余裕がある場合は、 HinemosマネージャのJavaヒープメモリのサイズを、次のどちらかに変更する。 変更対象のファイル:/opt/hinemos/etc/hinemos.cfg ・“for medium systems” または、"for large systems“ 【Hinemos ver.5.0、4.1 障害系 04/08 】
  25. 25. Copyright (c) 2015 Atomitech Inc.24 HinemosクライアントからHinemosマネージャにログインできる がビューが表示されない 事象 監視設定ビューやジョブ一覧ビューが表示されない(エラー表示もでない) 対処※次のいずれかを実施 (1)Hinemosクライアントの設定情報を削除する。 対象フォルダ: “C:Users{Windowsログインユーザ名}AppDataRoaminghinemosClient4.1 (2)Hinemosクライアントをクリーンスタートする。 “C:Program Files (x86)HinemosClient4.1.2”配下の 「client_clean_start.vbs」を実行し、Hinemosクライアントを起動する。 (3)Hinemosクライアントを再インストールする。 【Hinemos ver.5.0、4.1 障害系 05/08 】
  26. 26. Copyright (c) 2015 Atomitech Inc.25 システムログ監視の結果の通知に遅延があった 事象 システムログ監視の結果で「受信日時」と「出力日時」に差があり、 通知に遅延が発生している。 原因 瞬間的に大量(※)のsyslogがHinemosマネージャに 転送されたことによって、システムログ監視の パターマッチ処理に遅れがでてしまった。 ※環境によるが、この事例の場合は、10分間に10000件 対処 (1)通知の遅延が発生した時間帯に転送されているsyslogの流量を減らす。 ※rsyslog.confの設定で、転送量を抑制するなど。 (2)システムログ監視やそのフィルタの件数を見直す。 (3)当該監視設定の通知を見直す。 【Hinemos ver.5.0、4.1 障害系 06/08 】
  27. 27. Copyright (c) 2015 Atomitech Inc.26 システムログ監視で監視漏れが発生した 事象 監視対象サーバでは、システムログが出力されたが、 システムログ監視にて検知できず、通知もされなかった。 マネージャサーバの /var/log/messagesに、次のメッセージが出力されていた。 原因 複数の監視対象サーバからsyslogが転送されたことによって、 rsyslogのTCP最大接続数を超えてしまった 対処 (1)監視対象サーバ側で、HinemosマネージャへのTCPによる syslog転送を行わない。 -> 514/TCP から 514/UDP へ変更する。 (2)マネージャサーバ側で、rsyslogのTCPセッション上限数を増やす -> rsyslog_hinemos.confを編集し、セッション数を増やす。 【Hinemos ver.5.0、4.1 障害系 07/08 】 <syslog.err> rsyslogd-2079: too many tcp sessions – dropping incomingrequest
  28. 28. 27 ジョブの実行に30秒かかる? 事象 ジョブの実行に30秒かかってしまう。 コマンド(スクリプト)のみを実行した場合は、一瞬で完了する。 原因 (1)即時反映用ポート(デフォルトで24005/UDP)が不通となっている。 または、 (2) Hinemosエージェントサーバで他のプロセスが 24005/UDPポートを使用中 対処 (1)Hinemosマネージャサーバ ー> Hinemosエージェントサーバ方向の 24005/UDPの通信を許可する。 (2)24005/UDPを使用する他のプロセスを停止する。 または、即時反映用ポートをデフォルト24005/UDPから変更する。 【Hinemos ver.5.0、4.1 障害系 08/08 】 Copyright (c) 2015 Atomitech Inc.
  29. 29. 28 【補足】ジョブの実行の仕組み 【Hinemos ver.5.0、4.1 障害系 08/08 】 Copyright (c) 2015 Atomitech Inc. ジョブ実行時のマネージャとエージェント間の通信 ①ジョブ実行指示情報を、マネージャ内部のtopicに格納 ②ジョブ実行対象ノードのIPアドレスの即時反映ポート(24005番)に UDPパケットを送信 ③UDPパケットを受信したエージェントは、Web/API経由で マネージャの topicからジョブ実行指示情報を取得する。 ④エージェントはコマンドを実行し、結果をWeb/API経由で マネージャに送信 ⑤マネージャは実行結果を元に次のジョブ制御を実施
  30. 30. 29 【補足】今回の事象の場合 【Hinemos ver.5.0、4.1 障害系 08/08 】 Copyright (c) 2015 Atomitech Inc. ジョブ実行時のマネージャとエージェント間の通信 ①ジョブ実行指示情報を、マネージャ内部のtopicに格納 ②ジョブ実行対象ノードのIPアドレスの即時反映ポート(24005番)に UDPパケットを送信 ③UDPパケットを受信できなかった ④エージェントはコマンドを実行し、結果をWeb/API経由で マネージャに送信 ⑤マネージャは実行結果を元に次のジョブ制御を実施 即時反映ポート(24005番)が不通または、使用中 Hinemosエージェントは、 定期的(30秒間隔)にWeb/API経由でマネージャのtopicに ジョブ実行指示情報が格納されていないか確認 格納されている場合は取得
  31. 31. Copyright (c) 2015 Atomitech Inc.30 仕様 44 51 47 94 48 45 85 68 60 54 68 68 45 38 42 43 66 41 61 48 27 43 47 31 仕様 障害
  32. 32. Copyright (c) 2015 Atomitech Inc.31 Hinemosマネージャ接続におけるプロキシ中継について 事例 Hinemosの通信をプロキシサーバ経由としたい場合、必要な設定は? 対処  Hinemosマネージャ → 設定不要  Hinemosエージェント → Hinemosエージェントの 設定ファイルを編集する  Hinemosクライアント → Hinemosクライアントメニューの クライアント設定を変更する -------------------------------------------------------------------------------------------------------------------------------------------- Hinemos ver4.1 管理者ガイド 第4版 「11.1 HinemosマネージャへのHTTP Proxyを経由した接続」 【Hinemos ver.5.0、4.1仕様系 01/11 】
  33. 33. Copyright (c) 2015 Atomitech Inc.32 ジョブの判定対象の時刻が機能しない 事例 ジョブの待ち条件を次のように設定した。しかし、想定通りに動作しない。 ジョブネット・ジョブの設定 23:55:ジョブネットAの実行(ジョブスケジュール) 00:10:ジョブネットAの中にあるジョブBの実行(待ち条件の時刻判定) 06:00:ジョブネットAの中にあるジョブCの実行(待ち条件の時刻判定) 設定者の想定したジョブフロー 10/24 23:55にジョブネットAが実行開始 ↓ 10/25 00:10にジョブBが実行 ↓ 10/25 06:00にジョブCが実行 しかし、23:55にジョブネットAが実行されたところ、 ジョブB、ジョブCも23:55に実行されてしまった。 方法 設定者の想定どおりにジョブBとジョブCを実行するには、 ・ジョブBの待ち条件(時刻):24:10:00 ・ジョブCの待ち条件(時刻):30:00:00 -------------------------------------------------------------------------------------------------------------------------------------------- Hinemos ver4.1 ユーザマニュアル 第4版 「9.4.3 ジョブネット作成・変更時の留意事項」待ち条件の時刻判定方法 【Hinemos ver.5.0、4.1仕様系 02/11 】
  34. 34. Copyright (c) 2015 Atomitech Inc.33 プロキシを経由したHTTP監視の方法は? 事例 HTTP監視を行う際、プロキシを経由した監視は実施可能か。 回答 Hinemos ver4.1では、HTTP監視でHTTPリクエストを行う際に、 プロキシサーバを利用するよう設定することができない。 Hinemos ver5.0では、新たにHTTP監視(シナリオ)という監視種別が 追加され、プロキシサーバを利用したHTTP監視が可能。 【Hinemos ver.5.0、4.1仕様系 03/11 】 -------------------------------------------------------------------------------------------------------------------------------------------- Hinemos ver5.0 ユーザマニュアル 第1版 「7.4 HTTP監視」P.114 指定したシナリオを元にしたHTTPリクエストにより監視を実施する場合
  35. 35. Copyright (c) 2015 Atomitech Inc.34 Hinemosエージェントレスで可能な監視について お問い合わせ Hinemosエージェントが対応していないサーバに対する監視は何が行えるのか? 回答 [Hinemosエージェントなしに利用可能な機能] ・監視設定(個別) - HTTP監視(数値/文字列) ・監視設定(個別) - PING監視 ・監視設定(個別) - サービス・ポート監視 ・監視設定(個別) - SQL監視(数値/文字列) ・監視設定(個別) - SNMPTRAP監視 ・監視設定(個別) - リソース監視 ・監視設定(個別) - プロセス監視(SNMP) ・監視設定(個別) - SNMP監視(数値/文字列) ・監視設定(個別) - システムログ監視 ・監視設定(個別) - Windowsサービス監視 [Hinemosエージェントが必要な機能] ・監視設定(個別) - Hinemosエージェント監視 ・監視設定(個別) - ログファイル監視 ・監視設定(個別) - カスタム監視 ・監視設定(個別) - Windowsイベント監視-------------------------------------------------------------------------------------------------------------------------------------------- Hinemos ver4.1 ユーザマニュアル 第4版 「1.2 Hinemosを構成する機能」 【Hinemos ver.5.0、4.1仕様系 04/11 】
  36. 36. Copyright (c) 2015 Atomitech Inc.35 Hinemosマネージャからエージェントが認識されていない事象について 事例 Hinemosのリポジトリに登録した一部のノードのHinemosエージェントが、リポジトリ[エージェント]ビューに 表示されていない。リポジトリ[ノード]ビュー上には、当該ノードは表示されている。 原因 Hinemosエージェントが自身のファシリティIDを解決できていない。 対処 (1)HinemosエージェントサーバからHinemosマネージャサーバに対して、 8080/TCPの通信が行えるようになっていないか確認する。 (F/W等で通信がブロックされていないかなど) (2)Hinemosエージェントは、自身のホスト名とIPアドレスを元にHinemosマネージャに 問い合わせ、自身のファシリティIDを解決する。 ・条件1 [ホスト名] Hinemosのリポジトリ[プロパティ]の“サーバ基本情報 – OS –ノード名”と、 対象サーバのホスト名(hostnameコマンドで表示されるホスト名)が一致しているか。 ・条件2 [IPアドレス] Hinemosのリポジトリ[プロパティ]の“サーバ基本情報 - ネットワーク - IPアドレス”が、対象サーバの(実際の)IPアドレスに含まれていること 上記のいずれかの条件を満たしていない場合は、該当のファシリティIDのノードであると判定できず、 リポジトリ[エージェント]ビュー上にも表示されないため、確認すること。 【Hinemos ver.5.0、4.1仕様系 05/11 】
  37. 37. Copyright (c) 2015 Atomitech Inc.36 Hinemos 履歴保管期間変更について 事例 メンテナンス機能で定期的にジョブ実行履歴やイベント履歴を削除でき、 デフォルトで31日まで履歴を保管し、それより過去は削除する。 これを93日などに保管期間を増やすことは可能か。 増やした結果、Hinemosの動作に影響はあるか。 回答 保存期間を増やすことは可能。 ただし、保存期間を延長する場合は、延長した分だけ Hinemosマネージャサーバのディスク使用容量が増加する。 これに気を付けていれば、動作に影響もない。 【Hinemos ver.5.0、4.1仕様系 06/11 】
  38. 38. Copyright (c) 2015 Atomitech Inc.37 終了遅延の “26:00:00”と “2:00:00”の違い 事例 次のように設定した場合、終了遅延判定の動作に違いはあるか。 終了遅延に“26:00:00”と設定した場合 終了遅延に“02:00:00"と設定した場合 回答 例えば、ジョブが 2015/08/07 23:00:00 に終了したとする。 ・ジョブの終了遅延「時刻」が“26:00:00”の場合 ジョブセッション開始日が“2015/08/07”であり、”00:00:00”から ”26:00:00” と数えるため、“2015/08/08 02:00:00”以降に発動 ・ジョブの終了遅延「時刻」が“02:00:00”の場合 ジョブセッション開始日が“2015/08/07”であり、”00:00:00”から ”02:00:00” と数え、これを超えているため、 “2015/08/07 23:00:00“に発動する 【Hinemos ver.5.0、4.1仕様系 07/11 】
  39. 39. Copyright (c) 2015 Atomitech Inc.38 メンテナンス設定の作成が行えない 質問 対象のアカウントに権限を付与したのにもかかわらず、メンテナンスの設 定の作成が行えない。 回答 メンテナンス機能の操作するためには、Hinemosログインユーザを Hinemos管理者用ロール(ADMINISTRATORS)所属させる必要がある。 【Hinemos ver.5.0、4.1仕様系 08/11 】 ------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- Hinemos ver4.1 ユーザマニュアル 第4版 「 12.3.2 システム権限による管理 表 12-3 システム権限一覧」
  40. 40. Copyright (c) 2015 Atomitech Inc.39 イベントログ名はあっているはずなのに Windowsイベントログが監視できない 事象 HogeHoge Event LogというWindowsイベントログが監視できない。 対処 Windowsイベント[作成・変更]ダイアログのイベントログ欄にて、 イベントログ名を二重引用符(“)で囲って指定する HogeHoge Event Log → “HogeHoge Event Log” 【Hinemos ver.5.0、4.1仕様系 09/11 】
  41. 41. Copyright (c) 2015 Atomitech Inc.40 Hinemosマネージャ2台からの1台のサーバを監視 疑問 Hinemosエージェントをサーバ(Linux)に2つインストールし、それぞれ別のHinemosマネージャ と 疎通させることは可能か? 回答 複数のHinemosエージェントをそれぞれ別のHinemosマネージャに 接続させるには、以下のいずれかの方法を実施すること。 (1)Hinemosエージェントのインストール時に、接続先のHinemosマネージャとして それぞれ異なるHinemosマネージャサーバのIPアドレスを入力する。 (2)以下の設定ファイルで、Hinemosエージェントごとにそれぞれ異なる HinemosマネージャサーバのIPアドレスを指定する。 [設定ファイル] /opt/hinemos_agent_{識別ID}/conf/Agent.properties [設定箇所] managerAddress=http://[HinemosマネージャのIPアドレス]:8080/HinemosWS/ 【Hinemos ver.5.0、4.1仕様系 10/11 】
  42. 42. Copyright (c) 2015 Atomitech I41 Hinemosのプロセスを監視したい 疑問 (1)Linux に導入するHinemos Managerのプロセス名とプロセス数 (2)Linux に導入するHinemos Agentのプロセス名とプロセス数 (3)Windows に導入するHinemos Agentのサービス名 回答 (1)Linux に導入するHinemos Managerのプロセス名とプロセス数 プロセス名 : ${JAVA_HOME}/bin/java 引数 : .*-Dhinemos.manager.* プロセス数 : 1個以上 (2)Linux に導入するHinemos Agentのプロセス名とプロセス数 プロセス名 : ${JAVA_HOME}/bin/java 引数 : .*-Dhinemos.agent.* プロセス数 : 1個以上 (3)Windows に導入するHinemos Agentのサービス名 サービス名 : HinemosAgent ※Hinemosマネージャ自ら、自身のプロセスを監視することは推奨していない。 監視したい場合は、もう一台Hinemosマネージャを用意するなどして相互監視を行う。 【Hinemos ver.5.0、4.1仕様系 11/11 】
  43. 43. Copyright (c) 2015 Atomitech Inc.42 障害調査  リソース監視やプロセス監視の結果が”不明”ステータスになる  カーネルモードで動作するプロセスの監視  システムログ監視の結果の通知に遅延があった  システムログ監視で監視漏れが発生した  ジョブの実行に30秒かかる? 仕様  Hinemosエージェントレスで可能な監視について  Hinemosのプロセスを監視したい まとめ
  44. 44. Hinemosへのジョブ移行のポイント Copyright (c) 2015 Atomitech Inc.43
  45. 45. Copyright (c) 2015 Atomitech Inc.44 商用運用管理ツールから Hinemosへのジョブ移行を進める為には Hinemosへのジョブ移行に必要なこと 既存のジョブ定義の把握 既存ツールとHinemosとの 機能差異の把握 Hinemosでの機能差異の 対応方法の検討 対応方法の検討結果を元に ジョブ定義を設計 不要なジョブの削除 を含むジョブフロー の見直しも重要
  46. 46. Copyright (c) 2015 Atomitech Inc.45 商用運用管理ツールとHinemosとの主な機能差異 既存ツールとHinemosとの機能差異の把握 • ログファイルに特定のキーワードを含むログが出力されるまで待機するジョブ ログファイル監視ジョブ • ファイルが作成・更新・削除されるまで待機するジョブ ファイル監視ジョブ • イベント受信ジョブに対しイベントを送信するジョブ イベント送信ジョブ • イベント送信ジョブからイベントを受信するまで待機するジョブ イベント受信ジョブ • 指定の期間・回数・間隔に従い、ジョブ(ネット)を繰り返し実行するジョブ(ネット) 繰り返しジョブ(ジョブネット)
  47. 47. Copyright (c) 2015 Atomitech Inc.46 Hinemosでの機能差異の対応方法① ログファイル監視ジョブ • ジョブフローから対象ジョブが切り離せる場合、ログファイル監視機能の 監視結果と連動してジョブを実行することで対応 • 指定したログファイルに特定のキーワードを含むログが出力されるまで、 ログ監視を繰り返し実施するスクリプトを作成し対応 • 弊社では、Hinemosのログファイル監視機能をベースにしたスクリプトで対応 ファイル監視ジョブ • ジョブフローから対象ジョブが切り離せる場合、カスタム監視機能の 監視結果と連動してジョブを実行することで対応 • 指定したファイルが作成・更新・削除されるまでファイルの状態を 監視を繰り返し実施するスクリプトを作成し対応 • 弊社では、Hinemosのジョブ実行契機のファイル監視をベースにしたスクリプトで対応
  48. 48. Copyright (c) 2015 Atomitech Inc.47 Hinemosでの機能差異の対応方法② イベント送信ジョブ • ジョブ通知を利用して、任意のジョブが完了したタイミングで 他のジョブを実行することで対応(※推奨せず) • イベント受信ジョブに対してイベントを送信するスクリプトを作成し対応 • 弊社では、イベント通知を利用したイベント送信スクリプトで対応 イベント受信ジョブ • ジョブ通知を利用して、任意のジョブが完了したタイミングで 他のジョブを実行することで対応(※推奨せず) • イベント送信ジョブからイベント受信するまで待機するスクリプトを 作成し対応 • 弊社では、イベント通知を利用したイベント受信スクリプトで対応
  49. 49. Copyright (c) 2015 Atomitech Inc.48 Hinemosでの機能差異の対応方法③ 繰り返しジョブ • ジョブフローから繰り返し対象のジョブが切り離せる場合、 ジョブスケジュールによる繰り返し実行にて対応 • 指定したコマンドを期間・回数・間隔に従い、繰り返し実行する スクリプトを作成し対応 • 参照ジョブを直列に定義し対応 繰り返しジョブネット • ジョブフローからジョブネットが切り離せる場合、 ジョブスケジュールによる繰り返し実行にて対応 • 繰り返し対象のジョブネットを直列に定義し対応
  50. 50. Copyright (c) 2015 Atomitech Inc.49 ご紹介できなかった機能差異 ジョブフロー制御のアーキテクチャ コマンドの返り値の範囲指定の複数対応 カレンダの営業日制御 ジョブの対話式実行 その他
  51. 51. Copyright (c) 2015 Atomitech Inc.50 JP1/AJS Senju Operation Conductor Tivoli Workload Scheduler Hinemosへのジョブ移行実績
  52. 52. Copyright (c) 2015 Atomitech Inc.51 Hinemosへのジョブ移行に必要なこと Hinemosと他ツールとの機能差異の対応方法 Hinemosへのジョブ移行実績 まとめ
  53. 53. Hinemos関連サービス Copyright (c) 2015 Atomitech Inc.52
  54. 54. Copyright (c) 2015 Atomitech Inc.53 Hinemos関連サービス 移行・構築 最適なHinemos環境 を提供します。 保守 年間1,000件を超 える実績でご期待 に応えます。 開発 新機能を開発、 提供します。 あらゆるフェーズで最適な ソリューションをご提供 いたします。
  55. 55. Copyright (c) 2015 Atomitech Inc.54 (株)アトミテックでは、業務拡大に伴い Hinemos、オープンソースを中心とした 開発系、インフラ系エンジニアを募集しています。 ご興味のある方はぜひご連絡を! 連絡先 担当 :アトミテックHinemosソリューション部 Email : hsd-sales@atomitech.jp エンジニア募集中! ご清聴ありがとうございました!

Editor's Notes

  • タイトル
    本日は、Hinemosを使う上で困ったこと、これから困りそうなこと
    一つでも記憶の片隅に残して帰っていただけたらなと思います。

    といってるお前は誰だと感じた方が若干名いらっしゃるかと思いますので、
  • まず、私がかかわったHinemosに関する業務について簡単にご紹介させていただき、
    次の、その中でもHinemosの保守というものにスポットをあてて

    ・どのようなお問い合わせがあり、それが、何件あるのか
    ・その後、事例の紹介を行っていければと考えています。

    あと、時間があれば、弊社のHinemosに関するソリューションの紹介などできればと思います。
  • 名前、誕生日、趣味

    日々の業務
    Hinemos保守
    Hinemosを使用していてつまずいてしまった方のサポートを行っています。
    トラブルシューティングです。
    Hinemos構築
    Hinemosを使用するまえにつまずいてしまった方の代わりにHinemos環境を作っています。

    と日々の業務を通して取得した称号が次となります。

    ・Hinemos認定アソシエイト(監視&ジョブ)、プロフェッショナル

    こちら、NTTデータ様が提供している技術認定プログラムとなります。
    詳細は、スライドのURLをご確認ください。
    是非みなさんも受けてみてはどうでしょう。

    さて、これらから気が付いたHinemosに関する活用術を
    ご紹介できればと思います。
    では、本日どんなお話をさせていただくかというと、

  • では、まず、私がかかわったHinemosに関する業務をちょっとだけご紹介します。

    一例として、メタウォータ―株式会社様

    内容が、Hinemos ver.3.1.4 から Hinemos 4.1.3へのバージョンアップ
    Hinemosでは、バージョンナンバーの小数点一桁が上がると
    メジャーバージョンアップするという数え方をします。
    そのため、今回は、
    3.1 ⇒ 3.2 ⇒ 4.0 ⇒ 4.1

    と3つメジャーバージョンがアップしていますね。

    ここまでくると、進化の度合いも大きく、仕様も結構異なってきます。
    機能が新たに追加されたり、機能が統合されたり、機能がなくなったり、、、

    バージョンアップ前のHinemosで使っていた機能が、新バージョンではどれ?
    ということもありえるわけです。

    とはいっても、前はのバージョンではできたのに、新バージョンでは
    できないなんてことはないかなと私は考えております。
    今回も代替案などを駆使し、バージョンアップすることが可能でした。

    ちょっと、タイトルから脱線してしまうかもしれませんが、どのような流れで
    このメジャーバージョンアップが可能となるか簡単にお話しますね。

  • 大まかな流れがスライドの図のとおりです。

    重要なのでは、

    ・既存データの抽出
    ・データの整形、変更、補正

    これさえ、できてしまえば、新バージョンへの設定の適用は簡単です。


    といっても、今回の重要な要件として、Hinemosのサービス(ジョブや監視)を無停止で
    バージョンアップを実現したいというものがありました。
    メジャーバージョンアップとなると一度、Hinemosのサービスを停止させたいところですが、、、

    今回とった方針として、

    監視対象サーバに新旧のHinemosエージェントを導入し、旧バージョンを生かしたまま、
    新バージョンを稼働させていき、旧バージョンを停止させていくいう方法をとりました。
    これによって、Hinemosサービスを停止させずにバージョンアップさせることができました。

    が、

    1点懸念点がありました。それは、ログ監視です。
    Hinemos3.1 では、システムログ監視にsyslog-ngを使用しています。
    一方、Hinemos 4.1では、rsyslogを使用していて、この二つは、どちらか片方の
    プロセスが上がっているともう片方は、使用できません。



    この対応がとれるか心配でした。







    要件としては、Hinemosのサービスを無停止でバージョンアップしてほしいということでした。
    どいうことかというと
  • 現在、既にHinemos ver.5.0を導入を行っているお客様ございます。

    実際に導入した個人的な感想として、従来のHinemosより導入が簡単になったなと思いました。


    また、商用ツールである「Senju」や「JP1」からHinemosへ移行も
    行ってきました。

    商用ツールですと、ジョブのバリエーションも豊富で、Hinemosにはない機能もあったりします。
    が、Hinemosも日々進化しているので、この辺にも十分に対応できました。
    昔は、ちょっとひと工夫が必要だったりしたのですが、最近はすんなり、移行できました。

    最後に本日の主役であるHinemos保守サポートです。

  • こちら簡単にスライドに記載した内容を行っています。
    Hinemosを使用される方が感じた疑問などについてご対応しています。
    障害調査では、Hinemosを使用していて、なにか障害がおこった際に、
    その原因や対象方法などを解明することを行っております。

    その際に、判明した原因が、Hinemosの不具合だった場合は、
    その修正モジュールを提供を行っています。

    この保守サポートがどれだけ利用されているかを簡単にご紹介します。
  • こちら、過去1年間どれだけお問い合わせがあったかをあらわしたものです。
    大きく分けて、 仕様と障害調査に分類でき、ひと月あたりあわせて約100件、
    年間1200件以上

    これだけ、Hinemosに対するお問い合わせがあり、Hinemoが利用されているということになります。
    なんかうれしいですね。

  • 今回、その中でも、これだけの事例を紹介できればと考えています。

    ・しかし、全部は紹介できないかもしれません。
    ・時間の許す限り、これらの事例を紹介いたします。
    ・これ知りたかった、聞きたかったというものは、ブースまでお越しください。
  • これから、お問い合わせの中身を紹介していこうと思います。
    まずは、システムを使う上で必ずと言っていいほど起きてしまう 障害 に関する事例を
    紹介していきます。


  • Snmpget -
  • [対処方法] メンテナンス機能(履歴情報削除機能)の"保存期間(日)"を、 >・保存期間 31日 → 10日 と、一度に大幅に短縮するのではなく、例えば、   ・保存期間 31日 → 30日 (1回目)   ・保存期間 30日 → 29日 (2回目)       : (途中省略)   ・保存期間 12日 → 11日 (*回目)   ・保存期間 11日 → 10日 (*回目) のように少しずつ短縮していき、目標の保存期間(日)に達するまで、 ジョブ実行履歴情報を複数回に分けて削除するようにしてください。
  • client_clean_start.vbsを実行するとキャッシュやレジストリを削除し、再作成してくれます。


  • TCPからUDPに変更するとによって、信頼性という面では劣ってしまいます。
    Hinemosマネージャサーバと監視対象サーバの距離が離れいる場合なら気になりますが、
    社内ネットワークなどマネージャと監視対象サーバの距離が近い場合は、UDPでもログをロストする
    可能性はほとんどないかなと考えています。


  • 先に上げた、事例が

    ・テクニカルなものか、基礎的なものか
    ・難しいのか、簡単なのか

    簡単なカテゴリ分けをして、よくあるお問い合わせはどのカテゴリのものが
    多いのか、少ないのか(全体の何割?)などを紹介する。


    これから紹介していく基本的な事例が
    先のスライドのどのカテゴリに含まれているか簡単に説明する。

    その後、1つの事例で1スライド~2スライドくらい使って、説明していく。
    ・全体の3割くらい




  • 待ち条件の時刻設定の時刻が、以下の式を満たした場合にジョブ(ジョブネット)が
    実行されます。  ジョブセッション開始日 + 待ち条件の時刻 ≦ 現在日時 

    2015/08/07 00:00:00 00:10:00 2015/08/07 23:55:00

  • Hinemos ver4.1では、HTTP監視でHTTPリクエストを行う際に、 プロキシサーバを利用するよう設定することができません。 なお、Hinemos ver5.0では、新たにHTTP監視(シナリオ)という監視種別が 追加され、プロキシサーバを利用したHTTP監視が可能となります。 HTTP監視(シナリオ)につきましては、以下のマニュアルに 詳しく記載されていますのでご参照ください。 ---------------------------------------------------------------------- Hinemos ver5.0 ユーザマニュアル 第1版 「7.4 HTTP監視」 P.114 指定したシナリオを元にしたHTTPリクエストにより監視を実施する場合 ----------------------------------------------------------------------
  • ちなみに、ジョブ機能を利用する場合は、基本的にはHinemosエージェントが必要です。
  • [上記1.の詳細について] 8080/TCPは、HinemosエージェントがHinemosマネージャへ接続する際に使用 するポートとなります。 Hinemosマネージャは、どのHinemosエージェントがいつ接続してきたかを 管理しており、定期的に接続してくるHinemosエージェントのみを利用可能と 判断してリポジトリ[エージェント]ビューに表示します。 あるHinemosエージェントサーバからHinemosマネージャサーバに対して、 上記のポート(8080/TCP)での通信が行えないと、そのHinemosエージェントは Hinemosマネージャへの接続を行うことができないため、Hinemosマネージャ側 では、そのHinemosエージェントを利用不可と判断します。 この場合、そのHinemosエージェントはリポジトリ[エージェント]ビューにも 表示されません。 今回ご質問のHinemosエージェントサーバからHinemosマネージャサーバに 対して、8080/TCPの通信が行えるようになっているか、F/Wの設定等から ご確認ください(AWS環境とのことですので、セキュリティグループの設定 についてもご確認ください)。もし通信できない場合は、そのことが事象の 原因と考えられますので、8080/TCPの通信が行えるよう、F/W等の設定変更 を行ってください。 上記の通信ポート(8080/TCP)については、以下のマニュアルにも記載されて おりますので、ご参照ください。 ------------------------------------------- Hinemos ver4.1 インストールマニュアル 第4版 「3.5.2 マネージャサーバへの接続」   p.11~12 "表3-9 マネージャサーバへの接続" ------------------------------------------- また、Hinemosクラウド管理オプション Standard for AWSにおける、 Hinemosマネージャ=Hinemosエージェント間の通信要件については、 下記のマニュアルにも記載されておりますので、併せてご参照ください。 ------------------------------------------------------ Hinemos クラウド管理オプション Ver2.0 Standard for AWS ユーザマニュアル 第5版 「3.1.3 ネットワーク条件(Hinemosエージェント)」 ------------------------------------------------------ [上記2.の詳細について] Hinemosエージェントは、自身のホスト名とIPアドレスを元にHinemosマネージャ に問い合わせ、自身のファシリティIDを解決します。お使いのHinemos4.1では、 下記の条件を両方とも満たした場合に、HinemosエージェントのファシリティID が解決され、利用可能なHinemosエージェントとしてリポジトリ[エージェント] ビュー上に表示されます。 ・条件1 [ホスト名]   Hinemosのリポジトリ[プロパティ]の"サーバ基本情報 - OS -ノード名"と、   対象サーバのホスト名(hostnameコマンドで表示されるホスト名)が一致して   いること ・条件2 [IPアドレス]   Hinemosのリポジトリ[プロパティ]の"サーバ基本情報 - ネットワーク -    IPアドレス"が、対象サーバの(実際の)IPアドレスに含まれていること 上記のいずれかの条件を満たしていない場合は、該当のファシリティIDのノード であると判定できず、リポジトリ[エージェント]ビュー上にも表示されません。 今回ご質問のHinemosエージェントに関して、上記の条件を両方とも満たしている かどうか、Hinemosのリポジトリ[プロパティ]上の設定内容、および対象サーバの 環境定義書等からご確認ください。もし、いずれかの条件を満たしていない場合は、 そのことが事象の原因と考えられますので、条件を満たすよう、対象のノードの リポジトリ[プロパティ]の設定内容を修正してください。 上記の仕様については、以下のマニュアルにも記載されておりますので、 ご参照ください。 ------------------------------------------------------------------------- Hinemos ver4.1, 4.0, 3.2, 3.1, 3.0 マニュアル別冊(ご契約者様向け) 第1.7版 「4.1.4 エージェントは起動しているのにエージェント監視が常に危険となる」 -------------------------------------------------------------------------

  • 履歴をどのくらいの期間保存するのが最適であるかにつきましては、  運用方針やHinemosマネージャサーバのディスク容量等に依存しますので、  一概に申し上げることはできません。ご了承ください。  ある特定の閾値を超えると不具合を誘発するということはございませんので、  その点につきましては、ご安心ください。
  • ■お問い合わせ3 追加でもう一点確認させていただきたいのですが、 今回の終了遅延の設定において、現在は"27:00:00"として設定しておりますが これを“2:00:00”と設定した場合に終了遅延判定の動作が異なるのでしょうか。 例えば22:00頃から実行されたジョブと、翌日1:00(=25:00)頃から実行されたジョブがある場合に 終了遅延をいずれも26:00:00と設定して問題ないでしょうか。 (Hinemosクライアントのジョブ履歴の表示が異なる程度の影響でしょうか?) ■回答3 まず、終了遅延監視の時刻判定の条件は、以下の式に基づいており、 以下の式が満たされた場合、終了遅延監視の条件が満たされたものと判定されます。 ・ジョブセッション開始日+終了遅延監視に設定した時刻<=現在日時 終了遅延監視の時刻判定については、以下のマニュアルに記載されてますので、 ご参照ください。 ---------------------------------------------------------------------------- Hinemos ver4.1, 4.0, 3.2, 3.1, 3.0 マニュアル別冊(ご契約者様向け) 第1.7版 「10.3.2 終了遅延のメッセージが通知されない」 ---------------------------------------------------------------------------- したがって、ご質問にありますジョブの終了遅延「時刻」の設定が"27:00:00"と "03:00:00"とでは、次のとおり、終了遅延監視の時刻判定が異なります。 ・ジョブの終了遅延「時刻」が"27:00:00"の場合   ジョブセッション開始日の翌日の03:00:00以降に発動 ・ジョブの終了遅延「時刻」が"03:00:00"の場合   ジョブセッション開始日の"03:00:00"以降に発動 次に、「ジョブの実行時刻が"22:00"のジョブと"25:00"のジョブに同じ 終了遅延"時刻"を"27:00:00"に設定しても問題ないか」というご質問に ついてですが、製品保守サポートの範疇を超えており、設計サポートの 範疇となるため、当窓口では回答致しかねます。 以下に参考情報として、ジョブセッション開始時刻が"22:00"のジョブと "25:00"のジョブに同じ終了遅延を設定した場合の違いをご案内致しますので、 参考にしてください。 なお、Hinemosクライアントのジョブ機能ジョブ[履歴]ビューの表示が異なるだけで なく、次の参考情報の通り、終了遅延監視の時刻判定も異なります。 ○参考情報 以下に、ジョブの実行時刻が22:00のジョブと25:00のジョブの終了遅延監視の 時刻判定の違いについてご案内いたします。 ・ジョブセッション開始が"2014/11/11 22:00"、   ジョブの終了遅延「時刻」が"27:00:00"の場合:     →終了遅延は、"2014/11/12 03:00:00"以降に発動    ・ジョブセッション開始が"2014/11/11 25:00"(2014/11/12 01:00)、   ジョブの終了遅延「時刻」が"27:00:00"の場合:     →終了遅延は、"2014/11/13 03:00:00"以降に発動
  • ロールという概念は、Ver.4.1から導入されたもので、
    使いこなせば、非常に便利

    しかし、少々覚えるのに
  • ここでは、どのようなジョブなのかを説明する
  • ここでは、先に紹介したジョブをHinemosを再現するには、どのように対応したか。
    Hinemosではどのように対応できるか。

×