知って『得』する! Hinemos活用術

株式会社アトミテック
知って『得』する！
Hinemos 活用術
2015年8月7日
大澤優人

Copyright (c) 2015 Atomitech CORPORATION1
大澤優人 (おおさわゆうと)
1987年9月7日生まれ
趣味
 カメラ(機種：EOS 70D)
所属
 株式会社アトミテック Hinemosソリューション部
日々の業務
 Hinemos保守、Hinemos構築
取得した称号
 Hinemos認定アソシエイト(監視)
 Hinemos認定アソシエイト(ジョブ)
 Hinemos認定プロフェッショナル
自己紹介
資格詳細：http://www.hinemos.info/support/certificate

私がかかわったHinemosに関する業務の内容
Hinemos保守事例紹介
 Hinemos保守事例の件数
 Hinemos保守事例の一覧
 Hinemos保守事例の紹介
（ソリューション紹介）
アジェンダ

これまでも多くのHinemosに関する業務を手掛けて参りま
した。
一例：メタウォーター株式会社様
ver.3.1.4からver.4.1.3へ
 Ver.3.1 ⇒ ver.3.2 ⇒ ver.4.0 ⇒ ver.4.1
サービスを停止せずにバージョンアップを行うことが必須条件
（詳細はこちら）
・http://www.hinemos.info/hinemos/case/010
・http://atomitech.jp/hinemos/case/hinemos3to4/
私がかかわったHinemosに関する業務の内容

バージョンアップの主な流れ
ヒアリング
お客様のご要望
をお聞かせくだ
さい
ご提案
ヒアリングに沿って
最適なバージョン
アップサービスをご
提案いたします
既存データ
抽出
環境構築に向け
設計を行います
整形、変更、
補正
ご要望のバージョン
にあったデータ形式
に整形等を行います
環境構築・
テスト
設計に基づき環境
を構築しテストを
行います
切替
（移行）
リハーサルに基
づいて本番環境
に適用します
引き渡
し
お客様へお引き
渡し致します
# バージョン特定
ver.3.1.4から4.1.3
# 必須条件の確認
無停止で
他、対象機能、対象
項目、ジョブ数、費
用、スケジュールな
どを確認。
ヒアリング内容か
ら条件を満たす
バージョンアップ
作業を具体化。お
客様に大筋合意を
頂き詳細の意識合
わせ。
※無停止
「監視及びジョブの
停止期間無く移行で
きること」
無停止での
バージョン
アップ方式
の設計を実
施。
Hinemos上の監
視・ジョブの定義
だけでなく、
Hinemosの動作に
関連するsyslog周
りの設定見直しも
実施。
結合試験の
実施後、検
証環境にて、
無停止での
バージョン
アップのリ
ハーサルを
実施。
本番環境にて、
無停止でのバー
ジョンアップを
実施。
無停止での
バージョン
アップ後、監
視及びジョブ
の動作に問題
が無いことを
確認した後に
引き渡し。
私がかかわったHinemosに関する業務の内容（最近

そのほかにも
Hinemos ver.5.0構築
SenjuからHinemosへ移行
JP１からHinemosへ移行
Hinemos保守サポート

Hinemos保守サポートとは？
お問い合わせ対応
障害調査
修正モジュールの提供等

33 36 30
49 51
44
51 47
94
48 45
85
44
70
54
52
56 57
45
38 42
43
66
41
61
47
仕様障害調査
Hinemos保守サポートお問い合わせ件数
年間約1000件以上

1. リソース監視の結果で情報ステータスと不明ステータスが繰り返し出力される
2. プロセス監視の結果で情報ステータスと不明ステータスが繰り返し出力される
3. カーネルモードで動作するプロセスの監視
4. Hinemosメンテナンス機能について
5. Javaヒープメモリに関するHinemosInternalエラーが出力された
6. HinemosクライアントからHinemosマネージャにログインできるがビューが表示されない
7. システムログ監視の結果の通知に遅延があった
8. システムログ監視で監視漏れが発生した
9. ジョブの実行に30秒かかる？
10. Hinemosマネージャ接続におけるプロキシ中継について
11. ジョブのスケジュール実行にて月日を指定して実行したい
12. プロキシを経由したHTTP監視の方法は？
13. Hinemosエージェントレスで可能な監視について
14. rsyslog_hinemos.confのコメントアウト箇所の意味
15. Hinemosマネージャからエージェントが認識されていない事象について
16. Windowsサービス監視で監視対象のサービス名に半角空白が含まれていても監視に影響はないか
17. Hinemos 履歴保管期間変更について
18. 終了遅延の “26:00:00”と “2:00:00”の違い
19. メンテナンス設定の作成が行えない
20. イベントログ名はあっているはずなのにWindowsイベントログが監視できない
21. Hinemosのプロセスを監視したい
22. カレンダ機能の登録上限は？
23. Hinemosマネージャ2台からの1台のサーバを監視
Hinemosトラブルシューティングの事例一覧(一部)

障害調査
33 36 30
49 51
44
51 47
94
48 45
85
44
70
54
52
56 57
45
38 42
43
66
41
61
47
仕様障害調査

リソース監視の結果で情報ステータスと不明ステータスが
繰り返し出力される
事象
リソース監視の結果が情報ステータスと不明ステータスを繰り返し出力されている。
原因
SNMPポーリングのタイムアウトにより、値の取得に失敗している。
対処
監視対象サーバ上のSNMPエージェントとの通信でタイムアウトが発生した可能性が
ある。
HinemosマネージャからSNMPエージェントへの経路に問題がないか確認する。
■監視対象サーバに問題があった
・SNMPエージェントがOSから値を
取得するのに時間がかかった
・SNMPエージェントがダウンしていた
・OSのネットワークサービスに障害が起きた
・サーバのNICに障害が起きた
■マネージャ‐監視対象サーバ間のNWに問題があった
・高負荷のためSNMPのパケットが失われた
・ネットワーク経路が切断された
・ファイアーウォール等によりパケットが遮断された
・ネットワーク機器に障害が起きた
・HinemosマネージャサーバのOSの
NWサービスに障害が起きた
・HinemosマネージャサーバのNICに障害が起きた
【Hinemos ver.4.1 障害系 1/9 】

プロセス監視の結果で情報ステータスと不明ステータスが
繰り返し出力される
事象
プロセス監視の結果が情報ステータスと不明ステータスを繰り返し出力されている。
原因
SNMPポーリングのタイムアウトにより、値の取得に失敗している。
対処
基本的に、リソース監視と対処方法は同じ。
監視対象サーバ上のプロセス数が多いことにより通信が長期化し、
タイムアウトした可能性があるため、対象のプロセス数を確認すること。

カーネルモードで動作するプロセスの監視
事象
カーネルモードで動作するプロセスが監視できない？
環境
Linux
対処
プロセス監視では、原則として、SNMPポーリングで取得した値と監視設定で
指定した値と比較し、一致した場合にプロセスが存在するものと判定する。
SNMPで取得した”hrSWRunPath”の値 ⇔ 監視対象プロセスのコマンド(パス)
SNMPで取得した”hrSWRunParameters”の値 ⇔ 監視対象プロセスのコマンド引数
net-snmpでは、カーネルモードで動作するプロセスの
”hrSWRunPath”を一律“<exited>“という文字列で返す。
プロセス監視では、カーネルモードで動作するプロセスのコマンド(パス)を
判別することができず、これらのプロセスを監視することができない。
カスタム監視を利用し、対象プロセス数をカウントするコマンドを実行すると監視ができる。
例：echo -n "NumOfProcs_kthreadd,";ps -ef|grep kthreadd|grep -v grep|wc -l

Hinemosメンテナンス機能について
事象
ジョブ履歴が10万件越え、警告MSGを検知したので、メンテナンス機能のジョブ履歴削除を
行った。しかし、ジョブ履歴件数が実行前と変化がなかった。
原因
履歴が多すぎ。
マネージャの内部DB上で、ジョブ実行履歴削除のためのSQL文の
実行に時間がかかりすぎた(約21分)
Hinemosマネージャ(JVM)が内部DBと通信する際のソケットタイムアウト(15分)が起きた。
これにより通信が強制的に切断された。
対処
メンテナンス機能の保存期間(日)を、一度に大幅に短縮するのではなく、徐々に少なくして
履歴を削除する。
保存期間 31日 → 30日 (1回目)
保存期間 30日 → 29日 (2回目)
: (途中省略)
保存期間 12日 → 11日 (*回目)
保存期間 11日 → 10日 (*回目)
保存期間 31日 → 10日

Javaヒープメモリに関するHinemosInternalエラーが出力された
事象
Hinemosマネージャのログ(hinemos_internal.log)に
「利用可能なメモリ容量が閾値を下回ったため、Hinemosマネージャの再起動を推奨する」
と出力されていた。
暫定対処
Hinemosマネージャの再起動。
恒久的対処
(1)監視項目、ジョブ数、ノード数の設定数を見直す。不要なものがないか。
(2)Hinemosマネージャサーバのメモリに余裕がある場合は、
HinemosマネージャのJavaヒープメモリのサイズを、次のどちらかに変更する。
変更対象のファイル：/opt/hinemos/etc/hinemos.cfg
・“for medium systems”
・"for large systems“

HinemosクライアントからHinemosマネージャにログインできる
がビューが表示されない
事象
監視設定ビューやジョブ一覧ビューが表示されない(エラー表示もでない)
対処
対処方法(1)
Hinemosクライアントの設定情報を削除する。
対象：“C:¥Users¥{Windowsログインユーザ名}¥AppData¥Roaming¥hinemos¥Client4.1
対処方法(2)
Hinemosクライアントをクリーンスタートする。
"C:¥Program Files (x86)¥Hinemos¥Client4.1.2"下にある「client_clean_start.vbs」を
ダブルクリックし、Hinemosクライアントを起動する。
対処方法(3)
Hinemosクライアントを再インストールする。

システムログ監視の結果の通知に遅延があった
事象
システムログ監視の結果で「受信日時」と「出力日時」に差があり、
通知に遅延が発生している。
原因
瞬間的に大量(※)のsyslogがHinemosマネージャに転送されたことによって、
システムログ監視のパターマッチ処理に遅れがでてしまった。
※環境によるが、この事例の場合は、10分間に10000件
対処
(1)通知の遅延が発生した時間帯に転送されているsyslogの流量を減らす。
※rsyslog.confの設定で、転送量を抑制するなど。
(2)システムログ監視やそのフィルタの件数を見直す。
(3)当該監視設定の通知を見直す。

システムログ監視で監視漏れが発生した
事象
監視対象サーバでは、syslogが出力されているにもかかわらず、
システムログ監視にて検知できず、通知もされていない。
/var/log/messagesを確認したところ、次が出力されていた。
原因
複数の監視対象サーバからsyslogが転送されたことにより、 rsyslogの
TCP最大接続数を超えてしまった
対処
(1)監視対象サーバ側で、HinemosマネージャへのTCPによる
syslog転送をしないようにする
ー＞TCP514からUDP514へ変更する。
(2)マネージャサーバ側で、rsyslogのTCPセッション上限数を増やす
ー＞ rsyslog_hinemos.confを編集し、セッション数を増やす。
<syslog.err> rsyslogd-2079: too many tcp sessions - dropping incoming
request [try http://www.rsyslog.com/e/2079 ]

ジョブの実行に30秒かかる？
事象
ジョブの実行に30秒かかってしまう。コマンド(スクリプト)のみを実行した場合は、
一瞬で完了する。
原因
(1)即時反映用ポート(デフォルトで24005/UDP)が不通となっている。
または、
(2) Hinemosエージェントサーバで他のプロセスが24005/UDPポートを使用中
対処
(1)Hinemosマネージャサーバー＞ Hinemosエージェントサーバ方向の
24005/UDPの通信を許可する。
(2)24005/UDPを使用する他のプロセスを停止する。
または、
即時反映用ポートをデフォルト24005/UDPから変更する。

ジョブの実行に30秒かかる？
事象
ジョブの実行に30秒かかってしまう。コマンド(スクリプト)のみを実行した場合は、
一瞬で完了する。
原因
(1)即時反映用ポート(デフォルトで24005/UDP)が不通となっている。
または、
(2) Hinemosエージェントサーバで他のプロセスが24005/UDPポートを使用中
対処
(1)Hinemosマネージャサーバー＞ Hinemosエージェントサーバ方向の
24005/UDPの通信を許可する。
(2)24005/UDPを使用する他のプロセスを停止する。
または、
即時反映用ポートをデフォルト24005/UDPから変更する。
○ジョブ実行時のマネージャとエージェント間の通信
1. マネージャはジョブ実行指示情報を、マネージャ内部のtopicに格納する。
2. マネージャはジョブ実行対象ノードのIPアドレスの即時反映ポート(24005番)に
UDPパケットを送信する。
3. UDPパケットを受信したエージェントは、Web/API経由でマネージャのtopicから
ジョブ実行指示情報を取得する。
なお、エージェントはマネージャからのUDPパケットを受信していない場合も、
定期的(30秒間隔)にWeb/API経由でマネージャのtopicにジョブ実行指示情報が
格納されていないか確認し、格納されている場合は取得する。
4. エージェントはコマンドを実行し、実行結果をWeb/API経由でマネージャに
送信する。
5. マネージャは実行結果を元に次のジョブ制御を実施。

仕様
33 36 30
49 51
44
51 47
94
48 45
85
44
70
54
52
56 57
45
38 42
43
66
41
61
47
仕様障害調査

Hinemosマネージャ接続におけるプロキシ中継について
事例
Hinemosの通信をプロキシサーバ経由としたい場合、必要な設定は？
対処
 Hinemosマネージャ → 設定不要
 Hinemosエージェント → Hinemosエージェントの設定ファイルを編集する
 Hinemosクライアント → Hinemosクライアントメニューのクライアント設定を変更する
-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
Hinemos ver4.1 管理者ガイド第4版
「11.1 HinemosマネージャへのHTTP Proxyを経由した接続」
【Hinemos ver.4.1仕様系 1/15 】

ジョブのスケジュール実行にて月日を指定して実行したい
事例
ジョブのスケジュールで年月日を設定したい。
方法
(1)カレンダ機能を設定する。
(2)ジョブスケジュールにて、作成したカレンダを指定する。
-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
Hinemos ver4.1 ユーザマニュアル第4版
「4 カレンダ機能」

ジョブの判定対象の時刻が機能しない
事例
ジョブの待ち条件を次のように設定した。しかし、想定通りに動作しない。
ジョブネット・ジョブの設定
23:55：ジョブネットAの実行(ジョブスケジュール)
00:10：ジョブネットAの中にあるジョブBの実行(待ち条件の時刻判定)
06:00：ジョブネットAの中にあるジョブCの実行(待ち条件の時刻判定)
設定者の想定したジョブフロー
08/07 23:55にジョブネットAが実行開始
↓
08/08 00:10にジョブBが実行
↓
08/08 06:00にジョブCが実行
しかし、23:55にジョブネットAが実行されたところ、ジョブB、ジョブCも23:55に実行されてしまった。
方法
設定者の想定どおりにジョブBとジョブCを実行するには、
・ジョブBの待ち条件(時刻)：24:10:00
・ジョブCの待ち条件(時刻)：30:00:00
-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
「9.4.3 ジョブネット作成・変更時の留意事項」待ち条件の時刻判定方法

プロキシを経由したHTTP監視の方法は？
事例
HTTP監視を行う際、プロキシを経由した監視は実施可能か。
回答
Hinemos ver4.1では、HTTP監視でHTTPリクエストを行う際に、
プロキシサーバを利用するよう設定することができない。
Hinemos ver5.0では、新たにHTTP監視(シナリオ)という監視種別が
追加され、プロキシサーバを利用したHTTP監視が可能。
-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
「7.4 HTTP監視」P.114 指定したシナリオを元にしたHTTPリクエストにより監視を実施する場合

Hinemosエージェントレスで可能な監視について
 事例
Hinemosエージェントが対応していないサーバに対する監視は何が行えるのか？
 回答
[Hinemosエージェントなしに利用可能な機能]
・監視設定(個別) - HTTP監視(数値/文字列)
・監視設定(個別) - PING監視
・監視設定(個別) - サービス・ポート監視
・監視設定(個別) - SQL監視(数値/文字列)
・監視設定(個別) - SNMPTRAP監視
・監視設定(個別) - リソース監視
・監視設定(個別) - プロセス監視(SNMP)
・監視設定(個別) - SNMP監視(数値/文字列)
・監視設定(個別) - システムログ監視
・監視設定(個別) - Windowsサービス監視
[Hinemosエージェントが必要な機能]
・監視設定(個別) - Hinemosエージェント監視
・監視設定(個別) - ログファイル監視
・監視設定(個別) - カスタム監視
・監視設定(個別) - Windowsイベント監視
-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
「1.2 Hinemosを構成する機能」

rsyslog_hinemos.confのコメントアウト箇所について
事例
rsyslog_hinemos.confのコメントアウト箇所を解除しても
Hinemosの動作に影響はないか。
回答
影響はない。
Hinemosマネージャに転送されるsyslogが出力できるようになる。
・syslogがHinemosマネージャへ転送できているか確認できる。
・どのくらいの流量のsyslogがHinemosマネージャへ転送されているか具体的に確認できる。
ただし、流量が多いとHinemosマネージャサーバのディスク使用容量が増加するため、要注意。
# $template mytemplate,"<%pri%>%timestamp% %hostname% %syslogtag%%msg%¥n"
# $template TmpFile,"/tmp/rsyslog.log.%$year%-%$month%-%$day%"
# *.info;mail.none;authpriv.none;cron.none ?TmpFile;mytemplate

Hinemosマネージャからエージェントが認識されていない事象について
事例
Hinemosのリポジトリに登録した一部のノードのHinemosエージェントが、リポジトリ[エージェント]ビューに
表示されていない。リポジトリ[ノード]ビュー上には、当該ノードは表示されている。
原因
Hinemosエージェントが自身のファシリティIDを解決できていない。
対処
(1)HinemosエージェントサーバからHinemosマネージャサーバに対して、
8080/TCPの通信が行えるようになっていないか確認する。
(F/W等で通信がブロックされていないかなど)
(2)Hinemosエージェントは、自身のホスト名とIPアドレスを元にHinemosマネージャに
問い合わせ、自身のファシリティIDを解決する。
・条件1 [ホスト名]
Hinemosのリポジトリ[プロパティ]の“サーバ基本情報 – OS –ノード名”と、
対象サーバのホスト名(hostnameコマンドで表示されるホスト名)が一致しているか。
・条件2 [IPアドレス]
Hinemosのリポジトリ[プロパティ]の“サーバ基本情報 - ネットワーク -
IPアドレス”が、対象サーバの(実際の)IPアドレスに含まれていること
上記のいずれかの条件を満たしていない場合は、該当のファシリティIDのノードであると判定できず、
リポジトリ[エージェント]ビュー上にも表示されないため、確認すること。

Windowsサービス監視で監視対象のサービス名に半角空白が
含まれていても監視に影響はないか
事例
Windowsサービス監視で監視したいサービス名に
半角空白を含むものを設定したい。正常に監視は可能か。
例：「XXX yyy」
回答
影響はない。
サービス名に半角空白を含むWindowsサービスを指定する場合も、
正常に監視を行うことができる。
サービス名を指定する際、サービス名全体をクォートで囲む必要はない。

Hinemos 履歴保管期間変更について
事例
メンテナンス機能で定期的にジョブ実行履歴やイベント履歴を削除でき、
デフォルトで31日まで履歴を保管し、それより過去は削除する。
これを93日などに保管期間を増やすことは可能か。
増やした結果、Hinemosの動作に影響はあるか。
回答
保存期間を増やすことが可能。
ただし、保存期間を延長する場合は、延長した分だけ
Hinemosマネージャサーバのディスク使用容量が増加する。
これに気を付けていれば、動作に影響もない。

終了遅延の “26:00:00”と “2:00:00”の違い
事例
次のように設定した場合、終了遅延判定の動作に違いはあるか。
終了遅延に“26:00:00”と設定した場合
終了遅延に“02:00:00"と設定した場合
回答
例えば、ジョブが 2015/08/07 23:00:00 に終了したとする。
・ジョブの終了遅延「時刻」が“26:00:00”の場合
ジョブセッション開始日が“2015/08/07”であり、”00:00:00”から
”26:00:00” と数えるため、“2015/08/08 02:00:00”以降に発動
・ジョブの終了遅延「時刻」が“02:00:00”の場合
ジョブセッション開始日が“2015/08/07”であり、”00:00:00”から
”02:00:00” と数え、これを超えているため、 “2015/08/07 23:00:00“に発動する

メンテナンス設定の作成が行えない
質問
対象のアカウントに権限を付与したのにもかかわらず、メンテナンスの設
定の作成が行えない。
回答
メンテナンス機能の操作するためには、Hinemosログインユーザを
Hinemos管理者用ロール(ADMINISTRATORS)所属させる必要がある。
-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
「 12.3.2 システム権限による管理表 12-3 システム権限一覧」

イベントログ名はあっているはずなのにWindowsイベントログが
監視できない
事象
HogeHoge Event LogというWindowsイベントログが監視できない。
対処
Windowsイベント[作成・変更]ダイアログのイベントログ欄にて、
イベントログ名を二重引用符(“)で囲って指定する
HogeHoge Event Log → “HogeHoge Event Log”

Hinemosマネージャ2台からの1台のサーバを監視
疑問
Hinemosエージェントをサーバ(Linux)に2つインストールし、それぞれ別のHinemosマネージャ
と
疎通させることは可能か？
回答
複数のHinemosエージェントをそれぞれ別のHinemosマネージャに
接続させるには、以下のいずれかの方法を実施すること。
(1)Hinemosエージェントのインストール時に、接続先のHinemosマネージャとして
それぞれ異なるHinemosマネージャサーバのIPアドレスを入力する。
(2)以下の設定ファイルで、Hinemosエージェントごとにそれぞれ異なる
HinemosマネージャサーバのIPアドレスを指定する。
[設定ファイル]
/opt/hinemos_agent_{識別ID}/conf/Agent.properties
[設定箇所]
managerAddress=http://[HinemosマネージャのIPアドレス]:8080/HinemosWS/

各機能の登録上限は？
疑問
Hinemosの機能において登録数の上限値はあるか？
回答
基本的に上限はないが、Hinemosの管理DBのカラムのデータ型の制約がある。
例えば、カレンダ機能において、1つのカレンダ設定内の詳細設定数は、
「32767」個までなど。
しかし、基本的に上限がないといっても、管理DBの制約ぎりぎりまで
登録できるというわけでない。
どこかでHinemosマネージャサーバの性能要件に起因し、
Hinemosマネージャが不安定となるので、不要な設定は行わないこと。

Hinemosのプロセスを監視したい
疑問
(1)Linux に導入するHinemos Managerのプロセス名とプロセス数
(2)Linux に導入するHinemos Agentのプロセス名とプロセス数
(3)Windows に導入するHinemos Agentのサービス名
回答
(1)Linux に導入するHinemos Managerのプロセス名とプロセス数
プロセス名 : ${JAVA_HOME}/bin/java
引数 : .*-Dhinemos¥.manager.*
プロセス数 : 1個以上
(2)Linux に導入するHinemos Agentのプロセス名とプロセス数
プロセス名 : ${JAVA_HOME}/bin/java
引数 : .*-Dhinemos¥.agent.*
プロセス数 : 1個以上
(3)Windows に導入するHinemos Agentのサービス名
サービス名 : HinemosAgent
※Hinemosマネージャ自ら、自身のプロセスを監視することは推奨していない。
監視したい場合は、もう一台Hinemosマネージャを用意するなどして相互監視を行う。

Hinemos関連サービス
移行・構築
最適なHinemos環境
を提供します。
保守
年間1,000件を超
える実績でご期待
に応えます。
開発
新機能を開発、
提供します。
あらゆるフェーズで最適な
ソリューションをご提供
いたします。

ご不明な点等ございましたら、お気軽にブースまで
お越しください。
お問い合わせ先
株式会社アトミテック Hinemosソリューション部
http://atomitech.jp/hinemos/
050-3775-7632
hsd-sales@atomitech.jp
ご清聴ありがとうございました

知って『得』する! Hinemos活用術

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Viewers also liked

Viewers also liked (14)

Similar to 知って『得』する! Hinemos活用術

Similar to 知って『得』する! Hinemos活用術 (20)

Recently uploaded

Recently uploaded (8)

知って『得』する! Hinemos活用術