More Related Content
Similar to 2019年春リリース予定!Hinemos ver.6.2の全体像 (20)
2019年春リリース予定!Hinemos ver.6.2の全体像
- 1. © 2018 NTT DATA INTELLILINK Corporation
2019年春リリース予定!
Hinemos ver.6.2の全体像
NTTデータ先端技術株式会社
- 2. 2© 2018 NTT DATA INTELLILINK Corporation
1. Hinemosの実現する運用アナリティクス
2. Hinemos ver.6.2 新たな取り組み
3. Hinemos ver.6.2 継続した取り組み
4. Hinemos ver.6.2 動作要件
5. まとめ
アジェンダ
- 3. © 2018 NTT DATA INTELLILINK Corporation 3
Hinemosの実現する
運用アナリティクス
- 4. © 2018 NTT DATA INTELLILINK Corporation 4
これまでの運用アナリティクスのターゲット
ハードウェア
ファームウェア/BIOS関連
CPU情報
メモリ情報
ディスク情報
OS
OS種類
OSバージョン
適用パッチ
設定情報
仮想環境
仮想化技術の種類
仮想化ソフトウェア名
バージョン
クラウド環境
クラウドの種類
インスタンス情報
リソース情報
ログ
ログファイル
NWパケット
センサデータ
パフォーマンス
リソース値
応答時間
ログ件数
収集・蓄積
見える化
・
分析
自動化
パフォーマンス・ログ情報を中心に
インフラリソースからアプリケーションレイヤの運用改善を実現
- 5. © 2018 NTT DATA INTELLILINK Corporation 5
見える化・分析
将来予測監視 変化監視
今は正常
だが
1ヶ月後に
異常
次の値を予測し
予想以上の変化を検知
予測値超えが多発し
急降下
相関係数分析 収集値統合監視
時刻
障害
相関が崩れたタイミングで
アラートを通知
障害発生前に異常を検知 Web
サーバ
Web
サーバ
Web
サーバ
Web
サーバ
Web
サーバ
一台の障害は警告レベル
全台の障害は危険レベル
・・・
・・・
Process End
・・・
・・・
・・・
Process Start
・・・
プロセスが停止しても
時間内に再起動すれば
正常レベル
アプリケーションログ
パフォーマンス・ログ情報から未来の異常までいち早く検知
- 6. © 2018 NTT DATA INTELLILINK Corporation 6
見える化・分析
様々なメッセージやバイナリデータを使ってその場で分析
■Javaスタックトレース
java.lang.NumberFormatException: For input string: "1.1"
at java.lang.NumberFormatException.forInputString(Unknown Source)
at java.lang.Integer.parseInt(Unknown Source)
at java.lang.Integer.<init>(Unknown Source)
at ExceptionPrintDemo.formatInt(ExceptionPrintDemo.java:7)
at ExceptionPrintDemo.main(ExceptionPrintDemo.java:14)
■Oracleアラートログ
Sat Feb 07 12:35:53 2015
create tablespace TEST_SPACE datafile size 5m autoextend on
Completed: create tablespace TEST_SPACE datafile size 5m autoextend on
Sat Feb 07 12:38:40 2015
alter database datafile
'/u01/app/oracle/oradata/CDB122/0/datafile/o1_mf_test_spa_bfc20s53_.dbf'
resize 8m
■Linuxシステムログ
Jun 29 17:38:11 Tiger shutdown[30243]: shutting down for system halt
・先頭パターン
・終端パターン
・区切り文字
NW
パケット
管理
DB
Hinemosエージェントが
収集・監視
Hinemosクライアントから
簡単取得
HinemosさえあればNWパケットも簡単収集・監視でき
使い慣れたツールで分析・解析が可能に
ログメッセージ
NWパケット
アプリケーション・ミドルウェアに合わせたログフォー
マットで、簡単検索・内容把握が可能に
- 7. © 2018 NTT DATA INTELLILINK Corporation 7
自動化 クラウドインフラの制御
動的に変化するクラウド環境の構成管理
システム構成が動的に変化しても、自動で追随、運用を継続
クラウドの利点を最大限に活用するシステム運用を実現
Blue-Green Deployment
継続的な監視とジョブ運用が可能
Hypervisor
VM VM
ベアメタル
DRサイト運用
①通常時
DB同期
制御
障害検知 クラウド上にインスタンス構築
②災害時
- 8. © 2018 NTT DATA INTELLILINK Corporation 8
自動化 運用業務の自動化
システム監視
性能管理
ジョブ管理
運用自動化
運用レポート
環境構築
構成変更追随
パッケージ管理
Hypervisor
VM VM
オンプレミス
クラウド環境
ベアメタル
仮想化環境
構築自動化・業務自動化・運用自動化 をシームレスに実現
作業コストを削減するとともに作業ミスを撲滅
ハイブリッドクラウド
対応 Runbook Automation
対応
システム管理 運用業務
計画化が難しく
運用コスト増に
- 9. © 2018 NTT DATA INTELLILINK Corporation 9
運用が振り回される導入パッケージの脆弱性問題
◆不定期に発生する高い脆弱性問題
◆脆弱性問題の対応の課題
・クリティカル度によって
即時・即日の判断が求められる
緊急性
計画困難
一定頻度
・不定期かつ内容により判断が
必要となり計画化が難しい
・一定量の工数の確保が確実に
必要となる
日時 タイトル
2018/8/23 Apache Struts 2 の脆弱性 (S2-057) に関する注意喚起
2018/8/9 ISC BIND 9 サービス運用妨害の脆弱性 (CVE-2018-5740) に関する注意喚起
2018/7/23 Apache Tomcat における複数の脆弱性に関する注意喚起
2018/5/22 ISC BIND 9 の脆弱性に関する注意喚起
2018/4/17 Spring Frameworkの脆弱性(CVE-2018-1271)について
2018/4/13 Spring Data Commonsの脆弱性に関する注意喚起
2018/4/10 Spring Frameworkの遠隔コード実行の脆弱性(CVE-2018-1270)の対応について
2018/1/17 ISC BIND 9 の脆弱性に関する注意喚起
◆定期に確認が必要な脆弱性問題
定期・不定期に発生する脆弱性問題には必ず対応が求められる
- 10. © 2018 NTT DATA INTELLILINK Corporation 10
脆弱性対応のためのパッケージのバージョンアップ作業
リスク
判断
対象特定 事前評価 構成変更
脆弱性アナウンス
結果確認
作業の迅速化と信頼性の向上に向けたステップが必要
最新の構成情報
から
対象サーバ特定
検証環境にて
作業手順を評価
確認
本番環境にて
構成変更を
実施
作業評価と
サービス影響を
確認
パッケージ更新後の構成情報が次の特定対象に
迅速な特定 作業ミス回避 様々な実行契機 作業漏れの回避
- 11. © 2018 NTT DATA INTELLILINK Corporation 11
パッケージ管理の運用コスト削減の肝
迅速な対象特定と結果確認が実現できると運用コスト削減に繋がる
◆環境変更の操作自体は機能・ツールが充実
◆環境の分散・サイロ化が構成情報の管理を複雑化
パッケージの配布
NEW
設定ファイルの置換配布
差分チェック
host=node001
ip=192.168.0.2
パッケージの更新
host=node001
ip=192.168.0.1
あるDCの環境2000台を1回の実機確認にかかる稼動
1台3分とし、2000台に実施
3分×2000台 = 6000分 = 100時間 ≒ 4.1日
エクセル&人手の作業での限界
- 12. © 2018 NTT DATA INTELLILINK Corporation 12
運用コスト削減に向けた情報管理とアクション連携
ハードウェア
ファームウェア/BIOS関連
CPU情報
メモリ情報
ディスク情報
OS
OS種類
OSバージョン
適用パッチ
設定情報
仮想環境
仮想化技術の種類
仮想化ソフトウェア名
バージョン
クラウド環境
クラウドの種類
インスタンス情報
リソース情報
ミドルウェア
バージョン
適用パッチ
設定情報
OSパッケージ
バージョン
適用パッチ
設定情報
ログ
ログファイル
NWパケット
センサデータ
パフォーマンス
リソース値
応答時間
ログ件数
アプリケーション
バージョン
適用パッチ
利用ライブラリ
システム
構成情報管理
・現在の構成
・変更履歴
自動取得
パッケージの配布
NEW
設定ファイルの置換配布
差分チェック
host=node001
ip=192.168.0.2
パッケージの更新
host=node001
ip=192.168.0.1
+ シームレスなアクション連携
- 13. © 2018 NTT DATA INTELLILINK Corporation 13
Hinemos ver.6.2
新たな取り組み
- 14. © 2018 NTT DATA INTELLILINK Corporation 14
Hinemosの実現する攻めの運用の強化
- 15. © 2018 NTT DATA INTELLILINK Corporation 15
構成情報の収集・蓄積
パッケージ・プログラムを収集し、履歴管理と変更時アラートが
可能になります。
Linuxパッケージ情報:
RPM/deb
Windowsパッケージ情報:
プログラム
個別インストール情報:
プロセス情報
自動取得
変更履歴の保持
変更時アラート
Hinemosエージェントによる
低負荷な情報収集
syslog
構成情報が変わったタイミングで
ユーザに通知が可能です。
変更履歴を保持することで、過去時点
での構成情報を確認できます。
PKG01 PKG02 PKG03
- 16. © 2018 NTT DATA INTELLILINK Corporation 16
構成情報の検索と対象特定
最新の構成情報からパッケージ名やバージョン情報で対象機器を
絞り込み、見える化・アクションが可能になります。
機器 パッケージ情報
ノード1 RedHat,Tomcat 5,Apache
ノード2 RedHat,Tomcat 5,Apache
ノード3 Windows,SQL Server
ノード4 Windows,IIS
ノード5 AIX,Java
パッケージ情報を一覧表示 ノードマップで強調表示
ノード1 ノード2 ノード3 ノード4 ノード5
RedHat AND
Tomcat 5
◆GUI上での検索一覧表示
管理対象
検索条件
・RedHat
And
・Tomcat 5
◆ノードマップによる見える化
◆CSVファイル出力 ◆リポジトリ登録
- 17. © 2018 NTT DATA INTELLILINK Corporation 17
構成情報の事前評価と構成変更
検証環境
本番環境
プロセス
停止
バージョンアップ
パッチ適用
プロセス
起動
サービス
状態確認
パッケージ /
パッチ
ファイル転送
RBA(RunbookAutomation)による定型化と自動化
切替
検証環境では、RBAにより定型化されたパッケージの
バージョンアップ手順と影響がないかを評価確認します。
本番環境では、評価済みRunbookの適用にあたり、
環境の要件に合わせた適用契機で実施します。
深夜起動
メンテナンス
日起動
システム連動
定型化 証跡取得 承認
RBA化した手順を検証環境で評価してから本番環境に適用という
一連の流れを簡易に行えます。
- 18. © 2018 NTT DATA INTELLILINK Corporation 18
構成情報管理の効果的なユースケース
セキュリティ配信サービスと組み合わせることで、機械的なター
ゲットの抽出と安全な環境変更作業が実現できます。
セキュリティ
アラート
セキュリティ
配信サービス
対象特定
事前評価
構成変更
結果確認
- 19. © 2018 NTT DATA INTELLILINK Corporation 19
Hinemos ver.6.2
継続した取り組み
- 20. © 2018 NTT DATA INTELLILINK Corporation 20
ジョブ管理分野の改革
日本独自の進化
ソフトウェア市場では珍しく日本製品が高いシェア
オープンソース・ソフトウェアで非進化
ほとんど存在しない
プロプライエタリ・ソフトウェアの停滞
機能別パッケージ
コアライセンス
クラウド対応の遅れ(動作環境・クラスタ対応)
ジョブ定義の資産化による移行困難性
積み重ねてきた歴史が複雑な定義に
バージョンアップを積み重ね悪循環
他運用管理製品からの
移行サービスの強化
他運用管理製品から
移行可能とする機能強化
◆ジョブ管理ソフトウェアの現状 ◆ジョブ管理ソフトウェアの問題
Hinemosへ移行しマルチプラットフォームで
低コストなジョブ管理を実現
- 21. © 2018 NTT DATA INTELLILINK Corporation 21
ジョブ管理の多彩な機能拡充の歴史
他社製品からのジョブ定義移行も実現できる多彩な機能拡充を実施
バージョン 主な機能追加・改善
Hinemos ver.3.2 • ジョブのアクセス制御
• ジョブセッション管理の改善
• 起動コマンドの制約緩和
Hinemos ver.4.0 • 「Hinemos ジョブマップ(TM)」機能
• Hinemosエージェント通信機構の改善
(Webサービス化)
• ジョブ機能の性能改善(表示/登録の高速化、
同時実行数の向上)
Hinemos ver.4.1 • ジョブ種別(参照ジョブ)
• 実行契機(ファイルチェック)
• ビュー(スケジュール予定)
• エージェント単位の多重度実行制御
• 編集モード
• 内部時刻リセット
• 日跨ぎ対応(48時間カレンダ)
• スケジュールの繰り返し実行対応(最小実行
間隔を5分へ)
• ジョブ終了方法の改善(実行中のジョブに対
し、シグナル送信で終了可能に)
• ジョブ実行優先度
• ジョブの状態の詳細化
• ジョブの待ち条件の改善(先行ジョブのリ
ターンコードを利用可能に)
• ジョブ機能の性能改善(表示/登録の高速
化)
バージョン 主な機能追加・改善
Hinemos ver.5.0 • ジョブの繰り返し実行
• ジョブのテスト実行
• Hinemosエージェント停止時のジョブス
テータス遷移(危険に遷移)
• コマンドの標準出力/標準エラー出力を通知
に利用可能
• コマンドにノードプロパティを利用可能
• ジョブの実行時間を表示
• ノード変数をジョブ変数に利用可能
• ジョブの条件改善(「セッション開始後の時
間」を追加)
• ジョブスケジュールの繰り返し間隔の改善
Hinemos ver.6.0 • RBA対応
• Hinemos時刻の追加(運用時刻の設定)
• スクリプト配布機能
• 承認ジョブの追加
• 監視ジョブの追加
• OS環境変数定義
• ランタイムジョブ変数の追加
• 順次リトライの動作改善
Hinemos ver.6.1 • 実行時間予測による終了遅延検知
• セッションを跨いだイベント連携
• 待ち条件のIf-Else対応
• 条件指定の繰り返し実行
Hinemos ver.6.2 • キュージョブによるジョブ同時実行制御
Hinemos ver.6.2新機能
- 22. © 2018 NTT DATA INTELLILINK Corporation 22
同時実行制御キュー
同時実行制御キューを使って、ジョブを跨った同時実行制御が可
能になります。
・単一ジョブから複数ジョブを跨った同時実行数の制御が可能
・制御したい単位にキューを作成して、ジョブ定義から指定するだけ
・エージェント単位の同時実行制御を組み合わせも可能
・他社製品からの移行もよりシンプルな形で実現
ジョブA
ジョブB
ジョブネットX
◆ジョブ定義例 ◆ジョブ同時実行制御イメージ
⇒ 全てキューQを指定
A A B X B
A
B
X
AキューQ
同時実行数4
待ち条件を満たすと
キューへ
- 23. © 2018 NTT DATA INTELLILINK Corporation 23
Hinemos ver.6.2
動作要件
- 24. © 2018 NTT DATA INTELLILINK Corporation 24
Hinemosの基本構成
管理DB
運用管理サーバ
(Hinemosマネージャ)
管理対象システム
(Hinemosエージェント)
運用管理端末
(Hinemosクライアント)
設定追加・変更
結果の表示
稼動監視
ジョブ実行指示
ログ送信
トラップ送信
Hinemosは3つのコンポーネントから構成
- 25. © 2018 NTT DATA INTELLILINK Corporation 25
Hinemos ver.6.2の動作環境
コンポーネント 動作環境 提供方法
Hinemosマネージャ RHEL/CentOS 7 GitHub
RHEL/CentOS 6 ご契約者向けサイト
Windows Server 2016, 2012R2 ご契約者向けサイト
Amazon Linux2 GitHub
Hinemosエージェント RHEL/CentOS/OracleLinux 7, 6, 5 GitHub
Windows Server 2016, 2012R2, 2012, 2008R2, 2008 GitHub
Windows 10, 8.1, 8, 7 GitHub
Amazon Linux/Amazon Linux2 GitHub
Solaris 11,10 HP-UX 11i v3, AIX 7.2, 7.1 ご契約者向けサイト
SLES 15, 12, 11 GitHub
Ubuntu 16.04 LTS GitHub
Android 4.1, 5.0, 5.1, 6.0 GooglePlay
Hinemosクライアント
(リッチクライアント)
Windows Server 2016, 2012R2, 2012, 2008R2 GitHub
Windows 10, 8.1, 8, 7 GitHub
Hinemosクライアント
(Webクライアント)
Internet Explorer, Firefox, Chrome
※サポート対象ブラウザ
GitHub
V6.2.0対応予定
- 26. © 2018 NTT DATA INTELLILINK Corporation 26
Hinemos Windows版マネージャ
• データベースは、Windowsにおいて信頼性が高いSQL Serverを採用
• スクリプトは、PowerShellを採用
• Hinemosマネージャの起動・停止・異常時はWindowsイベントログ
にメッセージを出力
• タスクトレイで状態確認や再起動などが可能
Windows Server
JVM
Program
SQL Server PowerShell
RHEL / CentOS
JVM
Program
PostgreSQL bash
Windows版マネージャ Linux版マネージャ
ALL Windows環境で安定運用するためWindows対応をリリース
- 27. © 2018 NTT DATA INTELLILINK Corporation 27
HinemosのVM・クラウド環境の動作サポート
様々なVM・クラウド環境上でHinemosの動作をサポート
Amazon Web Services(AWS)
Microsoft Azure(Azure)
BizホスティングCloudn(Cloudn)
Managed Cloud Platform(MCP)
BizホスティングEnterpriseCloud(BHEC)
IIJ GIO(IIJ GIO)
ニフクラ(NIFCLOUD)
Google Cloud Platform(GCP)
IBM Cloud
VMware vSphere vCenter/ESXi
Hyper-V
KVM
XEN
クラウド環境VM環境
新しいVM・クラウド環境にも
随時対応します
オンプレミス環境からVM・クラウド環境に移行した場合でも
安心してHinemosが使えるように動作サポートを推進します。
- 28. © 2018 NTT DATA INTELLILINK Corporation 28
バージョン互換性
Ver.6よりバージョン互換性の対応を進めます。
ver.6.2
マネージャ
ver.6.0
エージェント
接続可能
Ver.6.0エージェントの
機能範囲で利用可
Ver.6.1エージェントの
機能範囲で利用可
新バージョンの新機能を利用したい場合に
管理対象サーバに導入したHinemosエージェントをそのままで
Hinemosマネージャのみのバージョンアップで対応できます。
ver.6.2
エージェント
ver.6.1
エージェント
Ver.6.2エージェントの
機能が全て利用可
- 29. © 2018 NTT DATA INTELLILINK Corporation 29
Hinemosのパフォーマンス システム規模 サーバ数
1マネージャ辺りで管理できるサーバ数は10,000台規模
※あくまで製品リリース時の特定条件における評価結果です。実際の運用の際に性能評価・サイジングを実施することを推奨します。
0
1000
2000
3000
4000
5000
6000
7000
8000
9000
10000
v3.0 v3.1 v3.2 v4.0 v4.1 v5.0 v6.0 v6.1 v6.2
v3.0 v3.1 v3.2 v4.0 v4.1 v5.0 v6.0 v6.1 v6.2
監視対象サーバ数 100 100 300 1000 2000 10000 10000 10000 10000
メモリ量削減
ディスクI/O数削減
- 30. © 2018 NTT DATA INTELLILINK Corporation 30
Hinemosのパフォーマンス システム規模 ジョブ数
1マネージャ辺りで管理できるジョブ数は100,000ジョブ規模
※あくまで製品リリース時の特定条件における評価結果です。実際の運用の際に性能評価・サイジングを実施することを推奨します。
0
10000
20000
30000
40000
50000
60000
70000
80000
90000
100000
v3.0 v3.1 v3.2 v4.0 v4.1 v5.0 v6.0 v6.1 v6.2
v3.0 v3.1 v3.2 v4.0 v4.1 v5.0 v6.0 v6.1 v6.2
ジョブ登録数 5000 5000 10000 20000 100000 100000 100000 100000 100000
画面描画・操作レスポンス
の向上
- 31. © 2018 NTT DATA INTELLILINK Corporation 31
まとめ
- 32. © 2018 NTT DATA INTELLILINK Corporation 32
まとめ
• 運用改善を実現し続けるHinemos
• Hinemos ver.6.2は2019年春リリース予定
春にまた
お会いしましょう