【HinemosWorld2016】A1-4_Hinemosを用いた大規模システム運用管理

Copyright © 2016 NTT DATA INTELLILINK Corporation
2016年11月17日
NTTデータ先端技術株式会社
内山勇作
Hinemosを用いた大規模システム運用管理

Index
1. はじめに
2. Hinemosによる大規模システム運用事例
3. 大規模システム運用に有効なHinemosの機能
4. ver.6.0の大規模システム向けの強化ポイント紹介
5. まとめ

はじめに

本セッションでお伝えしたいこと
本セッションでは、Hinemosによる大規模システムの運用事例を紹介す
るとともに、大規模システムの運用に有効なHinemosの機能・ポイント
を紹介いたします。
Hinemosによる大規模システム運用事例
大規模システム運用に有効なHinemosの機能
ver.6.0の大規模システム向けの強化ポイント紹介

Hinemosによる大規模システム運用事例

大規模システム、みなさんどんなイメージをお持ちですか？
プライベートクラウド
（仮想化集約）
データセンター多拠点連携

【プライベートクラウド】カード決済サービス
金融分野のミッションクリティカルシステムおいて、仮想化集約によるIaaS基盤、
PaaS基盤を提供
 70を超えるシステム、900台を超える管理対象サーバを仮想化集約
 相互監視で高いSLAに応えるミッションクリティカルシステムの運用を実現

複数顧客のシステム基盤を国内有数の大規模データセンタで提供
 100を超えるシステム、3000台を超える仮想サーバをHinemosで管理
 顧客ごとのHinemosマネージャを統合するHinemosマネージャを置き、
多段構成で容易に全体を把握
【データセンター】共通基盤ITサービス
オペレータ
Hinemos
マネージャ
Hinemos
マネージャ
Hinemos
マネージャ
Hinemos
マネージャ
Hinemos
マネージャ
顧客システムA 顧客システムB 顧客システムC 顧客システムD
3,000台以上の仮想サーバ
100以上のシステム

【多拠点監視】町田市様庁内共通基盤
町田市様の複数拠点にまたがるプライベートクラウドの統合管理をHinemosで実現
 各拠点の複数システムにて、合計1500台を超える管理対象を統合管理
 段階的に導入したバージョンの異なるHinemosの運用結果を統合する
親マネージャを設置し、拠点を跨いだ論理・物理双方の統一的な運用を実現

Hinemosで運用しているシステム規模感まとめ
分類お客様名対象規模備考
プライベートクラウド
（仮想化集約）
NTTデータ
カード決済サービス
マネージャ数：3
管理対象：900
運用開始：2011年～
70以上のミッションクリティカル
システムを運用中
データセンター NTTデータ
共通基盤ITサービス
管理対象：3000
パブリッククラウドも視野に、
なおも対象拡大中
多拠点監視町田市様
庁内共通基盤
管理対象：1500
バージョンアップし、現在も対象
システムを拡大中
ミッションクリティカルなシステムも含め、数百台規模の案件にて
長期にわたる運用実績
相互監視や多段構成などHinemos間の連携を強化し、大規模環境で
も安定した運用を実現

大規模システム運用に有効なHinemosの機能

の前に・・・ちょっとHinemosの歴史を振り返り

Hinemosの対象システム規模の遷移
メジャーバージョンをリリースする度に、対応できるシステム規模の拡大を実施。
以前のHinemosでは複数マネージャでしか対応できなかった規模のシステムも、
最近のHinemosであれば単一のマネージャで十分対応可能。
ver.3.2 ver.4.0 ver.4.1 ver.5.0
監視対象サーバ数 300 1,000 2,000 10,000
ジョブ登録数 10,000 20,000 100,000 100,000
[1台のマネージャで処理できる最大数の目安]
※上記値は目安値です。動作するサーバスペックや、監視やジョブの要件によるため、動作環境によってサイジングを実施する必要がありま
す。
0
2000
4000
6000
8000
10000
v3.2 v4.0 v4.1 v5.0
Hinemos 管理対象数の遷移
Hinemos ver.5.0では
10,000台のノードを管理
100,000ジョブを管理

大規模システム運用の困りどころを解決するHinemosの機能紹介

大規模システム運用の困りどころ
大規模システム運用の困りどころと言えば
 対象台数が多い
仮想化やクラウドの普及に伴いスケールアウトが容易になり、
システムごとのサーバ数が増大。管理台数が多くなることで、
障害発生件数が増える中、発生元の特定はより困難に。
 マルチテナント環境の運用
仮想化集約などにより、異なる運用を行っていたシステムが統合。
運用ルールや監視レベルなどが異なるシステムにて、システム間の
影響を考慮しつつどうやって統合するかが課題に
 運用コストの増大
規模が大きくなればなるほど管理台数や環境が増え、連携のための
ツールも多岐にわたり運用コストが増大。いかに運用の効率化を図
るかが課題に。

対象台数が多い
仮想化やクラウドの普及に伴い、スケールアウトが容易になり、
システムごとのサーバ数が増大。管理台数が多くなることで、
障害発生件数が増える中、障害の発生元の特定はより困難に。
 台数が多くてどこで問題が起きている
か把握するのが大変
 監視対象とするサーバ情報を登録する
だけでも大変
Webサーバ群 APサーバ群
DBサーバ群
⇒ 障害把握の容易化
⇒ 登録・設定の簡易化

対象台数が多い – 障害把握の容易化
ユーザ定義のグループ階層
システム
システムA システムB
端末端末
サーバ種別サーバ種別
AP DB
OS
Windows
Windows 7
Windows
Server 2012
利用用途、管理手法、関係性
等に応じてスコープを定義。
監視やジョブは
スコープに対して設定。
 スコープによるグルーピング
ノードは、スコープとしてグルーピングし、階層構造で管理
スコープの組み方次第
で、全体を俯瞰した確
認と問題個所特定の両
方が容易に。
同時に設定数も大幅に
削減。
APWEB

対象台数が多い – 障害把握の容易化
 Hinemosノードマップによる障害箇所の可視化
Hinemosノードマップにより、スコープの階層構造をさらに可視化。
ノードマップによる可視化で、
システム拠点や機器配置などに
関する属人的な記憶も不要に。
の組み合わせにより、
システム状態を視覚的に把握
構成イメージ = システム構成図
アイコン = システム構成要素
カラー = 状態

対象台数が多い – 登録・設定の簡易化
 ノード一括登録
ノード(管理対象機器)の登録は、迅速かつ容易に実施可能
ＩＰアドレスを範囲で指定し、複数ノードの
情報を、一括で検出し登録
 デバイス情報の自動更新
デバイス情報(NIC,DISK,FileSystemなど)は、自動更新が可能
デバイス
追加
②デバイス
設定変更（自動）
Hinemos
マネージャ
操作不要
Hinemos
クライアント管理対象ノード
①デバイス
変更検知
台数が多くても、一括で簡単登録。
環境変更も自動で更新。

マルチテナント環境の運用
システムの集約統合
 システムごとの運用ルールはそのま
ま統合したい。ジョブなどはシステ
ム単位で参照範囲を制限したい
 システム間の影響を抑えつつも、
監視結果は一元的に確認したい
仮想化集約により、異なる運用を行っていたシステムが統合。
運用ルールや監視レベルなどが異なるシステムにて、システム間の影響を
考慮しつつどうやって統合するかが課題に。
⇒ システムごとの権限付与
⇒ 多段構成による統合監視

マルチテナント環境の運用 – システムごとの権限付与
 「オーナー」による参照管理
アカウント機能にて設定ごとに「オーナー」を登録することで、設定単位で参照管理
可能な柔軟な権限管理を実現
SystemAに関する「オーナー」を登録
⇒ SystemAに関連するユーザのみ参照可能
SystemBに関する「オーナー」を登録
⇒ SystemBに関連するユーザのみ参照可能
監視やジョブも同様に「オーナー」を登録することで、参照範囲を限定することが可能
システムごとに「オーナー」を分けることで参照範囲を限定できるため、
同一マネージャ上でも独立した運用ルールを設定可能。
システム共通の「オーナー」も用意すれば、横串で参照可能な設定も可
能。

マルチテナント環境の運用 – 多段構成による統合監視
 （参考）マルチマネージャ接続
一台のクライアントからシステムごとに構築した複数のHinemosマネージャに
ログインし、結果を確認する
ログインしたすべてのHinemosマネージャの結果を確認可能。
多段構成では、メインマネージャにて重要な情報のみを確認できると
いうメリットがあるが、すべての結果を簡単に確認したい場合は、マ
ルチマネージャ接続も有効。

マルチテナント環境の運用 – 多段構成による統合監視
 メインマネージャ
全体の状態を管理する
 サブマネージャ#1, 2
システムごとの状態を管理する
1台のHinemosで管理できない環境であっても一元的な運用が可能。
メインマネージャで、大規模システム全体の障害発生・復旧を履歴管理。
各システム内で検知された障害もサブマネージャ単位でなく、実際に検知
したサーバ単位で把握可能。
 Hinemosマネージャの多段構成
重要な情報のみサブマネージャからメインマネージャに通知することで、一元的に
運用状況を把握。システムごとにサブマネージャを立てることで、スケールアウト
構成も可能
・システム間の影響を局所化したい
・ネットワーク的に個々に独立している
以下のような環境を運用する場合

運用コストの増大
規模が大きくなればなるほど管理台数や環境が増え、連携のためのツール
も多岐にわたり運用コストが増大。いかに運用の効率化を図るかが課題に。
 対象台数が多いと、パッチの適用
や資材の配布などの時間がかかる
 物理・仮想化・クラウドが併存す
る環境だと連携用の設定やツール
が増え、運用自体が大変
作業
RPM配布×n
設定ファイル配布×n
起動コマンド実行×n
など
⇒ 定型作業の自動化
⇒ 統合管理製品による運用

運用コストの増大 – 定型作業の自動化
 環境構築機能
管理対象機器に対する一括実行や一連の作業をシナリオ化することで、定型作業を
自動化可能。
一連の作業
クリックで実行
詳細
環境構築の
定義体
ファイルの配布やコマンドの実行も複数台に対し一括で実行できるため、
パッチ適用などの定型作業にかかる時間を大きく削減。
複数の処理を順番通りに実行するよう登録できるため、構築作業などの
順番が決まっている作業も自動化可能。
WEBサーバの構築
DBサーバの構築など

運用コストの増大 – 定型作業の自動化
 （参考）Hinemosエージェントの一括処理
Hinemosクライアントから操作で、Hinemosエージェントの一括アップデート
や再起動を行うことが可能
Hinemosエージェントが導入されている監視対象サーバ数が
多い環境においても、一括で更新可能。
Hinemosエージェント自身のメンテナンス作業も効率化。

運用コストの増大 – 統合管理製品による運用
物理、仮想化、クラウドなど多種多様な環境が混在するハイブ
リッド環境でも、個々のツールは必要なくHinemosワンパッ
ケージで運用可能。
 多種多様な環境の管理をワンパッケージ提供
物理環境はもちろん、仮想化環境、クラウド環境向けの管理機能をHinemosの機能とし
て提供。環境特有の作り込み不要で、動的に遷移する構成の追従や環境特有の監視など
を、Hinemosで実現。

ver.6.0の大規模システム向けの強化ポイント紹介

スコープツリーに検索窓を追加
 Hinemos ver.6.0では、スコープツリーにファシリティID検索窓を追加。
監視結果の確認などで、特定のスコープ配下やノードの状況確認したい場合に、
スコープツリーを辿ることなく検索で確認可能。
検索窓を追加。ノードも検索可能。
台数が多くても、スコープ・ノードの特定が容易に。

大規模環境での動作測定
 Hinemos ver.6.0では、Hinemosマネージャが使用するリソースの低減を実
施。仮想化環境やクラウド環境でHinemosマネージャを構築する際に必要と
なるリソース減らし、他に回すことが可能。

大規模環境での動作測定（測定結果）
Hinemos ver.5.0
Java Heap 4GB
Hinemos ver.6.0-dev
Java Heap 1GB
CPU使用率
ネットワークI/O
Javaヒープ
 使用リソースを減らしつつ、ピーク性能も平準化。

まとめ

本セッションでお伝えしたかった事
 Hinemosによる大規模システム運用事例
 数百台規模のシステムも十分な実績あり
 大規模システム運用に有効なHinemosの機能
 大規模システム運用に十分な機能、かつ効率化にも貢献
 ver.6.0でさらに進化！大規模システムで活躍する機能
 ver.6.0 ならより安定して大規模なシステムの運用が可能
大規模システムの運用管理に、ぜひHinemosをご活用ください

単独での動作は大丈夫そう
だけど環境間の連携は
苦手そう
OSSだから小規模なシステム
の運用が多いのかな
Hinemos、こんなイメージをお持ち帰りください
大規模システムの
運用実績が充実しているな
Hinemos間も連携できるし、
いろんな環境でも安心して
使えそう

【HinemosWorld2016】A1-4_Hinemosを用いた大規模システム運用管理

More Related Content

What's hot

Viewers also liked

Similar to 【HinemosWorld2016】A1-4_Hinemosを用いた大規模システム運用管理

More from Hinemos

【HinemosWorld2016】A1-4_Hinemosを用いた大規模システム運用管理