Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
© SIOS Technology, Inc. All rights Reserved.
SIOS iQ:機械学習 ITOA
VMware仮想環境の性能問題の原因分析
〜迅速な問題解決と未然防止を実現〜
サイオステクノロジー株式会社
© SIOS Technology, Inc. All rights Reserved.
会社概要
2
社名 サイオステクノロジー株式会社 (SIOS Technology, Inc.)
株式  東京証券取引所 第二部 (証券コード:3744...
© SIOS Technology, Inc. All rights Reserved.
サイオステクノロジーについて
3
サイオステクノロジーは、1997年の創業以来、Linuxに代
表されるオープンソースソフトウェア(OSS)の開発と利
用...
© SIOS Technology, Inc. All rights Reserved.
事業概要
4
事業継続事業
Red Hat事業
OSS事業
プロフェッショナルサービス事業
ITサービス/システム継続のための様々な要求に応える製品・サー...
© SIOS Technology, Inc. All rights Reserved.
事業概要
5
BIG DATA事業
SIOS Applications事業
DirectorsGear事業
米国トレジャーデータ社が提供する大規模データ蓄...
© SIOS Technology, Inc. All rights Reserved.
About SIOS iQ
6
© SIOS Technology, Inc. All rights Reserved.
SIOS iQが生まれた背景
7
仮想化のメリットが認知され、急速に普及
柔軟性、俊敏性、TCOの削減
仮想化により、新たな課題の発生
複雑さの増加、不可...
© SIOS Technology, Inc. All rights Reserved.
SIOS iQとは?
 仮想環境で稼働するクリティカルなアプリケーションの
「環境と性能の最適化」「問題の原因分析と予測」
のためのプラットフォーム
...
© SIOS Technology, Inc. All rights Reserved.
エディション
9
VMware仮想環境をご利用のシステム
・開発環境
・実験・評価用
・ワークロードが安定
・処理性能が要求されない
SIOS iQ
Fr...
© SIOS Technology, Inc. All rights Reserved.
SIOS iQ:仮想環境分析プラットフォーム
 サイロ化の壁を取り除く
 サイロ化されたデータを集約し、
正規化
 全てのデータを時系列で蓄積
 ...
© SIOS Technology, Inc. All rights Reserved.
SIOS iQの特徴
 機械学習により実現するシンプルさ
 学習結果に基づく分析により、閾値やポリシーを使わない
 原因分析と提案
 監視ツールと...
© SIOS Technology, Inc. All rights Reserved.
PERCダッシュボード
 環境全体を俯瞰する統合ビュー
 サービス品質や最適化の度合いを示す4つの指標
12
© SIOS Technology, Inc. All rights Reserved.
インテリジェンスに裏付けされたシンプルさ
 限りなくシンプルなUIで、確認する必要がある事だけを
確認するために、最適化されたビューを提供
13
© SIOS Technology, Inc. All rights Reserved.
指先ひとつでドリルダウン
14
© SIOS Technology, Inc. All rights Reserved.
問題発生箇所の特定
15
© SIOS Technology, Inc. All rights Reserved.
問題発生箇所の特定
16
© SIOS Technology, Inc. All rights Reserved.
全ての必要な情報をひとまとめに
17
・問題種別
・問題の症状
・問題検出レイヤ
・発生・収束時刻
・原因を作ったオブジェクト
・推奨される対応策
・影響...
© SIOS Technology, Inc. All rights Reserved.
SIOS iQ 3.0の主な機能
 性能問題の原因分析と予測
 常態学習に基づいたアノマリ検出
 問題発生時の原因分析、問題発生予測
 フラッシュ...
© SIOS Technology, Inc. All rights Reserved.
Inside SIOS iQ
19
© SIOS Technology, Inc. All rights Reserved.
機能ダイアグラム
Big Raw Data
Machine
Learning
Analytics
Engine
Knowledge
vGraph Solu...
© SIOS Technology, Inc. All rights Reserved.
SIOS iQを支える3つの技術
• vGraph™グラフ理論
• システムの構成要素間の隠
れた関係性を自動検出
• 振る舞いと現象の関連捕捉
• 機械...
© SIOS Technology, Inc. All rights Reserved.
vGraph
 環境から抽出した構成情報
 各種IOの情報(時間・量・場所)
 システムイベント
2
裏側の相関関係
インフラストラクチャ上のリソー...
© SIOS Technology, Inc. All rights Reserved.
機械学習
 機械学習
 vGraphによって抽出された情報を各種アルゴリズム
で分析・蓄積
 機械学習アルゴリズムの例
k-means(クラスタ化...
© SIOS Technology, Inc. All rights Reserved.
vGraph Machine Learning
k-means SVM Regression etc
Training
normalization
ret...
© SIOS Technology, Inc. All rights Reserved.
異常検出における閾値利用時との差
閾値による判定 常態学習に基づくアノマリ検出
学習によって得た知識 ライブ・データライブ・データ
判定結果の差異
閾値
© SIOS Technology, Inc. All rights Reserved.
アノマリー検出と原因分析・影響分析
 アノマリー検出
 長期間にわたるモニタリングにより得られたデータを、
k-means法に代表される機械学習により...
© SIOS Technology, Inc. All rights Reserved.
SIOS iQ 3.0の性能問題検出機能
 ストレージ性能
 アプリケーション・ストレージ競合
 特定仮想マシンの異常な動作により、全体に影響
 ...
© SIOS Technology, Inc. All rights Reserved.
フラッシュ・リード・キャッシュの最適値分析
 課題
 キャッシュの設定に関する明確な指針が無い
 個々のシステムの設定値はネットでは調べられない
...
© SIOS Technology, Inc. All rights Reserved.
効率性分析
 機能
 アイドルVMの検出
使用されていない仮想マシンを特定する
無駄に多く割り当てられたリソースの検出(Coming
Soon)
...
© SIOS Technology, Inc. All rights Reserved.
SIOS iQ 3.0の動作環境
 SIOS iQ OVA(仮想マシン)の動作要件
 4vCPU、16GBメモリ、132GBディスク
 分析対象サポ...
© SIOS Technology, Inc. All rights Reserved.
ロードマップ
31
インテリジェンスに裏付
けされたサンプルさの
デモンストレーション
性能上の問題を解決
最適化
プランニング支援
問題の未然防止
 ...
www.sios.jp
Upcoming SlideShare
Loading in …5
×

SIOS iQ:機械学習 I T O A VMware仮想環境の性能問題の原因分析 迅速な問題解決と未然防止を実現

4,073 views

Published on

SoftLayerベア・メタル・サーバーに対応したSIOS iQをご紹介します。SIOS iQは、機械学習エンジンを搭載し、しきい値などを設定することなく、アプリケーション、仮想マシン、ホスト、ストレージ、NWの振る舞いを学習し、問題を予測・検出するだけでなく、原因分析まで行い、仮想環境で稼働するミッション・クリティカルなシステムの問題発生の未然防止ソリューションです。

Published in: Technology
  • Be the first to comment

SIOS iQ:機械学習 I T O A VMware仮想環境の性能問題の原因分析 迅速な問題解決と未然防止を実現

  1. 1. © SIOS Technology, Inc. All rights Reserved. SIOS iQ:機械学習 ITOA VMware仮想環境の性能問題の原因分析 〜迅速な問題解決と未然防止を実現〜 サイオステクノロジー株式会社
  2. 2. © SIOS Technology, Inc. All rights Reserved. 会社概要 2 社名 サイオステクノロジー株式会社 (SIOS Technology, Inc.) 株式  東京証券取引所 第二部 (証券コード:3744) 本社  東京都港区南麻布2-12-3 サイオスビル 設立  1997年5月23日 資本金  1,481百万円(2013年12月31日現在) 代表  代表取締役社長 喜多 伸夫 従業員数  連結387名 (2015年6月30日現在) URL  http://www.sios.com
  3. 3. © SIOS Technology, Inc. All rights Reserved. サイオステクノロジーについて 3 サイオステクノロジーは、1997年の創業以来、Linuxに代 表されるオープンソースソフトウェア(OSS)の開発と利 用を軸に、OS(基本ソフトウェア)からWebアプリケー ションソフトウェアにかかわる事業を推進し、情報システム のコスト削減に関する取り組みを推進しています。 また、市場が拡大しつつあるクラウドコンピューティング分 野でも、OSSの利活用を通じて、最先端のシステムを提供 しています。 SIOS is Innovative Open Solutions
  4. 4. © SIOS Technology, Inc. All rights Reserved. 事業概要 4 事業継続事業 Red Hat事業 OSS事業 プロフェッショナルサービス事業 ITサービス/システム継続のための様々な要求に応える製品・サービスをご提供します。 Red Hat Enterprise LinuxやRed Hat JBoss Middlewareなど エンタープライズ向けに最適化されたオープンソースソリューショ ンをRed Hat社とともにご提供します。 エンタープライズ向けOSSソリューションの製品販売をはじめ、OSSを活用した企業 システムの構築や保守サポートをワンストップでご提供します。 クラウドサービス導入、ID統合管理システム、認証(SSO)システムの構築や保守サ ポート、ITコンサルティングサービスを提供します。
  5. 5. © SIOS Technology, Inc. All rights Reserved. 事業概要 5 BIG DATA事業 SIOS Applications事業 DirectorsGear事業 米国トレジャーデータ社が提供する大規模データ蓄積の為のクラウドサービスと周辺 オープンソースソフトウェア群の導入支援サービスをご提供します。 複合機と連携し、ペーパーレスオフィスの推進、業務の効率化やスピードアップを実 現するサイオス独自開発のアプリケーションをご提供します。 B2Bメディアプラットフォームをベースとした楽曲権利流通支援ビジネスとして、 レコードレーベルから媒体関係者に対して発売前の新譜情報を配信するサービスや 音源提供から放送局が保有するパッケージ検索・放送報告まで実施できる放送番組 制作支援サービスをご提供します。 SIOS iQ 事業 VMware仮想環境の最適化、性能改善、問題の原因分析と未然防止のためのプラット フォーム を提供します。
  6. 6. © SIOS Technology, Inc. All rights Reserved. About SIOS iQ 6
  7. 7. © SIOS Technology, Inc. All rights Reserved. SIOS iQが生まれた背景 7 仮想化のメリットが認知され、急速に普及 柔軟性、俊敏性、TCOの削減 仮想化により、新たな課題の発生 複雑さの増加、不可視な相互作用・相互依存関係 より高度な専門性と広範囲な知識が必要 専門知識・専門家が不足、解析に時間がかかる 人手による解析の限界 ビジネスの成長を支えるシステムでは、 深刻な課題 AppNW Host DB Storage VM
  8. 8. © SIOS Technology, Inc. All rights Reserved. SIOS iQとは?  仮想環境で稼働するクリティカルなアプリケーションの 「環境と性能の最適化」「問題の原因分析と予測」 のためのプラットフォーム  機械学習搭載で、しきい値やポリシーを使わない 8 し き い 値 ポ リ シ ー 常態学習 原因分析 アノマリ検出 問題発生予測 パフォーマンス分析 信頼性分析 効率性分析 キャパシティ分析
  9. 9. © SIOS Technology, Inc. All rights Reserved. エディション 9 VMware仮想環境をご利用のシステム ・開発環境 ・実験・評価用 ・ワークロードが安定 ・処理性能が要求されない SIOS iQ Free Edition SIOS iQ Standard Edition ・ミッション・クリティカル ・ユーザやデータが急速に増加 ・新サービスのリリースが頻繁 ・高い安定性が要求される ・高い処理性能が要求される ・ピークの差が激しい
  10. 10. © SIOS Technology, Inc. All rights Reserved. SIOS iQ:仮想環境分析プラットフォーム  サイロ化の壁を取り除く  サイロ化されたデータを集約し、 正規化  全てのデータを時系列で蓄積  データ間の関連・依存関係、シ ステムの振る舞いを分析  分析されたデータを学習し、ナ レッジを蓄積  専門家集団が結集するよりも、 速く・綿密に分析  行動可能な提案  分析するだけでなく、課題の解 決策を導出し、提案 10 機械学習 時系列で関連性分析 サイロデータを収集し 正規化 ダッシュボード アプリ ケーショ ン コ ンピュ ート スト レージ ネッ ト ワーク C  P  U メ モリ W EB ERP DB アプリ ケーショ ン 監視 サーバ 監視 スト レージ 監視 ネッ ト ワーク 監視
  11. 11. © SIOS Technology, Inc. All rights Reserved. SIOS iQの特徴  機械学習により実現するシンプルさ  学習結果に基づく分析により、閾値やポリシーを使わない  原因分析と提案  監視ツールと違い、問題の根本原因や具体的な改善策を提案  エージェント・レス  情報収集用エージェントのインストールは不要  簡単セットアップ  SIOS iQは、OVA仮想マシン・イメージとして提供  24時間×365日、無停止連続学習・分析  セットアップ完了後、直ちに情報収集・学習を開始  コンパクト  過去のデータは、要約・圧縮して保存  24時間→7日間→1ヶ月間→1年間 11
  12. 12. © SIOS Technology, Inc. All rights Reserved. PERCダッシュボード  環境全体を俯瞰する統合ビュー  サービス品質や最適化の度合いを示す4つの指標 12
  13. 13. © SIOS Technology, Inc. All rights Reserved. インテリジェンスに裏付けされたシンプルさ  限りなくシンプルなUIで、確認する必要がある事だけを 確認するために、最適化されたビューを提供 13
  14. 14. © SIOS Technology, Inc. All rights Reserved. 指先ひとつでドリルダウン 14
  15. 15. © SIOS Technology, Inc. All rights Reserved. 問題発生箇所の特定 15
  16. 16. © SIOS Technology, Inc. All rights Reserved. 問題発生箇所の特定 16
  17. 17. © SIOS Technology, Inc. All rights Reserved. 全ての必要な情報をひとまとめに 17 ・問題種別 ・問題の症状 ・問題検出レイヤ ・発生・収束時刻 ・原因を作ったオブジェクト ・推奨される対応策 ・影響を受けたオブジェクト ・受けた影響の詳細 ・現象
  18. 18. © SIOS Technology, Inc. All rights Reserved. SIOS iQ 3.0の主な機能  性能問題の原因分析と予測  常態学習に基づいたアノマリ検出  問題発生時の原因分析、問題発生予測  フラッシュ・リード・キャッシュの最適値分析  システムの振る舞いを学習し、フラッシュ・ストレージなど 高速ローカルストレージへのキャッシュの設定値の最適値を 分析し、設定値を提案  無駄なリソースの検出  活動していない仮想マシンや仮想マシンに割り当てられた無 駄なリソースを検出し、浪費削減を提案 18 常態学習 原因分析 問題の未然防止 性能改善 リソース最適化 アノマリ検出
  19. 19. © SIOS Technology, Inc. All rights Reserved. Inside SIOS iQ 19
  20. 20. © SIOS Technology, Inc. All rights Reserved. 機能ダイアグラム Big Raw Data Machine Learning Analytics Engine Knowledge vGraph Solution 収集した生データを vGraphでノード間の 相関関係をモデル化 目的に応じた機械学習 アルゴリズムで分析し、 知識として蓄積 目的に応じた分析アルゴ リズムで、蓄積された知 識とライブデータを分析
  21. 21. © SIOS Technology, Inc. All rights Reserved. SIOS iQを支える3つの技術 • vGraph™グラフ理論 • システムの構成要素間の隠 れた関係性を自動検出 • 振る舞いと現象の関連捕捉 • 機械学習エンジン • 継続的なモニタと学習 • 常態の識別と異常の検出 • 知識の継続的な最適化 • 最適値の導出 • 変更のシミュレーション • PERCダッシュボード • システム全体のサービスレ ベルを鳥瞰できる統合 ビューと詳細情報へのドリ ルダウン 21 機械学習 エンジン PERC ダッシュボード vGraph™ グラフ理論
  22. 22. © SIOS Technology, Inc. All rights Reserved. vGraph  環境から抽出した構成情報  各種IOの情報(時間・量・場所)  システムイベント 2 裏側の相関関係 インフラストラクチャ上のリソースをグラフのノードとし、 それらの繋がりをエッジとして表現。 静的な繋がりは、設定等を解析し、モデル化。 動的な繋がりは、 ・ネットワークの通信内容 ・同時に発生したイベントや現象 エラーログ パフォーマンスの遅延 などを解析し、モデル化。 モデル化されたグラフからは、 各種アルゴリズムを使用して、 目的情報を抽出することができる。
  23. 23. © SIOS Technology, Inc. All rights Reserved. 機械学習  機械学習  vGraphによって抽出された情報を各種アルゴリズム で分析・蓄積  機械学習アルゴリズムの例 k-means(クラスタ化):データのクラスタ化 SVM(境界線抽出):グループ間の境界線を導き出す Regression(回帰分析):説明変数、目的変数、式の導出  分析  学習で蓄えた知識ベースを目的に応じて分析に使用  分析アルゴリズムの例 Mahalanobis  多変数間の相関に基づき、類似性によって、新たな標本と既知 の標本との関係を明らかにする 23
  24. 24. © SIOS Technology, Inc. All rights Reserved. vGraph Machine Learning k-means SVM Regression etc Training normalization retention Provider Clusters Mahalanobis Machine Learning Algorisms Variety of Cluster Definitions Live Data anomaly detection Anomaly Analysis 異常検出(Anomaly Detection)の例
  25. 25. © SIOS Technology, Inc. All rights Reserved. 異常検出における閾値利用時との差 閾値による判定 常態学習に基づくアノマリ検出 学習によって得た知識 ライブ・データライブ・データ 判定結果の差異 閾値
  26. 26. © SIOS Technology, Inc. All rights Reserved. アノマリー検出と原因分析・影響分析  アノマリー検出  長期間にわたるモニタリングにより得られたデータを、 k-means法に代表される機械学習により、システムの通常運 用時のサイクルで発生しうる状態を学習した上で、常態とし てあり得ない数値や振る舞いを検出  原因からの影響分析  アノマリーと検出された振る舞い(原因)が、インフラスト ラクチャ上のどの要素に、どんな影響を及ぼしたかを分析  症状からの原因分析  アノマリーと検出された症状(影響)が、インフラストラク チャ上のどの要素の振る舞いにより、発生したかを分析 26
  27. 27. © SIOS Technology, Inc. All rights Reserved. SIOS iQ 3.0の性能問題検出機能  ストレージ性能  アプリケーション・ストレージ競合  特定仮想マシンの異常な動作により、全体に影響  ストレージ競合  ストレージ故障の予兆、過度な数の仮想マシン  CPU/メモリ性能  アプリケーションのCPU/メモリ不足  特定仮想マシンの異常な動作により、全体に影響  物理ホスト・レベルのCPU/メモリ不足  過度な数の仮想マシンで、物理CPU/メモリ不足  アプリケーション・インパクト  仮想マシン・アプリケーションの異常な動作 27
  28. 28. © SIOS Technology, Inc. All rights Reserved. フラッシュ・リード・キャッシュの最適値分析  課題  キャッシュの設定に関する明確な指針が無い  個々のシステムの設定値はネットでは調べられない  機能  vFRCや各種ベンダーが提供するRAMやローカル・フラッシュ・ス トレージを使用したローカル・リードキャッシュの設定の最適値を 提案  特長  システムの振る舞いを観察・学習し、個々のシステムのキャッシュ の最適な設定を導出  具体的な設定値の提案と改善効果の予測  設定: 対象仮想マシン、データストア、ストレージ、 キャッシュサイズ、ブロックサイズ  予測:改善後のIOPS、レイテンシ、ヒット率の予測値  効果  リードキャッシュの効果を最大化  フラッシュストレージへの投資対効果を最大化 28
  29. 29. © SIOS Technology, Inc. All rights Reserved. 効率性分析  機能  アイドルVMの検出 使用されていない仮想マシンを特定する 無駄に多く割り当てられたリソースの検出(Coming Soon)  不要なスナップショットの検出 バックアップで取得されたスナップショットから、不要 なスナップショットを特定する  特長  24時間365日、休むことなく、システムの振る舞い や通信内容を分析して、実際に使用されているか・ いないかを分析  効果  人手をかけずに的確に分析でき、既存ストレージを 有効活用 29
  30. 30. © SIOS Technology, Inc. All rights Reserved. SIOS iQ 3.0の動作環境  SIOS iQ OVA(仮想マシン)の動作要件  4vCPU、16GBメモリ、132GBディスク  分析対象サポート環境  仮想化ソフトウエア・ハイパーバイザ VMware ESXi + vCenter  OS:VMwareでサポートされている任意のOS  クラウド IBM SoftLayer ベア・メタル・サーバ  ESXiとvCenterが必要  SoftLayer仮想サーバは、未サポート ※今後、順次、サポート範囲を拡大予定 30
  31. 31. © SIOS Technology, Inc. All rights Reserved. ロードマップ 31 インテリジェンスに裏付 けされたサンプルさの デモンストレーション 性能上の問題を解決 最適化 プランニング支援 問題の未然防止  2015年Q1 – SIOS iQ Freeview  PERCダッシュボード  無駄な仮想マシン  不要バックアップ検出  2015年7月 – SIOS iQ Standard Edition  性能上の問題の検出 - 原因分析  ストレージ性能の最適化 - ホスト・キャッシュ分析  2015年第4四半期〜  効率性 – 過度なリソース割り当て最適化  信頼性 – 回復性、弾力性の向上  キャパシティ – 予測、シミュレーション
  32. 32. www.sios.jp

×