SlideShare a Scribd company logo
1 of 25
Download to read offline
Copyright © SAS Institute Inc. All rights reserved.
SAS Viyaで異常検知してみよう
~教師無し機械学習の手法とテクニック~
SAS Institute Japan株式会社
Copyright © SAS Institute Inc. All rights reserved.
アジェンダ
2
1. 異常検知とは
2. One-Class SVMによる異常検知
3. Robust PCAによる異常検知
4. Moving Windows PCA による異常検知
5. 異常検知を業務に適用するポイント
Copyright © SAS Institute Inc. All rights reserved.
3
1. 異常検知とは
Copyright © SAS Institute Inc. All rights reserved.
大量の計測値からパタンを検出
4
既知のパターン
•管理限界値や寸法公差等の
業務上すでに定義されている
異常値やルールを設定すること
で、監視データ内にルールに当
てはまるデータを検知し、アラー
ト発報等の規定の処理を行い
ます。
未知のパターン
•多変量の関係や時系列データ
の観察等、多変量解析手法
やデータの可視化によって異常
発生するルールを発見。異常
検出ルールを高度化します。
複雑なパターン
•非線形の関係や大量のパラ
メータの組み合わせ等を機械
学習手法を用いてモデル化、
自己学習機能と合わせて異常
検出を人工知能化(AI)しま
す。
関連性
•正常運転状態時のパラメータ
間の相関を学習し、パラメータ
の関連性に崩れ始めを検知し
ます。
異常検知には3つの手法があります。基準値ベースの異常検知、教師あり学習、教師なし学習です。
本日は、SAS Viyaを用いた「教師なし学習」の手法をご紹介します。
Copyright © SAS Institute Inc. All rights reserved.
5
2. One-Class SVMによる異常検知
Copyright © SAS Institute Inc. All rights reserved.
Support Vector Data Description
(SVDD)
• 1クラス分類を目的とする教師なしの機械学習手法
• 用途:
• 多変量プロセス制御
• 機器予後診断と健康管理
• サイバーセキュリティと侵入検知
• 詐欺の識別
• ハイパースペクトル画像解析
• ウェアラブル機器からの健康データの分析
Copyright © SAS Institute Inc. All rights reserved.
SVDD - Details
• トレーニングデータの周りに最小半径のn次元球面を作成。
• 次に、新しい観測値は、n 次元球面の中心までの距離と半
径と比較しスコアを付ける。
• 半径より大きな距離の観測値は、異常としてフラグを付ける。
• 異常の実例があまりないデータでうまく機能することができる。
• カーネル関数を使用することにより、「通常」の領域をフレキシブ
ルにモデル化できる。
• ESP 4.3*1で使用できるASTOREスコアコードを出力する。
0.0
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1.0
0.0 0.2 0.4 0.6 0.8 1.0
“正常な状態”で
稼働している群
異常値
*1: SAS Event Stream Processing (リアルタイムデータ解析、オンライン機械学習用製品)
SVDDで作成されたモデルをSAS ESPに組み込み、リアルタイム異常検知が可能。
Copyright © SAS Institute Inc. All rights reserved.
使用データ:蒸気ボイラーのデータ
8
蒸気圧力(Mpa)
蒸気温度(℃)
蒸気温度(℃)蒸気圧力(Mpa)
時間(30秒単位)
Copyright © SAS Institute Inc. All rights reserved.
SVDDプログラム
9
svdd_train
1日目データ
svdd_score
2日目データ
Proc svdd
state
Analytics store
Proc astore
score_out
スコアリングデータ
SAS Studioを使用して、SVDDモデル
作成とスコアリングを実行
SAS Studioではテンプレート上で必
要な項目を選択するだけでSVDDモ
デル作成用のコードを自動生成
※ SAS ViyaのSVDDは、Python, R, Java, Luaからも同様に実行可能です。
Copyright © SAS Institute Inc. All rights reserved.
実行結果(Score_out)
10
赤い点が異常と判定されたデータ円の中心からの距離
Copyright © SAS Institute Inc. All rights reserved.
11
3. Robust PCAによる異常検知
Copyright © SAS Institute Inc. All rights reserved.
Robust Principal Component Analysis
(RPCA)
• 入力行列を低ランク行列とスパース行列の和に分解し、低ランク行列にPCAまたはSVDを実行
することができる。
• 「堅牢性」は、PCA / SVDを適用する前に異常を処理して除去できることに由来。
• スパース行列は異常検出に適している。
• 用途:
• 異常検知
• 画像処理
• 行列圧縮
Input Data
Low Rank Matrix Sparse Matrix
Copyright © SAS Institute Inc. All rights reserved.
SVDDプログラム
13
svdd_score
2日目データ
Proc rpca
lowrankmat
低ランク行列
sparsemat
スパース行列
SAS Studioを使用して、RPCAを実行
※ SAS ViyaのRPCAは、Python, R, Java, Luaからも同様に実行可能です。
Copyright © SAS Institute Inc. All rights reserved.
実行結果(sparsemat)
14
赤い点が異常と判定されたデータ
Copyright © SAS Institute Inc. All rights reserved.
15
4. Moving Windows PCA による異常検知
Copyright © SAS Institute Inc. All rights reserved.
Moving Windows Principal Component Analysis
(MWPCA)
• スライディングウィンドウを使用して時間の経過とともに
主成分の変更を取得する。
• 全体システムと比較したシステムの部品の相対的変化
を検出する。
• 同じ環境に面している同様のマシンは、同様に動作す
る仮定で使用する。
• 用途:
• 時間の経過とともに類似の設備のパフォーマンスが
異なるが、理想的には互いに類似して動作する状
況(例えば、風力タービン、暖房/冷房装置など)
Copyright © SAS Institute Inc. All rights reserved.
MWPCA - Details
風力発電のタービンの出力データ
• スライディングウインドウ内のデータを分析すること
により、時間の経過とともに主成分の重要な変
化を追跡。
• 時間の経過と共に相関関係が維持されると考え
られる多くの相関測定値を含む監視システムに
役立つ。
• 季節の影響を受けるシステムに適している
• スライディングウインドウ内でRPCA を実装するこ
とも可能。
Moving
Windows PCA
4機のタービンの中で、1機に主成分の変化が
観測されています。
何かしらの異常が発生している可能性を示唆
Copyright © SAS Institute Inc. All rights reserved.
MWPCAプログラム
18
svdd_score
2日目データ
Proc mwpca
windowpcs
低ランク行列
SAS Studioを使用して、RPCAを実行
※ SAS ViyaのMWPCAは、Python, R, Java, Luaからも同様に実行可能です。
Copyright © SAS Institute Inc. All rights reserved.
MWPCA結果
19
実測値
MWPCAの結果
Copyright © SAS Institute Inc. All rights reserved.
20
5. 異常検知を業務に適用するポイント
Copyright © SAS Institute Inc. All rights reserved.
異常値検知前の処理
21
■閾値の設定が難しい
教師あり学習の場合、異常である確率が出力されますが、教師なし学習の場合は異常値
を検出するもののそれが異常な状態か否か別途判断する必要があります。
群中心からの距離や類似度といった何等かの指標を基に異常を判断する必要があります。
■複数の手法で判断する方が良い
機械学習の手法はそれぞれ得手、不得手があります。
正解の定義がない教師なし学習の場合、1つの手法で異常値検知をするのではなく、
複数の手法で判断した方が良い結果が得られる可能性があります。
■システムを十分に理解する必要がある
タイムスタンプで分析処理をかけるのが一般的ですが、システムにはタイムラグがあります。
タイムラグを考慮した設計が必要です。
また、経年による変化を考慮しモデルの更新サイクルを考慮する必要があります。
Copyright © SAS Institute Inc. All rights reserved.
異常値検知後の処理
22
異常値の発生パタンを分類する事によって異常個所の推定や異常状態の判定が可能になります。
1.乖離 2.外れ値 3.変化
計測値に占める異常値の割合
が大きい。
異常値は連続している。
異常値は瞬間に発生。
連続性がない
計測値に占める異常値の割合
は小さいが、異常値は連続している。
Copyright © SAS Institute Inc. All rights reserved.
IoT・アナリティクス・ライフサイクル
異常値検知
適用ETL
データ データストレージ
アラート / レポート/ 制御
適用
f
IoT データ インテリジェント
データマネージメント
ストリーミング
アナリティクス実行
自動応答
23
Copyright © SAS Institute Inc. All rights reserved.
24
今なら無償でSAS Viyaを試用することができます。
詳細は以下のブログを参照してください。
SAS Viyaを体感してみよう! ~SAS Viya無償試用版利用ガイド~
sas.com
Copyright © SAS Institute Inc. All rights reserved.
ご清聴ありがとうございました。
https://www.sas.com/ja_jp/software/viya.html
Viya 検索

More Related Content

What's hot

「ヤフー音声検索アプリにおけるキーワードスポッティングの実装」#yjdsw4
「ヤフー音声検索アプリにおけるキーワードスポッティングの実装」#yjdsw4「ヤフー音声検索アプリにおけるキーワードスポッティングの実装」#yjdsw4
「ヤフー音声検索アプリにおけるキーワードスポッティングの実装」#yjdsw4Yahoo!デベロッパーネットワーク
 
DLLab 異常検知ナイト 資料 20180214
DLLab 異常検知ナイト 資料 20180214DLLab 異常検知ナイト 資料 20180214
DLLab 異常検知ナイト 資料 20180214Kosuke Nakago
 
Optimizer入門&最新動向
Optimizer入門&最新動向Optimizer入門&最新動向
Optimizer入門&最新動向Motokawa Tetsuya
 
情報幾何勉強会 EMアルゴリズム
情報幾何勉強会 EMアルゴリズム 情報幾何勉強会 EMアルゴリズム
情報幾何勉強会 EMアルゴリズム Shinagawa Seitaro
 
ポスト・ラムダアーキテクチャの切り札? Apache Hudi(NTTデータ テクノロジーカンファレンス 2020 発表資料)
ポスト・ラムダアーキテクチャの切り札? Apache Hudi(NTTデータ テクノロジーカンファレンス 2020 発表資料)ポスト・ラムダアーキテクチャの切り札? Apache Hudi(NTTデータ テクノロジーカンファレンス 2020 発表資料)
ポスト・ラムダアーキテクチャの切り札? Apache Hudi(NTTデータ テクノロジーカンファレンス 2020 発表資料)NTT DATA Technology & Innovation
 
FastAPIのテンプレートプロジェクトがいい感じだった話
FastAPIのテンプレートプロジェクトがいい感じだった話FastAPIのテンプレートプロジェクトがいい感じだった話
FastAPIのテンプレートプロジェクトがいい感じだった話NipponAlgorithm
 
【DL輪読会】Novel View Synthesis with Diffusion Models
【DL輪読会】Novel View Synthesis with Diffusion Models【DL輪読会】Novel View Synthesis with Diffusion Models
【DL輪読会】Novel View Synthesis with Diffusion ModelsDeep Learning JP
 
ディリクレ過程に基づく無限混合線形回帰モデル in 機械学習プロフェッショナルシリーズ輪読会
ディリクレ過程に基づく無限混合線形回帰モデル in 機械学習プロフェッショナルシリーズ輪読会ディリクレ過程に基づく無限混合線形回帰モデル in 機械学習プロフェッショナルシリーズ輪読会
ディリクレ過程に基づく無限混合線形回帰モデル in 機械学習プロフェッショナルシリーズ輪読会Shotaro Sano
 
次世代量子情報技術 量子アニーリングが拓く新時代 -- 情報処理と物理学のハーモニー --
次世代量子情報技術 量子アニーリングが拓く新時代 -- 情報処理と物理学のハーモニー --次世代量子情報技術 量子アニーリングが拓く新時代 -- 情報処理と物理学のハーモニー --
次世代量子情報技術 量子アニーリングが拓く新時代 -- 情報処理と物理学のハーモニー --Shu Tanaka
 
[GTCJ2018]CuPy -NumPy互換GPUライブラリによるPythonでの高速計算- PFN奥田遼介
[GTCJ2018]CuPy -NumPy互換GPUライブラリによるPythonでの高速計算- PFN奥田遼介[GTCJ2018]CuPy -NumPy互換GPUライブラリによるPythonでの高速計算- PFN奥田遼介
[GTCJ2018]CuPy -NumPy互換GPUライブラリによるPythonでの高速計算- PFN奥田遼介Preferred Networks
 
幾何を使った統計のはなし
幾何を使った統計のはなし幾何を使った統計のはなし
幾何を使った統計のはなしToru Imai
 
Partial least squares回帰と画像認識への応用
Partial least squares回帰と画像認識への応用Partial least squares回帰と画像認識への応用
Partial least squares回帰と画像認識への応用Shohei Kumagai
 
【論文紹介】 Attention Based Spatial-Temporal Graph Convolutional Networks for Traf...
【論文紹介】 Attention Based Spatial-Temporal Graph Convolutional Networks for Traf...【論文紹介】 Attention Based Spatial-Temporal Graph Convolutional Networks for Traf...
【論文紹介】 Attention Based Spatial-Temporal Graph Convolutional Networks for Traf...ddnpaa
 
Snowflake Architecture and Performance
Snowflake Architecture and PerformanceSnowflake Architecture and Performance
Snowflake Architecture and PerformanceMineaki Motohashi
 

What's hot (20)

「ヤフー音声検索アプリにおけるキーワードスポッティングの実装」#yjdsw4
「ヤフー音声検索アプリにおけるキーワードスポッティングの実装」#yjdsw4「ヤフー音声検索アプリにおけるキーワードスポッティングの実装」#yjdsw4
「ヤフー音声検索アプリにおけるキーワードスポッティングの実装」#yjdsw4
 
DLLab 異常検知ナイト 資料 20180214
DLLab 異常検知ナイト 資料 20180214DLLab 異常検知ナイト 資料 20180214
DLLab 異常検知ナイト 資料 20180214
 
Optimizer入門&最新動向
Optimizer入門&最新動向Optimizer入門&最新動向
Optimizer入門&最新動向
 
情報幾何勉強会 EMアルゴリズム
情報幾何勉強会 EMアルゴリズム 情報幾何勉強会 EMアルゴリズム
情報幾何勉強会 EMアルゴリズム
 
実装レベルで学ぶVQVAE
実装レベルで学ぶVQVAE実装レベルで学ぶVQVAE
実装レベルで学ぶVQVAE
 
ポスト・ラムダアーキテクチャの切り札? Apache Hudi(NTTデータ テクノロジーカンファレンス 2020 発表資料)
ポスト・ラムダアーキテクチャの切り札? Apache Hudi(NTTデータ テクノロジーカンファレンス 2020 発表資料)ポスト・ラムダアーキテクチャの切り札? Apache Hudi(NTTデータ テクノロジーカンファレンス 2020 発表資料)
ポスト・ラムダアーキテクチャの切り札? Apache Hudi(NTTデータ テクノロジーカンファレンス 2020 発表資料)
 
FastAPIのテンプレートプロジェクトがいい感じだった話
FastAPIのテンプレートプロジェクトがいい感じだった話FastAPIのテンプレートプロジェクトがいい感じだった話
FastAPIのテンプレートプロジェクトがいい感じだった話
 
【DL輪読会】Novel View Synthesis with Diffusion Models
【DL輪読会】Novel View Synthesis with Diffusion Models【DL輪読会】Novel View Synthesis with Diffusion Models
【DL輪読会】Novel View Synthesis with Diffusion Models
 
ディリクレ過程に基づく無限混合線形回帰モデル in 機械学習プロフェッショナルシリーズ輪読会
ディリクレ過程に基づく無限混合線形回帰モデル in 機械学習プロフェッショナルシリーズ輪読会ディリクレ過程に基づく無限混合線形回帰モデル in 機械学習プロフェッショナルシリーズ輪読会
ディリクレ過程に基づく無限混合線形回帰モデル in 機械学習プロフェッショナルシリーズ輪読会
 
次世代量子情報技術 量子アニーリングが拓く新時代 -- 情報処理と物理学のハーモニー --
次世代量子情報技術 量子アニーリングが拓く新時代 -- 情報処理と物理学のハーモニー --次世代量子情報技術 量子アニーリングが拓く新時代 -- 情報処理と物理学のハーモニー --
次世代量子情報技術 量子アニーリングが拓く新時代 -- 情報処理と物理学のハーモニー --
 
CVPR 2019 速報
CVPR 2019 速報CVPR 2019 速報
CVPR 2019 速報
 
grpc-haskell.pdf
grpc-haskell.pdfgrpc-haskell.pdf
grpc-haskell.pdf
 
[GTCJ2018]CuPy -NumPy互換GPUライブラリによるPythonでの高速計算- PFN奥田遼介
[GTCJ2018]CuPy -NumPy互換GPUライブラリによるPythonでの高速計算- PFN奥田遼介[GTCJ2018]CuPy -NumPy互換GPUライブラリによるPythonでの高速計算- PFN奥田遼介
[GTCJ2018]CuPy -NumPy互換GPUライブラリによるPythonでの高速計算- PFN奥田遼介
 
NetflixにおけるPresto/Spark活用事例
NetflixにおけるPresto/Spark活用事例NetflixにおけるPresto/Spark活用事例
NetflixにおけるPresto/Spark活用事例
 
幾何を使った統計のはなし
幾何を使った統計のはなし幾何を使った統計のはなし
幾何を使った統計のはなし
 
Maxout networks
Maxout networksMaxout networks
Maxout networks
 
Partial least squares回帰と画像認識への応用
Partial least squares回帰と画像認識への応用Partial least squares回帰と画像認識への応用
Partial least squares回帰と画像認識への応用
 
【論文紹介】 Attention Based Spatial-Temporal Graph Convolutional Networks for Traf...
【論文紹介】 Attention Based Spatial-Temporal Graph Convolutional Networks for Traf...【論文紹介】 Attention Based Spatial-Temporal Graph Convolutional Networks for Traf...
【論文紹介】 Attention Based Spatial-Temporal Graph Convolutional Networks for Traf...
 
Snowflake Architecture and Performance
Snowflake Architecture and PerformanceSnowflake Architecture and Performance
Snowflake Architecture and Performance
 
HPE Superdome X ご紹介資料
HPE Superdome X ご紹介資料HPE Superdome X ご紹介資料
HPE Superdome X ご紹介資料
 

Similar to SAS Viya で異常検知してみよう!

PacemakerのMaster/Slave構成の基本と事例紹介(DRBD、PostgreSQLレプリケーション) @Open Source Confer...
PacemakerのMaster/Slave構成の基本と事例紹介(DRBD、PostgreSQLレプリケーション) @Open Source Confer...PacemakerのMaster/Slave構成の基本と事例紹介(DRBD、PostgreSQLレプリケーション) @Open Source Confer...
PacemakerのMaster/Slave構成の基本と事例紹介(DRBD、PostgreSQLレプリケーション) @Open Source Confer...Tatsuya Watanabe
 
20121115 オープンソースでハイアベイラビリティ! ~クラスタ管理の設計構築ハウツー&エンジニア思考力~
20121115 オープンソースでハイアベイラビリティ! ~クラスタ管理の設計構築ハウツー&エンジニア思考力~20121115 オープンソースでハイアベイラビリティ! ~クラスタ管理の設計構築ハウツー&エンジニア思考力~
20121115 オープンソースでハイアベイラビリティ! ~クラスタ管理の設計構築ハウツー&エンジニア思考力~Iwasaki Noboru
 
Remineを活かしたプロセス支援 - 失敗しないプロセス支援 -
Remineを活かしたプロセス支援 - 失敗しないプロセス支援 -Remineを活かしたプロセス支援 - 失敗しないプロセス支援 -
Remineを活かしたプロセス支援 - 失敗しないプロセス支援 -Makoto SAKAI
 
HeapStats: Introduction and Technical Preview
HeapStats: Introduction and Technical PreviewHeapStats: Introduction and Technical Preview
HeapStats: Introduction and Technical PreviewYuji Kubota
 
単なるキャッシュじゃないよ!?infinispanの紹介
単なるキャッシュじゃないよ!?infinispanの紹介単なるキャッシュじゃないよ!?infinispanの紹介
単なるキャッシュじゃないよ!?infinispanの紹介AdvancedTechNight
 
SAS Visual Analytics 6.3 を使った DELL VRTX の評価
SAS Visual Analytics 6.3 を使った DELL VRTX の評価SAS Visual Analytics 6.3 を使った DELL VRTX の評価
SAS Visual Analytics 6.3 を使った DELL VRTX の評価Dell TechCenter Japan
 
ビッグデータ活用支援フォーラム
ビッグデータ活用支援フォーラムビッグデータ活用支援フォーラム
ビッグデータ活用支援フォーラムRecruit Technologies
 
Why dont you_create_new_spark_jl
Why dont you_create_new_spark_jlWhy dont you_create_new_spark_jl
Why dont you_create_new_spark_jlShintaro Fukushima
 
Datastax Enterpriseをはじめよう
Datastax EnterpriseをはじめようDatastax Enterpriseをはじめよう
Datastax EnterpriseをはじめようYuki Morishita
 
クラウド時代を生き残る経営戦略策定のススメ「クラウドは敵か?味方か?」(山口・岡山)
クラウド時代を生き残る経営戦略策定のススメ「クラウドは敵か?味方か?」(山口・岡山)クラウド時代を生き残る経営戦略策定のススメ「クラウドは敵か?味方か?」(山口・岡山)
クラウド時代を生き残る経営戦略策定のススメ「クラウドは敵か?味方か?」(山口・岡山)Serverworks Co.,Ltd.
 
インフラエンジニアのためのcassandra入門
インフラエンジニアのためのcassandra入門インフラエンジニアのためのcassandra入門
インフラエンジニアのためのcassandra入門Akihiro Kuwano
 
利用者主体で行う分析のための分析基盤
利用者主体で行う分析のための分析基盤利用者主体で行う分析のための分析基盤
利用者主体で行う分析のための分析基盤Sotaro Kimura
 
Oracle Data Minerハンズオンセミナー170927:①Oracle 機械学習概要
Oracle Data Minerハンズオンセミナー170927:①Oracle 機械学習概要Oracle Data Minerハンズオンセミナー170927:①Oracle 機械学習概要
Oracle Data Minerハンズオンセミナー170927:①Oracle 機械学習概要オラクルエンジニア通信
 
Modernizing Big Data Workload Using Amazon EMR & AWS Glue
Modernizing Big Data Workload Using Amazon EMR & AWS GlueModernizing Big Data Workload Using Amazon EMR & AWS Glue
Modernizing Big Data Workload Using Amazon EMR & AWS GlueNoritaka Sekiyama
 
AWSのデータベースサービス全体像
AWSのデータベースサービス全体像AWSのデータベースサービス全体像
AWSのデータベースサービス全体像Amazon Web Services Japan
 
Guide to Cassandra for Production Deployments
Guide to Cassandra for Production DeploymentsGuide to Cassandra for Production Deployments
Guide to Cassandra for Production Deploymentssmdkk
 

Similar to SAS Viya で異常検知してみよう! (20)

cross2012a fujya
cross2012a fujyacross2012a fujya
cross2012a fujya
 
PacemakerのMaster/Slave構成の基本と事例紹介(DRBD、PostgreSQLレプリケーション) @Open Source Confer...
PacemakerのMaster/Slave構成の基本と事例紹介(DRBD、PostgreSQLレプリケーション) @Open Source Confer...PacemakerのMaster/Slave構成の基本と事例紹介(DRBD、PostgreSQLレプリケーション) @Open Source Confer...
PacemakerのMaster/Slave構成の基本と事例紹介(DRBD、PostgreSQLレプリケーション) @Open Source Confer...
 
20121115 オープンソースでハイアベイラビリティ! ~クラスタ管理の設計構築ハウツー&エンジニア思考力~
20121115 オープンソースでハイアベイラビリティ! ~クラスタ管理の設計構築ハウツー&エンジニア思考力~20121115 オープンソースでハイアベイラビリティ! ~クラスタ管理の設計構築ハウツー&エンジニア思考力~
20121115 オープンソースでハイアベイラビリティ! ~クラスタ管理の設計構築ハウツー&エンジニア思考力~
 
Remineを活かしたプロセス支援 - 失敗しないプロセス支援 -
Remineを活かしたプロセス支援 - 失敗しないプロセス支援 -Remineを活かしたプロセス支援 - 失敗しないプロセス支援 -
Remineを活かしたプロセス支援 - 失敗しないプロセス支援 -
 
HeapStats: Introduction and Technical Preview
HeapStats: Introduction and Technical PreviewHeapStats: Introduction and Technical Preview
HeapStats: Introduction and Technical Preview
 
hbstudy#06
hbstudy#06hbstudy#06
hbstudy#06
 
単なるキャッシュじゃないよ!?infinispanの紹介
単なるキャッシュじゃないよ!?infinispanの紹介単なるキャッシュじゃないよ!?infinispanの紹介
単なるキャッシュじゃないよ!?infinispanの紹介
 
SAS Visual Analytics 6.3 を使った DELL VRTX の評価
SAS Visual Analytics 6.3 を使った DELL VRTX の評価SAS Visual Analytics 6.3 を使った DELL VRTX の評価
SAS Visual Analytics 6.3 を使った DELL VRTX の評価
 
JAWS DAYS 2022
JAWS DAYS 2022JAWS DAYS 2022
JAWS DAYS 2022
 
超高速な機械学習を Oracle Database で実現!
超高速な機械学習を Oracle Database で実現!超高速な機械学習を Oracle Database で実現!
超高速な機械学習を Oracle Database で実現!
 
ビッグデータ活用支援フォーラム
ビッグデータ活用支援フォーラムビッグデータ活用支援フォーラム
ビッグデータ活用支援フォーラム
 
Why dont you_create_new_spark_jl
Why dont you_create_new_spark_jlWhy dont you_create_new_spark_jl
Why dont you_create_new_spark_jl
 
Datastax Enterpriseをはじめよう
Datastax EnterpriseをはじめようDatastax Enterpriseをはじめよう
Datastax Enterpriseをはじめよう
 
クラウド時代を生き残る経営戦略策定のススメ「クラウドは敵か?味方か?」(山口・岡山)
クラウド時代を生き残る経営戦略策定のススメ「クラウドは敵か?味方か?」(山口・岡山)クラウド時代を生き残る経営戦略策定のススメ「クラウドは敵か?味方か?」(山口・岡山)
クラウド時代を生き残る経営戦略策定のススメ「クラウドは敵か?味方か?」(山口・岡山)
 
インフラエンジニアのためのcassandra入門
インフラエンジニアのためのcassandra入門インフラエンジニアのためのcassandra入門
インフラエンジニアのためのcassandra入門
 
利用者主体で行う分析のための分析基盤
利用者主体で行う分析のための分析基盤利用者主体で行う分析のための分析基盤
利用者主体で行う分析のための分析基盤
 
Oracle Data Minerハンズオンセミナー170927:①Oracle 機械学習概要
Oracle Data Minerハンズオンセミナー170927:①Oracle 機械学習概要Oracle Data Minerハンズオンセミナー170927:①Oracle 機械学習概要
Oracle Data Minerハンズオンセミナー170927:①Oracle 機械学習概要
 
Modernizing Big Data Workload Using Amazon EMR & AWS Glue
Modernizing Big Data Workload Using Amazon EMR & AWS GlueModernizing Big Data Workload Using Amazon EMR & AWS Glue
Modernizing Big Data Workload Using Amazon EMR & AWS Glue
 
AWSのデータベースサービス全体像
AWSのデータベースサービス全体像AWSのデータベースサービス全体像
AWSのデータベースサービス全体像
 
Guide to Cassandra for Production Deployments
Guide to Cassandra for Production DeploymentsGuide to Cassandra for Production Deployments
Guide to Cassandra for Production Deployments
 

More from SAS Institute Japan

SAS Japan Blog 記事「統計的因果推論コラム(2)」補足資料
SAS Japan Blog 記事「統計的因果推論コラム(2)」補足資料SAS Japan Blog 記事「統計的因果推論コラム(2)」補足資料
SAS Japan Blog 記事「統計的因果推論コラム(2)」補足資料SAS Institute Japan
 
SAS Japan Blog 記事「統計的因果推論コラム(1)」補足資料
SAS Japan Blog 記事「統計的因果推論コラム(1)」補足資料SAS Japan Blog 記事「統計的因果推論コラム(1)」補足資料
SAS Japan Blog 記事「統計的因果推論コラム(1)」補足資料SAS Institute Japan
 
SAS Learning Subscription 登録手順
SAS Learning Subscription 登録手順SAS Learning Subscription 登録手順
SAS Learning Subscription 登録手順SAS Institute Japan
 
ディープラーニングは、時系列予測でも最強なのか?
ディープラーニングは、時系列予測でも最強なのか?ディープラーニングは、時系列予測でも最強なのか?
ディープラーニングは、時系列予測でも最強なのか?SAS Institute Japan
 
SAS Viyaのディープラーニングを用いた物体検出
SAS Viyaのディープラーニングを用いた物体検出SAS Viyaのディープラーニングを用いた物体検出
SAS Viyaのディープラーニングを用いた物体検出SAS Institute Japan
 
SAS OnDemand for Academics 登録方法
SAS OnDemand for Academics 登録方法SAS OnDemand for Academics 登録方法
SAS OnDemand for Academics 登録方法SAS Institute Japan
 
SAS Visual Analytics 8.3 におけるクロス集計表の作成と可視化
SAS Visual Analytics 8.3 におけるクロス集計表の作成と可視化SAS Visual Analytics 8.3 におけるクロス集計表の作成と可視化
SAS Visual Analytics 8.3 におけるクロス集計表の作成と可視化SAS Institute Japan
 
SAS Viyaによる意識改革からみえたData Scientistの生き方 ~僕たちはどう生きるか~
SAS Viyaによる意識改革からみえたData Scientistの生き方 ~僕たちはどう生きるか~SAS Viyaによる意識改革からみえたData Scientistの生き方 ~僕たちはどう生きるか~
SAS Viyaによる意識改革からみえたData Scientistの生き方 ~僕たちはどう生きるか~SAS Institute Japan
 
SAS ViyaのCNNを活用したProcess Innovation ~機械は解析図表をどう見ているのか~
SAS ViyaのCNNを活用したProcess Innovation ~機械は解析図表をどう見ているのか~SAS ViyaのCNNを活用したProcess Innovation ~機械は解析図表をどう見ているのか~
SAS ViyaのCNNを活用したProcess Innovation ~機械は解析図表をどう見ているのか~SAS Institute Japan
 
SAS Viya Deep Dive: 予測モデリング
SAS Viya Deep Dive: 予測モデリングSAS Viya Deep Dive: 予測モデリング
SAS Viya Deep Dive: 予測モデリングSAS Institute Japan
 
SAS Viya Deep Dive: 自然言語処理&AI
SAS Viya Deep Dive: 自然言語処理&AISAS Viya Deep Dive: 自然言語処理&AI
SAS Viya Deep Dive: 自然言語処理&AISAS Institute Japan
 
SAS University Editionにおける日本語を含むファイルの取り扱い
SAS University Editionにおける日本語を含むファイルの取り扱いSAS University Editionにおける日本語を含むファイルの取り扱い
SAS University Editionにおける日本語を含むファイルの取り扱いSAS Institute Japan
 
SAS言語派集まれ!SAS StudioからSAS Viyaを使ってみよう!
SAS言語派集まれ!SAS StudioからSAS Viyaを使ってみよう!SAS言語派集まれ!SAS StudioからSAS Viyaを使ってみよう!
SAS言語派集まれ!SAS StudioからSAS Viyaを使ってみよう!SAS Institute Japan
 
Pythonで操るSAS Viyaの画像処理技術入門編
Pythonで操るSAS Viyaの画像処理技術入門編Pythonで操るSAS Viyaの画像処理技術入門編
Pythonで操るSAS Viyaの画像処理技術入門編SAS Institute Japan
 
SAS OnDemand for Academics 登録方法
SAS OnDemand for Academics 登録方法SAS OnDemand for Academics 登録方法
SAS OnDemand for Academics 登録方法SAS Institute Japan
 
無料統計・予測分析ツールを提供:SAS Analytics U
無料統計・予測分析ツールを提供:SAS Analytics U無料統計・予測分析ツールを提供:SAS Analytics U
無料統計・予測分析ツールを提供:SAS Analytics USAS Institute Japan
 
SASによるテキスト・アナリティクス入門
SASによるテキスト・アナリティクス入門SASによるテキスト・アナリティクス入門
SASによるテキスト・アナリティクス入門SAS Institute Japan
 
SAS Enterprise Minerを使用した機械学習
SAS Enterprise Minerを使用した機械学習SAS Enterprise Minerを使用した機械学習
SAS Enterprise Minerを使用した機械学習SAS Institute Japan
 
SAS High-Performance Analyticsによるビッグデータ解析
SAS High-Performance Analyticsによるビッグデータ解析SAS High-Performance Analyticsによるビッグデータ解析
SAS High-Performance Analyticsによるビッグデータ解析SAS Institute Japan
 

More from SAS Institute Japan (20)

SAS Japan Blog 記事「統計的因果推論コラム(2)」補足資料
SAS Japan Blog 記事「統計的因果推論コラム(2)」補足資料SAS Japan Blog 記事「統計的因果推論コラム(2)」補足資料
SAS Japan Blog 記事「統計的因果推論コラム(2)」補足資料
 
SAS Japan Blog 記事「統計的因果推論コラム(1)」補足資料
SAS Japan Blog 記事「統計的因果推論コラム(1)」補足資料SAS Japan Blog 記事「統計的因果推論コラム(1)」補足資料
SAS Japan Blog 記事「統計的因果推論コラム(1)」補足資料
 
SAS Learning Subscription 登録手順
SAS Learning Subscription 登録手順SAS Learning Subscription 登録手順
SAS Learning Subscription 登録手順
 
ディープラーニングは、時系列予測でも最強なのか?
ディープラーニングは、時系列予測でも最強なのか?ディープラーニングは、時系列予測でも最強なのか?
ディープラーニングは、時系列予測でも最強なのか?
 
SAS Viyaのディープラーニングを用いた物体検出
SAS Viyaのディープラーニングを用いた物体検出SAS Viyaのディープラーニングを用いた物体検出
SAS Viyaのディープラーニングを用いた物体検出
 
SAS OnDemand for Academics 登録方法
SAS OnDemand for Academics 登録方法SAS OnDemand for Academics 登録方法
SAS OnDemand for Academics 登録方法
 
SAS Visual Analytics 8.3 におけるクロス集計表の作成と可視化
SAS Visual Analytics 8.3 におけるクロス集計表の作成と可視化SAS Visual Analytics 8.3 におけるクロス集計表の作成と可視化
SAS Visual Analytics 8.3 におけるクロス集計表の作成と可視化
 
SAS Viyaによる意識改革からみえたData Scientistの生き方 ~僕たちはどう生きるか~
SAS Viyaによる意識改革からみえたData Scientistの生き方 ~僕たちはどう生きるか~SAS Viyaによる意識改革からみえたData Scientistの生き方 ~僕たちはどう生きるか~
SAS Viyaによる意識改革からみえたData Scientistの生き方 ~僕たちはどう生きるか~
 
SAS ViyaのCNNを活用したProcess Innovation ~機械は解析図表をどう見ているのか~
SAS ViyaのCNNを活用したProcess Innovation ~機械は解析図表をどう見ているのか~SAS ViyaのCNNを活用したProcess Innovation ~機械は解析図表をどう見ているのか~
SAS ViyaのCNNを活用したProcess Innovation ~機械は解析図表をどう見ているのか~
 
SAS Viya Deep Dive: 予測モデリング
SAS Viya Deep Dive: 予測モデリングSAS Viya Deep Dive: 予測モデリング
SAS Viya Deep Dive: 予測モデリング
 
SAS Viya Deep Dive: 自然言語処理&AI
SAS Viya Deep Dive: 自然言語処理&AISAS Viya Deep Dive: 自然言語処理&AI
SAS Viya Deep Dive: 自然言語処理&AI
 
SAS University Editionにおける日本語を含むファイルの取り扱い
SAS University Editionにおける日本語を含むファイルの取り扱いSAS University Editionにおける日本語を含むファイルの取り扱い
SAS University Editionにおける日本語を含むファイルの取り扱い
 
SAS言語派集まれ!SAS StudioからSAS Viyaを使ってみよう!
SAS言語派集まれ!SAS StudioからSAS Viyaを使ってみよう!SAS言語派集まれ!SAS StudioからSAS Viyaを使ってみよう!
SAS言語派集まれ!SAS StudioからSAS Viyaを使ってみよう!
 
Pythonで操るSAS Viyaの画像処理技術入門編
Pythonで操るSAS Viyaの画像処理技術入門編Pythonで操るSAS Viyaの画像処理技術入門編
Pythonで操るSAS Viyaの画像処理技術入門編
 
Python / R で使うSAS Viya
Python / R で使うSAS ViyaPython / R で使うSAS Viya
Python / R で使うSAS Viya
 
SAS OnDemand for Academics 登録方法
SAS OnDemand for Academics 登録方法SAS OnDemand for Academics 登録方法
SAS OnDemand for Academics 登録方法
 
無料統計・予測分析ツールを提供:SAS Analytics U
無料統計・予測分析ツールを提供:SAS Analytics U無料統計・予測分析ツールを提供:SAS Analytics U
無料統計・予測分析ツールを提供:SAS Analytics U
 
SASによるテキスト・アナリティクス入門
SASによるテキスト・アナリティクス入門SASによるテキスト・アナリティクス入門
SASによるテキスト・アナリティクス入門
 
SAS Enterprise Minerを使用した機械学習
SAS Enterprise Minerを使用した機械学習SAS Enterprise Minerを使用した機械学習
SAS Enterprise Minerを使用した機械学習
 
SAS High-Performance Analyticsによるビッグデータ解析
SAS High-Performance Analyticsによるビッグデータ解析SAS High-Performance Analyticsによるビッグデータ解析
SAS High-Performance Analyticsによるビッグデータ解析
 

SAS Viya で異常検知してみよう!

  • 1. Copyright © SAS Institute Inc. All rights reserved. SAS Viyaで異常検知してみよう ~教師無し機械学習の手法とテクニック~ SAS Institute Japan株式会社
  • 2. Copyright © SAS Institute Inc. All rights reserved. アジェンダ 2 1. 異常検知とは 2. One-Class SVMによる異常検知 3. Robust PCAによる異常検知 4. Moving Windows PCA による異常検知 5. 異常検知を業務に適用するポイント
  • 3. Copyright © SAS Institute Inc. All rights reserved. 3 1. 異常検知とは
  • 4. Copyright © SAS Institute Inc. All rights reserved. 大量の計測値からパタンを検出 4 既知のパターン •管理限界値や寸法公差等の 業務上すでに定義されている 異常値やルールを設定すること で、監視データ内にルールに当 てはまるデータを検知し、アラー ト発報等の規定の処理を行い ます。 未知のパターン •多変量の関係や時系列データ の観察等、多変量解析手法 やデータの可視化によって異常 発生するルールを発見。異常 検出ルールを高度化します。 複雑なパターン •非線形の関係や大量のパラ メータの組み合わせ等を機械 学習手法を用いてモデル化、 自己学習機能と合わせて異常 検出を人工知能化(AI)しま す。 関連性 •正常運転状態時のパラメータ 間の相関を学習し、パラメータ の関連性に崩れ始めを検知し ます。 異常検知には3つの手法があります。基準値ベースの異常検知、教師あり学習、教師なし学習です。 本日は、SAS Viyaを用いた「教師なし学習」の手法をご紹介します。
  • 5. Copyright © SAS Institute Inc. All rights reserved. 5 2. One-Class SVMによる異常検知
  • 6. Copyright © SAS Institute Inc. All rights reserved. Support Vector Data Description (SVDD) • 1クラス分類を目的とする教師なしの機械学習手法 • 用途: • 多変量プロセス制御 • 機器予後診断と健康管理 • サイバーセキュリティと侵入検知 • 詐欺の識別 • ハイパースペクトル画像解析 • ウェアラブル機器からの健康データの分析
  • 7. Copyright © SAS Institute Inc. All rights reserved. SVDD - Details • トレーニングデータの周りに最小半径のn次元球面を作成。 • 次に、新しい観測値は、n 次元球面の中心までの距離と半 径と比較しスコアを付ける。 • 半径より大きな距離の観測値は、異常としてフラグを付ける。 • 異常の実例があまりないデータでうまく機能することができる。 • カーネル関数を使用することにより、「通常」の領域をフレキシブ ルにモデル化できる。 • ESP 4.3*1で使用できるASTOREスコアコードを出力する。 0.0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1.0 0.0 0.2 0.4 0.6 0.8 1.0 “正常な状態”で 稼働している群 異常値 *1: SAS Event Stream Processing (リアルタイムデータ解析、オンライン機械学習用製品) SVDDで作成されたモデルをSAS ESPに組み込み、リアルタイム異常検知が可能。
  • 8. Copyright © SAS Institute Inc. All rights reserved. 使用データ:蒸気ボイラーのデータ 8 蒸気圧力(Mpa) 蒸気温度(℃) 蒸気温度(℃)蒸気圧力(Mpa) 時間(30秒単位)
  • 9. Copyright © SAS Institute Inc. All rights reserved. SVDDプログラム 9 svdd_train 1日目データ svdd_score 2日目データ Proc svdd state Analytics store Proc astore score_out スコアリングデータ SAS Studioを使用して、SVDDモデル 作成とスコアリングを実行 SAS Studioではテンプレート上で必 要な項目を選択するだけでSVDDモ デル作成用のコードを自動生成 ※ SAS ViyaのSVDDは、Python, R, Java, Luaからも同様に実行可能です。
  • 10. Copyright © SAS Institute Inc. All rights reserved. 実行結果(Score_out) 10 赤い点が異常と判定されたデータ円の中心からの距離
  • 11. Copyright © SAS Institute Inc. All rights reserved. 11 3. Robust PCAによる異常検知
  • 12. Copyright © SAS Institute Inc. All rights reserved. Robust Principal Component Analysis (RPCA) • 入力行列を低ランク行列とスパース行列の和に分解し、低ランク行列にPCAまたはSVDを実行 することができる。 • 「堅牢性」は、PCA / SVDを適用する前に異常を処理して除去できることに由来。 • スパース行列は異常検出に適している。 • 用途: • 異常検知 • 画像処理 • 行列圧縮 Input Data Low Rank Matrix Sparse Matrix
  • 13. Copyright © SAS Institute Inc. All rights reserved. SVDDプログラム 13 svdd_score 2日目データ Proc rpca lowrankmat 低ランク行列 sparsemat スパース行列 SAS Studioを使用して、RPCAを実行 ※ SAS ViyaのRPCAは、Python, R, Java, Luaからも同様に実行可能です。
  • 14. Copyright © SAS Institute Inc. All rights reserved. 実行結果(sparsemat) 14 赤い点が異常と判定されたデータ
  • 15. Copyright © SAS Institute Inc. All rights reserved. 15 4. Moving Windows PCA による異常検知
  • 16. Copyright © SAS Institute Inc. All rights reserved. Moving Windows Principal Component Analysis (MWPCA) • スライディングウィンドウを使用して時間の経過とともに 主成分の変更を取得する。 • 全体システムと比較したシステムの部品の相対的変化 を検出する。 • 同じ環境に面している同様のマシンは、同様に動作す る仮定で使用する。 • 用途: • 時間の経過とともに類似の設備のパフォーマンスが 異なるが、理想的には互いに類似して動作する状 況(例えば、風力タービン、暖房/冷房装置など)
  • 17. Copyright © SAS Institute Inc. All rights reserved. MWPCA - Details 風力発電のタービンの出力データ • スライディングウインドウ内のデータを分析すること により、時間の経過とともに主成分の重要な変 化を追跡。 • 時間の経過と共に相関関係が維持されると考え られる多くの相関測定値を含む監視システムに 役立つ。 • 季節の影響を受けるシステムに適している • スライディングウインドウ内でRPCA を実装するこ とも可能。 Moving Windows PCA 4機のタービンの中で、1機に主成分の変化が 観測されています。 何かしらの異常が発生している可能性を示唆
  • 18. Copyright © SAS Institute Inc. All rights reserved. MWPCAプログラム 18 svdd_score 2日目データ Proc mwpca windowpcs 低ランク行列 SAS Studioを使用して、RPCAを実行 ※ SAS ViyaのMWPCAは、Python, R, Java, Luaからも同様に実行可能です。
  • 19. Copyright © SAS Institute Inc. All rights reserved. MWPCA結果 19 実測値 MWPCAの結果
  • 20. Copyright © SAS Institute Inc. All rights reserved. 20 5. 異常検知を業務に適用するポイント
  • 21. Copyright © SAS Institute Inc. All rights reserved. 異常値検知前の処理 21 ■閾値の設定が難しい 教師あり学習の場合、異常である確率が出力されますが、教師なし学習の場合は異常値 を検出するもののそれが異常な状態か否か別途判断する必要があります。 群中心からの距離や類似度といった何等かの指標を基に異常を判断する必要があります。 ■複数の手法で判断する方が良い 機械学習の手法はそれぞれ得手、不得手があります。 正解の定義がない教師なし学習の場合、1つの手法で異常値検知をするのではなく、 複数の手法で判断した方が良い結果が得られる可能性があります。 ■システムを十分に理解する必要がある タイムスタンプで分析処理をかけるのが一般的ですが、システムにはタイムラグがあります。 タイムラグを考慮した設計が必要です。 また、経年による変化を考慮しモデルの更新サイクルを考慮する必要があります。
  • 22. Copyright © SAS Institute Inc. All rights reserved. 異常値検知後の処理 22 異常値の発生パタンを分類する事によって異常個所の推定や異常状態の判定が可能になります。 1.乖離 2.外れ値 3.変化 計測値に占める異常値の割合 が大きい。 異常値は連続している。 異常値は瞬間に発生。 連続性がない 計測値に占める異常値の割合 は小さいが、異常値は連続している。
  • 23. Copyright © SAS Institute Inc. All rights reserved. IoT・アナリティクス・ライフサイクル 異常値検知 適用ETL データ データストレージ アラート / レポート/ 制御 適用 f IoT データ インテリジェント データマネージメント ストリーミング アナリティクス実行 自動応答 23
  • 24. Copyright © SAS Institute Inc. All rights reserved. 24 今なら無償でSAS Viyaを試用することができます。 詳細は以下のブログを参照してください。 SAS Viyaを体感してみよう! ~SAS Viya無償試用版利用ガイド~
  • 25. sas.com Copyright © SAS Institute Inc. All rights reserved. ご清聴ありがとうございました。 https://www.sas.com/ja_jp/software/viya.html Viya 検索