異常検知

Confidential. ©2018 DataRobot, Inc. – All rights reserved
異常検知機能とその応用方法
2

1. インターネットに接続
2. app.datarobot.comにログイン
3. connpassのリンクからデータ
セットをダウンロード
異常検知機能と
その応用方法
スケジュール
18:30-19:00 受付・開場
19:00-19:10 環境設定
19:10-19:20 お知らせ
19:20-19:40 異常検知とは
19:40-20:10 DataRobotで異常検知 (ハンズオン)
20:10-20:30 アルゴリズムの特徴
20:30-20:50 良いモデルを選ぶ方法 (ハンズオン)
20:50-21:00 最後に
3

異常検知とは
4

はじめのころ
• Grubbs in 1969: “An outlying observation, or outlier, is one
that appears to deviate markedly from other members of
the sample in which it occurs”
• パターン認識アルゴリズムが外れ値に敏感なので、データクレ
ンジングのための外れ値検知が主なユースケース
その後
• より外れ値にロバストなアルゴリズムの開発によって、異常検
知のニーズが減った
• 2000年くらいから、異常値そのものの分析に興味が寄せら
れ、異常検知が重要になった
異常検知
5
仲間はずれを見つける
AはNと異なる
危険人物やセンサー値の異常の検知
故障、不良品、不正、誤診
A
N

異常検知の例
6
データユースケース
セキュリティ • アクセスログ
• トランザクション
• ネットワークやデータベースの侵入・攻撃の検知（IT）
• 不正検知（金融や保険）
監視 • 工場監視センサー
• ヒト監視センサー
• 機械、設備、製品の不具合検知（製造）
• 患者の不具合検知（ヘルスケア）
制御 • エネルギー消費量
• トラフィック量
• エネルギーの予想外消費量検知（エネルギー）
• ネットワークの予想外トラフィック検知（IT)
間違い直し • 記入録
• 観測値
• ヒューマンエラー検知（データクレンジング）
• 観測エラー検知（データクレンジング）

異常検知のセットアップ
7
教師あり異常検知
One class classification
教師なし異常検知
• 少ない変数での異常検知であれば伝
統的な統計学の手法が強力
• 機械学習の利点は変数が数百に
なってもロバストに動作すること
• ルールベースの検知を強化

異常の種類
x1 x2 → global anomalies
point anomalies
教師なし異常検知
x3 → local anomaly
contextual anomalies
ローカルネイバーとの密度の比較
c3 → micro-cluster anomalies
collective anomalies
数があれば教師あり学習がおすすめ
8

DataRobotで異常検知(ハンズオン)
9

10
baselinevalue
accelerations
fetalmovement
uterine
contractions
abnormalshort
termvariability
meanshortterm
variability
decelerations
light
decelerations
severe
decelerations
prolonged
abnormallong
termvariability
meanlongterm
variability
histogram

教師なし異常検知分析のステップ
11
1. ターゲットの設定 4.
異常検知のブループリン
トを選択して実行
2. 手動でモデリング 5. モデルの評価
3. ホールドアウトの解除 6. モデルのチューニング

1. ターゲットの設定
12
• ターゲットの設定が必要です
• 教師データが全くなければ偽ターゲッ
トを作成
• ラベル付けされているデータが存在す
る場合、それをターゲット
• 多値分類のターゲットは非対応
• ターゲットはモデル生成には使用さ
れません
• 特徴量のインパクトの計算には使用
• 偽ターゲットの場合、特徴量のインパク
トは解釈不可
教師ラベルがない
場合、ランダム変数
のターゲットを作成

2. 手動でモデリング
13
異常検知のみを行い
たい場合、「手動」で
モデリングを行い、異
常検知のブループリ
ントのみを実行しま
す。

3. ホールドアウトのロックの解除
14
教師なし学習に検定データは
必要ないため、100%のデータ
をモデル作成に利用します。

4. 異常検知のブループリントを選択して実行
15
　Anomalyを含むブループリントを検
索（６つあります）
1
　異常検知ブループリン
トをバッチで実行
2 　教師なし学習の場合、全
データでモデル生成
3
　実行するブループリン
トを選択
4
　モデルの生成を開始5

• データの異常度
(anomalyScore)は最も
スコアが高いものを1、
最も低いものを０として
相対評価されます。
• モデルの
anomalyScoreが高い
と予測するデータを目
視確認することで、モデ
ルの評価が可能です。
5. モデルの評価
16
評価を行いたいモデ
ルを選択
インサイトタブ内のAnomaly
Detectionを選択

予測の説明にも対応
17
0−1の範囲で異常具
合を判断
個々の予測を異常と判
断する主な理由を説明
• 特徴量が50以上あ
り、ターゲットが正しい
ラベルでない場合、
リーズンコードが正確
でない可能性があり
ます。
• Anomaly scoreに効
いている特徴量が、
特徴量のインパクトの
計算でtop 50に入ら
ないかもしれないため
です。

正しい教師ラベルがある場合
18
• 偽ではなく、正しい教師ラベ
ルを用いている場合、検定、
交差検定はモデルの精度を
反映します。
• ランダム変数を用いた偽教師
ラベルの場合、検定、交差検
定はモデルの精度を反映しま
せん。
→　その際はモデルの精度は手
動で異常値の高い予測が実際を
反映するかをみることによって確
認
正しい教師ラベルを用
いている際は、モデル
の精度を反映

モデリング、解釈、予測における注意点
19
1. 情報量が少ない（欠損値がある等）行は「正常」と分類されることが多いです
a. 例えば、ある数値が欠損している場合、中央値を使用して補完しますので、異常よりも正常に近くなります
2. 変数が増えるほど異常検知は難しくなります
a. 1000以上の変数を使用すると、異常値を検出することが非常に難しくなります
3. One class SVMは、データセットに異常がなく、収束しない場合があります
a. このような場合、DataRobotはすべての行に0を付けます
4. 異常スコアは正規化されているため、正常な行からあまり離れていなくても、一部の行に異常ラベルが付きます
5. 特徴量のインパクトと特徴量ごとの作用は表示されますが、異常が２値分類のクラスに関連している場合にのみ解釈可能です
a. 特徴量のインパクトは、回帰問題の場合や異常が２値分類の少数派クラスとならない場合は、解釈するのが難しくなりま
す
6. Autopilotでは、異常検知モデルはより大きなサンプルのラウンドに勝ち残らないことがあります
a. モデルを100％のデータで再トレーニングするのが最善です

アルゴリズムの特徴
20

５つのクラスの異常検知
21
教師なし異常検知アルゴリズム
Nearest Neighbor Clustering Statistical Subspace Classifier
Global Local Global Local
KNN LOF
COF
INFLO
LoOP
LOCI
aLOCI
CBLOF
uCBLOF
LDCOF
CMGOS
HBOS
Double MAD
Mahalanobis
rPCA
CMGOS
Isolation Forest
One Class SVM
青で書かれているものはDataRobotにある
他にもautoencoderなどがある

DataRobotの異常検知アルゴリズム
22
Isolation Forest One Class SVM Local Outlier Factor (LOF)
Double Median Absolute
Deviance (MAD)
Mahalanobis Distance Ranked
Anomaly Detection
Anomaly Detection Blender
Isolation ForestとDouble MAD
の平均、最小、最大
Anomaly Detection with Supervised Learning (XGB)
Isolation ForestとDouble MADの平均をターゲットに変換してXGB

Anomaly Detection with Supervised Learning
23
ラベルのないデータ
に偽ラベルをつけて
アップロード
異常かどうかの
２値分類
教師なし異常検知で
異常スコアを計算
異常スコアが高いトップn%が異
常とラベル付される予測ター
ゲットを自動生成
デフォルトはn=10で、高度なオ
プションで変更可能
XGBoostで教師あり学習
インサイトタブにある
特徴量の有用性が
解釈可能

6. モデルのチューニング
24
　高度なチューニングタブ
を選択
1
　異常値と判断される割合を
調整
異常値スコアが高いデータ数
が少なすぎる場合は
expected_outlier_fractionの
値を高くして再モデリング
異常値スコアが高いデータ数
が多すぎる場合は
expected_outlier_fractionの
値を低くして再モデリング
2
　チューニングした
モデルを生成
3

Anomaly Detection with Supervised Learning
25
• インサイトタブにある変数の有用性
は、Anomaly scoreをターゲットと
しているので、解釈可能です。
→ ADXGBの特徴量はSVDコン
ポーネントを使い解釈が難しいの
で、高度なチューニングでSVDのk
を1に設定
• 特徴量のインパクトは元のターゲッ
トで計算されているので、要注意で
す。　
→ 特徴量のインパクトを使用した
い場合、anomaly scoreがター
ゲットの新しい教師あり学習を実行

横軸がFM、縦軸がVariance、サイズがスコア
26

良いモデルを選ぶ方法(ハンズオン)
27

検証用に少量の正解データがある場合
28
ホールドアウトには
正解を入れておいた
ので、実運用した場
合の精度の目安が
わかる。ただし、本
来はこのスコアは知
り得ない点に注意
ホールドアウトに検証
用の正解データを入
れる
ターゲットはランダム
にしておいたので、検
定には意味がない

正解データがない場合の検証
29
異常スコアの説明と分布、スキャタープロットなどをみてメイクセ
ンスか確認

異常スコアが高いものと低いものを目で確認
30

デプロイのイメージ
31
製品スペック
材料情報
周辺環境
製造パラメーター
機械学習の自動化
不良品、故障、
不正、侵入など
調査するものを
フラグ
インサイトをもとに人
間が改善提案

最後に
32

半教師あり学習
33
分離性が良い例
少ない教師データで予測モ
デリングを行う
大量のラベルなし
データに対して予
測を行う
確信度が閾値以上
のデータを正解と
みなして擬似ラベ
ルを付与
教師ありデータに
追加する
繰り返す
教師データが少なく、決
定境界をどこに引けば良
いかわからない
こんな感じで決定境界
引けそう
??
?

半教師あり学習による予測性能の底上げ
34
まずは教師なし異常検知をはじめ、正解データを準備して、半教師あり、教師ありと移っていくのが理想
DataRobotユーザー様、半教師あり学習についてはアドバンスドトレーニングで！
半教師あり学習
教師あり学習（ラベルは少量）
教師なし学習
教師あり学習（全データにラベルあり）

時系列の異常検知
35
時系列モデルを構築して、エラーの
大きいところを確認
DataRobotユーザー様、時系列モデリングにつ
いては10月5日の時系列分析トレーニング@新
丸ビルEGG Japanで！
● t2は時系列でのcontextual anomaly
● t1はt2と同じ値だが異常ではない
赤い部分はcollective anomalies

まとめ
36
• データに異常はつきもの
• データクレンジングがはじめの用途
• ヒューマンエラー、観測エラー、不正、侵入、…
• 異常検知は重要なビジネス応用がたくさんある
• 故障検知、不良品検知、不正検知、誤診検知、…
• ビジネスでは変数が多いが、機械学習はロバスト
• 異常検知モデルの評価には業務知識が重要
• 少量でも検証できる正解データを準備できると精度を見ることが可能
• 検証データがない場合は異常スコアの分布や説明をみて確認
• 機械学習といえば分類、回帰、…そして異常検知
• まずは教師なし異常検知でスタート
• 正解データを準備して、半教師あり、教師ありと移っていくのが理想的

異常検知

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Similar to 異常検知

Similar to 異常検知 (19)

Recently uploaded

Recently uploaded (12)

異常検知