異常検知 - 何を探すかよく分かっていないものを見つける方法

®
© 2014 MapR Technologies 1
© MapR Technologies, confidential
®
何を探すかよく分かっていないもの
を見つける方法 
異常検知
2014 年 10 月 14 日

®
異常検知:
何を探すかよく分かっていないものを見つける方法
Ted Dunning, MapR Technologies チーフアプリケーションアーキテクト
Email tdunning@mapr.com tdunning@apache.org
Twitter @Ted_Dunning
Ellen Friedman, コンサルタント／コメンテータ
Email ellenf@apache.org
Twitter @Ellen_Friedman

®
MapR の厚意により e-book が入手可
http://bit.ly/1jQ9QuL
A New Look at Anomaly Detection
Ted Dunning、Ellen Friedman 著、2014 年 6 月出版（オライリーより）

®
Practical Machine Learning シリーズ（オライリー）
•  機械学習はメインストリームになりつつある
•  実際のビジネス環境を考慮に入れた実用的なアプローチが必要:
–  価値創造までの時間 (Time to Value)
–  限られたリソース
–  データの入手可能性
–  システム開発・運用を行うチームの専門知識とコスト
•  費やす労力に対して大きな効果をもたらすアプローチを探す

®
異常検知!

®
誰が異常検知を必要としているか?
スマートメーターを利用
している公益事業提供者

®
工場の組立ラインからの
フィードバック

®
通信ネットワークの
データトラフィックの監視

®
異常検知とは何か?
•  まれに起きる出来事を発見することが目的
–  特に、起きるべきではない事象
•  他の人々が気づく前に問題を見つける
–  特に、顧客にとっての問題を起こす前に
•  なぜ難しいのか?
–  異常がどのようなものか（まだ）分からない

®
異常を見つけてください

®
かなり異常に
見える

®
本当の異常の方、ご起
立いただけますか?

®
基本となる考え方: 
まず “正常な状態” を見つける!

®
異常検知のステップ
•  モデルを構築: モデルを学習させるためのデータを収集・処理する
•  機械学習モデルを使用し、何が通常のパターンかを見極める
•  この通常パターンからどれだけ乖離したときに異常とみなすかを決定
する
•  異常検知モデルを使用して新しいデータの異常を検知する
–  発見のためのクラスタリング等の手法が役に立つ

®
異常のアラートを設定するのはどれほど難しいか?
グレーのデータが通常の出来事の値、x が異常値
しきい値をどこに設定するか?

®
基本となる考え方: 
適応的しきい値の設定!

®
実際に何をしているか
•  何かが起きたときに行動を起こしたい
（死ぬ／落ち込む／何もしないとトラブルになる)
•  しかし、行動を起こすには高くつく
•  したがって、誤ったアラームが上がりすぎると困る
•  さらに、検出もれがありすぎても困る
•  警告を出すために設定する適切なしきい値は何か?
–  コストとのトレードオフが必要

®
もう一度見てみましょう

®
もう一度見てみましょう
99.9 パーセンタイル

®
新しいアルゴリズム: t-digest!

®
オンライン
サマライザ
t
x > t ? アラーム !
x
そんなの簡単でしょう?

®
散発的なイベントにおける異常検知
0.0 0.2 0.4 0.6 0.8 1.0
05000100001500020000
pnorm(centroids[order(centroids)])
counts[order(centroids)]

®
t-Digest の利用
•  Apache Mahout はオンラインパーセントタイル推定値として t-digest
を利用している
–  極端に飛び出た値に対しては非常に高精度
–  Mahout バージョン 0.9 の新機能
•  t-digest は他でも利用可能
–  streamlib の中（github 上のオープンソースライブラリ）
–  スタンドアローン（github および Maven Central）
•  異常検知って大したことではないのでは?
•  これで問題は解決したように見える

®
もう実装済み? Etsy Skyline?

®
これはどうか?
0 5 10 15
−20246810
offset+noise+pulse1+pulse2
A
B

®
モデルデルタ異常検知
オンライン
サマライザ
δ > t ?
t
アラーム !
モデル
-
+ δ

®
内部の事情
•  モデルデルタ異常検知器は実際のところ単なる確率変数の和
–  すでに知っているモデル
–  そして正規分布に従う誤差
•  出力（デルタ）は（おおよそ）和の分布の対数確率（実際には δ2）
•  確率分布を思い浮かべればよい
•  しかし散発的なイベントがあるシステムでどのように異常検知を扱え
ばよいか?

®
異常?

®
おそらく違う !

®
ウォーリーをさがせ !
これが本当の異常

®
通常は単なる通常ではない
•  何が通常かを表すモデルが欲しい
•  モデルに合致しないものを異常とする
•  シンプルなシグナルであれば、モデルもシンプルになり得る …
•  実世界ではそれほどぴったり当てはまることはない
x ~ N(0,ε)

®
ウィンドウを適用する

®

®
世界の窓
•  ウィンドウを適用したシグナルのセットはオリジナルのシグナルに対
するよいモデル
•  クラスタリングによりプロトタイプを見つけることができる
–  スパースコーディングを使った優れた手法を利用可能
•  結果は形状の辞書
•  新しいシグナルは辞書から形状を平行移動、拡大縮小、追加すること
によりエンコードできる

®
最もよく現れる形状（心電図）

®
再構成されたシグナル
オリジナル
のシグナル
再構成された
シグナル
再構成エラー
< 1 bit / サンプル

®
異常
1次元の異常検出のための従
来の手法は再構成エラーに対
して有効

®
異常をクローズアップ
あって欲しくない心臓の動き
モデルが予期していない心臓
の動き

®
異なる種類の異常

®
オンライン
サマライザ
δ > t ?
t
アラーム !
モデル
-
+ δ

®
内部の事情
•  モデルデルタ異常検知器は実際のところ単なる確率変数の和
–  すでに知っているモデル
–  そして正規分布に従う誤差
•  出力（デルタ）は（おおよそ）和の分布の対数確率（実際には δ2）
•  確率分布を思い浮かべればよい

®
散発的なイベントにおける異常!

®
eビジネスのサイトに対する散発的な Web トラフィック
トラフィックが停止もしくは遅延しているのは何
らかの問題があったからかどうかを知ることは
重要…
しかしサイトへの訪問の間隔は通常
変動する
最後のイベントからどれくらい経過し
たら気にし始めるべきだろうか?

®
eビジネスのサイトに対する散発的な Web トラフィック
トラフィックが停止もしくは遅延しているのは何
らかの問題があったからかどうかを知ることは
重要…
しかしサイトへの訪問の間隔は通常
変動する
そして、どうやったらあなたの会社の
CEOを安心して眠らせることができる
だろうか?

®
基本的な考え方: 
イベントの時間間隔は評価可能な 
役立つものに変換することができる!

®
散発的なイベント: 通常と異常のパターンを見つける
•  時間間隔は絶対時間よりもはるかに役に立つ
•  カウントは確率モデルに直接結びつかない
•  時間間隔は log ρ
•  これは非常に重要

®
イベントのストリーム（タイミング）
•  様々なタイプのイベントが不規則な間隔で到着する
–  ポワソン分布を仮定する
•  頻度が期待値と比較して変化したかどうかが重要
–  これは間隔の変化として現れる
•  できる限り早くアラートを上げたい

®
イベント時間を異常値に変換
99.99パーセンタイル

®
しかし現実にはイベントの 
発生頻度はしばしば変化する!

®
時間間隔は散発的なイベントをモデリングするための鍵

®
モデルに従いスケールされた間隔が問題を解決する

®
オンライン
サマライザ
δ > t ?
t
アラーム !
モデル
-
+ δ
log p

®
Incoming
events
99.97%-ile
Alarm
Δn
Rate
predictor
Rate
history
t-digest
δ>t
ti δ λ(ti-ti-n)
λ
t

®
一週間ずらしてみる: シンプルなレート予測器
Nov 02 Nov 07 Nov 12 Nov 17 Nov 22 Nov 27 Dec 02
0100200300400500
Main Page Traffic
Date
Hits(x1000)
A B C D

®
ポアソン分布
•  イベントの時間間隔は指数分布
•  つまり、長い遅延は指数関数的にまれ
•  もし λ がわかれば、良いしきい値を選択できる
–  もしくはしきい値を経験的に選択できる
Δt ~ λe−λt
P(Δt > T) = e−λT
−logP(Δt > T) = λT

®
季節性は難しい問題
Nov 17 Nov 27 Dec 07 Dec 17 Dec 27
02468
Christmas Traffic
Date
Hits/1000

®
もう少し何かが必要 …
Nov 17 Nov 27 Dec 07 Dec 17 Dec 27
02468
Christmas Traffic
Date
Hits/1000

®
より良いレート予測器が必要…
Incoming
events
99.97%-ile
Alarm
Δn
Rate
predictor
Rate
history
t-digest
δ>t
ti δ λ(ti-ti-n)
λ
t

®
散発的なイベントのための新しいレート予測器
Predictor
variables
Target
variable
2008-11-23 13:00:00 681 638 491 445 614 545
2008-11-23 14:00:00 755 681 638 491 705 614
2008-11-23 15:00:00 887 755 681 638 687 705
2008-11-23 16:00:00 964 887 755 681 842 687
Date/time
y
Current
rate
x1
1 hour
ago
x2
2 hours
ago
x3
3 hours
ago
x4
24 hours
ago
x5
48 hours
ago

®
適応的モデリングによる予測の改善
Dec 17 Dec 19 Dec 21 Dec 23 Dec 25 Dec 27 Dec 29
02468
Christmas Prediction
Date
Hits(x1000)

®
異常検知 + 分類 à 有効な組み合わせ
•  新しいデータの中で異常を検出するために異常検知モデルを利用
–  発見のためのクラスタリングのような手法が役に立つことも
•  一度システムでよくできたモデルが手に入れば、これらをタグ付けす
るために分類を行うことも有効
•  新しい異常を見つけるために異常検知モデルを使い続ける

®
まとめ（順不同）
•  異常検知は確率モデルで取り扱うのがベスト
•  -log p は異常の評価値に変換するのに適した方法
•  適応的分位点推定 (t-digest) はしきい値の自動設定に有効

®
まとめ
•  システムごとに異なるモデルが必要
•  継続的時系列
–  シグナルモデルを構築するためのスパースコーディング
•  時間イベント
–  ポワソン分布の変動レートに基づくレートモデル
–  分離レートモデル
•  ラベル付きのイベント
–  言語モデル
–  隠れマルコフモデル

®
なぜ異常検知を使うのか?

®
覚えておいてください…
•  通常をモデルして、
それから異常を見つける
•  適応的しきい値のための
t-digest
•  複雑なパターンのための
確率モデル
-
0 5 10 15
−20246810
offset+noise+pulse1+pulse2
A
B

®
Dec 17 Dec 19 Dec 21 Dec 23 Dec 25 Dec 27 Dec 29
02468
Christmas Prediction
Date
Hits(x1000)
覚えておいてください…
•  時間間隔は散発的イベントの
ための鍵
•  季節性のあるレートを予測する
ための複雑な時間シフト
•  連続するイベントによりフィッ
シング攻撃が明らかになる

®
MapR の厚意により e-book が入手可
http://bit.ly/1jQ9QuL
A New Look at Anomaly Detection

®
10月に出版予定: Time Series Databases
TimeSeries
Databases
Ted Dunning &
Ellen Friedman
New Ways to Store and Access

®
本日はご来場ありがとうございました!!

®
Sandbox!

異常検知 - 何を探すかよく分かっていないものを見つける方法

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Viewers also liked

Viewers also liked (20)

More from MapR Technologies Japan

More from MapR Technologies Japan (20)

異常検知 - 何を探すかよく分かっていないものを見つける方法