Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
12章密度比推定による変化検知
機械学習プロフェッショナルシリーズ輪読会
異常検知と変化検知
藤田恵梨香
12.密度比推定による変化検知
Goal
・恣意的な分布の過程を使わず
密度比の直接推定により変化検知を行う
・分布全体の変化をマクロ的に調べる
変数同士の依存関係の変化をみる
ページ番号
155
12.1 変化検知とカルバック・ライブラー密度比推定
(9章の復習)
一次元時系列データ
D = 𝜉 1
, 𝜉 2
, ⋯ , 𝜉 𝑁
を幅Mのスライド窓で
M次元ベクトルデータD = 𝒙 1
, 𝒙 2
, ⋯ , 𝒙 𝑁
に変換する M点...
変化検知
⇒Dについて過去の分布𝑝(𝒙)と現在の分布
𝑝’(𝒙)の違いを調べる
t
過去の分布
現在の分布
ページ番号
115
12.1 変化検知とカルバック・ライブラー密度比推定
(9章の復習)
変化の度合い:
𝑎 D, D′
= 𝑑𝒙𝑝 𝒙 ln 𝑟 𝒙 𝑟(𝒙) ≡
𝑝(𝒙)
𝑝′(𝒙)
(12.1)
𝑝(𝑥)と𝑝′(𝑥)のカルバック・ライブラー・ダイバージェンスは
𝐾𝐿(𝑝| 𝑝′
= 𝑑𝒙𝑝 𝒙 ln 𝑟 𝒙 (12.2)
𝑎 ...
12.1 変化検知とカルバック・ライブラー密度比推定
𝑎 D, D′
= 𝐾𝐿(𝑝| 𝑝′
より
変化の度合い:
DとD’の分布の変化度を
カルバック・ライブラー・ダイバージェンスで
測ったもの
ページ番号
156
12.1変化検知とカルバック・ライブラー密度比推定
(距離の定義)
二変数関数g(𝑥, 𝑦)が以下4つの条件を
満たすときg 𝑥, 𝑦 :距離関数という
非負性:g 𝑥, 𝑦 ≥ 0
対称性: g 𝑥, 𝑦 = g 𝑦, 𝑥
同一性: g 𝑥,...
𝐾𝐿(𝑝| 𝑝′
= 𝑑𝑥𝑝 𝒙 ln
𝑝(𝒙)
𝑝′(𝒙)
非負性:g 𝑥, 𝑦 ≥ 0
・積分≒面積を求める ので満たす
同一性: g 𝑥, 𝑦 = 0 ⇔ 𝑥 = 𝑦
・𝑝 𝑥 = 𝑝′(𝑥)の時ln
𝑝(𝑥)
𝑝′(𝑥)
=0より満たす...
𝐾𝐿(𝑝| 𝑝′
= 𝑑𝑥𝑝 𝒙 ln
𝑝(𝒙)
𝑝′(𝒙)
対称性: g 𝑥, 𝑦 = g 𝑦, 𝑥
𝑑𝑥𝑝 𝑥 ln
𝑝(𝑥)
𝑝′(𝑥)
≠ 𝑑𝑥𝑝′ 𝑥 ln
𝑝′(𝑥)
𝑝(𝑥)
三角不等式: g 𝑥, 𝑦 + g 𝑦, 𝑧 ≥ g ...
𝐾𝐿(𝑝| 𝑝′
= 𝑑𝑥𝑝 𝒙 ln
𝑝(𝒙)
𝑝′(𝒙)
対称性: g 𝑥, 𝑦 = g 𝑦, 𝑥
𝑑𝑥𝑝 𝑥 ln
𝑝(𝑥)
𝑝′(𝑥)
≠ 𝑑𝑥𝑝′ 𝑥 ln
𝑝′(𝑥)
𝑝(𝑥)
三角不等式: g 𝑥, 𝑦 + g 𝑦, 𝑧 ≥ g ...
カルバック・ライブラー・ダイバージェンスは・・・
非負性:g 𝑥, 𝑦 ≥ 0
同一性: g 𝑥, 𝑦 = 0 ⇔ 𝑥 = 𝑦
→満たしている
対称性: g 𝑥, 𝑦 = g 𝑦, 𝑥
三角不等式: g 𝑥, 𝑦 + g 𝑦, 𝑧 ≥ g 𝑥,...
変化の度合い:分布の相違度を
カルバック・ライブラー・ダイバージェンスで測ることに帰着
𝐾𝐿(𝑝| 𝑝′
= 𝑑𝑥𝑝 𝑥 ln 𝑟(𝑥)
𝐾𝐿(𝑝| 𝑝′
を得る為に𝑟 ≡
𝑝′(𝑥)
𝑝(𝑥)
近似する必要がある
変化度の計算に
𝑝と𝑝′をそ...
変化の度合い:分布の相違度を
カルバック・ライブラー・ダイバージェンスで測ることに帰着
𝐾𝐿(𝑝| 𝑝′
= 𝑑𝑥𝑝 𝑥 ln 𝑟(𝑥)
𝐾𝐿(𝑝| 𝑝′
を得る為に𝑟 ≡
𝑝(𝑥)
𝑝′(𝑥)
近似する必要がある
変化度の計算に
𝑝と𝑝′をそ...
変化の度合い:分布の相違度を
カルバック・ライブラー・ダイバージェンスで測ることに帰着
𝐾𝐿(𝑝| 𝑝′
= 𝑑𝑥𝑝 𝑥 ln 𝑟(𝑥)
𝐾𝐿(𝑝| 𝑝′
を得る為に𝑟 ≡
𝑝(𝑥)
𝑝′(𝑥)
近似する必要がある
変化度の計算に
𝑝と𝑝′をそ...
変化の度合い:分布の相違度を
カルバック・ライブラー・ダイバージェンスで測ることに帰着
𝐾𝐿(𝑝| 𝑝′
= 𝑑𝑥𝑝 𝑥 ln 𝑟(𝑥)
𝐾𝐿(𝑝| 𝑝′
を得る為に𝑟 ≡
𝑝(𝑥)
𝑝′(𝑥)
近似する必要がある
変化度の計算に
𝑝と𝑝′をそ...
変化の度合い:分布の相違度を
カルバック・ライブラー・ダイバージェンスで測ることに帰着
𝐾𝐿(𝑝| 𝑝′
= 𝑑𝑥𝑝 𝑥 ln 𝑟(𝑥)
𝐾𝐿(𝑝| 𝑝′
を得る為に𝑟 ≡
𝑝(𝑥)
𝑝′(𝑥)
近似する必要がある
変化度の計算に
直接rの推定...
変化の度合い:分布の相違度を
カルバック・ライブラー・ダイバージェンスで測ることに帰着
𝐾𝐿(𝑝| 𝑝′
= 𝑑𝑥𝑝 𝑥 ln 𝑟(𝑥)
𝐾𝐿(𝑝| 𝑝′
を得る為に𝑟 ≡
𝑝(𝑥)
𝑝′(𝑥)
近似する必要がある
変化度の計算に
直接rの推定...
𝑟 ≡
𝑝(𝑥)
𝑝′(𝑥)
の近似
• 𝑟𝑝′(𝑥) ≈ 𝑝(𝑥)となっている必要がある
ページ番号
157
12.1変化検知とカルバック・ライブラー密度比推定
𝑟 ≡
𝑝(𝑥)
𝑝′(𝑥)
の近似
• 𝑟𝑝′(𝑥) ≈ 𝑝(𝑥)となっている必要がある
• 𝑝(𝑥) = 1であるためこれを制約として加え
る
→ 𝑟𝑝′(𝑥) = 1 という制約を得る
ページ番号
157
12.1変化検知とカルバック・ラ...
変化の度合いを求める一つの方法として
一般化カルバック・ライブラー・ダイバージェンス
𝑑𝑥𝑝 𝒙 ln
𝑝(𝒙)
𝑟𝜃(𝒙)𝑝′(𝒙)
− 1 + 𝑟𝜃(𝒙)𝑝′(𝒙)
を最小化することを考える(11.2節と同様)
ページ番号
158
12.1...
min
𝜃
𝐽 𝜃 , 𝐽𝜃) =
1
𝑁′
𝑛′=1
𝑁′
𝑟𝜃 𝑥′
𝑛′ −
1
𝑁′
𝑛=1
𝑁
𝑟𝜃 𝑥 𝑛
これを勾配法を用いて解くと𝑟の推定値 𝑟
が得られる
ページ番号
158
12.1変化検知とカルバック・ライブラー密度比推定
式12.1 a D, D′
= 𝑑𝑥𝑝 𝑥 ln 𝑟 𝑥
4.1式 𝑝 𝑒𝑚𝑝 𝑥|𝐷 =
1
𝑁 𝑛=1
𝑁
𝛿(𝑥 − 𝑥 𝑛
)
で近似すると
𝑎 𝐾𝐿 D, D′
=
1
𝑁
𝑛=1
𝑁
ln 𝑟(𝑥 𝑛) (12.3)
が得られる
ペ...
式12.1 a D, D′
= 𝑑𝑥𝑝 𝑥 ln 𝑟 𝑥
4.1式 𝑝 𝑒𝑚𝑝 𝑥|𝐷 =
1
𝑁 𝑛=1
𝑁
𝛿(𝑥 − 𝑥 𝑛
)
で近似すると
𝑎 𝐾𝐿 D, D′
=
1
𝑁
𝑛=1
𝑁
ln 𝑟(𝑥 𝑛) (12.3)
が得られる
ペ...
式12.1 a D, D′
= 𝑑𝑥𝑝 𝑥 ln 𝑟 𝑥
4.1式 𝑝 𝑒𝑚𝑝 𝑥|𝐷 =
1
𝑁 𝑛=1
𝑁
𝛿(𝑥 − 𝑥 𝑛
)
で近似すると
𝑎 𝐾𝐿 D, D′
=
1
𝑁
𝑛=1
𝑁
ln 𝑟(𝑥 𝑛) (12.3)
が得られる
ペ...
12.2その他のダイバージェンスによる分布変化度の評価
𝑎 𝐾𝐿 D, D′
=
1
𝑁
𝑛=1
𝑁
ln 𝑟(𝑥 𝑛)
ページ番号
158
𝑎 𝐾𝐿 D, D′
=
1
𝑁
𝑛=1
𝑁
𝒍𝒏 𝒓(𝒙 𝒏)
・0近傍では変化量が大
・データの微小な変化が捉えられる
利点
ページ番号
158
12.2その他のダイバージェンスによる分布変化度の評価
𝑎 𝐾𝐿 D, D′
=
1
𝑁
𝑛=1
𝑁
𝒍𝒏 𝒓(𝒙 𝒏)
・0近傍では変化量が大
・データの微小な変化が捉えられる
ノイズの影響を受けやすい
一方
利点
ページ番号
158
12.2その他のダイバージェンスによる分布変化度の評価
• KL距離の一般化:𝑓ダイバージェンス
𝐹(𝑝| 𝑝′
= 𝑑𝑥𝑝′ 𝒙 𝑓
𝑝(𝒙)
𝑝′(𝒙)
*カルバック・ライブラー・ダイバージェンス:
𝑓 𝑡 = 𝑡 ln 𝑡
KL(𝑝| 𝑝′
= 𝑑𝑥𝑝 𝒙 ln
𝑝(𝒙)
𝑝′(𝒙)
ページ番...
• KL距離の一般化:𝑓ダイバージェンス
𝐹(𝑝| 𝑝′
= 𝑑𝑥𝑝 𝒙 𝑓
𝑝(𝒙)
𝑝′(𝒙)
*ピアソンダイバージェンス: 𝑓 𝑡 = (𝑡 − 1)2
PE(𝑝| 𝑝′
= 𝑑𝑥𝑝 𝒙
𝑝 𝒙
𝑝′ 𝒙
− 1
2
(12.4)
→対数...
*ピアソンダイバージェンスによる変化検知
PE(𝑝| 𝑝′
= 𝑑𝑥𝑝′ 𝒙
𝑝 𝒙
𝑝′ 𝒙
− 1
2
11.3節で扱った最小二乗密度比推定法より
推定値 𝑟を得る
PE(𝑝| 𝑝′
= 𝑑𝑥𝑝 𝒙
𝑝 𝒙
𝑝′ 𝒙
− 1
ページ番号
1...
PE(𝑝| 𝑝′
= 𝑑𝑥𝑝 𝒙
𝑝 𝒙
𝑝′ 𝒙
− 1
を4.1式で近似することで
𝑎 𝐾𝐿 D, D′
=
1
𝑁
𝑛=1
𝑁
ln 𝑟(𝑥 𝑛)
ページ番号
159
12.2.1 ピアソンダイバージェンス
密度比
𝑝 𝒙
𝑝′ 𝒙
は分母が0に近いときに不安定
→解決するための方法:相対密度比
r 𝛽
𝑥 =
𝑝(𝑥)
𝛽𝑝 𝑥 + 1−𝛽 𝑝′(𝑥)
𝛽 ∈ [0,1]
を用いた相対ピアソンダイバージェンスを考える
ページ番号
159
そもそも...
相対密度比
r(𝛽)
𝑥 =
𝑝(𝑥)
𝛽𝑝 𝑥 + 1−𝛽 𝑝′(𝑥)
=
1
𝛽+ 1−𝛽
𝑝′(𝑥)
𝑝(𝑥)
≤
1
𝛽
𝛽 ∈ 0,1 𝛽: 𝑟 𝑥 を調整するパラメータ
参考
𝛽=0:r(𝛽)
𝑥 = 𝑟(𝑥)
𝛽=0.5:r(𝛽)...
相対密度比
r(𝛽)
𝑥 =
𝑝(𝑥)
𝛽𝑝 𝑥 + 1−𝛽 𝑝′(𝑥)
は
11.3節で用いた最小二乗密度比推定法において
𝐺 𝛽 =
𝛽
𝑁
𝑛=1
𝑁
𝜓 𝑥 𝑛 𝜓 𝑥 𝑛
𝑡 +
1 − 𝛽
𝑁′
𝑛′=1
𝑁′
𝜓 𝑥 𝑛′ 𝜓 𝑥...
推定したr(𝛽)
𝑥 を用いて最終的に
𝑎𝑟𝑃𝐸 𝐷, 𝐷′
=
1
𝑁 𝑛=1
𝑁
𝑟(𝛽) − 1が得られる
ページ番号
161
12.2.2相対ピアソンダイバージェンス
確率分布の変化だけではなく各要素間の
依存性の変化を捉える手法を紹介する
𝑥0
𝑥1
𝑥3
𝑥2
𝑥0
𝑥1
𝑥3
𝑥2
ページ番号
161
12.3.1 問題の定義
構造変化検知問題
D,D’が与えられたとき各標本から導かれるグラフの
隣接行列の辺の重みの変化を計算する問題
𝑥0
𝑥1
𝑥3𝑥2
𝑥0
𝑥1
𝑥3𝑥2
接点𝑥 𝑚, 𝑥 𝑚′間の辺の変化度
𝑎 𝑚,𝑚′ ≡ Λ − Λ′ (12.5)
Λ −...
ガウス型グラフィカルモデルについては
10.4節の疎構造学習を用いて
Λ − Λ′を求めれば推定できるのでは!?
ページ番号
161,162
12.3.1 問題の定義
例題1
Λ =
2 0 1
0 2 0
1 0 2
, Λ′ =
2 0 0
0 2 0
0 0 2
にしたがうデータ𝐷, 𝐷′の精度行列を推定する
Λ =
1.382 0 0.201
0 1.788 0
0.201 0 1.428
, Λ′ ...
Λ − Λ′
=
0 0 1
0 0 0
1 0 0
, Λ − Λ′ =
−0.235 0 0.201
0 0.077 0
0.201 0 −0.244
Λ =
1.382 0 0.201
0 1.788 0
0.201 0 1.428
, ...
Λ − Λ′
=
0 0 1
0 0 0
1 0 0
, Λ − Λ′ =
−0.235 0 0.201
0 0.077 0
0.201 0 −0.244
Λ =
1.382 0 0.201
0 1.788 0
0.201 0 1.428
, ...
Λ − Λ′
=
0 0 1
0 0 0
1 0 0
, Λ − Λ′ =
−0.235 0 0.201
0 0.077 0
0.201 0 −0.244
Λ =
1.382 0 0.201
0 1.788 0
0.201 0 1.428
, ...
Λ − Λ′
=
0 0 1
0 0 0
1 0 0
, Λ − Λ′ =
−0.235 0 0.201
0 0.077 0
0.201 0 −0.244
Λ =
1.382 0 0.201
0 1.788 0
0.201 0 1.428
, ...
Λ − Λ′
=
0 0 1
0 0 0
1 0 0
, Λ − Λ′ =
−0.235 0 0.201
0 0.077 0
0.201 0 −0.244
Λ =
1.382 0 0.201
0 1.788 0
0.201 0 1.428
, ...
例題2
Λ =
2 1 0
1 2 1
0 1 2
, Λ′ =
2 0 1
0 2 1
1 1 2
にしたがうデータ𝐷, 𝐷′の精度行列を推定する
Λ =
1.303 0.348 0
0.348 1.157 0.240
0 0.240 1.3...
Λ − Λ′ =
0 1 −1
1 0 0
−1 0 0
, Λ − Λ′ =
−0.040 0.348 −0.297
0.348 −0.278 0.004
−0.297 0.004 −0.209
Λ =
2 1 0
1 2 1
0 1 2
,...
Λ − Λ′ =
0 1 −1
1 0 0
−1 0 0
, Λ − Λ′ =
−0.040 0.348 −0.297
0.348 −0.278 0.004
−0.297 0.004 −0.209
Λ =
2 1 0
1 2 1
0 1 2
,...
Λ − Λ′ =
0 1 −1
1 0 0
−1 0 0
, Λ − Λ′ =
−0.040 0.348 −0.297
0.348 −0.278 0.004
−0.297 0.004 −0.209
Λ =
2 1 0
1 2 1
0 1 2
,...
• 変化度の計算
グラフ|Λ − Λ′
|構造の個別推定
ページ番号
164
12.3.1 問題の定義
• 変化度の計算
グラフ|Λ − Λ′
|構造の個別推定
パブニックの原理
「ある問題を解くときにそれよりも一般的な問題
を途中段階で解くべきではない」
個別の精度行列
Λ, Λ′
がわかる
精度行列の差
|Λ − Λ′|
がわかる
ページ番号...
• 変化度の計算
グラフ|Λ − Λ′
|構造の個別推定
パブニックの原理
「ある問題を解くときにそれよりも一般的な問題
を途中段階で解くべきではない」
個別の精度行列
Λ, Λ′
がわかる
精度行列の差
|Λ − Λ′|
がわかる
ページ番号...
12.3.2 密度比の直接推定による構造変化検知
ページ番号
164
パブニックの原理に従い
ガウス型グラフィカルモデルの精度行列の差
Θ 𝑚,𝑚′ = Λ 𝑚,𝑚′ − Λ′ 𝑚,𝑚′
を直接推定する
ここで𝑁(𝑥|0, Λ−1
) =
de...
パブニックの原理に従い
ガウス型グラフィカルモデルの精度行列の差
Θ 𝑚,𝑚′ = Λ 𝑚,𝑚′ − Λ′ 𝑚,𝑚′
を直接推定する
ここで𝑁(𝑥|0, Λ−1
) =
det(Λ)1/2
(2𝜋) 𝑀/2 exp −
1
2
𝑥 𝑡
Λx よ...
パブニックの原理に従い
ガウス型グラフィカルモデルの精度行列の差
Θ 𝑚,𝑚′ = Λ 𝑚,𝑚′ − Λ′ 𝑚,𝑚′
を直接推定する
ここで𝑁(𝑥|0, Λ−1
) =
det(Λ)1/2
(2𝜋) 𝑀/2 exp −
1
2
𝑥 𝑡
Λx よ...
精度行列の差の直接推定 密度比の推定
𝑁(𝑥|0, Λ−1
)
𝑁(𝑥|0, Λ′−1)
∝ exp −
1
2
𝑥 𝑡
Λ 𝑚,𝑚′ − Λ′
𝑚,𝑚′ x
密度比 精度行列の差
ページ番号
164
12.3.2 密度比の直接推定による構造変...
𝑟𝑝′ 𝑥 ≈ 𝑝(𝑥)
𝑝(𝑥) = 1であるため
𝑟𝑝′(𝑥) = 1 という制約を得る
これを満たすモデルとして
𝑟Θ 𝑥 =
𝑒𝑥𝑝(−
1
2
𝑥 𝑡
Θ𝑥)
𝑑𝑥′ 𝑝′ 𝑥′ exp(−
1
2
𝑥′ 𝑡
Θx′)
(12.7)
...
密度比rが良い近似になっているために
カルバック・ライブラー・ダイバージェンスを用いて
𝐾𝐿(𝑝| 𝑟𝑝′ =
1
2
𝑑𝑥𝑝 𝑥 𝑥 𝑡Θx + ln 𝑑𝑥′ 𝑝′ 𝑥′ exp(−
1
2
𝑥′ 𝑡
Θx′)
が得られ、最適化問題
min
...
例題1を精度行列の直接推定により解く
Λ =
2 0 1
0 2 0
1 0 2
, Λ′ =
2 0 0
0 2 0
0 0 2
Λ − Λ′ =
0 0 1
0 0 0
1 0 0
Λ − Λ′ =
0 0 1.000
0 0 0
1.00...
例題1を精度行列の直接推定により解く
Λ =
2 0 1
0 2 0
1 0 2
, Λ′ =
2 0 0
0 2 0
0 0 2
Λ − Λ′ =
0 0 1
0 0 0
1 0 0
Λ − Λ′ =
0 0 1.000
0 0 0
1.00...
例題1を精度行列の直接推定により解く
Λ =
2 0 1
0 2 0
1 0 2
, Λ′ =
2 0 0
0 2 0
0 0 2
Λ − Λ′ =
0 0 1
0 0 0
1 0 0
Λ − Λ′ =
0 0 1.000
0 0 0
1.00...
例題2を精度行列の直接推定により解く
Λ =
2 1 0
1 2 1
0 1 2
, Λ′ =
2 0 1
0 2 1
1 1 2
Λ − Λ′
=
0 1 −1
1 0 0
−1 0 0
, Λ − Λ′ =
0 0.707 −0.297
0...
例題2を精度行列の直接推定により解く
Λ =
2 1 0
1 2 1
0 1 2
, Λ′ =
2 0 1
0 2 1
1 1 2
Λ − Λ′
=
0 1 −1
1 0 0
−1 0 0
, Λ − Λ′ =
0 0.707 −0.297
0...
例題2を精度行列の直接推定により解く
Λ =
2 1 0
1 2 1
0 1 2
, Λ′ =
2 0 1
0 2 1
1 1 2
Λ − Λ′
=
0 1 −1
1 0 0
−1 0 0
, Λ − Λ′ =
0 0.707 −0.297
0...
12.4 疎密度比推定の高次拡張
ガウス型グラフィカルモデル:
共分散に基づく構造
高次の相関構造の変化を検知できない
(𝑥: 𝑀 × 𝑁次ベクトルなどに対応できない)
ページ番号
166
原理的には・・・
非線形な特徴ベクトル𝒇(𝑥, 𝑥′
)を用いた非ガウス型モデル
𝑝Ω 𝑥 =
exp( 𝑚,𝑚′=1
𝑀
𝜔 𝑚,𝑚′
𝑡
𝒇 𝑥 𝑚, 𝑥 𝑚′ )
𝑑𝑥𝑒𝑥𝑝( 𝑚,𝑚′=1
𝑀
𝜔′ 𝑚,𝑚′
𝑡
𝒇 𝑥 𝑚, 𝑥 𝑚′...
しかし
ラプラス分布によるMAP推定では
𝑝Ω 𝑥 の計算が困難
𝜃 𝑚,𝑚′ = 𝜔 𝑚,𝑚′ − 𝜔 𝑚,𝑚′′
を直接推定することで解決する
ページ番号
167
12.4 疎密度比推定の高次拡張
具体的には
𝑝Ω(𝑥)
𝑝Ω′(𝑥)
∝ exp(
𝑚,𝑚′=1
𝑀
(𝜔 𝑚,𝑚′ − 𝜔′
𝑚,𝑚′) 𝑡 𝒇(𝑥 𝑚, 𝑥 𝑚′))
という密度比を考え、モデル
𝑟Θ 𝑥 = exp(
𝑚,𝑚′=1
𝑀
(𝜔 𝑚,𝑚′ − 𝜔′
𝑚,𝑚′...
• 具体的には
•
𝑝Ω(𝑥)
𝑝Ω′(𝑥)
∝
exp( 𝑚,𝑚′=1
𝑀
(𝜔 𝑚,𝑚′ − 𝜔′
𝑚,𝑚′) 𝑡
𝒇(𝑥 𝑚 , 𝑥 𝑚′))
という密度比を考え、モデル𝑟Θ 𝑥 を設定する
𝑟Θ 𝑥
=
exp( 𝑚,𝑚′=1
𝑀
𝜃 ...
• 𝑟Θ 𝑥 をカルバック・ライブラー密度比推定法に疎制約
をつけて学習する
min
Θ
ln
1
𝑁′
𝑛′=1
𝑁′
exp(
𝑚,𝑚′=1
𝑀
(𝜃 𝑚,𝑚′
𝑡
𝒇(𝑥′
𝑚
𝑛′
, 𝑥′
𝑚′
𝑛
))
−
1
𝑁 𝑛=1
𝑁
𝑚,...
構造変化検知のまとめ
グラフ構造を推定
ページ番号
168
12.4 疎密度比推定の高次拡張
構造変化検知のまとめ
グラフ構造を推定
グラフ構造の変化を直接推定
・変化検知の向上
・非ガウスモデルも扱える
ページ番号
168
12.4 疎密度比推定の高次拡張
構造変化検知のまとめ
グラフ構造を推定
グラフ構造の変化を直接推定
・変化検知の向上
・非ガウスモデルも扱える
変化検知に必要な標本数:
グラフ全体の辺数ではなく変化した辺数で決まるらしい
ページ番号
168
12.4 疎密度比推定の高次拡張
参考文献
• 井手剛,杉山将:異常検知と変化検知(機械学
習プロフェッショナルシリーズ),講談
社,2015.8.8
• C.M.ビショップ,元田浩,粟田多喜夫,樋口知之,
松本裕治,村田昇:パターン認識と機械学習
上,シュプリンガー・ジャパン...
Upcoming SlideShare
Loading in …5
×

密度比推定による変化検知

5,894 views

Published on

異常検知と変化検知の12章です

Published in: Data & Analytics
  • Be the first to comment

密度比推定による変化検知

  1. 1. 12章密度比推定による変化検知 機械学習プロフェッショナルシリーズ輪読会 異常検知と変化検知 藤田恵梨香
  2. 2. 12.密度比推定による変化検知 Goal ・恣意的な分布の過程を使わず 密度比の直接推定により変化検知を行う ・分布全体の変化をマクロ的に調べる 変数同士の依存関係の変化をみる ページ番号 155
  3. 3. 12.1 変化検知とカルバック・ライブラー密度比推定 (9章の復習) 一次元時系列データ D = 𝜉 1 , 𝜉 2 , ⋯ , 𝜉 𝑁 を幅Mのスライド窓で M次元ベクトルデータD = 𝒙 1 , 𝒙 2 , ⋯ , 𝒙 𝑁 に変換する M点 ページ番号 115
  4. 4. 変化検知 ⇒Dについて過去の分布𝑝(𝒙)と現在の分布 𝑝’(𝒙)の違いを調べる t 過去の分布 現在の分布 ページ番号 115 12.1 変化検知とカルバック・ライブラー密度比推定 (9章の復習)
  5. 5. 変化の度合い: 𝑎 D, D′ = 𝑑𝒙𝑝 𝒙 ln 𝑟 𝒙 𝑟(𝒙) ≡ 𝑝(𝒙) 𝑝′(𝒙) (12.1) 𝑝(𝑥)と𝑝′(𝑥)のカルバック・ライブラー・ダイバージェンスは 𝐾𝐿(𝑝| 𝑝′ = 𝑑𝒙𝑝 𝒙 ln 𝑟 𝒙 (12.2) 𝑎 D, D′ = 𝐾𝐿(𝑝| 𝑝′ ページ番号 156 12.1 変化検知とカルバック・ライブラー密度比推定
  6. 6. 12.1 変化検知とカルバック・ライブラー密度比推定 𝑎 D, D′ = 𝐾𝐿(𝑝| 𝑝′ より 変化の度合い: DとD’の分布の変化度を カルバック・ライブラー・ダイバージェンスで 測ったもの ページ番号 156
  7. 7. 12.1変化検知とカルバック・ライブラー密度比推定 (距離の定義) 二変数関数g(𝑥, 𝑦)が以下4つの条件を 満たすときg 𝑥, 𝑦 :距離関数という 非負性:g 𝑥, 𝑦 ≥ 0 対称性: g 𝑥, 𝑦 = g 𝑦, 𝑥 同一性: g 𝑥, 𝑦 = 0 ⇔ 𝑥 = 𝑦 三角不等式: g 𝑥, 𝑦 + g 𝑦, 𝑧 ≥ g 𝑥, 𝑧 ページ番号 157
  8. 8. 𝐾𝐿(𝑝| 𝑝′ = 𝑑𝑥𝑝 𝒙 ln 𝑝(𝒙) 𝑝′(𝒙) 非負性:g 𝑥, 𝑦 ≥ 0 ・積分≒面積を求める ので満たす 同一性: g 𝑥, 𝑦 = 0 ⇔ 𝑥 = 𝑦 ・𝑝 𝑥 = 𝑝′(𝑥)の時ln 𝑝(𝑥) 𝑝′(𝑥) =0より満たす ページ番号 157 12.1変化検知とカルバック・ライブラー密度比推定 (距離の定義)
  9. 9. 𝐾𝐿(𝑝| 𝑝′ = 𝑑𝑥𝑝 𝒙 ln 𝑝(𝒙) 𝑝′(𝒙) 対称性: g 𝑥, 𝑦 = g 𝑦, 𝑥 𝑑𝑥𝑝 𝑥 ln 𝑝(𝑥) 𝑝′(𝑥) ≠ 𝑑𝑥𝑝′ 𝑥 ln 𝑝′(𝑥) 𝑝(𝑥) 三角不等式: g 𝑥, 𝑦 + g 𝑦, 𝑧 ≥ g 𝑥, 𝑧 ページ番号 157 12.1変化検知とカルバック・ライブラー密度比推定 (距離の定義)
  10. 10. 𝐾𝐿(𝑝| 𝑝′ = 𝑑𝑥𝑝 𝒙 ln 𝑝(𝒙) 𝑝′(𝒙) 対称性: g 𝑥, 𝑦 = g 𝑦, 𝑥 𝑑𝑥𝑝 𝑥 ln 𝑝(𝑥) 𝑝′(𝑥) ≠ 𝑑𝑥𝑝′ 𝑥 ln 𝑝′(𝑥) 𝑝(𝑥) 三角不等式: g 𝑥, 𝑦 + g 𝑦, 𝑧 ≥ g 𝑥, 𝑧 カルバック・ライブラー・ダイバージェンスは 距離関数の定義を一部満たさない ページ番号 157 12.1変化検知とカルバック・ライブラー密度比推定 (距離の定義)
  11. 11. カルバック・ライブラー・ダイバージェンスは・・・ 非負性:g 𝑥, 𝑦 ≥ 0 同一性: g 𝑥, 𝑦 = 0 ⇔ 𝑥 = 𝑦 →満たしている 対称性: g 𝑥, 𝑦 = g 𝑦, 𝑥 三角不等式: g 𝑥, 𝑦 + g 𝑦, 𝑧 ≥ g 𝑥, 𝑧 →満たしていない 距離っぽいもの ページ番号 157 12.1変化検知とカルバック・ライブラー密度比推定 (距離の定義)
  12. 12. 変化の度合い:分布の相違度を カルバック・ライブラー・ダイバージェンスで測ることに帰着 𝐾𝐿(𝑝| 𝑝′ = 𝑑𝑥𝑝 𝑥 ln 𝑟(𝑥) 𝐾𝐿(𝑝| 𝑝′ を得る為に𝑟 ≡ 𝑝′(𝑥) 𝑝(𝑥) 近似する必要がある 変化度の計算に 𝑝と𝑝′をそれぞれ推定し𝑟を求める ページ番号 156 12.1今までのまとめ
  13. 13. 変化の度合い:分布の相違度を カルバック・ライブラー・ダイバージェンスで測ることに帰着 𝐾𝐿(𝑝| 𝑝′ = 𝑑𝑥𝑝 𝑥 ln 𝑟(𝑥) 𝐾𝐿(𝑝| 𝑝′ を得る為に𝑟 ≡ 𝑝(𝑥) 𝑝′(𝑥) 近似する必要がある 変化度の計算に 𝑝と𝑝′をそれぞれ推定し𝑟を求める ページ番号 156 12.1変化検知とカルバック・ライブラー密度比推定
  14. 14. 変化の度合い:分布の相違度を カルバック・ライブラー・ダイバージェンスで測ることに帰着 𝐾𝐿(𝑝| 𝑝′ = 𝑑𝑥𝑝 𝑥 ln 𝑟(𝑥) 𝐾𝐿(𝑝| 𝑝′ を得る為に𝑟 ≡ 𝑝(𝑥) 𝑝′(𝑥) 近似する必要がある 変化度の計算に 𝑝と𝑝′をそれぞれ推定し𝑟を求める ページ番号 156 12.1変化検知とカルバック・ライブラー密度比推定
  15. 15. 変化の度合い:分布の相違度を カルバック・ライブラー・ダイバージェンスで測ることに帰着 𝐾𝐿(𝑝| 𝑝′ = 𝑑𝑥𝑝 𝑥 ln 𝑟(𝑥) 𝐾𝐿(𝑝| 𝑝′ を得る為に𝑟 ≡ 𝑝(𝑥) 𝑝′(𝑥) 近似する必要がある 変化度の計算に 𝑝と𝑝′をそれぞれ推定し𝑟を求める ページ番号 156 パブニックの原理より 12.1変化検知とカルバック・ライブラー密度比推定
  16. 16. 変化の度合い:分布の相違度を カルバック・ライブラー・ダイバージェンスで測ることに帰着 𝐾𝐿(𝑝| 𝑝′ = 𝑑𝑥𝑝 𝑥 ln 𝑟(𝑥) 𝐾𝐿(𝑝| 𝑝′ を得る為に𝑟 ≡ 𝑝(𝑥) 𝑝′(𝑥) 近似する必要がある 変化度の計算に 直接rの推定を行う(11章と同様) ページ番号 156 12.1変化検知とカルバック・ライブラー密度比推定
  17. 17. 変化の度合い:分布の相違度を カルバック・ライブラー・ダイバージェンスで測ることに帰着 𝐾𝐿(𝑝| 𝑝′ = 𝑑𝑥𝑝 𝑥 ln 𝑟(𝑥) 𝐾𝐿(𝑝| 𝑝′ を得る為に𝑟 ≡ 𝑝(𝑥) 𝑝′(𝑥) 近似する必要がある 変化度の計算に 直接rの推定を行う(11章と同様) ページ番号 156 12.1変化検知とカルバック・ライブラー密度比推定
  18. 18. 𝑟 ≡ 𝑝(𝑥) 𝑝′(𝑥) の近似 • 𝑟𝑝′(𝑥) ≈ 𝑝(𝑥)となっている必要がある ページ番号 157 12.1変化検知とカルバック・ライブラー密度比推定
  19. 19. 𝑟 ≡ 𝑝(𝑥) 𝑝′(𝑥) の近似 • 𝑟𝑝′(𝑥) ≈ 𝑝(𝑥)となっている必要がある • 𝑝(𝑥) = 1であるためこれを制約として加え る → 𝑟𝑝′(𝑥) = 1 という制約を得る ページ番号 157 12.1変化検知とカルバック・ライブラー密度比推定
  20. 20. 変化の度合いを求める一つの方法として 一般化カルバック・ライブラー・ダイバージェンス 𝑑𝑥𝑝 𝒙 ln 𝑝(𝒙) 𝑟𝜃(𝒙)𝑝′(𝒙) − 1 + 𝑟𝜃(𝒙)𝑝′(𝒙) を最小化することを考える(11.2節と同様) ページ番号 158 12.1変化検知とカルバック・ライブラー密度比推定
  21. 21. min 𝜃 𝐽 𝜃 , 𝐽𝜃) = 1 𝑁′ 𝑛′=1 𝑁′ 𝑟𝜃 𝑥′ 𝑛′ − 1 𝑁′ 𝑛=1 𝑁 𝑟𝜃 𝑥 𝑛 これを勾配法を用いて解くと𝑟の推定値 𝑟 が得られる ページ番号 158 12.1変化検知とカルバック・ライブラー密度比推定
  22. 22. 式12.1 a D, D′ = 𝑑𝑥𝑝 𝑥 ln 𝑟 𝑥 4.1式 𝑝 𝑒𝑚𝑝 𝑥|𝐷 = 1 𝑁 𝑛=1 𝑁 𝛿(𝑥 − 𝑥 𝑛 ) で近似すると 𝑎 𝐾𝐿 D, D′ = 1 𝑁 𝑛=1 𝑁 ln 𝑟(𝑥 𝑛) (12.3) が得られる ページ番号 158 変化の度合い 12.1変化検知とカルバック・ライブラー密度比推定
  23. 23. 式12.1 a D, D′ = 𝑑𝑥𝑝 𝑥 ln 𝑟 𝑥 4.1式 𝑝 𝑒𝑚𝑝 𝑥|𝐷 = 1 𝑁 𝑛=1 𝑁 𝛿(𝑥 − 𝑥 𝑛 ) で近似すると 𝑎 𝐾𝐿 D, D′ = 1 𝑁 𝑛=1 𝑁 ln 𝑟(𝑥 𝑛) (12.3) が得られる ページ番号 158 12.1変化検知とカルバック・ライブラー密度比推定
  24. 24. 式12.1 a D, D′ = 𝑑𝑥𝑝 𝑥 ln 𝑟 𝑥 4.1式 𝑝 𝑒𝑚𝑝 𝑥|𝐷 = 1 𝑁 𝑛=1 𝑁 𝛿(𝑥 − 𝑥 𝑛 ) で近似すると 𝑎 𝐾𝐿 D, D′ = 1 𝑁 𝑛=1 𝑁 ln 𝑟(𝑥 𝑛) (12.3) が得られる ページ番号 158 12.1変化検知とカルバック・ライブラー密度比推定
  25. 25. 12.2その他のダイバージェンスによる分布変化度の評価 𝑎 𝐾𝐿 D, D′ = 1 𝑁 𝑛=1 𝑁 ln 𝑟(𝑥 𝑛) ページ番号 158
  26. 26. 𝑎 𝐾𝐿 D, D′ = 1 𝑁 𝑛=1 𝑁 𝒍𝒏 𝒓(𝒙 𝒏) ・0近傍では変化量が大 ・データの微小な変化が捉えられる 利点 ページ番号 158 12.2その他のダイバージェンスによる分布変化度の評価
  27. 27. 𝑎 𝐾𝐿 D, D′ = 1 𝑁 𝑛=1 𝑁 𝒍𝒏 𝒓(𝒙 𝒏) ・0近傍では変化量が大 ・データの微小な変化が捉えられる ノイズの影響を受けやすい 一方 利点 ページ番号 158 12.2その他のダイバージェンスによる分布変化度の評価
  28. 28. • KL距離の一般化:𝑓ダイバージェンス 𝐹(𝑝| 𝑝′ = 𝑑𝑥𝑝′ 𝒙 𝑓 𝑝(𝒙) 𝑝′(𝒙) *カルバック・ライブラー・ダイバージェンス: 𝑓 𝑡 = 𝑡 ln 𝑡 KL(𝑝| 𝑝′ = 𝑑𝑥𝑝 𝒙 ln 𝑝(𝒙) 𝑝′(𝒙) ページ番号 159 12.2.1 ピアソンダイバージェンス
  29. 29. • KL距離の一般化:𝑓ダイバージェンス 𝐹(𝑝| 𝑝′ = 𝑑𝑥𝑝 𝒙 𝑓 𝑝(𝒙) 𝑝′(𝒙) *ピアソンダイバージェンス: 𝑓 𝑡 = (𝑡 − 1)2 PE(𝑝| 𝑝′ = 𝑑𝑥𝑝 𝒙 𝑝 𝒙 𝑝′ 𝒙 − 1 2 (12.4) →対数関数含まないためノイズなどにロバスト ページ番号 159 12.2.1 ピアソンダイバージェンス
  30. 30. *ピアソンダイバージェンスによる変化検知 PE(𝑝| 𝑝′ = 𝑑𝑥𝑝′ 𝒙 𝑝 𝒙 𝑝′ 𝒙 − 1 2 11.3節で扱った最小二乗密度比推定法より 推定値 𝑟を得る PE(𝑝| 𝑝′ = 𝑑𝑥𝑝 𝒙 𝑝 𝒙 𝑝′ 𝒙 − 1 ページ番号 159 12.2.1 ピアソンダイバージェンス
  31. 31. PE(𝑝| 𝑝′ = 𝑑𝑥𝑝 𝒙 𝑝 𝒙 𝑝′ 𝒙 − 1 を4.1式で近似することで 𝑎 𝐾𝐿 D, D′ = 1 𝑁 𝑛=1 𝑁 ln 𝑟(𝑥 𝑛) ページ番号 159 12.2.1 ピアソンダイバージェンス
  32. 32. 密度比 𝑝 𝒙 𝑝′ 𝒙 は分母が0に近いときに不安定 →解決するための方法:相対密度比 r 𝛽 𝑥 = 𝑝(𝑥) 𝛽𝑝 𝑥 + 1−𝛽 𝑝′(𝑥) 𝛽 ∈ [0,1] を用いた相対ピアソンダイバージェンスを考える ページ番号 159 そもそも 12.2.2相対ピアソンダイバージェンス
  33. 33. 相対密度比 r(𝛽) 𝑥 = 𝑝(𝑥) 𝛽𝑝 𝑥 + 1−𝛽 𝑝′(𝑥) = 1 𝛽+ 1−𝛽 𝑝′(𝑥) 𝑝(𝑥) ≤ 1 𝛽 𝛽 ∈ 0,1 𝛽: 𝑟 𝑥 を調整するパラメータ 参考 𝛽=0:r(𝛽) 𝑥 = 𝑟(𝑥) 𝛽=0.5:r(𝛽) 𝑥 = 2 1+ 𝑝′(𝑥) 𝑝(𝑥) 𝛽=1:r(𝛽) 𝑥 = 1 ページ番号 160 12.2.2相対ピアソンダイバージェンス
  34. 34. 相対密度比 r(𝛽) 𝑥 = 𝑝(𝑥) 𝛽𝑝 𝑥 + 1−𝛽 𝑝′(𝑥) は 11.3節で用いた最小二乗密度比推定法において 𝐺 𝛽 = 𝛽 𝑁 𝑛=1 𝑁 𝜓 𝑥 𝑛 𝜓 𝑥 𝑛 𝑡 + 1 − 𝛽 𝑁′ 𝑛′=1 𝑁′ 𝜓 𝑥 𝑛′ 𝜓 𝑥 𝑛′ 𝑡 とすることでr(𝛽) 𝑥 を推定できる ページ番号 160,161 12.2.2相対ピアソンダイバージェンス
  35. 35. 推定したr(𝛽) 𝑥 を用いて最終的に 𝑎𝑟𝑃𝐸 𝐷, 𝐷′ = 1 𝑁 𝑛=1 𝑁 𝑟(𝛽) − 1が得られる ページ番号 161 12.2.2相対ピアソンダイバージェンス
  36. 36. 確率分布の変化だけではなく各要素間の 依存性の変化を捉える手法を紹介する 𝑥0 𝑥1 𝑥3 𝑥2 𝑥0 𝑥1 𝑥3 𝑥2 ページ番号 161 12.3.1 問題の定義
  37. 37. 構造変化検知問題 D,D’が与えられたとき各標本から導かれるグラフの 隣接行列の辺の重みの変化を計算する問題 𝑥0 𝑥1 𝑥3𝑥2 𝑥0 𝑥1 𝑥3𝑥2 接点𝑥 𝑚, 𝑥 𝑚′間の辺の変化度 𝑎 𝑚,𝑚′ ≡ Λ − Λ′ (12.5) Λ − Λ′ ページ番号 162 12.3.1 問題の定義
  38. 38. ガウス型グラフィカルモデルについては 10.4節の疎構造学習を用いて Λ − Λ′を求めれば推定できるのでは!? ページ番号 161,162 12.3.1 問題の定義
  39. 39. 例題1 Λ = 2 0 1 0 2 0 1 0 2 , Λ′ = 2 0 0 0 2 0 0 0 2 にしたがうデータ𝐷, 𝐷′の精度行列を推定する Λ = 1.382 0 0.201 0 1.788 0 0.201 0 1.428 , Λ′ = 1.617 0 0 0 1.711 0 0 0 1.672 ページ番号 163 12.3.1 問題の定義
  40. 40. Λ − Λ′ = 0 0 1 0 0 0 1 0 0 , Λ − Λ′ = −0.235 0 0.201 0 0.077 0 0.201 0 −0.244 Λ = 1.382 0 0.201 0 1.788 0 0.201 0 1.428 , Λ′ = 1.617 0 0 0 1.711 0 0 0 1.672 Λ = 2 0 1 0 2 0 1 0 2 , Λ′ = 2 0 0 0 2 0 0 0 2 ページ番号 163 12.3.1 問題の定義
  41. 41. Λ − Λ′ = 0 0 1 0 0 0 1 0 0 , Λ − Λ′ = −0.235 0 0.201 0 0.077 0 0.201 0 −0.244 Λ = 1.382 0 0.201 0 1.788 0 0.201 0 1.428 , Λ′ = 1.617 0 0 0 1.711 0 0 0 1.672 Λ = 2 0 1 0 2 0 1 0 2 , Λ′ = 2 0 0 0 2 0 0 0 2 自身の結合 ページ番号 163 12.3.1 問題の定義
  42. 42. Λ − Λ′ = 0 0 1 0 0 0 1 0 0 , Λ − Λ′ = −0.235 0 0.201 0 0.077 0 0.201 0 −0.244 Λ = 1.382 0 0.201 0 1.788 0 0.201 0 1.428 , Λ′ = 1.617 0 0 0 1.711 0 0 0 1.672 Λ = 2 0 1 0 2 0 1 0 2 , Λ′ = 2 0 0 0 2 0 0 0 2 自身の結合 現在、言及しているのは変数間の結合の重みの変化 ページ番号 163 12.3.1 問題の定義
  43. 43. Λ − Λ′ = 0 0 1 0 0 0 1 0 0 , Λ − Λ′ = −0.235 0 0.201 0 0.077 0 0.201 0 −0.244 Λ = 1.382 0 0.201 0 1.788 0 0.201 0 1.428 , Λ′ = 1.617 0 0 0 1.711 0 0 0 1.672 Λ = 2 0 1 0 2 0 1 0 2 , Λ′ = 2 0 0 0 2 0 0 0 2 非対角成分の結合の重みの変化が捉えられている ページ番号 163 12.3.1 問題の定義
  44. 44. Λ − Λ′ = 0 0 1 0 0 0 1 0 0 , Λ − Λ′ = −0.235 0 0.201 0 0.077 0 0.201 0 −0.244 Λ = 1.382 0 0.201 0 1.788 0 0.201 0 1.428 , Λ′ = 1.617 0 0 0 1.711 0 0 0 1.672 Λ = 2 0 1 0 2 0 1 0 2 , Λ′ = 2 0 0 0 2 0 0 0 2 非対角成分の結合の重みの変化が捉えられている 正しく推定できている!! ページ番号 163 12.3.1 問題の定義
  45. 45. 例題2 Λ = 2 1 0 1 2 1 0 1 2 , Λ′ = 2 0 1 0 2 1 1 1 2 にしたがうデータ𝐷, 𝐷′の精度行列を推定する Λ = 1.303 0.348 0 0.348 1.157 0.240 0 0.240 1.365 , Λ′ = 1.343 0 0.297 0 1.435 0.236 0.297 0.236 1.156 ページ番号 163 12.3.1 問題の定義
  46. 46. Λ − Λ′ = 0 1 −1 1 0 0 −1 0 0 , Λ − Λ′ = −0.040 0.348 −0.297 0.348 −0.278 0.004 −0.297 0.004 −0.209 Λ = 2 1 0 1 2 1 0 1 2 , Λ′ = 2 0 1 0 2 1 1 1 2 , Λ = 1.303 0.348 0 0.348 1.157 0.240 0 0.240 1.365 , Λ′ = 1.343 0 0.297 0 1.435 0.236 0.297 0.236 1.156 ページ番号 163 12.3.1 問題の定義
  47. 47. Λ − Λ′ = 0 1 −1 1 0 0 −1 0 0 , Λ − Λ′ = −0.040 0.348 −0.297 0.348 −0.278 0.004 −0.297 0.004 −0.209 Λ = 2 1 0 1 2 1 0 1 2 , Λ′ = 2 0 1 0 2 1 1 1 2 , Λ = 1.303 0.348 0 0.348 1.157 0.240 0 0.240 1.365 , Λ′ = 1.343 0 0.297 0 1.435 0.236 0.297 0.236 1.156 ページ番号 164 12.3.1 問題の定義
  48. 48. Λ − Λ′ = 0 1 −1 1 0 0 −1 0 0 , Λ − Λ′ = −0.040 0.348 −0.297 0.348 −0.278 0.004 −0.297 0.004 −0.209 Λ = 2 1 0 1 2 1 0 1 2 , Λ′ = 2 0 1 0 2 1 1 1 2 , Λ = 1.303 0.348 0 0.348 1.157 0.240 0 0.240 1.365 , Λ′ = 1.343 0 0.297 0 1.435 0.236 0.297 0.236 1.156 非対角成分の結合の重みの変化が 上手く捉えられていない ページ番号 164 12.3.1 問題の定義
  49. 49. • 変化度の計算 グラフ|Λ − Λ′ |構造の個別推定 ページ番号 164 12.3.1 問題の定義
  50. 50. • 変化度の計算 グラフ|Λ − Λ′ |構造の個別推定 パブニックの原理 「ある問題を解くときにそれよりも一般的な問題 を途中段階で解くべきではない」 個別の精度行列 Λ, Λ′ がわかる 精度行列の差 |Λ − Λ′| がわかる ページ番号 164 12.3.1 問題の定義
  51. 51. • 変化度の計算 グラフ|Λ − Λ′ |構造の個別推定 パブニックの原理 「ある問題を解くときにそれよりも一般的な問題 を途中段階で解くべきではない」 個別の精度行列 Λ, Λ′ がわかる 精度行列の差 |Λ − Λ′| がわかる ページ番号 164 直接精度行列の差|Λ − Λ′ | を求めるべき 12.3.1 問題の定義
  52. 52. 12.3.2 密度比の直接推定による構造変化検知 ページ番号 164 パブニックの原理に従い ガウス型グラフィカルモデルの精度行列の差 Θ 𝑚,𝑚′ = Λ 𝑚,𝑚′ − Λ′ 𝑚,𝑚′ を直接推定する ここで𝑁(𝑥|0, Λ−1 ) = det(Λ)1/2 (2𝜋) 𝑀/2 exp − 1 2 𝑥 𝑡 Λx より 𝑁(𝑥|0, Λ−1) 𝑁(𝑥|0, Λ′−1) ∝ exp − 1 2 𝑥 𝑡 Λ 𝑚,𝑚′ − Λ′ 𝑚,𝑚′ x (12.6)
  53. 53. パブニックの原理に従い ガウス型グラフィカルモデルの精度行列の差 Θ 𝑚,𝑚′ = Λ 𝑚,𝑚′ − Λ′ 𝑚,𝑚′ を直接推定する ここで𝑁(𝑥|0, Λ−1 ) = det(Λ)1/2 (2𝜋) 𝑀/2 exp − 1 2 𝑥 𝑡 Λx より 𝑁(𝑥|0, Λ−1) 𝑁(𝑥|0, Λ′−1) ∝ exp − 1 2 𝑥 𝑡 Λ 𝑚,𝑚′ − Λ′ 𝑚,𝑚′ x (12.6) ページ番号 164 12.3.2 密度比の直接推定による構造変化検知
  54. 54. パブニックの原理に従い ガウス型グラフィカルモデルの精度行列の差 Θ 𝑚,𝑚′ = Λ 𝑚,𝑚′ − Λ′ 𝑚,𝑚′ を直接推定する ここで𝑁(𝑥|0, Λ−1 ) = det(Λ)1/2 (2𝜋) 𝑀/2 exp − 1 2 𝑥 𝑡 Λx より 𝑁(𝑥|0, Λ−1) 𝑁(𝑥|0, Λ′−1) ∝ exp − 1 2 𝑥 𝑡 Λ 𝑚,𝑚′ − Λ′ 𝑚,𝑚′ x (12.6) ページ番号 164 密度比 精度行列の差 12.3.2 密度比の直接推定による構造変化検知
  55. 55. 精度行列の差の直接推定 密度比の推定 𝑁(𝑥|0, Λ−1 ) 𝑁(𝑥|0, Λ′−1) ∝ exp − 1 2 𝑥 𝑡 Λ 𝑚,𝑚′ − Λ′ 𝑚,𝑚′ x 密度比 精度行列の差 ページ番号 164 12.3.2 密度比の直接推定による構造変化検知
  56. 56. 𝑟𝑝′ 𝑥 ≈ 𝑝(𝑥) 𝑝(𝑥) = 1であるため 𝑟𝑝′(𝑥) = 1 という制約を得る これを満たすモデルとして 𝑟Θ 𝑥 = 𝑒𝑥𝑝(− 1 2 𝑥 𝑡 Θ𝑥) 𝑑𝑥′ 𝑝′ 𝑥′ exp(− 1 2 𝑥′ 𝑡 Θx′) (12.7) を考える ページ番号 164,165 12.3.2 密度比の直接推定による構造変化検知
  57. 57. 密度比rが良い近似になっているために カルバック・ライブラー・ダイバージェンスを用いて 𝐾𝐿(𝑝| 𝑟𝑝′ = 1 2 𝑑𝑥𝑝 𝑥 𝑥 𝑡Θx + ln 𝑑𝑥′ 𝑝′ 𝑥′ exp(− 1 2 𝑥′ 𝑡 Θx′) が得られ、最適化問題 min 𝜃 1 2𝑁 𝑛=1 𝑁 𝑥(𝑛)𝑡Θ𝑥(𝑛) − ln 1 𝑁′ 𝑛′=1 𝑁′ exp(− 1 2 𝑥′ 𝑛 𝑡 Θx 𝑛 ′ ) 𝑠𝑢𝑏𝑗𝑒𝑐𝑡 𝑡𝑜 ||Θ||1 ≤ 𝑅 (12.8) が得られる ページ番号 165 12.3.2 密度比の直接推定による構造変化検知
  58. 58. 例題1を精度行列の直接推定により解く Λ = 2 0 1 0 2 0 1 0 2 , Λ′ = 2 0 0 0 2 0 0 0 2 Λ − Λ′ = 0 0 1 0 0 0 1 0 0 Λ − Λ′ = 0 0 1.000 0 0 0 1.000 0 0 ページ番号 165,166 12.3.2 密度比の直接推定による構造変化検知
  59. 59. 例題1を精度行列の直接推定により解く Λ = 2 0 1 0 2 0 1 0 2 , Λ′ = 2 0 0 0 2 0 0 0 2 Λ − Λ′ = 0 0 1 0 0 0 1 0 0 Λ − Λ′ = 0 0 1.000 0 0 0 1.000 0 0 ページ番号 166 12.3.2 密度比の直接推定による構造変化検知
  60. 60. 例題1を精度行列の直接推定により解く Λ = 2 0 1 0 2 0 1 0 2 , Λ′ = 2 0 0 0 2 0 0 0 2 Λ − Λ′ = 0 0 1 0 0 0 1 0 0 Λ − Λ′ = 0 0 1.000 0 0 0 1.000 0 0 非対角成分の結合の重みの変化が捉えられている 正しく推定できている!! ページ番号 166 12.3.2 密度比の直接推定による構造変化検知
  61. 61. 例題2を精度行列の直接推定により解く Λ = 2 1 0 1 2 1 0 1 2 , Λ′ = 2 0 1 0 2 1 1 1 2 Λ − Λ′ = 0 1 −1 1 0 0 −1 0 0 , Λ − Λ′ = 0 0.707 −0.297 0.707 0 0 −0.297 0 0 ページ番号 166 12.3.2 密度比の直接推定による構造変化検知
  62. 62. 例題2を精度行列の直接推定により解く Λ = 2 1 0 1 2 1 0 1 2 , Λ′ = 2 0 1 0 2 1 1 1 2 Λ − Λ′ = 0 1 −1 1 0 0 −1 0 0 , Λ − Λ′ = 0 0.707 −0.297 0.707 0 0 −0.297 0 0 ページ番号 166 12.3.2 密度比の直接推定による構造変化検知
  63. 63. 例題2を精度行列の直接推定により解く Λ = 2 1 0 1 2 1 0 1 2 , Λ′ = 2 0 1 0 2 1 1 1 2 Λ − Λ′ = 0 1 −1 1 0 0 −1 0 0 , Λ − Λ′ = 0 0.707 −0.297 0.707 0 0 −0.297 0 0 非対角成分の結合の重みの変化が捉えられている 正しく推定できている!! ページ番号 166 12.3.2 密度比の直接推定による構造変化検知
  64. 64. 12.4 疎密度比推定の高次拡張 ガウス型グラフィカルモデル: 共分散に基づく構造 高次の相関構造の変化を検知できない (𝑥: 𝑀 × 𝑁次ベクトルなどに対応できない) ページ番号 166
  65. 65. 原理的には・・・ 非線形な特徴ベクトル𝒇(𝑥, 𝑥′ )を用いた非ガウス型モデル 𝑝Ω 𝑥 = exp( 𝑚,𝑚′=1 𝑀 𝜔 𝑚,𝑚′ 𝑡 𝒇 𝑥 𝑚, 𝑥 𝑚′ ) 𝑑𝑥𝑒𝑥𝑝( 𝑚,𝑚′=1 𝑀 𝜔′ 𝑚,𝑚′ 𝑡 𝒇 𝑥 𝑚, 𝑥 𝑚′ ) (12.9) を用いてデータD,D’からパラメータΩ, Ω′ Ω 𝜔 𝑚,𝑚′ 𝑚, 𝑚′ = 1, ⋯ , 𝑀 , Ω′ 𝜔 𝑚′,𝑚′ 𝑚, 𝑚′ = 1, ⋯ , 𝑀 を推定することで解決できる ページ番号 166 12.4 疎密度比推定の高次拡張
  66. 66. しかし ラプラス分布によるMAP推定では 𝑝Ω 𝑥 の計算が困難 𝜃 𝑚,𝑚′ = 𝜔 𝑚,𝑚′ − 𝜔 𝑚,𝑚′′ を直接推定することで解決する ページ番号 167 12.4 疎密度比推定の高次拡張
  67. 67. 具体的には 𝑝Ω(𝑥) 𝑝Ω′(𝑥) ∝ exp( 𝑚,𝑚′=1 𝑀 (𝜔 𝑚,𝑚′ − 𝜔′ 𝑚,𝑚′) 𝑡 𝒇(𝑥 𝑚, 𝑥 𝑚′)) という密度比を考え、モデル 𝑟Θ 𝑥 = exp( 𝑚,𝑚′=1 𝑀 (𝜔 𝑚,𝑚′ − 𝜔′ 𝑚,𝑚′) 𝑡 𝒇(𝑥 𝑚, 𝑥 𝑚′)) ページ番号 167 12.4 疎密度比推定の高次拡張
  68. 68. • 具体的には • 𝑝Ω(𝑥) 𝑝Ω′(𝑥) ∝ exp( 𝑚,𝑚′=1 𝑀 (𝜔 𝑚,𝑚′ − 𝜔′ 𝑚,𝑚′) 𝑡 𝒇(𝑥 𝑚 , 𝑥 𝑚′)) という密度比を考え、モデル𝑟Θ 𝑥 を設定する 𝑟Θ 𝑥 = exp( 𝑚,𝑚′=1 𝑀 𝜃 𝑚,𝑚′ 𝑡 𝒇(𝑥 𝑚, 𝑥 𝑚′)) 𝑑𝑥𝑝′(𝑥) exp( 𝑚,𝑚′=1 𝑀 𝜃 𝑚,𝑚′ 𝑡 𝒇(𝑥 𝑚, 𝑥 𝑚′)) ページ番号 167 12.4 疎密度比推定の高次拡張
  69. 69. • 𝑟Θ 𝑥 をカルバック・ライブラー密度比推定法に疎制約 をつけて学習する min Θ ln 1 𝑁′ 𝑛′=1 𝑁′ exp( 𝑚,𝑚′=1 𝑀 (𝜃 𝑚,𝑚′ 𝑡 𝒇(𝑥′ 𝑚 𝑛′ , 𝑥′ 𝑚′ 𝑛 )) − 1 𝑁 𝑛=1 𝑁 𝑚,𝑚′=1 𝑀 (𝜃 𝑚,𝑚′ 𝑡 𝒇(𝑥′ 𝑚 𝑛 , 𝑥′ 𝑚′ 𝑛 )) 𝑠𝑢𝑏𝑗𝑒𝑐𝑡 𝑡𝑜 𝑚,𝑚′=1 𝑀 ||𝜃 𝑚,𝑚′|| ≤ 𝑅 (12.11) ページ番号 167 12.4 疎密度比推定の高次拡張
  70. 70. 構造変化検知のまとめ グラフ構造を推定 ページ番号 168 12.4 疎密度比推定の高次拡張
  71. 71. 構造変化検知のまとめ グラフ構造を推定 グラフ構造の変化を直接推定 ・変化検知の向上 ・非ガウスモデルも扱える ページ番号 168 12.4 疎密度比推定の高次拡張
  72. 72. 構造変化検知のまとめ グラフ構造を推定 グラフ構造の変化を直接推定 ・変化検知の向上 ・非ガウスモデルも扱える 変化検知に必要な標本数: グラフ全体の辺数ではなく変化した辺数で決まるらしい ページ番号 168 12.4 疎密度比推定の高次拡張
  73. 73. 参考文献 • 井手剛,杉山将:異常検知と変化検知(機械学 習プロフェッショナルシリーズ),講談 社,2015.8.8 • C.M.ビショップ,元田浩,粟田多喜夫,樋口知之, 松本裕治,村田昇:パターン認識と機械学習 上,シュプリンガー・ジャパン、2007

×