サポートベクトルデータ記述法による異常検知 in 機械学習プロフェッショナルシリーズ輪読会

Chapter 6: Support Vector Data Description
機械学習プロフェッショナルシリーズ輪読会
~異常検知と変化検知~
佐野正太郎

やりたいこと
訓練データ
（ラベルなし）

やりたいこと
訓練データ
（ラベルなし）
円で囲む

トピック
 Lagrange Method
 凸最適化問題を簡単な問題へと変換
 Support Vector Data Description (SVDD)
 正常・異常を分離する円形境界の決定
 Kernel Trick
 柔軟かつ高速な境界の計算

問題設定：凸最適化問題
 目的関数
 制約条件
)}({minimize xf
x
),...,1(0)( Jjhj x
),...,1(0)( Iigi x
凸関数
凸関数
線形関数

ラグランジュ関数
 以下の関数を作ってみる
 

J
j
jj
I
i
ii hgfL
11
)()()(),,( xxxμλx 
0,0where  ji 
目的関数不等式制約等式制約

ラグランジュ関数
 以下の関数を作ってみる
 このとき
 

J
j
jj
I
i
ii hgfL
11
)()()(),,( xxxμλx 
0,0where  ji 
目的関数不等式制約等式制約
)(),,( xμλx fL 

弱双対性
 ラグランジュ関数の下限は目的関数より常に小さい
)(),,(),,(min xμλxμλx
x
fLL 

弱双対性
 よって主問題の最小値(最適解)より小さい
x
fLL 
)(),,(min *
xμλx
x
fL 

弱双対性
x
fLL 
),( μλg
下限はλとμの関数
)(),,(min *
xμλx
x
fL 

弱双対性
x
fLL 
),( μλg
左側から大きくしていくと
f(x)の最適解に近づく
)(),,(min *
xμλx
x
fL 

弱双対性
 の最大化問題を双対問題と呼ぶ
x
fLL 
),( μλg )(),,(min *
xμλx
x
fL 
),( μλg

強双対性
 強双対：双対問題の最大値が主問題の最小値と一致
 凸最適化問題では強双対性が成立する
 厳密には凸最適化問題かつSlater条件を満たす場合
)(),( ***
xμλ fg 

強双対性
 強双対：双対問題の最大値が主問題の最小値と一致
 凸最適化問題では強双対性が成立する
 厳密には凸最適化問題かつSlater条件を満たす場合
)(),( ***
xμλ fg 
強双対性が成立する場合
主問題の代わりに双対問題を最適化する
ラグランジュ法

ラグランジュ法の流れ
 主問題を双対問題に変換
 ラグランジュ関数を作成
 ラグランジュ関数の主問題変数に関する下限を計算
 ラグランジュ関数を主問題変数で偏微分
 偏微分が０になる条件を計算
 条件をラグランジュ関数に再代入
 双対問題をラグランジュ乗数について最適化
 双対問題の最適解から主問題の解を計算

KKT条件：最適解における必要十分条件
0)(,0)(  xx ji hg
0,0  ji 
0)( xii g
0
),,(



x
μλxL

が主問題の最適解
とが双対問題の最適解
0)(,0)(  xx ji hg
0,0  ji 
0)( xii g
0
),,(



x
μλxL
強双対の場合
凸最適化の場合
x
λ μ

不等式制約関数か
ラグランジュ乗数の
どちらかはゼロ
（スラック相補性）
0)( xii g

Support Vector Data Description

問題の定式化
 標本集合を囲むできるだけ小さな円を求める
 i.e., 円の中心座標と半径を求める
R
Rb
b

問題の定式化
 標本集合を囲むできるだけ小さな円を求める
 i.e., 円の中心座標と半径を求める
 多少円の外に出る標本があっても OK !
 i.e., 各データの遊びを求める（円内では）
R
遊び
R
b
b
nu 0nu

問題の定式化
 目的関数
 制約条件
線形関数
（凸関数）
凸関数
線形関数
（凸関数）
Rb
RuR n 2
}{minimize
1
)(2
,,2 

N
n
n
R
uCR
ub
0
22
 bxnnuR
0)(
n
u

問題の定式化
 目的関数
 制約条件
線形関数
（凸関数）
凸関数
線形関数
（凸関数）
Rb
RuR n 2
}{minimize
1
)(2
,,2 

N
n
n
R
uCR
ub
0
22
 bxnnuR
0)(
n
u
凸最適化問題
ラグランジュ法の出番

問題の変換：ラグランジュ関数
0,0where  nn 


N
n
n
uCRL
1
)(2
),,,,( ubR2


N
n
n
n
n xuR
1
2)(2
}{ b


N
n
n
nu
1
)(

目的関数
制約条件
制約条件

問題の変換：ラグランジュ関数の微分
01
1
2




N
n
n
R
L

0)(



nnn
C
u
L

022
1 1
)(



  
N
n
N
n
n
nn xb
b
L

ラグランジュ関数に再代入

問題の変換：双対問題の導出
 ラグランジュ関数の下限
),,,,(min),( 2
,,2
βαubβα
ub
RLg
R

 

N
n
n
T
nnn
N
n
n
T
nn
1
''
1
xxxx 

 制約条件
),,,,(min),( 2
,,2
βαubβα
ub
RLg
R

 

N
n
n
T
nnn
N
n
n
T
nn
1
''
1
xxxx 
n0
n0

 制約条件
),,,,(min),( 2
,,2
βαubβα
ub
RLg
R

 

N
n
n
T
nnn
N
n
n
T
nn
1
''
1
xxxx 
n0
n0
ラグランジュ関数の微分結果から
0)(



nnn
C
u
L


 制約条件
),,,,(min),( 2
,,2
βαubβα
ub
RLg
R

 

N
n
n
T
nnn
N
n
n
T
nn
1
''
1
xxxx 
Cn 0

双対問題
 目的関数
 制約条件
}{
1
''
1
maximize  

N
n
n
T
nnn
N
n
n
T
nn xxxx
α

Cn  0
ラグランジュ乗数の二次式
線形制約

双対問題
 目的関数
 制約条件
}{
1
''
1

N
n
n
T
nnn
N
n
n
T
nn xxxx
α

Cn  0
ラグランジュ乗数の二次式
線形制約
二次計画問題
SMO法 / 双対座標降下法

 ラグランジュ関数の微分結果より
 よって円の中心座標
KKT条件と主問題の解（中心座標）


N
n
nn
1
**
xb 
01
1
2




N
n
n
R
L

022
11



 
N
n
nn
N
n
n
L
xb
b


KKT条件と主問題の解（半径）
 KKT条件のスラック相補性より
0}{
2*2*
 bxnnn uR
0nun

0}{
2*2*
0nun
ラグランジュ関数の微分結果から
0)(



nnn
C
u
L


0nu)( *
nC 
0}{
2*2*

 を満たすについて
0nu)( *
nC 
Cn  *
0 
2*2
bx  nR
nx
0}{
2*2*

 を満たすについて
0nu)( *
nC 
が円周上に乗ってる
（サポートベクトル）
nx
0}{
2*2*
Cn  *
0 
2*2
bx  nR
nx

異常度の計算
 円から逸脱してる長さで定義
22
)( Ra  bxx

実験：正規分布からの学習
 平均 / 分散の正規分布からサンプル生成)2,2( 1

 平均 / 分散の正規分布からサンプル生成)2,2( 1
C=1.0

 平均 / 分散の正規分布からサンプル生成
C=0.01C=0.1
)2,2( 1

やりたいこと
 単一の円で囲むと困る場合
 e.g., サンプルが複数のクラスタ上に分布してる
 e.g., 円形の分布になってない
 もっと柔軟に境界を決めたい

解決策：非線形写像による境界決定
d次元空間

x
)(x
d次元空間
d’次元空間
適当な非線形写像

d’次元空間
こっちで境界決定
d次元空間

d次元空間
d’次元空間
元の空間に戻すと
所望の分離になってる

カーネルトリック
 実装上で写像計算が必要なところ
 二次計画問題の定義
 半径の計算
 異常度の計算
})()()()({
1
''
1

N
n
n
T
nnn
N
n
n
T
nn xxxx
α

  

N
nn
N
n
n
T
nn
T
nnn
T
R
1 1
sup
***
supsup
2
2,1
2121
)()(2)()()()( xxxxxx 
  

N
nn
N
n
n
T
nn
T
nnn Ra
1
2
1
***T
2,1
2121
)()(2)()()()()( xxxxxxx 

カーネルトリック
 写像計算せずに写像後の内積計算だけする
 全ての内積計算を内積カーネルで置き換える
 写像計算のコストを削減
 RBFカーネルで無限次元への写像も可能
)()(),( yxyx  T
K
内積カーネル

RBFカーネル
 内積カーネルの定義
 無限次元上で内積計算をしてることになる
}exp{),(
2
yxyx  K






0
222
)exp(
!
)2(
)exp(}exp{
j
jT
j
y
yx
xyx 



実験：混合正規分布からの学習
 線形カーネルの場合

 RBFカーネルの場合
C=0.1 , σ=0.5C=0.01, σ=0.5

 RBFカーネルの場合
C=0.01 , σ=0.01C=0.01, σ=0.1

サポートベクトルデータ記述法による異常検知 in 機械学習プロフェッショナルシリーズ輪読会

More Related Content

What's hot

Viewers also liked

Similar to サポートベクトルデータ記述法による異常検知 in 機械学習プロフェッショナルシリーズ輪読会

サポートベクトルデータ記述法による異常検知 in 機械学習プロフェッショナルシリーズ輪読会