Successfully reported this slideshow.
Your SlideShare is downloading. ×

PRML 6.1章 カーネル法と双対表現

Ad

Takashi	
  Nishibayashi	
  @hagino3000

Ad

+  3章と4章のパラメトリックな線形回帰、線形分
 類においては訓練データはパラメータベクト
 ルを求めるのに利用し、予測時には利用しな
 かった。	
  
+  例えばパーセプトロンで求めた超平面	
  
  T
 	
  w x + b ...

Ad

+  ノンパラメトリックなParzen推定法、最近傍法は
 訓練データの全て、もしくは一部を推定時に
 利用する。→ メモリベース(memory-­‐based	
  
 method)	
  
+  訓練は速いが、テスト点に対する予測には時
...

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Check these out next

1 of 12 Ad
1 of 12 Ad

More Related Content

Slideshows for you (19)

Viewers also liked (20)

PRML 6.1章 カーネル法と双対表現

  1. 1. Takashi  Nishibayashi  @hagino3000
  2. 2. +  3章と4章のパラメトリックな線形回帰、線形分 類においては訓練データはパラメータベクト ルを求めるのに利用し、予測時には利用しな かった。   +  例えばパーセプトロンで求めた超平面   T  w x + b = 0 のどちらに位置するかで予測を行なう。
  3. 3. +  ノンパラメトリックなParzen推定法、最近傍法は 訓練データの全て、もしくは一部を推定時に 利用する。→ メモリベース(memory-­‐based   method)   +  訓練は速いが、テスト点に対する予測には時 間がかかる。(計算量が多い)  
  4. 4. 「特徴空間への写像(φ(x))に基づくモデルにお いて、カーネル関数は、以下の関係によって与 えられる。」     T   k(x, x') = φ (x) φ (x')        
  5. 5. +  最大マージン分類器の文脈で機械学習の分 野に再登場   +  サポートベクトルマシンに引き継がれる。   +  カーネルトリック (7章参照かと思いきやPRML にカーネルトリックの話は出てこない……?)   +  主成分分析での利用  
  6. 6. 例として正則化項を持つ最小二乗誤差関数を考える     N 1 2 λ T   ∑{  J(w) = 2 n=1 T } w φ (x n ) − tn + w w 2   J(w)のwについての勾配を零とおく   ↓   wについて偏微分すると零  (6.2  →  6.3の式展開)    
  7. 7. N d J(w) = ∑{w φ (x n ) − tn }φ (x n ) + λ w = 0 T dw n=1 wについて整理     1 N w=−   ∑ λ n=1 T {w φ (x n ) − tn }φ (x n )   N ∑   = anφ (x n ) = Φ a T (6.3)   n=1    
  8. 8. 6.2の式に  w=Φtaを代入する   N 1 2 λ T J(a) = ∑{a Φφ (x n ) − tn } + a ΦΦ a T T 2 n=1 2 ここで t  =  (t1,  …  tN)T とおくと   N 1 1 1 T ∑tn = 2 (t1t1 + t2t2 +... + tntn ) = 2 t   t 2 n=1 2    
  9. 9. Σが外れて式6.5となる   1 T 1 T λ T J(a) = a ΦΦ ΦΦ a − a ΦΦ t + t t + a ΦΦT a T T T T 2 2 2 N*N対象行列のグラム行列 K = ΦΦT を定義   要素は     K nm = φ (x n )T φ (x m ) = k(x n , x m )     ↑  6.1  のカーネル関数を利用する。      
  10. 10. 6.5にグラム行列を代入  (6.5→6.7)   1 T T 1 T λ T J(a) = a KKa − a Kt + t t + a Ka 2 2 2 二乗誤差関数をパラメータベクトルとカーネル 関数で表現できた → 双対表現      
  11. 11. さらに式6.4からwを消去してaについて解いた   −1 a  =    (  K  +    λ  I  N    )          t      を線形回帰モデルに代入                         T T T −1 y(x) = w φ (x) = a Φφ (x) = k(x) (K + λ I N ) t 予測値カーネル関数(と訓練データt)だけで表 現できた。 → 双対表現      
  12. 12. 「双対表現はあまり有用ではないように思えるか もしれない。しかしながら、後に見るように……」     つまり6.2以降で説明があります!!     双対表現、グラム行列、どちらも他の本ではあま り使われない単語なので注意して使った方がよ さげ。    

×