Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

PRML 6.1章 カーネル法と双対表現

3,056 views

Published on

PRML復々習レーン #9の発表資料

Published in: Technology
  • Be the first to comment

PRML 6.1章 カーネル法と双対表現

  1. 1. Takashi  Nishibayashi  @hagino3000
  2. 2. +  3章と4章のパラメトリックな線形回帰、線形分 類においては訓練データはパラメータベクト ルを求めるのに利用し、予測時には利用しな かった。  +  例えばパーセプトロンで求めた超平面   T  w x + b = 0 のどちらに位置するかで予測を行なう。
  3. 3. +  ノンパラメトリックなParzen推定法、最近傍法は 訓練データの全て、もしくは一部を推定時に 利用する。→ メモリベース(memory-­‐based   method)  +  訓練は速いが、テスト点に対する予測には時 間がかかる。(計算量が多い)  
  4. 4. 「特徴空間への写像(φ(x))に基づくモデルにおいて、カーネル関数は、以下の関係によって与えられる。」     T   k(x, x) = φ (x) φ (x)        
  5. 5. +  最大マージン分類器の文脈で機械学習の分 野に再登場  +  サポートベクトルマシンに引き継がれる。  +  カーネルトリック (7章参照かと思いきやPRML にカーネルトリックの話は出てこない……?)  +  主成分分析での利用  
  6. 6. 例として正則化項を持つ最小二乗誤差関数を考える     N 1 2 λ T   ∑{  J(w) = 2 n=1 T } w φ (x n ) − tn + w w 2   J(w)のwについての勾配を零とおく  ↓  wについて偏微分すると零  (6.2  →  6.3の式展開)    
  7. 7. N d J(w) = ∑{w φ (x n ) − tn }φ (x n ) + λ w = 0 T dw n=1wについて整理     1 N w=−   ∑ λ n=1 T {w φ (x n ) − tn }φ (x n )   N ∑   = anφ (x n ) = Φ a T (6.3)   n=1    
  8. 8. 6.2の式に  w=Φtaを代入する   N 1 2 λ TJ(a) = ∑{a Φφ (x n ) − tn } + a ΦΦ a T T 2 n=1 2ここで t  =  (t1,  …  tN)T とおくと   N1 1 1 T ∑tn = 2 (t1t1 + t2t2 +... + tntn ) = 2 t   t2 n=1 2    
  9. 9. Σが外れて式6.5となる   1 T 1 T λ TJ(a) = a ΦΦ ΦΦ a − a ΦΦ t + t t + a ΦΦT a T T T T 2 2 2 N*N対象行列のグラム行列 K = ΦΦT を定義   要素は     K nm = φ (x n )T φ (x m ) = k(x n , x m )     ↑  6.1  のカーネル関数を利用する。      
  10. 10. 6.5にグラム行列を代入  (6.5→6.7)   1 T T 1 T λ TJ(a) = a KKa − a Kt + t t + a Ka 2 2 2二乗誤差関数をパラメータベクトルとカーネル関数で表現できた → 双対表現      
  11. 11. さらに式6.4からwを消去してaについて解いた   −1a  =    (  K  +    λ  I  N    )          t      を線形回帰モデルに代入                         T T T −1y(x) = w φ (x) = a Φφ (x) = k(x) (K + λ I N ) t予測値カーネル関数(と訓練データt)だけで表現できた。 → 双対表現      
  12. 12. 「双対表現はあまり有用ではないように思えるかもしれない。しかしながら、後に見るように……」    つまり6.2以降で説明があります!!    双対表現、グラム行列、どちらも他の本ではあまり使われない単語なので注意して使った方がよさげ。    

×