PRML復々習レーン#10 補講: 正定値カーネルでないと困ること

3,427 views

Published on

2013-05-05 PRML復々習レーン#10の補足資料

Published in: Technology
0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total views
3,427
On SlideShare
0
From Embeds
0
Number of Embeds
1,928
Actions
Shares
0
Downloads
28
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide

PRML復々習レーン#10 補講: 正定値カーネルでないと困ること

  1. 1. 正定値カーネルでないと困ることPRML復々習レーン#10 補講2013-05-06Last update: 2013-06-23Yoshihiko Suhara@sleepy_yoshiv. 1.1
  2. 2. 正定値カーネルとは• 正定値カーネルの定義– 𝑘 𝒙𝑖, 𝒙𝑗 を𝑖行𝑗列の要素とするグラム (カーネル)行列𝐾が半正定値であること𝐾 =𝑘(𝒙1, 𝒙1) ⋯ 𝑘(𝒙1, 𝒙 𝑁)⋮ ⋱ ⋮𝑘(𝒙 𝑁, 𝒙1) ⋯ 𝑘 𝒙 𝑁, 𝒙 𝑁– ※厳密には半正定値カーネルと呼ぶべきなのだろうけれど細かいことは気にしない2
  3. 3. 行列が正定値であるとはPRMLを読む上では,だいたい以下の3つを覚えておけばよい• (1) 任意のベクトル𝒘に対して𝒘 𝑇 𝐾𝒘 ≥ 0が成り立つ– 正定値性の定義• (2) 行列の行列式が非負– 必要十分条件• (3) 行列の固有値が全て非負– 必要十分条件3
  4. 4. 距離のカーネル表現• 2つのベクトル𝒙, 𝒚のL2距離 (の自乗) は𝒙 − 𝒚 22= 𝑥𝑖 − 𝑦𝑖2𝑖= (𝑥𝑖2− 2𝑥𝑖 𝑦𝑖 + 𝑦𝑖2)𝑖= 𝑥𝑖2− 2 𝑥𝑖 𝑦𝑖 + 𝑦𝑖2𝑖𝑖𝑖= 𝒙 𝑇 𝒙 − 2𝒙 𝑇 𝒚 + 𝒚 𝑇 𝒚• 基底関数をかけたベクトルで考えると𝜙 𝒙 𝑇 𝜙 𝒙 − 2𝜙 𝒙 𝑇 𝜙 𝒚 + 𝜙 𝒚 𝑇 𝜙 𝒚• 𝜙 𝒂 𝑇 𝜙 𝒃 = 𝑘(𝒂, 𝒃)とすると,𝑘 𝒙, 𝒙 − 2𝑘 𝒙, 𝒚 + 𝑘(𝒚, 𝒚)※復々習レーン#10でホワイトボードに書いて説明4
  5. 5. 距離がマイナス?• 正定値カーネルであれば以下が成り立つ𝑘 𝒙, 𝒙 − 2𝑘 𝒙, 𝒚 + 𝑘 𝒚, 𝒚 ≥ 0• 証明– 2x2のカーネル行列 𝐾 =𝑘11 𝑘12𝑘21 𝑘22とベクトル𝒘 =1−1の二次形式を考える𝒘 𝑇𝐾𝒘 = 𝑘11 − 𝑘12 − 𝑘21 + 𝑘22– ここで 𝑘12 = 𝑘21 より𝒘 𝑇𝐾𝒘 = 𝑘11 − 2𝑘12 + 𝑘22– 𝐾が半正定値の場合,𝒘 𝑇𝐾𝒘 ≥ 0 より𝑘11 − 2𝑘12 + 𝑘22 ≥ 0これより正定値カーネルでない場合𝑘 𝑥, 𝑥 − 2𝑘 𝑥, 𝑦 + 𝑘 𝑦, 𝑦 ≥ 0が成り立たない.すなわち 𝜙 𝒙 − 𝜙 𝒚 22< 0となる𝒙, 𝒚が存在するこのような空間における内積を意味する.これは不自然 5
  6. 6. もう少しフォーマルな説明• 正定値カーネルではないと,コーシー=シュワルツの不等式が成立しない– これってどういうことだろう?• cf. [演習6.15] 正定値カーネル関数は以下のコーシー=シュワルツの不等式を満たすことを示せ𝑘 𝑥1, 𝑥22≤ 𝑘 𝑥1, 𝑥1 𝑘(𝑥2, 𝑥2)6
  7. 7. 演習6.15の回答• 𝐾 =𝑘11 𝑘12𝑘21 𝑘22の行列式を考える.• 𝐾が半正定値の場合,行列式は非負より𝑘11 𝑘12𝑘21 𝑘22≥ 0𝑘11 𝑘22 − 𝑘12 𝑘21 ≥ 0よって𝑘11 𝑘22 ≥ 𝑘12 𝑘217
  8. 8. まとめ: 正定値カーネルでないと困ること• 距離として使おうとすると不自然なことが起こる– 𝜙 𝒙 − 𝜙 𝒚 22< 0となる𝒙, 𝒚が存在してしまう• Mercerの定理が成り立たない– 対応する写像先の空間の存在を保証できない• コーシー=シュワルツ不等式が成り立たない– 上記のフォーマルな説明?• 正定値カーネルでないと,対応する特徴空間を定義できない (? 要確認)– すなわち 𝑘 𝒙1, 𝒙2 = 𝜙 𝒙1𝑇 𝜙(𝒙2) と対応する基底関数を定義できない (?要確認)• SVMの最適化において,停留点が最小値 (最大値) でなくなる– 本資料では説明していません cf. SMO徹底入門8
  9. 9. 残った疑問• コーシー=シュワルツの不等式の成立は内積空間/ヒルベルト空間の必要条件?– たぶん違う.けれど成立しないとうれしくないはず– Wikipediaより抜粋• コーシー・シュワルツの不等式の重要な帰結には、内積が2変数の関数と見て連続であるということ、従って特にひとつのベクトル x を決めるごとに内積が一つの連続汎関数 <x, ・> あるいは <・, x> を定めるということである。9

×