Your SlideShare is downloading. ×
PRML復々習レーン#10 7.1.3-7.1.5
Upcoming SlideShare
Loading in...5
×

Thanks for flagging this SlideShare!

Oops! An error has occurred.

×

Introducing the official SlideShare app

Stunning, full-screen experience for iPhone and Android

Text the download link to your phone

Standard text messaging rates apply

PRML復々習レーン#10 7.1.3-7.1.5

1,407
views

Published on

2013-05-05 PRMLふくs

2013-05-05 PRMLふくs

Published in: Technology

0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total Views
1,407
On Slideshare
0
From Embeds
0
Number of Embeds
3
Actions
Shares
0
Downloads
7
Comments
0
Likes
0
Embeds 0
No embeds

Report content
Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
No notes for slide

Transcript

  • 1. PRML復々習レーン#107.1.3-7.1.52013-04-07→2013-05-05Yoshihiko Suhara@sleepy_yoshi1
  • 2. Overview• 7.1.3 多クラスSVM• 7.1.4 回帰のためのSVM• 7.1.5 計算論的学習理論2
  • 3. 7.1.3 多クラスSVM3
  • 4. 多クラスSVMの種類• one-vs-the-rest方式• one-vs-one方式– DAGSVM• ECOC法• one class SVM– なぜかこのセクションで紹介one-vs-one方式の問題点one-vs-the-restの問題点4章の復習4
  • 5. One-vs-the-rest 方式• K個の多クラス分類問題に対してクラス𝑘 (𝑘 = 1, … , 𝐾)を正例,それ以外のクラスを負例として𝐾個の分類器を学習• 方法1 [デファクトスタンダード]– 出力値が最大のクラスに分類する (Max Wins)• ただし,この方法では個々の分類器の出力は独立に調整されているため,理論的裏付けがない• 方法2– 負例に対する出力値を −1/(𝐾 − 1) になるように分類器を学習 [Lee+01]• 方法3– 𝐾個のモデルを同時に学習する方法 [Weston+ ]5
  • 6. One-vs-one方式: DAGSVM [Platt+ 00]• Directed Asyclic Graph SVM (DAGSVM)• one-vs-one分類器を下図のように組み合わせることで,効率的にマルチクラス分類を実現[Platt+ 00]より抜粋精度は one-vs-the-rest (Max Wins) と同程度予測に必要な計算コストが少ない6
  • 7. 誤り訂正符号を用いた方法[Dietterich+ 95][Allwein+ 00]• Error correcting output code (ECOC) を用いたマルチクラス分類• クラス集合を適当に2分割し,それに基づく二値分類器を複数学習,二値分類器の出力結果によって予測を決定• 例) 4クラス分類に7個の二値分類器を利用する例– + が当該分割において正例,- が当該分割において負例,0が含まれていない[Allwein+ 00]より抜粋7
  • 8. One-class SVM• 中心が𝒂,半径𝑅の超球で近似する– 超球の外にあるデータに対しては𝜉 𝑛のペナルティが発生• 以下のように定式化される:min. 𝑅2+ 𝐶 𝜉 𝑛𝑁𝑛=1s. t. 𝒙 𝑛 − 𝒂 22≤ 𝑅2 + 𝜉 𝑛, 𝜉 𝑛 ≥ 0, ∀𝑛8
  • 9. One-class SVM (外れ値あり)• 外れ値データに対して異なるスラック変数,トレードオフパラメータを用意min. 𝑅2+ 𝐶1 𝜉 𝑛𝑁𝑛=1+ 𝐶2 𝜂𝑖𝑁′𝑖=𝑁+1𝒙 𝑛 − 𝒂 22≤ 𝑅2 + 𝜉 𝑛 𝜉 𝑛 ≥ 0𝒙 𝑛 − 𝒂 22≥ 𝑅2− 𝜂𝑖 𝜂𝑖 ≥ 0s. t.9
  • 10. 7.1.4 回帰のためのSVM10
  • 11. 回帰のためのSVM• Support Vector Regression (SVR) とも呼ばれる• SVMにおいてはヒンジ損失を用いて,損失に寄与するデータ点 (サポートベクタ) の数を少数に抑えた– 損失に寄与 = モデル表現に寄与• 回帰の場合も同様に損失関数を工夫することでサポートベクタ数を少数に抑える工夫をする11
  • 12. 回帰に対する損失関数 (1/2)• L2正則化つき二乗誤差損失関数は,12𝑦𝑛 − 𝑡 𝑛2𝑁𝑛=1+𝜆2𝒘 2• 誤差関数に以下の𝜖許容誤差関数を用いる𝐸𝜖 𝑦 𝑥 − 𝑡 =0 𝑦 𝑥 − 𝑡 < 𝜖𝑦 𝑥 − 𝑡 − 𝜖 otherwise誤差が𝜖以下の場合,損失が0誤差が𝜖より大きい場合,線形に損失を与える12
  • 13. 回帰に対する損失関数 (2/2)• 二乗誤差を𝜖許容誤差に置き換えると正則化つきの損失関数は以下になる– ※正則化パラメータ𝐶の位置は慣習に基づく𝐶 𝐸𝜖 𝑦 𝒙 𝑛 − 𝑡 𝑛𝑁𝑛=1+12𝒘 213
  • 14. 図解: 𝜖許容誤差関数二乗誤差関数𝜖許容誤差関数14
  • 15. スラック変数の導入• 分類におけるソフトマージンと同様に各データ点の誤りを表すスラック変数を導入する• 𝑦 𝒙 𝑛 − 𝜖 ≤ 𝑡 𝑛 ≤ 𝑦 𝒙 𝑛 + 𝜖より,以下の制約条件が書ける𝑡 𝑛 ≤ 𝑦 𝒙 𝑛 + 𝜖 + 𝜉 𝑛𝑡 𝑛 ≥ 𝑦 𝒙 𝑛 − 𝜖 − 𝜉 𝑛• これを用いて誤差関数は以下のように書ける𝐶 𝜉 𝑛 + 𝜉 𝑛𝑁𝑛=1+12𝒘 2誤りを𝜉で表現(7.53)(7.54)(7.55)(7.55)式を𝜉 𝑛 ≥ 0, 𝜉 𝑛 ≥ 0 および (7.53), (7.54)式の制約のもとで最小化⇒ そこでラグランジュ乗数法ですよ!15
  • 16. 図解: スラック変数の意味• 𝜖チューブ内部の点は𝜉, 𝜉 𝑛ともに0𝜖チューブ16
  • 17. ラグランジュ関数• ラグランジュ定数𝑎 𝑛 ≥ 0, 𝑎 𝑛 ≥ 0, 𝜇 𝑛 ≥ 0, 𝜇 𝑛 ≥ 0 を用いて以下のラグランジュ関数の停留点を求める𝐿 = 𝐶 𝜉 𝑛 + 𝜉 𝑛𝑁𝑛=1+12𝒘 2 − 𝜇 𝑛 𝜉 𝑛 + 𝜇 𝑛 𝜉 𝑛𝑁𝑛=1− 𝑎 𝑛 𝜖 + 𝜉 𝑛 + 𝑦𝑛 − 𝑡 𝑛𝑁𝑛=1− 𝑎 𝑛 𝜖 + 𝜉 𝑛 − 𝑦𝑛 + 𝑡 𝑛𝑁𝑛=1𝑦𝑛 = 𝒘 𝑇 𝜙(𝒙 𝑛) + 𝑏 と置き換えて,𝑤, 𝑏, 𝜉 𝑛, 𝜉 𝑛に対する偏微分を0とする 17
  • 18. see P.52• (7.61)式の導出 (演習7.7)– 手書きノートを参照18
  • 19. 19←(7.61)式どおりという意味
  • 20. 入力に対する予測• 新しい入力に対する予測は以下の式で求まる𝑦 𝒙 = 𝑎 𝑛 − 𝑎 𝑛 𝑘 𝒙, 𝒙 𝑛 + 𝑏𝑁𝑛=1– 𝑎 𝑛, 𝑎 𝑛 ≠ 0 であるサポートベクタとのカーネル関数の値によって決定20
  • 21. 𝜖 の決定方法と影響• ハイパーパラメータとして調整する (?)• 𝜖を大きく設定するとサポートベクタが減少– ∵ 𝜖チューブが大きくなるためParameter 𝜖 controls the width of the -insensitive zone, used to fit the trainingdata. The value of 𝜖 can affect the number of support vectors used to constructthe regression function. The bigger 𝜖 , the fewer support vectors are selected. Onthe other hand, bigger 𝜖-values results in more ‘flat’ estimates. Hence, both C and𝜖-values affect model complexity (but in a different way).(http://kernelsvm.tripod.com/ より抜粋)21
  • 22. 𝜈SVM回帰の例• ガウスカーネルを利用22
  • 23. 𝜈を使った表現• 𝐶パラメータの代わりにチューブの外側に存在するデータの上限𝜈をハイパーパラメータとして定式化することも可能• see p.5423
  • 24. 7.1.5 計算論的学習理論※別資料24次回に延期乞うご期待!
  • 25. おしまい25