PRML復々習レーン#11 前回までのあらすじ

1,785 views

Published on

2013-06-23 PRML復々習レーン#11 前回までのあらすじ

Published in: Technology
0 Comments
1 Like
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total views
1,785
On SlideShare
0
From Embeds
0
Number of Embeds
773
Actions
Shares
0
Downloads
16
Comments
0
Likes
1
Embeds 0
No embeds

No notes for slide

PRML復々習レーン#11 前回までのあらすじ

  1. 1. PRML復々習レーン#11前回までのあらすじ2013-06-23Yoshihiko Suhara@sleepy_yoshiv.1.0
  2. 2. 前回のおさらい• 復々習レーンの復習を10分程度でやります– 得られた結論にポイントを絞る– 「よーするに」な内容• 好きなところをたくさん喋る• よくわからないところは誤魔化す• まちがってたら指摘してください• 目的– 前回の復習– 不参加の方に流れを伝えるため– 自分自身の勉強のためポイントだよ2ポイント小僧の向きに意味はありませんポイントだよ
  3. 3. 前回の範囲• 6章 カーネル法– ・・・– 6.4 ガウス過程• 6.4.1 線形回帰再訪• 6.4.2 ガウス過程による回帰• 6.4.3 超パラメータの学習• 6.4.4 関連度自動決定• 6.4.5 ガウス過程による分類• 6.4.6 ラプラス近似• 6.4.7 ニューラルネットワークとの関係• 7章 疎な解を持つカーネルマシン– 7.1 最大マージン分類器• 7.1.1 重なりのあるクラス分布• 7.1.2 ロジスティック回帰との関係• 7.1.3 多クラスSVM• 7.1.4 回帰のためのSVM• 7.1.5 計算論的学習理論– 7.2 関連ベクトルマシン3
  4. 4. 6章 カーネル法4
  5. 5. 6.4.3 超パラメータの学習カーネルパラメータを最尤推定で求める• 第二種の推定 (経験ベイズ)5ポイントだよ
  6. 6. 6.4.4 関連度自動決定超パラメータを自動的に決定する• ガウスカーネルの例– 右のグラフではある次元毎に異なる分散パラメータが設定されているポイントだよ6
  7. 7. 6.4.5 ガウス過程による分類ポイントだよ7
  8. 8. 6.4.6 ラプラス近似ポイントだよ8
  9. 9. 6.4.7 ニューラルネットワークとの関係多層ニューラルネットワークの中間層の数を無限にするとガウス過程に近似するポイントだよ9
  10. 10. 7章 疎な解を持つカーネルマシン10
  11. 11. 7章 疎な解を持つカーネルマシンカーネルのメリットには十分にわかってので本章ではモデルを構築するサポートベクタを減らす方法について紹介• ハードマージンSVM• ソフトマージンSVM• 多クラスSVM• SVMによる回帰• 関連ベクトルマシンポイントだよ11
  12. 12. 7.1 最大マージン分類器分類境界を最大化するモデルを求めるため最適化問題として定式化.それがSVM• 線形分離可能な場合,誤り0で最も境界に近い点からの距離が最大になるような目的関数を設定– L2正則化と同じ形式になる– 損失関数の解釈については後述• 利点– 大域的最適解が求まる– 双対形式の導出により,カーネル関数の利用が可能• i.e., 非線形モデルなのに大域的最適解が求まるなんて…!!ポイントだよ12
  13. 13. 7.1.1 重なりのあるクラス分布ソフトマージンを導入することによってSVMを線形分離不可能な場合に拡張する• 各データ点に対する誤り度合いを表すスラック変数を導入する𝐶 𝜉 𝑛𝑁𝑛=1+12𝒘 2• ハードマージンの場合と同様に双対問題を求めることができ,二次計画問題として解く• SVM用に開発された数値計算手法– Sequential Minimal Optimization などポイントだよ13
  14. 14. 7.1.2 ロジスティック回帰との関係SVMはヒンジ損失+L2正則化と解釈することができる• SVMの損失関数は以下の1 − 𝑦𝑛 𝑡 𝑛 +𝑁𝑛=1+ 𝜆 𝒘 2• ロジスティック回帰の損失関数はln 1 + exp −𝑦𝑛 𝑡 𝑛 +𝑁𝑛=1𝜆 𝒘 2ポイントだよ14
  15. 15. 7.1.3 多クラスSVMSVMは2値分類しか対応していないため多クラス分類を実現するためにはいくつか方法がある• one-vs-the-rest方式– K個の多クラス分類問題に対してクラス𝑘 (𝑘 = 1, … , 𝐾)を正例,それ以外のクラスを負例として𝐾個の分類器を学習– 出力値が最大のものを利用する方法がデファクトスタンダード• one-vs-one方式– K(K-1)個の分類器を学習.その出力結果を利用• e.g., DAGSVM• 誤り訂正符号を用いた方法 (ECOC法)• 1-class SVMポイントだよ15
  16. 16. 7.1.4 回帰のためのSVM分類の場合と同様にヒンジ損失を用いて損失に寄与するデータ点 (サポートベクタ) の数を少数に抑える回帰モデルを実現する• 誤差関数に以下の𝜖許容誤差関数を用いる𝐸𝜖 𝑦 𝑥 − 𝑡 =0 𝑦 𝑥 − 𝑡 < 𝜖𝑦 𝑥 − 𝑡 − 𝜖 otherwiseポイントだよ16RVMではさらに疎になりますお楽しみに!
  17. 17. つづくさぁ今日も一日がんばるぞ17

×