PRML復々習レーン#10 前回までのあらすじ

1,780
-1

Published on

2013-05-05 PRML復々習レーン#10 前回までのあらすじ

Published in: Technology
0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total Views
1,780
On Slideshare
0
From Embeds
0
Number of Embeds
3
Actions
Shares
0
Downloads
8
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide

PRML復々習レーン#10 前回までのあらすじ

  1. 1. PRML復々習レーン#10前回までのあらすじ2013-04-07→2013-05-05Yoshihiko Suhara@sleepy_yoshiv.1.0
  2. 2. 前回のおさらい• 復々習レーンの復習を10分程度でやります– 得られた結論にポイントを絞る– 「よーするに」な内容• 好きなところをたくさん喋る• よくわからないところは誤魔化す• まちがってたら指摘してください• 目的– 前回の復習– 不参加の方に流れを伝えるため– 自分自身の勉強のためポイントだよ2今回からポイント小僧の向きが変わりますポイントだよ
  3. 3. 前回の範囲• 6章 カーネル法– 6.1 双対表現– 6.2 カーネル関数の構成– 6.3 RBFネットワーク• 6.3.1 Nadaraya-Watson モデル– 6.4 ガウス過程• 6.4.1 線形回帰再訪• 6.4.2 ガウス過程による回帰• 6.4.3 超パラメータの学習• 6.4.4 関連度自動決定• 6.4.5 ガウス過程による分類• 6.4.6 ラプラス近似• 6.4.7 ニューラルネットワークとの関係 3
  4. 4. 6章カーネル法4
  5. 5. 6.1 双対表現基底関数によって写像された特徴ベクトル同士の内積をカーネル関数によって表現する• モデルをデータとの類似度で表現𝑓 𝒙 = 𝒘 𝑇𝜙 𝒙 = 𝛼𝑖 𝐾(𝒙𝑖, 𝒙)𝑖• 最小二乗法の双対表現 (6.9)式ポイントだよ5訓練データ𝒙𝑖との類似度
  6. 6. 6.2 カーネル関数の構成カーネル関数はある特徴空間における内積を表す• 多項式カーネル,RBFカーネルなど基本的なカーネルの解釈とカーネル設計の方法を紹介– 2次の多項式カーネルは2次の組み合わせを考慮した特徴ベクトル同士の内積を表現• 有効なカーネル関数の必要十分条件はグラム行列が正定値であること• 新たなカーネルを構築するための基本的な方法– (6.13)-(6.22)式ポイントだよ6
  7. 7. 6.3 RBFネットワーク中心𝝁からの距離のみに依存する動径基底関数 (RBF) の線形結合によるモデル• RBFの線形結合の直感的イメージ𝑓 𝑥 = 𝑤ℎ ℎ 𝒙 − 𝒙 𝑛𝑁𝑛=1ポイントだよ7𝑓(𝒙)……𝑤1𝑤2𝑤 𝑛入力𝒙𝒙1𝒙2𝒙 𝑛各RBFの線形和を出力𝜙2𝜙1 𝜙3𝒙
  8. 8. 6.3.1 Nadaraya-Watsonモデル訓練データを用いたカーネル回帰モデル• カーネル回帰: 𝑦 𝒙 = 𝑘 𝒙, 𝒙 𝑛 𝑡 𝑛𝑁𝑛=1ポイントだよ8
  9. 9. 6.4 ガウス過程任意のデータ集合 𝒙 𝑖 , 𝑡 𝑖 , … , 𝒙 𝑗 , 𝑡 𝑗の同時分布がガウス分布となること• ガウス分布の共分散にカーネルを設定• 新しいデータに対する予測分布を計算する際に,訓練データのグラム行列および入力データに対するカーネル関数の結果を利用可能• パラメトリックモデルを経由することなしに関数に対する事前分布を定義していると解釈できるポイントだよ9
  10. 10. 6.4.1 線形回帰再訪線形回帰の例に基づき𝑝(𝒙, 𝒘)の分布を考え,予測分布の導出をする (...ための準備)• 𝑤の事前分布として𝒩(𝒘|𝟎, 𝛼−1𝐈) を仮定– 平均0という仮定が(6.53)式導出に必要ポイントだよ10
  11. 11. 6.4.2 ガウス過程による回帰条件付き予測分布を考えるとガウス分布の共分散行列にカーネル関数が登場• (6.65)式• (6.66)式,(6.67)式によって予測• (6.66)式を以下のように解釈すると今までのカーネル法と一致𝑚 𝒙 𝑁+1 = 𝑎 𝑛 𝑘 𝒙 𝑛, 𝒙 𝑁+1𝑁𝑛=1ポイントだよ11
  12. 12. つづくさぁ今日も一日がんばるぞ12

×