Download as PDF, PPTX
![[DL輪読会]Convolutional Conditional Neural Processesと Neural Processes Familyの紹介](https://cdn.slidesharecdn.com/ss_thumbnails/20191220readingpaperconvcnp-191220034420-thumbnail.jpg?width=640&height=640&fit=bounds)
![[DL Hacks] Deterministic Variational Inference for RobustBayesian Neural Netw...](https://cdn.slidesharecdn.com/ss_thumbnails/adobepdffile2-190628001736-thumbnail.jpg?width=640&height=640&fit=bounds)
PRML復々習レーン#10 前回までのあらすじ
- 1.
- 2. 前回のおさらい • 復々習レーンの復習を10分程度でやります – 得られた結論にポイントを絞る –「よーするに」な内容 • 好きなところをたくさん喋る • よくわからないところは誤魔化す • まちがってたら指摘してください • 目的 – 前回の復習 – 不参加の方に流れを伝えるため – 自分自身の勉強のため ポイントだよ 2 今回からポイント小僧の向きが変わります ポイントだよ
- 3. 前回の範囲 • 6章 カーネル法 –6.1 双対表現 – 6.2 カーネル関数の構成 – 6.3 RBFネットワーク • 6.3.1 Nadaraya-Watson モデル – 6.4 ガウス過程 • 6.4.1 線形回帰再訪 • 6.4.2 ガウス過程による回帰 • 6.4.3 超パラメータの学習 • 6.4.4 関連度自動決定 • 6.4.5 ガウス過程による分類 • 6.4.6 ラプラス近似 • 6.4.7 ニューラルネットワークとの関係 3
- 4.
- 5. 6.1 双対表現 基底関数によって写像された特徴ベクトル 同士の内積をカーネル関数によって表現する • モデルをデータとの類似度で表現 𝑓𝒙 = 𝒘 𝑇 𝜙 𝒙 = 𝛼𝑖 𝐾(𝒙𝑖, 𝒙) 𝑖 • 最小二乗法の双対表現 (6.9)式 ポイントだよ 5 訓練データ𝒙𝑖 との類似度
- 6. 6.2 カーネル関数の構成 カーネル関数はある特徴空間における 内積を表す • 多項式カーネル，RBFカーネルなど基本的なカーネルの解 釈とカーネル設計の方法を紹介 –2次の多項式カーネルは2次の組み合わせを考慮した特徴ベク トル同士の内積を表現 • 有効なカーネル関数の必要十分条件はグラム行列が正 定値であること • 新たなカーネルを構築するための基本的な方法 – (6.13)-(6.22)式 ポイントだよ 6
- 7. 6.3 RBFネットワーク 中心𝝁からの距離のみに依存する 動径基底関数 (RBF)の線形結合によるモデル • RBFの線形結合の直感的イメージ 𝑓 𝑥 = 𝑤ℎ ℎ 𝒙 − 𝒙 𝑛 𝑁 𝑛=1 ポイントだよ 7 𝑓(𝒙) … … 𝑤1 𝑤2 𝑤 𝑛 入力𝒙 𝒙1 𝒙2 𝒙 𝑛 各RBFの線形和を出力 𝜙2𝜙1 𝜙3 𝒙
- 8. 6.3.1 Nadaraya-Watsonモデル 訓練データを用いたカーネル回帰モデル • カーネル回帰:𝑦 𝒙 = 𝑘 𝒙, 𝒙 𝑛 𝑡 𝑛 𝑁 𝑛=1 ポイントだよ 8
- 9. 6.4 ガウス過程 任意のデータ集合 𝒙𝑖 , 𝑡 𝑖 , … , 𝒙 𝑗 , 𝑡 𝑗 の同時分布がガウス分布となること • ガウス分布の共分散にカーネルを設定 • 新しいデータに対する予測分布を計算する際に，訓練 データのグラム行列および入力データに対するカーネ ル関数の結果を利用可能 • パラメトリックモデルを経由することなしに関数に対す る事前分布を定義していると解釈できる ポイントだよ 9
- 10. 6.4.1 線形回帰再訪 線形回帰の例に基づき𝑝(𝒙, 𝒘)の分布を考え， 予測分布の導出をする(...ための準備) • 𝑤の事前分布として𝒩(𝒘|𝟎, 𝛼−1 𝐈) を仮定 – 平均0という仮定が(6.53)式導出に必要 ポイントだよ 10
- 11. 6.4.2 ガウス過程による回帰 条件付き予測分布を考えるとガウス分布の 共分散行列にカーネル関数が登場 • (6.65)式 •(6.66)式，(6.67)式によって予測 • (6.66)式を以下のように解釈すると今までのカーネル法と一致 𝑚 𝒙 𝑁+1 = 𝑎 𝑛 𝑘 𝒙 𝑛, 𝒙 𝑁+1 𝑁 𝑛=1 ポイントだよ 11
- 12.