Downloaded 17 times
![[DL輪読会] Hybrid computing using a neural network with dynamic external memory](https://cdn.slidesharecdn.com/ss_thumbnails/dliwasawadnc-161220014044-thumbnail.jpg?width=640&height=640&fit=bounds)
![[DL Hacks] Learning Transferable Features with Deep Adaptation Networks](https://cdn.slidesharecdn.com/ss_thumbnails/dlhacks-20151105-iwasawa-160204020204-thumbnail.jpg?width=640&height=640&fit=bounds)
![[DL輪読会] GAN系の研究まとめ (NIPS2016とICLR2016が中心)](https://cdn.slidesharecdn.com/ss_thumbnails/dliwasawagansurvey-161220014753-thumbnail.jpg?width=640&height=640&fit=bounds)
![[ICLR2016] 採録論文の個人的まとめ](https://cdn.slidesharecdn.com/ss_thumbnails/iclr2016-acceptedpapers-160209033749-thumbnail.jpg?width=640&height=640&fit=bounds)
![[DL輪読会]Deep Learning 第5章 機械学習の基礎](https://cdn.slidesharecdn.com/ss_thumbnails/deeplearning5-180601021956-thumbnail.jpg?width=640&height=640&fit=bounds)
PRML復々習レーン#11 前回までのあらすじ
- 1.
- 2. 前回のおさらい • 復々習レーンの復習を10分程度でやります – 得られた結論にポイントを絞る –「よーするに」な内容 • 好きなところをたくさん喋る • よくわからないところは誤魔化す • まちがってたら指摘してください • 目的 – 前回の復習 – 不参加の方に流れを伝えるため – 自分自身の勉強のため ポイントだよ 2 ポイント小僧の向きに意味はありません ポイントだよ
- 3. 前回の範囲 • 6章 カーネル法 –・・・ – 6.4 ガウス過程 • 6.4.1 線形回帰再訪 • 6.4.2 ガウス過程による回帰 • 6.4.3 超パラメータの学習 • 6.4.4 関連度自動決定 • 6.4.5 ガウス過程による分類 • 6.4.6 ラプラス近似 • 6.4.7 ニューラルネットワークとの関係 • 7章 疎な解を持つカーネルマシン – 7.1 最大マージン分類器 • 7.1.1 重なりのあるクラス分布 • 7.1.2 ロジスティック回帰との関係 • 7.1.3 多クラスSVM • 7.1.4 回帰のためのSVM • 7.1.5 計算論的学習理論 – 7.2 関連ベクトルマシン 3
- 4.
- 5. 6.4.3 超パラメータの学習 カーネルパラメータを最尤推定で求める • 第二種の推定(経験ベイズ) 5 ポイントだよ
- 6. 6.4.4 関連度自動決定 超パラメータを自動的に決定する • ガウスカーネルの例 –右のグラフではある次元毎に異なる分散パラメータが設定されている ポイントだよ 6
- 7.
- 8.
- 9.
- 10.
- 11. 7章 疎な解を持つカーネルマシン カーネルのメリットには十分にわかってので 本章ではモデルを構築するサポートベクタを 減らす方法について紹介 • ハードマージンSVM •ソフトマージンSVM • 多クラスSVM • SVMによる回帰 • 関連ベクトルマシン ポイントだよ 11
- 12. 7.1 最大マージン分類器 分類境界を最大化するモデルを求めるため 最適化問題として定式化．それがSVM • 線形分離可能な場合，誤り0で最も境界に近い点から の距離が最大になるような目的関数を設定 –L2正則化と同じ形式になる – 損失関数の解釈については後述 • 利点 – 大域的最適解が求まる – 双対形式の導出により，カーネル関数の利用が可能 • i.e., 非線形モデルなのに大域的最適解が求まるなんて…!! ポイントだよ 12
- 13. 7.1.1 重なりのあるクラス分布 ソフトマージンを導入することによって SVMを線形分離不可能な場合に拡張する • 各データ点に対する誤り度合いを表すスラッ ク変数を導入する 𝐶𝜉 𝑛 𝑁 𝑛=1 + 1 2 𝒘 2 • ハードマージンの場合と同様に双対問題を求 めることができ，二次計画問題として解く • SVM用に開発された数値計算手法 – Sequential Minimal Optimization など ポイントだよ 13
- 14. 7.1.2 ロジスティック回帰との関係 SVMはヒンジ損失＋L2正則化と解釈することができる • SVMの損失関数は以下の 1− 𝑦𝑛 𝑡 𝑛 + 𝑁 𝑛=1 + 𝜆 𝒘 2 • ロジスティック回帰の損失関数は ln 1 + exp −𝑦𝑛 𝑡 𝑛 + 𝑁 𝑛=1 𝜆 𝒘 2 ポイントだよ 14
- 15. 7.1.3 多クラスSVM SVMは2値分類しか対応していないため 多クラス分類を実現するためにはいくつか方法がある • one-vs-the-rest方式 –K個の多クラス分類問題に対してクラス𝑘 (𝑘 = 1, … , 𝐾)を正例，それ以外のク ラスを負例として𝐾個の分類器を学習 – 出力値が最大のものを利用する方法がデファクトスタンダード • one-vs-one方式 – K(K-1)個の分類器を学習．その出力結果を利用 • e.g., DAGSVM • 誤り訂正符号を用いた方法 (ECOC法) • 1-class SVM ポイントだよ 15
- 16. 7.1.4 回帰のためのSVM 分類の場合と同様にヒンジ損失を用いて 損失に寄与するデータ点 (サポートベクタ)の 数を少数に抑える回帰モデルを実現する • 誤差関数に以下の𝜖許容誤差関数を用いる 𝐸𝜖 𝑦 𝑥 − 𝑡 = 0 𝑦 𝑥 − 𝑡 < 𝜖 𝑦 𝑥 − 𝑡 − 𝜖 otherwise ポイントだよ 16 RVMではさらに 疎になります お楽しみに！
- 17.