Submit Search
Upload
Prml7 7.1
•
0 likes
•
1,526 views
S
Satoshi Kawamoto
Follow
Report
Share
Report
Share
1 of 13
Download now
Download to read offline
Recommended
RBMを応用した事前学習とDNN学習
RBMを応用した事前学習とDNN学習
Masayuki Tanaka
Restricted Boltzmann Machinesの基礎と実装
ディープボルツマンマシン入門〜後半〜
ディープボルツマンマシン入門〜後半〜
sakaizawa
10月20日に行われたDL勉強会の資料です。
PRML Chapter 5
PRML Chapter 5
Masahito Ohue
PRMLの5章前半
ディープボルツマンマシン入門
ディープボルツマンマシン入門
Saya Katafuchi
ゼミで発表した資料のまとめ ディープラーニングの基本的な部分の説明です
Chapter 8 ボルツマンマシン - 深層学習本読み会
Chapter 8 ボルツマンマシン - 深層学習本読み会
Taikai Takeda
2015/8/5 深層学習本読み会 Chapter 8 ボルツマンマシン (http://ml-professional.connpass.com/event/17756/) の発表資料です
Statistical machine learning
Statistical machine learning
ilove2dgirl
統計的機械学習についての説明。
Implement for Deep Learning of RBM Network in C.
Implement for Deep Learning of RBM Network in C.
Masato Nakai
I described guidance of Implement for Deep RBM Network by C language.
RBM、Deep Learningと学習(全脳アーキテクチャ若手の会 第3回DL勉強会発表資料)
RBM、Deep Learningと学習(全脳アーキテクチャ若手の会 第3回DL勉強会発表資料)
Takuma Yagi
2014年11月13日開催の全脳アーキテクチャ若手の会 第3回Deep Learning勉強会の資料です。RBMの動作原理をポイントを押さえて解説しました。参考資料を後ろに纏めましたのでご自由にご活用ください。
Recommended
RBMを応用した事前学習とDNN学習
RBMを応用した事前学習とDNN学習
Masayuki Tanaka
Restricted Boltzmann Machinesの基礎と実装
ディープボルツマンマシン入門〜後半〜
ディープボルツマンマシン入門〜後半〜
sakaizawa
10月20日に行われたDL勉強会の資料です。
PRML Chapter 5
PRML Chapter 5
Masahito Ohue
PRMLの5章前半
ディープボルツマンマシン入門
ディープボルツマンマシン入門
Saya Katafuchi
ゼミで発表した資料のまとめ ディープラーニングの基本的な部分の説明です
Chapter 8 ボルツマンマシン - 深層学習本読み会
Chapter 8 ボルツマンマシン - 深層学習本読み会
Taikai Takeda
2015/8/5 深層学習本読み会 Chapter 8 ボルツマンマシン (http://ml-professional.connpass.com/event/17756/) の発表資料です
Statistical machine learning
Statistical machine learning
ilove2dgirl
統計的機械学習についての説明。
Implement for Deep Learning of RBM Network in C.
Implement for Deep Learning of RBM Network in C.
Masato Nakai
I described guidance of Implement for Deep RBM Network by C language.
RBM、Deep Learningと学習(全脳アーキテクチャ若手の会 第3回DL勉強会発表資料)
RBM、Deep Learningと学習(全脳アーキテクチャ若手の会 第3回DL勉強会発表資料)
Takuma Yagi
2014年11月13日開催の全脳アーキテクチャ若手の会 第3回Deep Learning勉強会の資料です。RBMの動作原理をポイントを押さえて解説しました。参考資料を後ろに纏めましたのでご自由にご活用ください。
Prml4 1-4-2
Prml4 1-4-2
Masahiro Kazama
Prml5 6
Prml5 6
K5_sem
PRML20121215
2014.01.23 prml勉強会4.2確率的生成モデル
2014.01.23 prml勉強会4.2確率的生成モデル
Takeshi Sakaki
第七回統計学勉強会@東大駒場
第七回統計学勉強会@東大駒場
Daisuke Yoneoka
PRML輪読#14
PRML輪読#14
matsuolab
東京大学松尾研究室におけるPRML輪読資料です。
PRML輪読#7
PRML輪読#7
matsuolab
東京大学松尾研究室におけるPRML輪読資料です。
制限ボルツマンマシン入門
制限ボルツマンマシン入門
佑馬 斎藤
ゼミで使った資料です。時間の都合から、隠れ変数を含むボルツマンマシンの解説を省略しています。
深層学習(講談社)のまとめ 第8章
深層学習(講談社)のまとめ 第8章
okku apot
自分用のまとめです。内容等には一切の責任を持ちません。 ブログ↓ http://want-to-be-rikei.blogspot.jp
PRML 5.3-5.4
PRML 5.3-5.4
正志 坪坂
はじぱた7章F5up
はじぱた7章F5up
Tyee Z
はじめてのパターン認識(7章後半) NNのバックプロパゲーション(BP)の学習則 BPの最近の傾向からディープラーニングのさわりまで
はじめてのパターン認識 第9章 9.5-9.6
はじめてのパターン認識 第9章 9.5-9.6
Prunus 1350
第12回 「はじめてのパターン認識」 読書会
Nn bp 3_bitdmux
Nn bp 3_bitdmux
Shuichi Jinushi
ニューラルネットワークで逆誤差伝播法を演習するための資料です。こちらは本編の資料と演習用エクセルがないと意味ないですが勉強会来てくださる方への参考用に事前公開します
BA-Net: Dense Bundle Adjustment Network (3D勉強会@関東)
BA-Net: Dense Bundle Adjustment Network (3D勉強会@関東)
Mai Nishimura
2018/09/29 3D勉強会の発表資料です
PRML復々習レーン#7 前回までのあらすじ
PRML復々習レーン#7 前回までのあらすじ
sleepy_yoshi
PRML復々習レーン#7 前回までのあらすじ の資料
解説#78 誤差逆伝播
解説#78 誤差逆伝播
Ruo Ando
鉄板トピックの誤差逆伝播について40分ほど話しました。 ❏ 多層パーセプトロン ❏ 勾配降下法 ❏ リバースモード自動微分 ❏ 確率的勾配降下法 ❏ 実装(モジュール化) Rumelhart, David E.; Hinton, Geoffrey E., Williams, Ronald J. (8 October 1986). “Learning representations by back-propagating errors”. Nature 323 (6088): 533–536. doi:10.1038/323533a0.
PRML復々習レーン#9 前回までのあらすじ
PRML復々習レーン#9 前回までのあらすじ
sleepy_yoshi
PRML復々習レーン#9 前回までのあらすじ資料
関東CV勉強会 Kernel PCA (2011.2.19)
関東CV勉強会 Kernel PCA (2011.2.19)
Akisato Kimura
PRML上巻勉強会 at 東京大学 資料 第5章5.1 〜 5.3.1
PRML上巻勉強会 at 東京大学 資料 第5章5.1 〜 5.3.1
Len Matsuyama
Prml 4.3
Prml 4.3
Taikai Takeda
PRML 4.3 discriminative model
量子情報18
量子情報18
Takeru Utsugi
Prml revenge7.1.1
Prml revenge7.1.1
Naoya Nakamura
[DSO] Machine Learning Seminar Vol.2 Chapter 3
[DSO] Machine Learning Seminar Vol.2 Chapter 3
Teruyuki Sakaue
[DSO] Machine Learning Seminar Vol.2 SKUE
More Related Content
What's hot
Prml4 1-4-2
Prml4 1-4-2
Masahiro Kazama
Prml5 6
Prml5 6
K5_sem
PRML20121215
2014.01.23 prml勉強会4.2確率的生成モデル
2014.01.23 prml勉強会4.2確率的生成モデル
Takeshi Sakaki
第七回統計学勉強会@東大駒場
第七回統計学勉強会@東大駒場
Daisuke Yoneoka
PRML輪読#14
PRML輪読#14
matsuolab
東京大学松尾研究室におけるPRML輪読資料です。
PRML輪読#7
PRML輪読#7
matsuolab
東京大学松尾研究室におけるPRML輪読資料です。
制限ボルツマンマシン入門
制限ボルツマンマシン入門
佑馬 斎藤
ゼミで使った資料です。時間の都合から、隠れ変数を含むボルツマンマシンの解説を省略しています。
深層学習(講談社)のまとめ 第8章
深層学習(講談社)のまとめ 第8章
okku apot
自分用のまとめです。内容等には一切の責任を持ちません。 ブログ↓ http://want-to-be-rikei.blogspot.jp
PRML 5.3-5.4
PRML 5.3-5.4
正志 坪坂
はじぱた7章F5up
はじぱた7章F5up
Tyee Z
はじめてのパターン認識(7章後半) NNのバックプロパゲーション(BP)の学習則 BPの最近の傾向からディープラーニングのさわりまで
はじめてのパターン認識 第9章 9.5-9.6
はじめてのパターン認識 第9章 9.5-9.6
Prunus 1350
第12回 「はじめてのパターン認識」 読書会
Nn bp 3_bitdmux
Nn bp 3_bitdmux
Shuichi Jinushi
ニューラルネットワークで逆誤差伝播法を演習するための資料です。こちらは本編の資料と演習用エクセルがないと意味ないですが勉強会来てくださる方への参考用に事前公開します
BA-Net: Dense Bundle Adjustment Network (3D勉強会@関東)
BA-Net: Dense Bundle Adjustment Network (3D勉強会@関東)
Mai Nishimura
2018/09/29 3D勉強会の発表資料です
PRML復々習レーン#7 前回までのあらすじ
PRML復々習レーン#7 前回までのあらすじ
sleepy_yoshi
PRML復々習レーン#7 前回までのあらすじ の資料
解説#78 誤差逆伝播
解説#78 誤差逆伝播
Ruo Ando
鉄板トピックの誤差逆伝播について40分ほど話しました。 ❏ 多層パーセプトロン ❏ 勾配降下法 ❏ リバースモード自動微分 ❏ 確率的勾配降下法 ❏ 実装(モジュール化) Rumelhart, David E.; Hinton, Geoffrey E., Williams, Ronald J. (8 October 1986). “Learning representations by back-propagating errors”. Nature 323 (6088): 533–536. doi:10.1038/323533a0.
PRML復々習レーン#9 前回までのあらすじ
PRML復々習レーン#9 前回までのあらすじ
sleepy_yoshi
PRML復々習レーン#9 前回までのあらすじ資料
関東CV勉強会 Kernel PCA (2011.2.19)
関東CV勉強会 Kernel PCA (2011.2.19)
Akisato Kimura
PRML上巻勉強会 at 東京大学 資料 第5章5.1 〜 5.3.1
PRML上巻勉強会 at 東京大学 資料 第5章5.1 〜 5.3.1
Len Matsuyama
Prml 4.3
Prml 4.3
Taikai Takeda
PRML 4.3 discriminative model
量子情報18
量子情報18
Takeru Utsugi
What's hot
(20)
Prml4 1-4-2
Prml4 1-4-2
Prml5 6
Prml5 6
2014.01.23 prml勉強会4.2確率的生成モデル
2014.01.23 prml勉強会4.2確率的生成モデル
第七回統計学勉強会@東大駒場
第七回統計学勉強会@東大駒場
PRML輪読#14
PRML輪読#14
PRML輪読#7
PRML輪読#7
制限ボルツマンマシン入門
制限ボルツマンマシン入門
深層学習(講談社)のまとめ 第8章
深層学習(講談社)のまとめ 第8章
PRML 5.3-5.4
PRML 5.3-5.4
はじぱた7章F5up
はじぱた7章F5up
はじめてのパターン認識 第9章 9.5-9.6
はじめてのパターン認識 第9章 9.5-9.6
Nn bp 3_bitdmux
Nn bp 3_bitdmux
BA-Net: Dense Bundle Adjustment Network (3D勉強会@関東)
BA-Net: Dense Bundle Adjustment Network (3D勉強会@関東)
PRML復々習レーン#7 前回までのあらすじ
PRML復々習レーン#7 前回までのあらすじ
解説#78 誤差逆伝播
解説#78 誤差逆伝播
PRML復々習レーン#9 前回までのあらすじ
PRML復々習レーン#9 前回までのあらすじ
関東CV勉強会 Kernel PCA (2011.2.19)
関東CV勉強会 Kernel PCA (2011.2.19)
PRML上巻勉強会 at 東京大学 資料 第5章5.1 〜 5.3.1
PRML上巻勉強会 at 東京大学 資料 第5章5.1 〜 5.3.1
Prml 4.3
Prml 4.3
量子情報18
量子情報18
Similar to Prml7 7.1
Prml revenge7.1.1
Prml revenge7.1.1
Naoya Nakamura
[DSO] Machine Learning Seminar Vol.2 Chapter 3
[DSO] Machine Learning Seminar Vol.2 Chapter 3
Teruyuki Sakaue
[DSO] Machine Learning Seminar Vol.2 SKUE
パターン認識 第12章 正則化とパス追跡アルゴリズム
パターン認識 第12章 正則化とパス追跡アルゴリズム
Miyoshi Yuya
データマイニング勉強会3
データマイニング勉強会3
Yohei Sato
PRML輪読#4
PRML輪読#4
matsuolab
東京大学松尾研究室におけるPRML輪読資料です。
機械学習を用いた予測モデル構築・評価
機械学習を用いた予測モデル構築・評価
Shintaro Fukushima
Quantum Support Vector Machine
Quantum Support Vector Machine
Yuma Nakamura
こちらでの発表資料です https://quantum-tokyo.connpass.com/event/188682/ ・量子機械学習アルゴリズムの中から、「量子サポートベクターマシン(量子SVM)」をQiskitでの実装例とともに学びます。 ・IBM Qで量子機械学習が実装された論文のうち量子SVMに関する内容を、古典SVMの概要から量子SVMのコード紹介まで説明していきます。
サポートベクトルデータ記述法による異常検知 in 機械学習プロフェッショナルシリーズ輪読会
サポートベクトルデータ記述法による異常検知 in 機械学習プロフェッショナルシリーズ輪読会
Shotaro Sano
機械学習プロフェッショナルシリーズ輪読会での発表資料。ラグランジュ法、Support Vector Data Description (SVDD)、カーネルトリックについて。
PRML 7-7.1.1 + appendix E
PRML 7-7.1.1 + appendix E
kazunori sakai
このスライドは http://kazunorisakai.com/ でも公開しています。
パターン認識 04 混合正規分布
パターン認識 04 混合正規分布
sleipnir002
Python for Data Anaysis第2回勉強会4,5章
Python for Data Anaysis第2回勉強会4,5章
Makoto Kawano
Python for Data Anaysis第2回勉強会4,5章 担当分
Deep learning for acoustic modeling in parametric speech generation
Deep learning for acoustic modeling in parametric speech generation
Yuki Saito
研究室内の論文紹介資料(当時M2)
Rでの対称行列の固有値・固有ベクトルの最適な求め方
Rでの対称行列の固有値・固有ベクトルの最適な求め方
wada, kazumi
PRML_from5.1to5.3.1
PRML_from5.1to5.3.1
禎晃 山崎
PRML 5.1~5.3.1 です(一年前に発表したものですが) ※ https://www.slideshare.net/t_koshikawa/prml-5-pp227pp247 の方が出来が良いです(そちらを参考にしてください).なので,1年前には乗っけなかったんですけど,なんとなく乗っけておきます(演習5.1の導出だけ違うようです)
Similar to Prml7 7.1
(14)
Prml revenge7.1.1
Prml revenge7.1.1
[DSO] Machine Learning Seminar Vol.2 Chapter 3
[DSO] Machine Learning Seminar Vol.2 Chapter 3
パターン認識 第12章 正則化とパス追跡アルゴリズム
パターン認識 第12章 正則化とパス追跡アルゴリズム
データマイニング勉強会3
データマイニング勉強会3
PRML輪読#4
PRML輪読#4
機械学習を用いた予測モデル構築・評価
機械学習を用いた予測モデル構築・評価
Quantum Support Vector Machine
Quantum Support Vector Machine
サポートベクトルデータ記述法による異常検知 in 機械学習プロフェッショナルシリーズ輪読会
サポートベクトルデータ記述法による異常検知 in 機械学習プロフェッショナルシリーズ輪読会
PRML 7-7.1.1 + appendix E
PRML 7-7.1.1 + appendix E
パターン認識 04 混合正規分布
パターン認識 04 混合正規分布
Python for Data Anaysis第2回勉強会4,5章
Python for Data Anaysis第2回勉強会4,5章
Deep learning for acoustic modeling in parametric speech generation
Deep learning for acoustic modeling in parametric speech generation
Rでの対称行列の固有値・固有ベクトルの最適な求め方
Rでの対称行列の固有値・固有ベクトルの最適な求め方
PRML_from5.1to5.3.1
PRML_from5.1to5.3.1
More from Satoshi Kawamoto
20211115 jsai international_symposia_slide
20211115 jsai international_symposia_slide
Satoshi Kawamoto
Slides presented at AI-Biz. Title : Identifying Legality of Japanese Online Advertisements using Complex-valued Support Vector Machine with DFT-based Document Features
第5章 マルコフ連鎖モンテカルロ法 1
第5章 マルコフ連鎖モンテカルロ法 1
Satoshi Kawamoto
マンガでわかるベイズ統計学5章の序盤
マンガで分かるベイズ統計学勉強会(第3章その2)
マンガで分かるベイズ統計学勉強会(第3章その2)
Satoshi Kawamoto
対数尤度関数あたりの説明
マンガで分かるベイズ統計学勉強会(第3章その1)
マンガで分かるベイズ統計学勉強会(第3章その1)
Satoshi Kawamoto
尤度関数
マンガでわかるベイズ統計学第二章実装Tips(C#)
マンガでわかるベイズ統計学第二章実装Tips(C#)
Satoshi Kawamoto
ポアソン分布の実装サンプル
マンガで分かるベイズ統計学勉強会(第1章+α)
マンガで分かるベイズ統計学勉強会(第1章+α)
Satoshi Kawamoto
マンガで分かるベイズ統計学輪読資料
統計検定3級 5
統計検定3級 5
Satoshi Kawamoto
統計学勉強会第五回資料メモ
統計検定3級 4
統計検定3級 4
Satoshi Kawamoto
統計検定3級 3
統計検定3級 3
Satoshi Kawamoto
統計学勉強会3回目の資料
統計検定3級 2
統計検定3級 2
Satoshi Kawamoto
統計学勉強会第二回資料
統計検定3級 1
統計検定3級 1
Satoshi Kawamoto
統計学勉強会の補足資料
Prml 4.3.6
Prml 4.3.6
Satoshi Kawamoto
Prml 4.3.5
Prml 4.3.5
Satoshi Kawamoto
Prml 4.1.2
Prml 4.1.2
Satoshi Kawamoto
Prml 4.1.1
Prml 4.1.1
Satoshi Kawamoto
Prml 4
Prml 4
Satoshi Kawamoto
More from Satoshi Kawamoto
(16)
20211115 jsai international_symposia_slide
20211115 jsai international_symposia_slide
第5章 マルコフ連鎖モンテカルロ法 1
第5章 マルコフ連鎖モンテカルロ法 1
マンガで分かるベイズ統計学勉強会(第3章その2)
マンガで分かるベイズ統計学勉強会(第3章その2)
マンガで分かるベイズ統計学勉強会(第3章その1)
マンガで分かるベイズ統計学勉強会(第3章その1)
マンガでわかるベイズ統計学第二章実装Tips(C#)
マンガでわかるベイズ統計学第二章実装Tips(C#)
マンガで分かるベイズ統計学勉強会(第1章+α)
マンガで分かるベイズ統計学勉強会(第1章+α)
統計検定3級 5
統計検定3級 5
統計検定3級 4
統計検定3級 4
統計検定3級 3
統計検定3級 3
統計検定3級 2
統計検定3級 2
統計検定3級 1
統計検定3級 1
Prml 4.3.6
Prml 4.3.6
Prml 4.3.5
Prml 4.3.5
Prml 4.1.2
Prml 4.1.2
Prml 4.1.1
Prml 4.1.1
Prml 4
Prml 4
Prml7 7.1
1.
第7章 疎な解を持つカーネルマシン @urapon_1
2.
カーネル関数の制限 k ( xn
, xm)カーネル関数 の制限として、すべての訓練データ対 xn , xm について計算しなければならない。 →第7章では疎な解を持ち、訓練データ一部を計算することで、 新しい入力の予測が出来るアルゴリズムを見ていく(SVM,RVM)
3.
SVMの特徴 ● 目的関数は凸関数のため、大域的最適解が求まる。 ● ラグランジュの未定乗数法を用いたマージン最大化 ● 識別関数の一種であるため、出力の事後確率は得られない。 →RVMでは推定可能
4.
7.1 最大マージン分類器
5.
線形モデルの2値分類問題 分類関数 を用いて、2値分類問題を解く x1, x2, ...,
xN y(x)=w T ϕ( x)+b 訓練データを 目標値を t1,t2,... ,tN (tn∈{−1,1}) tn y( xn)>0 とすると が成立する。 (7.1)
6.
マージン 分類境界と、訓練データとの最短距離 ∣y( x)∣ ∣w∣
7.
マージンの最大化問題 t1,t2,... ,tN (tn∈{−1,1})
tn y( xn)>0と から、分類境界と点の距離は ∣y( xn)∣ ∣w∣ = tn y( xn) ∣w∣ = tn(w T ϕ( xn)+b) ∣w∣ であらわされる。 →求めたいのは、マージンを最大化する w ,b なので最適化問題は arg maxw ,b { 1 w minn[tn(w T ϕ( xn)+b)]} となる (7.2) (7.3)
8.
正規形への変形 tn(w T ϕ(xn)+b)=1 境界に最も近い点を とする。 このスケールの下ではすべてのデータについて下記制約式が成立する tn(w T ϕ(xn)+b)⩾1 n=1,2,... ,
N (7.4) (7.5)
9.
最大化問題の帰着先 1 ∣w∣ 正規形への変形によって、最大化問題は を最大化する問題に帰着する arg minw
, b 1 2 ∣w∣2 よって を、制約条件下で最小化すればよい。 (7.6)
10.
ラグランジュ関数 an⩾0各制約式ごとに、ラグランジュ乗数 を導入すると、ラグランジェ関数 が、得られる。 (7.7)L(w ,b
,a)= 1 2 ∣w∣2 −∑ n=1 N an {tn(wT ϕ(xn)+b)−1}
11.
ここで、 より、 ̃L(a)=∑ n=1 N an− 1 2 ∑ n=1 N ∑ m=1 N an am
tntm k ( xn , xm) ∂ L ∂w =0, ∂ L ∂ b =0 w=∑ n=1 N antn ϕ( xn) 0=∑ n=1 N an tn を代入すると、下記の双対表現が得られる。 aこれを について最大化すればよい。 (7.8) (7.9) (7.10)
12.
新しいデータの分類 y(x)=∑ n=1 N antn k (
x , xn)+b w=∑ n=1 N antn ϕ( xn) を用いると、分類関数は下記のように表現される。 KKT条件により an⩾0 tn y( xn)−1⩾0 an {tn y( xn)−1}=0 が成立する。 an≠0 の箇所をサポートベクトルと呼ぶ。 (7.13) (7.14) (7.15) (7.16)
13.
バイアスパラメータ a二次計画問題を解き、 が求まると、次にバイアスパラメータを求めることが出来る。 tn (∑ m∈S am tm
k (xn , xm)+b )=1 Sここで、 はサポートベクトルの添え字からなる集合 上式を、解くと(平均化) b= 1 N S ∑ n∈S (tn−∑ m∈S amtm k ( xn , xm ) ) NSここで、 はサポートベクトルの総数 (7.17) (7.18)
Download now