Submit Search
Upload
PRML11章
•
1 like
•
251 views
T
Takashi Tamura
Follow
PRML11章をまとめた資料です。
Read less
Read more
Technology
Report
Share
Report
Share
1 of 30
Download now
Download to read offline
Recommended
東京大学松尾研究室におけるPRML輪読資料です。
PRML輪読#11
PRML輪読#11
matsuolab
東京大学松尾研究室におけるPRML輪読資料です。
PRML輪読#10
PRML輪読#10
matsuolab
東京大学松尾研究室におけるPRML輪読資料です。
PRML輪読#8
PRML輪読#8
matsuolab
研究室内PRML勉強会 11章2-4節
研究室内PRML勉強会 11章2-4節
Koji Matsuda
パターン認識と機械学習(PRML)読み会第一章
PRML読み会第一章
PRML読み会第一章
Takushi Miki
パターン認識と機械学習(PRML)の第6章「カーネル法」です 文字多め
PRML第6章「カーネル法」
PRML第6章「カーネル法」
Keisuke Sugawara
東京大学松尾研究室におけるPRML輪読資料です。
PRML輪読#14
PRML輪読#14
matsuolab
パターン認識と機械学習 (PRML) の第1章、「多項式曲線フィッティング」「確率論」に関しまとめ話した講師資料です。 -PRML復習レーン(第1回) (10/05/01) #PRMLrevenge hamadakoichi
パターン認識と機械学習 (PRML) 第1章-「多項式曲線フィッティング」「確率論」
パターン認識と機械学習 (PRML) 第1章-「多項式曲線フィッティング」「確率論」
Koichi Hamada
Recommended
東京大学松尾研究室におけるPRML輪読資料です。
PRML輪読#11
PRML輪読#11
matsuolab
東京大学松尾研究室におけるPRML輪読資料です。
PRML輪読#10
PRML輪読#10
matsuolab
東京大学松尾研究室におけるPRML輪読資料です。
PRML輪読#8
PRML輪読#8
matsuolab
研究室内PRML勉強会 11章2-4節
研究室内PRML勉強会 11章2-4節
Koji Matsuda
パターン認識と機械学習(PRML)読み会第一章
PRML読み会第一章
PRML読み会第一章
Takushi Miki
パターン認識と機械学習(PRML)の第6章「カーネル法」です 文字多め
PRML第6章「カーネル法」
PRML第6章「カーネル法」
Keisuke Sugawara
東京大学松尾研究室におけるPRML輪読資料です。
PRML輪読#14
PRML輪読#14
matsuolab
パターン認識と機械学習 (PRML) の第1章、「多項式曲線フィッティング」「確率論」に関しまとめ話した講師資料です。 -PRML復習レーン(第1回) (10/05/01) #PRMLrevenge hamadakoichi
パターン認識と機械学習 (PRML) 第1章-「多項式曲線フィッティング」「確率論」
パターン認識と機械学習 (PRML) 第1章-「多項式曲線フィッティング」「確率論」
Koichi Hamada
PRML上巻勉強会 at 東京大学 資料 第1章前半
PRML上巻勉強会 at 東京大学 資料 第1章前半
Ohsawa Goodfellow
Prml11 4
Prml11 4
正志 坪坂
変分ベイズ法の説明。 最尤法との対比で説明した。また、EMアルゴリズムとの対応も述べられている。 職場の勉強会での資料です。
変分ベイズ法の説明
変分ベイズ法の説明
Haruka Ozaki
PRML上巻勉強会 at 東京大学の資料です 詳細:https://www.facebook.com/PRML.Tokyo
PRML上巻勉強会 at 東京大学 資料 第1章後半
PRML上巻勉強会 at 東京大学 資料 第1章後半
Ohsawa Goodfellow
社内における読書会のスライドです。 毎回この作り込んだスライドは辛いので、以後はpublicには鳴り得ないのですが、せっかく作ったので、公開しています。
PRML読書会1スライド(公開用)
PRML読書会1スライド(公開用)
tetsuro ito
東京大学松尾研究室におけるPRML輪読資料です。
PRML輪読#9
PRML輪読#9
matsuolab
パターン認識と機械学習(PRML)の第9章「混合モデルとEM」について説明したスライドです。文字多め。 潜在変数を持つモデルの最適化を行うことができるEMアルゴリズムについて、最初は具体的でイメージしやすいk-meansクラスタリングから説明し、最後は数式を詳細に見ていきその意味を考察します 9.1 K-meansクラスタリング 9.2 混合ガウス分布 9.3 EMアルゴリズムのもう1つの解釈 9.4 一般のEMアルゴリズム
PRML第9章「混合モデルとEM」
PRML第9章「混合モデルとEM」
Keisuke Sugawara
PRML8章
PRML8章
弘毅 露崎
東京大学松尾研究室におけるPRML輪読資料です。
PRML輪読#3
PRML輪読#3
matsuolab
第14回PRML読書会発表資料
Chapter11.2
Chapter11.2
Takuya Minagawa
東京大学松尾研究室におけるPRML輪読資料です。
PRML輪読#12
PRML輪読#12
matsuolab
東京大学松尾研究室におけるPRMLの輪読資料です。
PRML輪読#1
PRML輪読#1
matsuolab
PRML 上 2.3.6 ~ 2.5.2 パターン認識と機械学習 細かく見たい人用で,パーっと見たい人には向いてないかと
PRML 上 2.3.6 ~ 2.5.2
PRML 上 2.3.6 ~ 2.5.2
禎晃 山崎
PRML読書会#2,#3資料
PRML読書会#2,#3資料
Hiromasa Ohashi
東京大学松尾研究室におけるPRML輪読資料です。
PRML輪読#4
PRML輪読#4
matsuolab
東京大学松尾研究室におけるPRML輪読資料です。
PRML輪読#13
PRML輪読#13
matsuolab
EMアルゴリズムについてのスライド 2014.06.26@ATR
EMアルゴリズム
EMアルゴリズム
Sotetsu KOYAMADA(小山田創哲)
2014.06.08 「ベイズ推定による多変量解析入門」@広島大学 ベイズ推定とマルコフ連鎖モンテカルロ法について解説しています。 当日動かしたギブスサンプリングのアニメーションは, 以下のサイトで紹介されたコードを参考にしています。 http://qiita.com/yagays/items/5bde6addf228b1fe24e6
マルコフ連鎖モンテカルロ法 (2/3はベイズ推定の話)
マルコフ連鎖モンテカルロ法 (2/3はベイズ推定の話)
Yoshitake Takebayashi
PRML第一章のガウス分布の最尤推定からベイズ曲線フィッティングまでを説明しています。ベイズ曲線フィッティングについては、実装しました。さらに、orderを増やすこととサンプル数に着目した過学習の説明も行っています。
Prml 最尤推定からベイズ曲線フィッティング
Prml 最尤推定からベイズ曲線フィッティング
takutori
最新版のスライドは http://www.akihironitta.com/slides/ で公開しています。 The latest version of this slides is available at http://www.akihironitta.com/slides/.
PRML 1.5-1.5.5 決定理論
PRML 1.5-1.5.5 決定理論
Akihiro Nitta
PRML, Pattern Recognition and Machine Learning chapter 11
PRML Chapter 11 (11.0-11.2)
PRML Chapter 11 (11.0-11.2)
Shogo Nakamura
研究室で説明した「パターン認識と機械学習(下)」の第9章混合モデルとEMアルゴリズムについてです.
混合モデルとEMアルゴリズム(PRML第9章)
混合モデルとEMアルゴリズム(PRML第9章)
Takao Yamanaka
More Related Content
What's hot
PRML上巻勉強会 at 東京大学 資料 第1章前半
PRML上巻勉強会 at 東京大学 資料 第1章前半
Ohsawa Goodfellow
Prml11 4
Prml11 4
正志 坪坂
変分ベイズ法の説明。 最尤法との対比で説明した。また、EMアルゴリズムとの対応も述べられている。 職場の勉強会での資料です。
変分ベイズ法の説明
変分ベイズ法の説明
Haruka Ozaki
PRML上巻勉強会 at 東京大学の資料です 詳細:https://www.facebook.com/PRML.Tokyo
PRML上巻勉強会 at 東京大学 資料 第1章後半
PRML上巻勉強会 at 東京大学 資料 第1章後半
Ohsawa Goodfellow
社内における読書会のスライドです。 毎回この作り込んだスライドは辛いので、以後はpublicには鳴り得ないのですが、せっかく作ったので、公開しています。
PRML読書会1スライド(公開用)
PRML読書会1スライド(公開用)
tetsuro ito
東京大学松尾研究室におけるPRML輪読資料です。
PRML輪読#9
PRML輪読#9
matsuolab
パターン認識と機械学習(PRML)の第9章「混合モデルとEM」について説明したスライドです。文字多め。 潜在変数を持つモデルの最適化を行うことができるEMアルゴリズムについて、最初は具体的でイメージしやすいk-meansクラスタリングから説明し、最後は数式を詳細に見ていきその意味を考察します 9.1 K-meansクラスタリング 9.2 混合ガウス分布 9.3 EMアルゴリズムのもう1つの解釈 9.4 一般のEMアルゴリズム
PRML第9章「混合モデルとEM」
PRML第9章「混合モデルとEM」
Keisuke Sugawara
PRML8章
PRML8章
弘毅 露崎
東京大学松尾研究室におけるPRML輪読資料です。
PRML輪読#3
PRML輪読#3
matsuolab
第14回PRML読書会発表資料
Chapter11.2
Chapter11.2
Takuya Minagawa
東京大学松尾研究室におけるPRML輪読資料です。
PRML輪読#12
PRML輪読#12
matsuolab
東京大学松尾研究室におけるPRMLの輪読資料です。
PRML輪読#1
PRML輪読#1
matsuolab
PRML 上 2.3.6 ~ 2.5.2 パターン認識と機械学習 細かく見たい人用で,パーっと見たい人には向いてないかと
PRML 上 2.3.6 ~ 2.5.2
PRML 上 2.3.6 ~ 2.5.2
禎晃 山崎
PRML読書会#2,#3資料
PRML読書会#2,#3資料
Hiromasa Ohashi
東京大学松尾研究室におけるPRML輪読資料です。
PRML輪読#4
PRML輪読#4
matsuolab
東京大学松尾研究室におけるPRML輪読資料です。
PRML輪読#13
PRML輪読#13
matsuolab
EMアルゴリズムについてのスライド 2014.06.26@ATR
EMアルゴリズム
EMアルゴリズム
Sotetsu KOYAMADA(小山田創哲)
2014.06.08 「ベイズ推定による多変量解析入門」@広島大学 ベイズ推定とマルコフ連鎖モンテカルロ法について解説しています。 当日動かしたギブスサンプリングのアニメーションは, 以下のサイトで紹介されたコードを参考にしています。 http://qiita.com/yagays/items/5bde6addf228b1fe24e6
マルコフ連鎖モンテカルロ法 (2/3はベイズ推定の話)
マルコフ連鎖モンテカルロ法 (2/3はベイズ推定の話)
Yoshitake Takebayashi
PRML第一章のガウス分布の最尤推定からベイズ曲線フィッティングまでを説明しています。ベイズ曲線フィッティングについては、実装しました。さらに、orderを増やすこととサンプル数に着目した過学習の説明も行っています。
Prml 最尤推定からベイズ曲線フィッティング
Prml 最尤推定からベイズ曲線フィッティング
takutori
最新版のスライドは http://www.akihironitta.com/slides/ で公開しています。 The latest version of this slides is available at http://www.akihironitta.com/slides/.
PRML 1.5-1.5.5 決定理論
PRML 1.5-1.5.5 決定理論
Akihiro Nitta
What's hot
(20)
PRML上巻勉強会 at 東京大学 資料 第1章前半
PRML上巻勉強会 at 東京大学 資料 第1章前半
Prml11 4
Prml11 4
変分ベイズ法の説明
変分ベイズ法の説明
PRML上巻勉強会 at 東京大学 資料 第1章後半
PRML上巻勉強会 at 東京大学 資料 第1章後半
PRML読書会1スライド(公開用)
PRML読書会1スライド(公開用)
PRML輪読#9
PRML輪読#9
PRML第9章「混合モデルとEM」
PRML第9章「混合モデルとEM」
PRML8章
PRML8章
PRML輪読#3
PRML輪読#3
Chapter11.2
Chapter11.2
PRML輪読#12
PRML輪読#12
PRML輪読#1
PRML輪読#1
PRML 上 2.3.6 ~ 2.5.2
PRML 上 2.3.6 ~ 2.5.2
PRML読書会#2,#3資料
PRML読書会#2,#3資料
PRML輪読#4
PRML輪読#4
PRML輪読#13
PRML輪読#13
EMアルゴリズム
EMアルゴリズム
マルコフ連鎖モンテカルロ法 (2/3はベイズ推定の話)
マルコフ連鎖モンテカルロ法 (2/3はベイズ推定の話)
Prml 最尤推定からベイズ曲線フィッティング
Prml 最尤推定からベイズ曲線フィッティング
PRML 1.5-1.5.5 決定理論
PRML 1.5-1.5.5 決定理論
Similar to PRML11章
PRML, Pattern Recognition and Machine Learning chapter 11
PRML Chapter 11 (11.0-11.2)
PRML Chapter 11 (11.0-11.2)
Shogo Nakamura
研究室で説明した「パターン認識と機械学習(下)」の第9章混合モデルとEMアルゴリズムについてです.
混合モデルとEMアルゴリズム(PRML第9章)
混合モデルとEMアルゴリズム(PRML第9章)
Takao Yamanaka
PRML 9.0-9.2 混合ガウス分布とEMアルゴリズムの資料
prml_titech_9.0-9.2
prml_titech_9.0-9.2
Taikai Takeda
Bishop prml 9.3_wk77_100408-1504
Bishop prml 9.3_wk77_100408-1504
Wataru Kishimoto
一言まとめてきなもの かなり適当なので間違い指摘してください 2012/03/09 10.7を更新しました。
PRML chap.10 latter half
PRML chap.10 latter half
Narihira Takuya
令和2年1月18日のベイズ統計勉強会で使用した発表資料です。
渡辺澄夫著「ベイズ統計の理論と方法」5.1 マルコフ連鎖モンテカルロ法
渡辺澄夫著「ベイズ統計の理論と方法」5.1 マルコフ連鎖モンテカルロ法
Kenichi Hironaka
続・わかりやすいパターン認識第9章のスライドです。
続・わかりやすいパターン認識 9章
続・わかりやすいパターン認識 9章
hakusai
変分推論法(変分ベイズ法)(PRML第10章)
変分推論法(変分ベイズ法)(PRML第10章)
Takao Yamanaka
勉強会で使用した、ベイズ推論による機械学習入門 第4章のスライドです。 どういうわけか一部表記が乱れていますがご容赦ください。(元のファイルはそうなっていない)
ベイズ推論による機械学習入門 第4章
ベイズ推論による機械学習入門 第4章
YosukeAkasaka
間違いなどありましたら、 https://twitter.com/_kuni88 までご連絡ください。
PRML 8.4-8.4.3
PRML 8.4-8.4.3
KunihiroTakeoka
対称群上のフーリエ解析のメモです. やっぱり群の表現論で一番大事なのは”表現行列の大直交性定理”ですね! これで,有限群上の直交関数系が分かります!
Fourier analysis on symmetric group
Fourier analysis on symmetric group
HanpenRobot
一般化線形モデル 導出からその特徴まで
一般線形モデル
一般線形モデル
MatsuiRyo
生物統計特論3資料 2006 ギブス MCMC isseing333
生物統計特論3資料 2006 ギブス MCMC isseing333
Issei Kurahashi
VBAを使って数値計算の解説を行ったスライドシリーズです。
VBAで数値計算 10 逆行列と疑似逆行列
VBAで数値計算 10 逆行列と疑似逆行列
Katsuhiro Morishita
強束縛模型における多体電子状態の第2量子化表現についてまとめました。
強束縛模型における多体電子状態の第2量子化表現
強束縛模型における多体電子状態の第2量子化表現
Kazu Ghalamkari
2018/2/16 Deep Learning JP: http://deeplearning.jp/seminar-2/
[DL輪読会]Deep Learning for Sampling from Arbitrary Probability Distributions
[DL輪読会]Deep Learning for Sampling from Arbitrary Probability Distributions
Deep Learning JP
東大羽藤研でのゼミ資料を改良したものです. 交通分野の経路選択行動を記述するモデルの,機械学習分野の強化学習との共通点に焦点を当ててみました. スライドの間違いや質問等ありましたらご連絡いただけると幸いです.
効用最大化理論の観点から見る強化学習
効用最大化理論の観点から見る強化学習
Kenta Ishii
2012-07-16 PRML復々習レーン#3 3.1.3-3.1.5 の資料
PRML復々習レーン#3 3.1.3-3.1.5
PRML復々習レーン#3 3.1.3-3.1.5
sleepy_yoshi
重回帰分析
データ解析6 重回帰分析
データ解析6 重回帰分析
Hirotaka Hachiya
PRML10章の2回目のゼミの為の資料。 第10.3節まで。もうちょっと10.4節まで含めるかも。
PRML10-draft1002
PRML10-draft1002
Toshiyuki Shimono
Similar to PRML11章
(20)
PRML Chapter 11 (11.0-11.2)
PRML Chapter 11 (11.0-11.2)
混合モデルとEMアルゴリズム(PRML第9章)
混合モデルとEMアルゴリズム(PRML第9章)
prml_titech_9.0-9.2
prml_titech_9.0-9.2
Bishop prml 9.3_wk77_100408-1504
Bishop prml 9.3_wk77_100408-1504
PRML chap.10 latter half
PRML chap.10 latter half
渡辺澄夫著「ベイズ統計の理論と方法」5.1 マルコフ連鎖モンテカルロ法
渡辺澄夫著「ベイズ統計の理論と方法」5.1 マルコフ連鎖モンテカルロ法
続・わかりやすいパターン認識 9章
続・わかりやすいパターン認識 9章
変分推論法(変分ベイズ法)(PRML第10章)
変分推論法(変分ベイズ法)(PRML第10章)
ベイズ推論による機械学習入門 第4章
ベイズ推論による機械学習入門 第4章
PRML 8.4-8.4.3
PRML 8.4-8.4.3
Fourier analysis on symmetric group
Fourier analysis on symmetric group
一般線形モデル
一般線形モデル
生物統計特論3資料 2006 ギブス MCMC isseing333
生物統計特論3資料 2006 ギブス MCMC isseing333
VBAで数値計算 10 逆行列と疑似逆行列
VBAで数値計算 10 逆行列と疑似逆行列
強束縛模型における多体電子状態の第2量子化表現
強束縛模型における多体電子状態の第2量子化表現
[DL輪読会]Deep Learning for Sampling from Arbitrary Probability Distributions
[DL輪読会]Deep Learning for Sampling from Arbitrary Probability Distributions
効用最大化理論の観点から見る強化学習
効用最大化理論の観点から見る強化学習
PRML復々習レーン#3 3.1.3-3.1.5
PRML復々習レーン#3 3.1.3-3.1.5
データ解析6 重回帰分析
データ解析6 重回帰分析
PRML10-draft1002
PRML10-draft1002
Recently uploaded
サイバーエージェントAI事業部の新卒研修で利用したスライドを公開します。
2024年度_サイバーエージェント_新卒研修「データベースの歴史」.pptx
2024年度_サイバーエージェント_新卒研修「データベースの歴史」.pptx
yassun7010
This paper provides a comprehensive overview of motion planning for robotic manipulation, encompassing grasp planning, motion planning, MoveIt in ROS, OMPL, RRT, forward and inverse kinematics, singularity of robotic manipulators, and manipulability.
ロボットマニピュレーションの作業・動作計画 / rosjp_planning_for_robotic_manipulation_20240521
ロボットマニピュレーションの作業・動作計画 / rosjp_planning_for_robotic_manipulation_20240521
Satoshi Makita
TSG LIVE! 12 LT
Intranet Development v1.0 (TSG LIVE! 12 LT )
Intranet Development v1.0 (TSG LIVE! 12 LT )
iwashiira2ctf
Lei Ke, Yu-Wing Tai, Chi-Keung Tang, "Deep Occlusion-Aware Instance Segmentation With Overlapping BiLayers" CVPR2021 https://openaccess.thecvf.com/content/CVPR2021/html/Ke_Deep_Occlusion-Aware_Instance_Segmentation_With_Overlapping_BiLayers_CVPR_2021_paper.html
論文紹介:Deep Occlusion-Aware Instance Segmentation With Overlapping BiLayers
論文紹介:Deep Occlusion-Aware Instance Segmentation With Overlapping BiLayers
Toru Tamaki
This presentation introduces a paper about offline reinforcement learning.
論文紹介: Offline Q-Learning on diverse Multi-Task data both scales and generalizes
論文紹介: Offline Q-Learning on diverse Multi-Task data both scales and generalizes
atsushi061452
This presentation introduces a paper about offline reinforcement learning.
論文紹介: Exploiting semantic segmentation to boost reinforcement learning in vid...
論文紹介: Exploiting semantic segmentation to boost reinforcement learning in vid...
atsushi061452
Security-JAWS【第33回】 勉強会 https://s-jaws.doorkeeper.jp/events/173294
Amazon Cognitoで実装するパスキー (Security-JAWS【第33回】 勉強会)
Amazon Cognitoで実装するパスキー (Security-JAWS【第33回】 勉強会)
keikoitakurag
Yufei Xu, Jing Zhang, Qiming ZHANG, Dacheng Tao, "ViTPose: Simple Vision Transformer Baselines for Human Pose Estimation" NeurIPS2022 https://proceedings.neurips.cc/paper_files/paper/2022/hash/fbb10d319d44f8c3b4720873e4177c65-Abstract-Conference.html
論文紹介:ViTPose: Simple Vision Transformer Baselines for Human Pose Estimation
論文紹介:ViTPose: Simple Vision Transformer Baselines for Human Pose Estimation
Toru Tamaki
https://iotlt.connpass.com/event/318403/
20240523_IoTLT_vol111_kitazaki_v1___.pdf
20240523_IoTLT_vol111_kitazaki_v1___.pdf
Ayachika Kitazaki
第23回 Customer系エンジニア座談会 の LT 公開用スライドです。 https://customer-x-engineer.connpass.com/event/314639/ クラウド電話システム CallConnect に興味を持った方はこちら。 https://www.callconnect.jp/?slideshare お気軽にフォロー/DM お待ちしています。 https://x.com/24guchia https://www.facebook.com/eiichi.nishiguchi
5/22 第23回 Customer系エンジニア座談会のスライド 公開用 西口瑛一
5/22 第23回 Customer系エンジニア座談会のスライド 公開用 西口瑛一
瑛一 西口
2024/05/25 serverless Meetup osaka
2024年5月25日Serverless Meetup大阪 アプリケーションをどこで動かすべきなのか.pptx
2024年5月25日Serverless Meetup大阪 アプリケーションをどこで動かすべきなのか.pptx
ssuserbefd24
Recently uploaded
(11)
2024年度_サイバーエージェント_新卒研修「データベースの歴史」.pptx
2024年度_サイバーエージェント_新卒研修「データベースの歴史」.pptx
ロボットマニピュレーションの作業・動作計画 / rosjp_planning_for_robotic_manipulation_20240521
ロボットマニピュレーションの作業・動作計画 / rosjp_planning_for_robotic_manipulation_20240521
Intranet Development v1.0 (TSG LIVE! 12 LT )
Intranet Development v1.0 (TSG LIVE! 12 LT )
論文紹介:Deep Occlusion-Aware Instance Segmentation With Overlapping BiLayers
論文紹介:Deep Occlusion-Aware Instance Segmentation With Overlapping BiLayers
論文紹介: Offline Q-Learning on diverse Multi-Task data both scales and generalizes
論文紹介: Offline Q-Learning on diverse Multi-Task data both scales and generalizes
論文紹介: Exploiting semantic segmentation to boost reinforcement learning in vid...
論文紹介: Exploiting semantic segmentation to boost reinforcement learning in vid...
Amazon Cognitoで実装するパスキー (Security-JAWS【第33回】 勉強会)
Amazon Cognitoで実装するパスキー (Security-JAWS【第33回】 勉強会)
論文紹介:ViTPose: Simple Vision Transformer Baselines for Human Pose Estimation
論文紹介:ViTPose: Simple Vision Transformer Baselines for Human Pose Estimation
20240523_IoTLT_vol111_kitazaki_v1___.pdf
20240523_IoTLT_vol111_kitazaki_v1___.pdf
5/22 第23回 Customer系エンジニア座談会のスライド 公開用 西口瑛一
5/22 第23回 Customer系エンジニア座談会のスライド 公開用 西口瑛一
2024年5月25日Serverless Meetup大阪 アプリケーションをどこで動かすべきなのか.pptx
2024年5月25日Serverless Meetup大阪 アプリケーションをどこで動かすべきなのか.pptx
PRML11章
1.
PRML 第11章 サンプリング法
2.
- 2 - ◼
サンプリング法の目的 ある関数𝑓(𝑧)の確率分布𝑝(𝑧)の下での期待値の計算を 行うこと。 ◼ 期待値計算について 連続変数の場合:式(11.1)𝔼 𝑓 = ∫ 𝑓 𝑧 𝑝 𝑧 𝑑𝑧 関数と分布の例 11章 サンプリング法
3.
- 3 - 期待値を解析的な方法を用いて厳密に評価することが 困難と仮定。 ⇒
確率分布𝑝(𝑧)から独立に抽出されたサンプル集合 𝑧 𝑙 (𝑙 = 1, … , 𝐿)を使うことで式(11.1)を有限和で 近似する。 近似式(11.2) ሚ𝑓 = 1 𝐿 σ𝑙=1 𝐿 𝑓(𝑧 𝑙 ) 11章 サンプリング法 近似式の気持ち • 分布𝑝(𝑧)からサンプルを抽出するので、確率が高い位置からのサンプル は多く抽出され、その逆のサンプルはあまり抽出されない。 • 得られたサンプルのときの𝑓 𝑧 を計算することで、サンプルの出現回数 に応じた𝑓 𝑧 が計算可能。これを平均することで期待値を近似する。 • つまり、分布𝑝(𝑧)に従うサンプルをうまく抽出できれば、期待値の良い 近似値を得ることができる。
4.
- 4 - ◼
式(11.2)の問題点 1. サンプルが独立でない可能性。 (→相関のあるサンプルを捨てると実効的なサンプルが少ない) 2. 確率分布𝑝(𝑧)の小さな領域で𝑓(𝑧)の値が大きい場合に、 その領域からサンプルした値に期待値が引っ張られて しまう。 ⇒ 次頁から上記のような問題点を解決するような いくつかのサンプリング法について整理していく。 (対象の確率分布𝑝 𝑧 からサンプル集合𝑧 𝑙 をどのように得るか) 11章 サンプリング法
5.
- 5 - ◼
(マルコフ連鎖ではない)サンプリング法の種類 1. 標準的な分布からのサンプリング → 11.1.1 2. 棄却サンプリング → 11.1.2 3. 適応的棄却サンプリング → 11.1.3 4. 重点サンプリング → 11.1.4 5. SIR(Sampling-importance-resampling) → 11.1.5 11章 サンプリング法 • 2, 3, 5は、分布𝑝(𝑧)に従う𝑧をうまくサンプリングし、 式(11.2)で期待値を計算する。 • 4は、式(11.2)とは別の手法で直接期待値を計算する。
6.
- 6 -
11.1.1 標準的な分布 ◼ 変換法 1. 乱数 𝑧 を一様分布から発生させる。 2. 𝑧 を 𝑦 = 𝑓(𝑧)で変換。(𝑝(𝑦)から 𝑦 を生成できたことに) 3. このとき 𝑦 の分布は以下に従う。 式(11.5)𝑝 𝑦 = 𝑝 𝑧 𝑑𝑧 𝑑𝑦 4. 上記を積分すると以下となる。(𝑝(𝑦)の不定積分) 式(11.6)𝑧 = ℎ 𝑦 = ∫−∞ 𝑦 𝑝 𝑦 𝑑 𝑦 5. 上記の逆関数は y = ℎ−1(𝑧) となり、2の形と一致。 ⇒ 逆関数が求められる 𝑓(∙) であれば、 𝑝(𝑦)に従う𝑦が生成できる。 11.1 基本的なサンプリングアルゴリズム
7.
- 7 -
11.1.2 棄却サンプリング 仮定:1.分布𝑝(𝑧)は複雑(=サンプリング困難)な分布。 2.任意の与えられた 𝑧 に対して、𝑝(𝑧)を求める ことは容易。 3.正規化定数 Z を求めることは困難。 ⇒ 式(11.13)𝑝 𝑧 = 1 𝑍 𝑝 𝑝(𝑧) において 𝑝(𝑧)はすぐに求められるが、𝑍 𝑝は分からない。 ⇒ 提案分布(Proposal distribution)𝑞(𝑧)を導入する ことで、𝒑(𝒛)に従ったサンプリング結果を取得する。 11.1 基本的なサンプリングアルゴリズム
8.
- 8 - ◼
サンプリング手順 1. 𝑘𝑞 𝑧 ≥ 𝑝(𝑧)が成り立つような比較関数𝑘𝑞 𝑧 を定義。 (以下、所定の回数ループする) 2. 乱数𝑧0を分布𝑞 𝑧 から生成する。 3. 乱数𝑢0を区間 0, 𝑘𝑞 𝑧0 上の一様分布から生成する。 4. 𝑝 𝑧0 < 𝑢0で𝑧0を棄却、 𝑝 𝑧0 ≥ 𝑢0で𝑧0を保持。 11.1 基本的なサンプリングアルゴリズム 2 3 1
9.
- 9 -
11.1.3 適応的棄却サンプリング 棄却サンプリングを適用する場合、適切な包絡分布𝑞 𝑧 を 解析的に決定することは難しい。 ⇒ 分布𝑝(𝑧)の観測値に基づいて、その場で包絡関数を構築 (包絡関数の構築は、𝑝(𝑧)が対数凹、 つまりln 𝑝(𝑧)の導関数が𝑧 の非増加関数の場合、簡単になる) 11.1 基本的なサンプリングアルゴリズム
10.
- 10 - ◼
サンプリング手順 1. 𝑞 𝑧 ≥ 𝑝(𝑧)が成り立つ以下の包絡関数を定義する。 包絡関数: 𝑞 𝑧 = 𝑘𝑖 𝜆𝑖 exp −𝜆𝑖 𝑧 − 𝑧𝑖 ǁ𝑧𝑖−1,𝑖 < 𝑧 ≤ ǁ𝑧𝑖,𝑖+1 ➢ ǁ𝑧𝑖−1,𝑖は𝑧𝑖−1での接線と𝑧𝑖での接線の交点 ➢ 𝜆𝑖は𝑧𝑖での接線の傾き ➢ 𝑘𝑖は対応するオフセット(左から何番目の指数分布か?) (以下は棄却サンプリングと同じ。所定の回数ループする。) 2. 乱数𝑧0を分布𝑞 𝑧 から生成する。 3. 乱数𝑢0を区間 0, 𝑘𝑞 𝑧0 上の一様分布から生成する。 4. 𝑝 𝑧0 < 𝑢0で𝑧0を棄却、 𝑝 𝑧0 ≥ 𝑢0で𝑧0を保持。 (ここから異なる) 5. 棄却された場合、その点におけるln 𝑝(𝑧)の接線計算。 6. 包絡分布関数を更新する。 11.1 基本的なサンプリングアルゴリズム
11.
- 11 - ◼
棄却サンプリングの問題点 1. 良い比較関数を求めることは非常に困難 • 棄却域を出来る限り最小にするには、比較関数(包絡 関数)が求めたい分布に近い必要。 2. 高次元空間では、棄却率が非常に高い。 • 受理率は次元数に指数的に減少。 ⇒ 1、2次元のデータに対して棄却サンプリングは 有用であるが、高次元データには向かない。 11.1 基本的なサンプリングアルゴリズム
12.
- 12 -
11.1.4 重点サンプリング 期待値を直接近似する手法であり、 分布𝒑(𝒛)からのサンプルを抽出する仕組みではない。 仮定:1.分布 𝑝(𝑧) は複雑(=サンプリング困難)な分布。 2.任意の与えられた 𝑧 に対して、𝑝(𝑧)を求める ことは容易。 ◼ 単純な方法(重点サンプリングの導入) 期待値計算の単純な方法 𝑧空間を均一なグリッドで離散化し、以下を計算。 式(11.18)𝔼 𝑓 = 1 𝐿 σ𝑙=1 𝐿 𝑝 𝑧(𝑙) 𝑓 𝑧(𝑙) 11.1 基本的なサンプリングアルゴリズム
13.
- 13 - ◼
単純な方法の問題点 1. 和を取る項の数が𝑧の次元に対して指数的に増加。 2. 𝑧空間の比較的小さい領域に大きな確率が集中 → 一様分布(均一なグリッドで離散化)では非効率。 → 積𝑝 𝑧 𝑓 𝑧 が大きな領域に入るサンプルを抽出したい ⇒ 提案分布を用いて、重要と考えられる領域から 重点的にサンプリングし、期待値を計算する。 式(11.19)𝔼 𝑓 = ∫ 𝑝 𝑧 𝑓 𝑧 𝑑𝑧 = ∫ 𝑝(𝑧) 𝑞(𝑧) 𝑞 𝑧 𝑓 𝑧 𝑑𝑧 = 1 𝐿 σ𝑙=1 𝐿 𝑝 𝑧(𝑙) 𝑞 𝑧(𝑙) 𝑓 𝑧(𝑙) 11.1 基本的なサンプリングアルゴリズム 重要度重み(importance weights)※重点サンプリングでは、 全てのサンプルを使用する。
14.
- 14 - 再掲(11.19)𝔼
𝑓 = 1 𝐿 σ𝑙=1 𝐿 𝑝 𝑧(𝑙) 𝑞 𝑧(𝑙) 𝑓 𝑧(𝑙) 11.1 基本的なサンプリングアルゴリズム 重点サンプリングの気持ち • 単純に積𝑝 𝑧 𝑓 𝑧 を用いると、上図左の𝑝 𝑧 のピークに引っ張られ、 𝑓 𝑧 が小さい割によくサンプルが抽出される。 • 提案分布𝑞 𝑧 との比を使用することで、左の山の重要度を減少させ、 右の山の重要度はあまり減少させず期待値計算が可能。
15.
- 15 - ◼
正規化項を求めることが困難な場合 正規化項を含んだ形で計算すると、 式(11.20) 𝔼 𝑓 = 𝑍 𝑞 𝑍 𝑝 1 𝐿 σ𝑙=1 𝐿 𝑟𝑙 𝑓 𝑧(𝑙) ただし、𝑟𝑙 = 𝑝 𝑧(𝑙) 𝑞 𝑧(𝑙) このとき、 𝑍 𝑝 𝑍 𝑞 は、 式(11.21) 𝑍 𝑝 𝑍 𝑞 = 1 𝑍 𝑞 ∫ 𝑝 𝑧 𝑑𝑧 = ∫ 𝑝 𝑧 𝑞 𝑧 𝑑𝑧 ≅ 1 𝐿 σ𝑙=1 𝐿 𝑟𝑙 したがって、 式(11.22) 𝔼 𝑓 ≅ σ𝑙=1 𝐿 𝑤𝑖 𝑓 𝑧 𝑙 ただし、 式(11.23) 𝑤𝑖 = 𝑟 𝑙 σ 𝑚 ෦𝑟 𝑚 = 𝑝 𝑧(𝑙) /𝑞 𝑧(𝑙) σ 𝑚 𝑝 𝑧(𝑚) /𝑞 𝑧(𝑚) 11.1 基本的なサンプリングアルゴリズム
16.
- 16 -
11.1.5 SIR(sampling-importance-resampling) 定数𝑘を用いないサンプリング手法 ◼ サンプリング手順 1. 𝐿個のサンプル𝑧(𝑙) , … , 𝑧(𝐿) を𝑞 𝑧 から抽出する。 2. 式(11.23)を用いて重み𝑤1, … , 𝑤 𝐿を求める。 3. 1でサンプリングした値から、2で求めた重みに基づい てから𝐿個のサンプルを再抽出する。※復元抽出 11.1 基本的なサンプリングアルゴリズム SIRの気持ち • SIRにおいても𝑝 𝑧 と𝑍 𝑝を求めることは困難で、 𝑝(𝑧)は容易。 • 式(11.23)を用いることで、𝑞 𝑧 と比較して 𝑝(𝑧)の方が大きければ、 その𝑧に対する重みは大きくなり、3においてその𝑧を多く抽出する。 • その結果、(𝑞 𝑧 と 𝑝(𝑧)から) 𝑝 𝑧 に基づいたサンプルが抽出できる。
17.
- 17 -
11.1.6 サンプリングとEMアルゴリズム ◼ モンテカルロEMアルゴリズム サンプリング法を用いて、Eステップで求める 𝑝(𝑍|𝑋, 𝜃 𝑜𝑙𝑑)を近似し、Mステップで最大化する関数を 以下のように変更。 Mステップ 式(11.28)𝑄 𝜃, 𝜃 𝑜𝑙𝑑 = ∫ 𝑝(𝑍|𝑋, 𝜃 𝑜𝑙𝑑 ) ln 𝑝(𝑍, 𝑋|𝜃)𝑑𝑍 サンプリング法でEステップの計算結果を近似 式(11.29)𝑄 𝜃, 𝜃 𝑜𝑙𝑑 = 1 𝐿 σ𝑙=1 𝐿 ln 𝑝(𝑍 𝑙 , 𝑋|𝜃) 11.1 基本的なサンプリングアルゴリズム 本来Eステップで求める確率
18.
- 18 - ◼
MCMC(Markov chain Monte Carlo methods) • 様々な分布からサンプリング可能で、サンプル空間の 次元数が大きくてもうまく機能する手法。 • 前頁までと同様、サンプリングすることが簡単な提案 分布を用いる。 仮定:1.分布𝑝(𝑧)は複雑(=サンプリング困難)な分布。 2.任意の与えられた 𝑧 に対して、 𝑝(𝑧)を求める ことは容易。 3.正規化定数 Z を求めることは困難。 11.2 マルコフ連鎖モンテカルロ
19.
- 19 - ◼
MCMCの種類 1. Metropolisアルゴリズム → 11.2 2. Metropolis-Hastingsアルゴリズム → 11.2.2 3. ギブスサンプリング → 11.3 4. スライスサンプリング → 11.4 5. ハイブリッドモンテカルロアルゴリズム → 11.5 11.2 マルコフ連鎖モンテカルロ
20.
- 20 -
Metropolisアルゴリズム ◼ サンプリング手順 1. 適当な初期値を生成し、𝑧 𝜏 にセットする。 (以下、所定の回数ループする) 2. 提案分布𝑞 𝑧 からサンプル 𝑧 を生成し、 𝑧∗ = 𝑧 𝜏 + 𝑧とする。 3. 以下の確率に従いサンプルの受理/棄却を決定する。 式(11.33) 𝐴 𝑧∗, 𝑧 𝜏 = min(1, 𝑝(𝑧∗) 𝑝(𝑧(𝜏)) ) 4. サンプルが受理された場合、𝑧 𝜏+1 = 𝑧∗とする。 5. サンプルが棄却された場合、𝑧 𝜏+1 = 𝑧(𝜏) とする。 11.2 マルコフ連鎖モンテカルロ
21.
- 21 - ◼
注意点 1. 系列𝑧(1), 𝑧(2) … は𝑝(𝑧)からの独立なサンプルではない。 ⇒ M個ごとのサンプルのみを保持する。 2. 系列𝑧(1), 𝑧(2), … の最初のサンプルは初期値の影響を 受けているため、保持するべきではない。 ⇒ 一定の割合分だけ保持しないこととする(Burn in)。 11.2 マルコフ連鎖モンテカルロ
22.
- 22 -
11.2.1 マルコフ連鎖 マルコフ連鎖の一般的な性質を整理する。 ◼ 一次マルコフ連鎖 確率変数の系列𝑧 1 , … , 𝑧(𝑚)において、𝑚 ∈ 1, … , 𝑀 − 1 について以下の条件付き独立性が成立するものを指す。 式(11.37)𝑝 𝑧(𝑚+1) 𝑧 1 , … , 𝑧 𝑚 = 𝑝(𝑧 𝑚+1 |𝑧(𝑚)) ◼ 均一マルコフ連鎖 全ての 𝑚 について、 遷移確率 𝑇 𝑚(𝑧 𝑚 , 𝑧 𝑚+1 ) ≡ 𝑝(𝑧 𝑚+1 |𝑧(𝑚) )が同じ マルコフ連鎖は、均一マルコフ連鎖と呼ばれる。 11.2 マルコフ連鎖モンテカルロ
23.
- 23 - ◼
周辺確率 連鎖における一つ前の確率を用いて、以下の通り計算。 式(11.38)𝑝 𝑧 𝑚+1 = σ 𝑧(𝑚) 𝑝 𝑧 𝑚+1 𝑧(𝑚) 𝑝(𝑧(𝑚) ) ◼ 不変(定常) 遷移確率が 𝑇(𝑧′, 𝑧) である均一マルコフ分布において、 以下が成り立つ場合、不変と呼ぶ。 式(11.39)𝑝∗ 𝑧 = σ 𝑧′ 𝑇(𝑧′, 𝑧)𝑝∗(𝑧′) 11.2 マルコフ連鎖モンテカルロ • 𝑇 𝑧′, 𝑧 = 𝑝(𝑧|𝑧′) • 十分なサンプル数を取ったとき、その時刻までの値の和を 取れば分布の形は同じになる=不変である。
24.
- 24 - ◼
詳細釣り合い条件(detailed balance) 求めたい分布p 𝑧 が不変分布であることを保証するため には、以下の式が成り立つ必要。 式(11.40) 𝑝∗ 𝑧 𝑇(𝑧, 𝑧′ ) = 𝑝∗ 𝑧′ 𝑇(𝑧′ , 𝑧) ◼ エルゴード性 詳細釣り合い条件を満たし、分布が不変となるようなマル コフ連鎖を用いれば、𝑚 → ∞のとき、初期分布 𝑝 𝑧(0) の選 択に関わらず、分布 𝑝(𝑧(0) )は求めたい分布 𝑝∗ 𝑧 に収束する。 11.2 マルコフ連鎖モンテカルロ • ある状態𝑝∗ 𝑧 から、別の状態𝑝∗ 𝑧′ に遷移する確率 が等しい
25.
- 25 -
11.2.2 Metropolis-Hastingsアルゴリズム 提案分布の形が対称でなくても良いアルゴリズム ◼ サンプリング手順 1. 適当な初期値を生成し、𝑧 𝜏 にセットする。 (以下、所定の回数ループする) 2. 提案分布𝑞 𝑧 からサンプル 𝑧 を生成し、 𝑧∗ = 𝑧 𝜏 + 𝑧とする。 3. 以下の確率に従いサンプルの受理/棄却を決定する。 式(11.33)𝐴 𝑘 𝑧∗, 𝑧 𝜏 = min(1, 𝑝 𝑧∗ 𝑞 𝑘(𝑧 𝜏|𝑧∗) 𝑝(𝑧 𝜏 )𝑞 𝑘(𝑧∗|𝑧(𝜏)) ) 4. サンプルが受理された場合、𝑧 𝜏+1 = 𝑧∗とする。 5. サンプルが棄却された場合、𝑧 𝜏+1 = 𝑧(𝜏) とする。 11.2 マルコフ連鎖モンテカルロ
26.
- 26 -
11.3 ギブスサンプリング MHアルゴリズムの特別な場合とみなすことができるMCMC。 求めたい分布p 𝑧 の条件付き分布p 𝑧|𝒛∖𝑖 を定義し、 𝒛𝑖をp 𝑧|𝒛∖𝑖 からサンプリングされた値で置き換える。 ◼ サンプリング手順(3変数の場合) 1. 適当な初期値を生成し、𝑧1 (0) , 𝑧2 (0) , 𝑧3 (0) にセットする。 (以下、所定の回数ループする) 2. 𝑧1 (𝜏+1) = 𝑝(𝑧1|𝑧2 𝜏 , 𝑧3 𝜏 ) 3. 𝑧2 (𝜏+1) = 𝑝(𝑧2|𝑧1 (𝜏+1) , 𝑧3 𝜏 ) 4. 𝑧3 (𝜏+1) = 𝑝(𝑧3|𝑧1 (𝜏+1) , 𝑧2 (𝜏+1) ) 11.2 マルコフ連鎖モンテカルロ
27.
- 27 -
11.4 スライスサンプリング ◼ サンプリング手順 1. 適当な初期値を生成し、𝑧 𝜏 にセットする。 (以下、所定の回数ループする) 2. 現在の𝑧 𝜏 における 𝑝(𝑧)を求める。 3. 区間 0 ≤ 𝑢 ≤ 𝑝(𝑧)において一様に𝑢を生成する。 4. 𝑧 𝜏 を中心として幅𝑤を元に区間 𝑧 𝑚𝑖𝑛, 𝑧 𝑚𝑎𝑥を求める。 5. 𝑝(𝑧 𝑚𝑖𝑛)及び 𝑝(𝑧 𝑚𝑎𝑥)が𝑢を下回るまで𝑤ずつ拡大する。 6. 区間 𝑧 𝑚𝑖𝑛, 𝑧 𝑚𝑎𝑥から一様に𝑧∗を生成する。 7. u < 𝑝(𝑧∗)の場合、𝑧 𝜏+1 = 𝑧∗ 8. u ≥ 𝑝(𝑧∗)の場合、𝑧∗を𝑧 𝑚𝑖𝑛, 𝑧 𝑚𝑎𝑥の近い方にセット。 9. 8の場合は、6に戻る。 11.2 マルコフ連鎖モンテカルロ
28.
- 28 - 11.2
マルコフ連鎖モンテカルロ 1 2 3 4
29.
- 29 -
11.5 ハイブリッドモンテカルロアルゴリズム • ハミルトン力学とMetropolisアルゴリズムを組み合わ せた手法。 • 運動量変数 𝒓 の確率的な更新と、リープフロッグアル ゴリズムによるハミルトン力学系の更新を交互に行う マルコフ連鎖を用いる。 • リープフロッグアルゴリズムの適用ごとの結果として 得られる状態候補が、ハミルトン関数 𝐻 の値に基づ くMetropolis基準に従って受理/棄却される。 式(11.67)min(1, exp{𝐻 𝒛, 𝒓 − 𝐻(𝒛∗ , 𝒓∗ )}) 11.2 マルコフ連鎖モンテカルロ
30.
- 30 - ◼
サンプリング法の目的 ある関数𝑓(𝑧)の確率分布𝑝(𝑧)の下での期待値の計 算を行うこと。 ◼ サンプリング法がやっていること 求めたい分布𝑝(𝑧)が解析的に求められないので、 計算が簡単な 𝑝(𝑧)を使って、分布𝑝(𝑧)に従うサン プルを生成する。 まとめ
Download now