Home
Explore
Submit Search
Upload
Login
Signup
Advertisement
変分ベイズ法の説明
Report
Haruka Ozaki
Follow
Jun. 17, 2015
•
0 likes
61 likes
×
Be the first to like this
Show More
•
40,834 views
views
×
Total views
0
On Slideshare
0
From embeds
0
Number of embeds
0
Check these out next
混合モデルとEMアルゴリズム(PRML第9章)
Takao Yamanaka
時系列分析による異常検知入門
Yohei Sato
最近のKaggleに学ぶテーブルデータの特徴量エンジニアリング
mlm_kansai
EMアルゴリズム
Sotetsu KOYAMADA(小山田創哲)
【解説】 一般逆行列
Kenjiro Sugimoto
自動微分変分ベイズ法の紹介
Taku Yoshioka
ようやく分かった!最尤推定とベイズ推定
Akira Masuda
pymcとpystanでベイズ推定してみた話
Classi.corp
1
of
27
Top clipped slide
変分ベイズ法の説明
Jun. 17, 2015
•
0 likes
61 likes
×
Be the first to like this
Show More
•
40,834 views
views
×
Total views
0
On Slideshare
0
From embeds
0
Number of embeds
0
Download Now
Download to read offline
Report
Education
変分ベイズ法の説明。 最尤法との対比で説明した。また、EMアルゴリズムとの対応も述べられている。 職場の勉強会での資料です。
Haruka Ozaki
Follow
Advertisement
Advertisement
Advertisement
Recommended
マルコフ連鎖モンテカルロ法 (2/3はベイズ推定の話)
Yoshitake Takebayashi
49.5K views
•
48 slides
機械学習による統計的実験計画(ベイズ最適化を中心に)
Kota Matsui
11.1K views
•
216 slides
変分推論法(変分ベイズ法)(PRML第10章)
Takao Yamanaka
29.4K views
•
34 slides
PRML学習者から入る深層生成モデル入門
tmtm otm
5.4K views
•
73 slides
最適輸送の計算アルゴリズムの研究動向
ohken
7.3K views
•
29 slides
クラシックな機械学習入門:付録:よく使う線形代数の公式
Hiroshi Nakagawa
17K views
•
9 slides
More Related Content
Slideshows for you
(20)
混合モデルとEMアルゴリズム(PRML第9章)
Takao Yamanaka
•
70.4K views
時系列分析による異常検知入門
Yohei Sato
•
55.3K views
最近のKaggleに学ぶテーブルデータの特徴量エンジニアリング
mlm_kansai
•
65.1K views
EMアルゴリズム
Sotetsu KOYAMADA(小山田創哲)
•
78.9K views
【解説】 一般逆行列
Kenjiro Sugimoto
•
78.8K views
自動微分変分ベイズ法の紹介
Taku Yoshioka
•
5.6K views
ようやく分かった!最尤推定とベイズ推定
Akira Masuda
•
95.8K views
pymcとpystanでベイズ推定してみた話
Classi.corp
•
1.4K views
coordinate descent 法について
京都大学大学院情報学研究科数理工学専攻
•
17.3K views
『バックドア基準の入門』@統数研研究集会
takehikoihayashi
•
37.8K views
PRML輪読#1
matsuolab
•
22.4K views
機械学習におけるオンライン確率的最適化の理論
Taiji Suzuki
•
23.8K views
情報幾何勉強会 EMアルゴリズム
Shinagawa Seitaro
•
2.2K views
Stan超初心者入門
Hiroshi Shimizu
•
82.9K views
2014 3 13(テンソル分解の基礎)
Tatsuya Yokota
•
39.7K views
ガウス過程回帰の導出 ( GPR : Gaussian Process Regression )
Kenji Urai
•
29.2K views
ELBO型VAEのダメなところ
KCS Keio Computer Society
•
2.3K views
Optimizer入門&最新動向
Motokawa Tetsuya
•
22K views
基礎からのベイズ統計学 輪読会資料 第4章 メトロポリス・ヘイスティングス法
Ken'ichi Matsui
•
25K views
SSII2021 [OS2-01] 転移学習の基礎:異なるタスクの知識を利用するための機械学習の方法
SSII
•
3.3K views
Viewers also liked
(10)
Deformable Part Modelとその発展
Takao Yamanaka
•
17.2K views
数理工学専攻の入試案内
京都大学大学院情報学研究科数理工学専攻
•
4.1K views
混合ガウスモデルとEMアルゴリスム
貴之 八木
•
24.4K views
パターン認識 04 混合正規分布
sleipnir002
•
57.6K views
Objectnessとその周辺技術
Takao Yamanaka
•
7.6K views
Fisher線形判別分析とFisher Weight Maps
Takao Yamanaka
•
46.5K views
高速な物体候補領域提案手法 (Fast Object Proposal Methods)
Takao Yamanaka
•
5.5K views
Pythonではじめる OpenAI Gymトレーニング
Takahiro Kubo
•
36.1K views
Stanコードの書き方 中級編
Hiroshi Shimizu
•
40.4K views
生成モデルの Deep Learning
Seiya Tokui
•
47.6K views
Advertisement
More from Haruka Ozaki
(11)
160817 ISMB2016読み会
Haruka Ozaki
•
1.4K views
Rでゲノム上の区間データを扱う話 (15.09.05 WACODE 2nd)
Haruka Ozaki
•
2.1K views
トピックモデル勉強会: 第2章 Latent Dirichlet Allocation
Haruka Ozaki
•
3.3K views
ISMB2014読み会 Ragout—a reference-assisted assembly tool for bacterial genomes
Haruka Ozaki
•
1.5K views
巨大な表を高速に扱うData.table について
Haruka Ozaki
•
8.4K views
Excelによる遺伝子名の誤変換 -傾向と対策-
Haruka Ozaki
•
4K views
Kashiwa.R#9 Rでゲノム解析
Haruka Ozaki
•
3.3K views
12-11-30 Kashiwa.R #5 初めてのR Rを始める前に知っておきたい10のこと
Haruka Ozaki
•
2.2K views
Rで塩基配列を扱う方法
Haruka Ozaki
•
2.5K views
FDRの使い方 (Kashiwa.R #3)
Haruka Ozaki
•
39.9K views
距離まとめられませんでした
Haruka Ozaki
•
8.3K views
Recently uploaded
(20)
★可查可存档〖制作伦敦政治经济学院文凭证书毕业证〗
vgfg1
•
2 views
★可查可存档〖制作杜兰大学文凭证书毕业证〗
fgfg45
•
2 views
#学位证靠谱办Curtin文凭证书全套
qghfsvkwiqiubridge
•
2 views
《约克大学毕业证|学位证书校内仿真版本》
124hdjkhas
•
3 views
★可查可存档〖制作圣劳伦斯学院文凭证书毕业证〗
tujjj
•
2 views
QQ微信819 4343办Nipissing假毕业证成绩单,办尼皮辛大学本科毕业证书,办Nipissing硕士假文凭,办Nipissing研究生学位证书,...
ColumbiaDiplomaColum
•
4 views
Camosun毕业证成绩单,办卡莫森学院假毕业证成绩单QQ/WeChat:819 4343,办Camosun本科毕业证,办Camosun假文凭硕士证书,办...
BonnieLaymon
•
3 views
★可查可存档〖制作梅西大学文凭证书毕业证〗
tujjj
•
2 views
#专业办证《圣汤玛斯毕业证学位证原版精仿》
sarotex825pgobom
•
2 views
#专业办证《UA毕业证学位证原版精仿》
sarotex825pgobom
•
2 views
エネルギー・情報コース説明資料
Tokyo Institute of Technology
•
0 views
MOTION OF CHARGED PARTICLE IN MAGNETIC FIELD.ppt
DinamGyatsoAadHenmoo
•
0 views
ST07.pdf
Masato FUKUHARA
•
0 views
#专业办证《UH毕业证学位证原版精仿》
sarotex825pgobom
•
2 views
QQ微信819 4343办uWinnipeg假毕业证成绩单,办温尼伯大学本科毕业证书,办uWinnipeg硕士假文凭,办uWinnipeg研究生学位证书,...
ColumbiaDiplomaColum
•
5 views
Radio09(1995).pdf
ivan ion
•
3 views
《麦考瑞大学毕业证|学位证书校内仿真版本》
hj123saf
•
3 views
2023パーフェクトなレポート執筆のための引用の書きかた .pdf
Yoshida-South Library, Kyoto University
•
6 views
★可查可存档〖制作布兰登大学文凭证书毕业证〗
mmmm282537
•
2 views
得点力アップ講座.pptx
ssuser5cce1e
•
3 views
Advertisement
変分ベイズ法の説明
15.06.17 変分ベイズ法の説明 尾崎 遼 http://research.microsoft.com/en-us/um/people/cmbishop/outreach.htm
目次 概要 点推定とベイズ推定 最尤推定とEMアルゴリズム 変分ベイズ推定とVB-EMアルゴリズム 変分ベイズ推定の性質 生物学への応用 2
概要 変分ベイズ法 • 確率モデルの潜在変数およびパラメータの事後分布を求 める手法の一種 • 事後分布を近似することで計算を簡単にしている •
因子分解可能という仮定を置く • 決定論的な手法 • MCMCなどのサンプリング法は確率的 3
点推定とベイズ推定 例えば、 というモデルで予測分布を求めるには? • 点推定 •
特定のパラメータの値 ( というモデル) による推定 4 • ベイズ推定 • パラメータの事後分布 を用いて周辺化 最尤推定やMAP推定で 点推定したパラメータの値 xの新しい予測値 推定に用いたデータ
最尤推定とEMアルゴリズム 観測変数 X と潜在変数
Z があるとき、 5 を最大にするパラメータ θ を求めるのが最尤推定 この最尤推定を行うための2段階の繰り返し最適化が EMアルゴリズム
最尤推定とEMアルゴリズム: 下界 方針: 対数尤度
の下界 を最大化する 6 ln p(X|θ)の下界 (Lower bound) Jensenの不等式より E step M step
最尤推定とEMアルゴリズム: E step 7 のとき、下限
が最大となる KLダイバージェンス なので 0以上 qが含まれて いないので定数 はθの現在の値とする
最尤推定とEMアルゴリズム: M step 8 エントロピー (θがはいっていないので定数) Q関数 (完全データ対数尤度の qに関する期待値) の解を新しいθにする は現在のZの事後分布とする Q関数を最大化するために
点推定の欠点 点推定では分布がなだらかな場合や単峰でない場合に 偏った推定になる 隠れ変数が1層だけのときしか適用できない 過学習 → ベイズ推定 9
バイオインフォマティクスと推定問題 解空間が巨大・各解の尤度は微小 • 例: RNA二次構造、系統樹 →点推定がよい予測につながらない 10Hamada,
Briefings in Bioinformatics, 2013
変分ベイズの目的と手段 最尤法 • 目的: 尤度
を最大にするパラメータを求める • 実現手段: EMアルゴリズム(二段階の繰り返し最適化) 変分ベイズ • 目的: 周辺尤度 (モデルエビデンス) を最大にするパラ メータの事後分布を求める • 手段: VB-EMアルゴリズム(二段階の繰り返し最適化) 11
変分ベイズとVB-EMアルゴリズム: 下限 12 Jensenの不等式より ln p(X)の下限 最尤法の時と異なり、この下限はそのままでは最大化できない(と する) そこで因子分解可能という仮定を置き、計算しやすい形に近似する
変分ベイズとVB-EMアルゴリズム: 因子分解 因子分解可能 (factorization)
な分布によって、真の事 後分布を近似します • Z を独立な因子に分解し、潜在変数およびパラメ ータの同時事後分布を各因子の事後分布の積で近 似する 13 「事後分布を求める」問題から 「因子分解可能な近似分布の中でできるだけ真の事後 分布に近い分布を求める」問題に変換
変分ベイズとVB-EMアルゴリズム: 変分下限 14 方針: 対数周辺尤度の変分下限
を最大化する 各因子について ln p(X)の変分下限
変分ベイズとVB-EMアルゴリズム: 更新式 15 qi はZiの確率分布だから j以外の因子に関する対数同時分布の期待値 のexp()と
q_j の間のKLダイバージェンス → これをゼロにすることが最大化につながる 変分下限 L(q) をq_j = q_j(Z_j) について整理する
変分ベイズとVB-EMアルゴリズム: 更新式 16 PRML下巻の式(10.9) 前頁の結果から、KLダイバージェンスをゼロにするのは以下のとき: この式を各因子の現在の事後分布を用いて順番に計算する j以外の因子の現在の事後分布に関して XとZの対数同時分布の期待値をとることに相当
変分ベイズとVB-EMアルゴリズム: 具体的なモデル 17 XZπ 因子分解可能という仮定により、潜在変数とパラメータの事後分布は以下のようになる
変分ベイズとVB-EMアルゴリズム: 具体的なモデル 18 変分下限(最大化する対象)を計算していく πの事後分布が事前分布と離れないようにする制約項とみなせる →過学習を防いでいる πの事前分布を導入せずにπの点推定を 行えば、最尤推定(EMアルゴリズム) と同じになる(あるθの値でのみ分布関 数のクラスを仮定すると考えてもよい)
変分ベイズとVB-EMアルゴリズム 19 変分E step 変分M step 潜在変数の現在の事後分布を用いてパラメータの事後分布を改良する パラメータの現在の事後分布を用いて潜在変数の事後分布を改良する この式 or 変分下限を具体的に計算し パラメータおよび潜在変数 について最適化する を解く 更新式の導出方法
まとめ 20 最尤法 変分ベイズ 与えられているも の 同時分布 p(X,Z|θ)
同時分布 p(X,Z) 目的 対数尤度 ln p(X|θ)を最大にする パラメー タを求める 対数周辺尤度(=モデルエビデンス) ln p(X) を最大にする パラメータの事後分布を求 める 目的関数の分解 ln(X|θ)= L(q, θ) + KL(q||p) ln(X) = L(q) + KL(q||p) 目的の再定義 下界 L(q, θ)の q(Z)とθに関する最大化 変分下限 L(q) の q(Z) に関する最大化 手続き EMアルゴリズムによる繰り返し最適化 VB-EMアルゴリズムによる繰り返し最適化 潜在変数に関する 最適化 パラメータの現在の値を用いて 潜在変数 の事後分布を改良する パラメータの現在の事後分布を用いて 潜 在変数の事後分布を改良する パラメータに関す る最適化 潜在変数の現在の事後分布を用いて パラ メタを更新する 潜在変数の現在の事後分布を用いて パラ メータの事後分布を改良する 注目した因子以外の因子に関して同時分布の期待値を計算したものを新しい値 or 分布にする
参考文献 C. M. ビショップ「パターン認識と機械学習
下」 9-10章 渡辺澄夫「ベイズ統計の理論と方法」 5章 • 平均場近似から自己無矛盾条件を導く形で説明している 佐藤一誠「トピックモデルによる統計的潜在意味解析」自然言語処理シリー ズ 8 コロナ社 Daichi Mochihashi “自然言語処理のための変分ベイズ法” • http://www.ism.ac.jp/~daichi/paper/vb-nlp-tutorial.pdf 21
生物学への応用 個々の遺伝子発現の状態がいくつあるか問題 • Nikaido et
al., PLOS One, 2011 • 混合ガウスのKの数も推定 22 RNA-seqによる転写産物量推定問題 • Nariai et al., Bioinformatics, 2013 • 複雑な生成モデルの計算を容易にした DNA断片からのハプロタイプ推定問題 • Matsumoto et al., BMC Genomics, 2013 • 複雑な生成モデルの計算を容易にした
余談 下界の導出方法には2通りある • Jensen の不等式を使う •
対数周辺尤度をKL divergence との和の形にする 具体的な更新式の導出方法には2通りある • 一般的な最適解の式にモデルの式を代入する • ラグランジュの未定乗数法で各パラメータについて変分 下限を最大化する 23
「事後分布を探すのが難しい」から始まる説明 (1) ベイズ推定の問題の一つは事後分布の計算が困難であるという ことだ 代わりに、事後分布を因子分解可能という仮定を置いて近似し た近似事後分布を考える この近似事後分布 (q) をなるべく真の事後分布
(p) に近づける ために、qとpのKLダイバージェンスを考える 24
「事後分布を探すのが難しい」から始まる説明 (2) しかし、目的関数に計算が困難であるpが含まれているため、この最適 化問題は計算が困難である 一方、対数周辺尤度は以下のように分解できる 左辺はqに関して一定なので、KLの最小化問題は変分下限 L の最大化問 題と同じである。そこで、変分下限の最大化を考える。 25
余談 EMアルゴリズムで下界、変分ベイズで下限と呼ぶ理 由はよくわかりませんでした • 原著ではどちらも lower
bound となっていた 26
余談 「10.4 指数分布族」の変分Eステップと変分Mステッ プの記述(p. 206)はEとMが逆な気がする 27
Advertisement