KCS AI班2017年3月1日の活動。

1. PRML10.1～10.4まとめ
大域的変分推論法
@sesenosannko

2. 目次
変分法とは
変分近似法の概要
大域的変分推論法の概要
大域的変分推論法の利点
目次

3. 変分法
関数⋯入力した値xに対してy(x)を返す
汎関数⋯入力した関数y(x)に対してF[y]を返す（関数の関数）
↓
微分⋯ xの微小変化に対する関数y(x)の変化
変分⋯ y(x)の微小変化に対する汎関数F[y]の変化
変分近似法は近似だが、変分法自体は近似ではない
変分法とは

4. 変分法を用いて何を近似するのか
変分法⇒汎関数を最大化することができる
（簡単には求められない）確率分布を
単純な確率分布の組合せで近似したい
⇑
何かを最大化する組み合わせの確率分布の組合せを求める
⇑
変分法！！
変文近似法の概要

5. 変分近似法の種類
変分推論法（変分ベイズ法）
大域的変分推論法
全ての確率分布についての事後分布の近似
局所的変分推論法
モデルの各変数（または変数群）の関数の近似
EP法
考え方が異なる変分近似法（ここでは説明は省略する）
変文近似法の概要

6. 大域的変分推論法で扱うモデル
潜在変数Zを持つモデルを対象とする
（このモデルではパラメータも潜在変数Zに含めます）
観測データXに対して潜在変数Zの事後確率p(Z∣X)が知りたい
事後確率p(Z∣X)が簡単には求まらないとする
例：
混合ガウス分布（Z ⋯平均μ・分散Σ・潜在変数Z）
ベイズ線形回帰（Z ⋯パラメータw・超パラメータα)
大域的変分推論法の概要

7. 事後分布はどうすれば求まる？
任意の確率分布q(Z)に対して以下が成り立つ
lnp(X) = L(q) + KL(p∣∣q)
ただし
L(q) = q(Z)ln dZ
KL(p∣∣q) = − q(Z)ln dZ
大域的変分推論法の概要
∫ { q(Z)
p(X,Z)
}
∫ { q(Z)
p(Z∣X)
}

8. 事後分布はどうすれば求まる？
ここでlnp(X)が一定であるため
L(q)の最大化⟺ KL(p∣∣q)の最小化
⇒ q(Z)が任意であればq(z) = p(Z∣X)
（KL(p∣∣q)の形式より）
大域的変分推論法の概要

9. 事後分布はどうすれば求まる？
p(Z∣X)は厳密には求められない（仮定）
↓
q(Z)を単純な確率分布の組み合わせなどで近似
↓
L(q)の最大化するq(Z)はp(Z∣X)の近似となる
汎関数L(q)の最大化⇐変分法！！！
大域的変分推論法の概要

10. 大域的変分推論法の利点
EMアルゴリズムについて（最尤推定とベイズ推定の違い）
モデルの複雑さに自動的にペナルティを与える
混合ガウス分布などの要素が縮退することがない
適切な混合要素数を決定できる
ベイズ線形回帰について（超パラメータの点推定との比較）
完全なベイズモデルになる（超パラメータに関する積分）
大域的変分推論法の利点

11. まとめ
変分法を用いた確率分布の近似が変分推論法
大域的変分推論法では汎関数L(q)の最大化を経由して
事後確率p(Z∣X)を求める
変分近似法によりベイズ推定を適用できる対象の幅が広がる
まとめ