More Related Content
What's hot
What's hot (20)
PRML勉強会第3回 2章前半 2013/11/28
- 2. 目次 第2章 確率分布 • 2.1 二値変数 • 2.1.1 ベータ分布 • 2.2 多値変数 • 2.2.1 ディリクレ分布 • 2.3 ガウス分布 • 2.3.1 条件付きガウス分布 • 2.3.2 周辺ガウス分布 • 2.3.3 ガウス変数に対するベイズの定理 !2
- 3. 第2章 確率分布 の内容 ・標本データから、確率変数の確率分布を推定したい ! ・選んだ確率分布が、少数のパラメータのみで決まるか? ・決まる → パラメトリック (2.1-2.4) ・決まらない → ノンパラメトリック (2.5) ! ・パラメータさえ推定出来れば済む → どうやって決める? ・最尤推定 (p.22, 26) ・ベイズ推論 (第2章で扱う) ・パラメータ自体もまた、確率分布に従う、確率変数と考える ・分布の2段構え ・標本を観測→パラメータの事後確率を計算 (ベイズの法則) ! ・パラメトリックな手法を中心に紹介しつつ、必要な確率分布と性質を述べる ・関連して、「共役事前分布」「指数型分布族」の概念に触れる (2.4) !3
- 4. 第2章前半の構成 ・二項分布 (2.1) ・予測したい確率変数 : 離散、二値 ・パラメータの分布 : ベータ分布 (2.1.1) ! ・多項分布 (2.2) ・予測したい確率変数 : 離散、多値 ・パラメータの分布 : ディリクレ分布 (2.2.1) ! ・ガウス分布 (2.3) ・予測したい確率変数 : 連続 ・パラメータの分布 : ガウス分布、ガンマ分布 (2.3.6) ! ・二値 → 多値 → 連続 という順で、ほぼ同じ流れを3回説明している ・ガウス分布は重要なので、様々な性質も共に解説している !4
- 5. 目次 第2章 確率分布 • 2.1 二値変数 • 2.1.1 ベータ分布 • 2.2 多値変数 • 2.2.1 ディリクレ分布 • 2.3 ガウス分布 • 2.3.1 条件付きガウス分布 • 2.3.2 周辺ガウス分布 • 2.3.3 ガウス変数に対するベイズの定理 !5
- 10. 二項分布の例 N = 10, µ = 0.25の二項分布を、mの関数として示したヒストグラム 確率 m : x=1が何回観測されたか !10
- 11. 目次 第2章 確率分布 • 2.1 二値変数 • 2.1.1 ベータ分布 • 2.2 多値変数 • 2.2.1 ディリクレ分布 • 2.3 ガウス分布 • 2.3.1 条件付きガウス分布 • 2.3.2 周辺ガウス分布 • 2.3.3 ガウス変数に対するベイズの定理 !11
- 14. 共役性 正規化係数 同じ積の形に選ぶ p.22(1.44)より、(事後分布) (尤度) × (事前分布) なので、 ここも同じ積の形になる 事前分布Betaと同じ関数形式(積の形)になる。これを共役性(conjugacy)と呼ぶ。 2.4にて詳述 !14
- 15. ベータ分布の例 µの超パラメータaとbをいろいろな値にしたときの、Beta(µ | a, b)のグラフ a、つまりx=1の観測数が増えると、分布の山も1に近づく。これは、「今まで 表が多く出たコインだから、表が出やすいコインだろう」という直感と一致 !15
- 17. 目次 第2章 確率分布 • 2.1 二値変数 • 2.1.1 ベータ分布 • 2.2 多値変数 • 2.2.1 ディリクレ分布 • 2.3 ガウス分布 • 2.3.1 条件付きガウス分布 • 2.3.2 周辺ガウス分布 • 2.3.3 ガウス変数に対するベイズの定理 !17
- 19. 目次 第2章 確率分布 • 2.1 二値変数 • 2.1.1 ベータ分布 • 2.2 多値変数 • 2.2.1 ディリクレ分布 • 2.3 ガウス分布 • 2.3.1 条件付きガウス分布 • 2.3.2 周辺ガウス分布 • 2.3.3 ガウス変数に対するベイズの定理 !19
- 21. 3変数上のディリクレ分布の例 0.1 9.51350769867 1 10 1 362880.0 α_kを変化させたとき、前ページの三角形上各点において、確率密度がどのよ うに分布しているかを表している。 α_kが小さい → 一部のµ_kのみが大きい → 一部の値のみ出やすい α_kが大きい → 全てのµ_kが大きい → どの値も出やすい !21
- 23. 目次 第2章 確率分布 • 2.1 二値変数 • 2.1.1 ベータ分布 • 2.2 多値変数 • 2.2.1 ディリクレ分布 • 2.3 ガウス分布 • 2.3.1 条件付きガウス分布 • 2.3.2 周辺ガウス分布 • 2.3.3 ガウス変数に対するベイズの定理 !23
- 24. ガウス分布 ・連続変数の分布のモデルとして、ガウス分布がよく用いられる ! ・正規分布とも呼ばれる ! ・多変量ガウス分布は、µとΣで決まる µ : D次元の平均ベクトル Σ : D×Dの共分散行列 ! !24
- 27. ガウス分布の計算量と制約 ・D次元のガウス分布は、D(D+3)/2個のパラメータを持つ。 ・パラメータの個数がO(D^2)のオーダーで大きくなる。 ・計算量が非常に大きくなってしまう。 ・計算量を減らすため、共分散行列Σに制約を加えて、パラメータを減らす。 Σに制約を加えたときの、ガウス分布の等高線 Σの制約なし パラメータ個数 : D(D+3)/2 パラメータ個数 : 2D パラメータ個数 : D+1 !27
- 28. ガウス分布の問題点と、対処 ・ガウス分布は、単峰形(極大値が1つ)という制限があるため、多峰形の分布を 上手く近似できない。 ! ・潜在変数や非観測変数を導入した、ガウス複合分布を用いることで、表現力 を増すことができる。 ・離散潜在変数 (2.3.9) ・連続潜在変数 (12章) ・マルコフ確率場 → 画像の確率モデル (8.3) ・線形動的システム → 時系列データのモデル (13.3) ・確率的グラフィカルモデル (8章) !28
- 29. 条件付き/周辺ガウス分布、ベイズの法則 ・2.3.1∼2.3.3は、ガウス分布絡みの証明と、その過程で用いられる計算テク ニックの説明に費やされている。 ! ・2つの確率変数集合の同時分布、p(x_a, x_b)がガウス分布に従うならば、条 件付き分布p(x_a | x_b)もガウス分布に従う。(2.3.1) ! ・また、周辺分布 p(x_a)やp(x_b)もガウス分布に従う。(2.3.2) ! ・p(x_a)とp(x_b | x_a)が与えられたとき、ベイズの定理を適用した形 p(x_a | x_b)も、またガウス分布に従う。(2.3.3) !29