Download as PDF, PPTX
![[PRML] パターン認識と機械学習（第2章：確率分布）](https://cdn.slidesharecdn.com/ss_thumbnails/prmlchapter2-171002030018-thumbnail.jpg?width=640&height=640&fit=bounds)
PRML 2.3
- 1.
- 2. だれ？ • 氏名：鈴木雄登 @moc_yuto • facebook:yutosuzu • 大学院で自然言語処理を研究 • 現職：CyberZの開発エンジニア
- 3. アジェンダ • ガウス分布の特徴 • ガウス分布と最尤推定 •ガウス分布とベイズ推論 • 混合ガウス分布
- 4.
- 5. ガウス分布が使われる場面 • 変数が1つの時のエントロピーを最大化する分布 • 確率変数の和における変数の数が増えるにしたがっ て近づく分布はガウス分布（中心極限定理） •ガウス分布を用いたマルコフ確率場 • 時系列データのモデル化に用いられる線形動的シス テム
- 6.
- 7.
- 8.
- 9.
- 10.
- 11.
- 12. ガウス分布における制限 • パラメータの総数はDに対して2乗に増加し、計算が困難 • 共分散行列Σには、D(D+1)/2個の自由パラメータ •μにはD個の独立パラメータ • 対応策：共分散行列を対角化 独立パラメータが２Dに 一般のもの 対角行列 単位行列に比例
- 13. ガウス分布における制限その２ • 単峰性（極大値が１つ） • パラメータが多すぎて、柔軟すぎる •適切に表現できる分布の範囲が制限され過ぎ • 対応策：潜在変数を導入する（ガウス混合分布など）
- 14.
- 15. 周辺分布（復習） XY 0 1P(X) 0 1/4 1/4 1/2 1 0 1/2 1/2 P(Y) 1/4 3/4
- 16. 周辺ガウス分布 • 同時分布がガウス分布 周辺分布もガウス分布 p(xa,xb)の等高線赤線は断面図 p(xa)は横からみたもの
- 17.
- 18.
- 19.
- 20. ガウス分布によるベイズ推論 • ガウス分布を用いると、以下を求めることができる • 分散が既知の場合の平均の推定 •平均が既知の場合の分散の推定 • 分散、平均ともに未知の場合の推定
- 21.
- 22. 考察 • 事後分布の平均＝事前分布の平均∼最尤推定解の平均 • N＝０ 事前分布の平均 • N→ 最尤推定解の平均 平均が0の事前分布
- 23. 平均が既知、分散の推定 • 便利なので分散を精度でもって計算 • 精度は分散の逆数 •共役事前分布はガンマ分布があてはまる
- 24.
- 25. スチューデントのt分布 • 平均は同じだが、精度が異なるようなガウス分布を 無限個足しあわせたもの • ガウス分布より分布の「すそ」が長い→ロバスト！ •外れ値に強い • 実運用では、このようなすその重い分布を使うと外れ 値に強いのでおすすめとのこと。
- 26.
- 27.
- 28.
- 29.
- 30.
- 31.