More Related Content
What's hot
What's hot (20)
More from Yuto Suzuki
More from Yuto Suzuki (20)
PRML 2.3
- 1. PRML勉強会 鈴木雄登
- 2. だれ？ • 氏名：鈴木雄登 @moc_yuto • facebook: yutosuzu • 大学院で自然言語処理を研究 • 現職：CyberZの開発エンジニア
- 3. アジェンダ • ガウス分布の特徴 • ガウス分布と最尤推定 • ガウス分布とベイズ推論 • 混合ガウス分布
- 4. ガウス分布の特徴 • 正規分布とも呼ばれる • 単峰形（極大値が１つ） 確率密度関数
- 5. ガウス分布が使われる場面 • 変数が1つの時のエントロピーを最大化する分布 • 確率変数の和における変数の数が増えるにしたがっ て近づく分布はガウス分布（中心極限定理） • ガウス分布を用いたマルコフ確率場 • 時系列データのモデル化に用いられる線形動的シス テム
- 12. ガウス分布における制限 • パラメータの総数はDに対して2乗に増加し、計算が困難 • 共分散行列Σには、D(D+1)/2個の自由パラメータ • μにはD個の独立パラメータ • 対応策：共分散行列を対角化 独立パラメータが２Dに 一般のもの 対角行列 単位行列に比例
- 13. ガウス分布における制限その２ • 単峰性（極大値が１つ） • パラメータが多すぎて、柔軟すぎる • 適切に表現できる分布の範囲が制限され過ぎ • 対応策：潜在変数を導入する（ガウス混合分布など）
- 15. 周辺分布（復習） XY 0 1 P(X) 0 1/4 1/4 1/2 1 0 1/2 1/2 P(Y) 1/4 3/4
- 16. 周辺ガウス分布 • 同時分布がガウス分布 周辺分布もガウス分布 p(xa,xb)の等高線 赤線は断面図 p(xa)は横からみたもの
- 20. ガウス分布によるベイズ推論 • ガウス分布を用いると、以下を求めることができる • 分散が既知の場合の平均の推定 • 平均が既知の場合の分散の推定 • 分散、平均ともに未知の場合の推定
- 22. 考察 • 事後分布の平均＝事前分布の平均∼最尤推定解の平均 • N＝０ 事前分布の平均 • N→ 最尤推定解の平均 平均が0の事前分布
- 23. 平均が既知、分散の推定 • 便利なので分散を精度でもって計算 • 精度は分散の逆数 • 共役事前分布はガンマ分布があてはまる
- 25. スチューデントのt分布 • 平均は同じだが、精度が異なるようなガウス分布を 無限個足しあわせたもの • ガウス分布より分布の「すそ」が長い→ロバスト！ • 外れ値に強い • 実運用では、このようなすその重い分布を使うと外れ 値に強いのでおすすめとのこと。
- 31. おわり