PRML 2.3

だれ？
• 氏名：鈴木雄登 @moc_yuto
• facebook: yutosuzu
• 大学院で自然言語処理を研究
• 現職：CyberZの開発エンジニア

アジェンダ
• ガウス分布の特徴
• ガウス分布と最尤推定
• ガウス分布とベイズ推論
• 混合ガウス分布

ガウス分布の特徴
• 正規分布とも呼ばれる
• 単峰形（極大値が１つ）確率密度関数

ガウス分布が使われる場面
• 変数が1つの時のエントロピーを最大化する分布
• 確率変数の和における変数の数が増えるにしたがっ
て近づく分布はガウス分布（中心極限定理）
• ガウス分布を用いたマルコフ確率場
• 時系列データのモデル化に用いられる線形動的シス
テム

１変数のガウス分布
平均
分散
変数：スカラー値x
パラメータ：平均と分散

１変数のガウス分布
ｘに依存している部分
この２次形式部分が定数
＝ガウス分布の密度が一定
（ユークリッド距離という）

多変量ガウス分布
平均ベクトル
共分散行列

多変量ガウス分布
ｘに依存している部分
この２次形式部分が定数
＝ガウス分布の密度が一定
（マハラノビス距離という）

分散と精度
• 分散の逆数は精度
• 共分散行列の逆数は精度行列

２次形式の特徴
固有ベクトルを用いると
ただし、yは次のように定義
x-μが定数の面は
楕円体になる
平行移動回転

ガウス分布における制限
• パラメータの総数はDに対して2乗に増加し、計算が困難
• 共分散行列Σには、D(D+1)/2個の自由パラメータ
• μにはD個の独立パラメータ
• 対応策：共分散行列を対角化独立パラメータが２Dに
一般のもの対角行列単位行列に比例

ガウス分布における制限その２
• 単峰性（極大値が１つ）
• パラメータが多すぎて、柔軟すぎる
• 適切に表現できる分布の範囲が制限され過ぎ
• 対応策：潜在変数を導入する（ガウス混合分布など）

条件付きガウス分布
• 同時分布がガウス分布なら条件付き分布もガウス分
布
• 平方完成を使うことで、導出可能

周辺分布（復習）
XY 0 1 P(X)
0 1/4 1/4 1/2
1 0 1/2 1/2
P(Y) 1/4 3/4

周辺ガウス分布
• 同時分布がガウス分布周辺分布もガウス分布
p(xa,xb)の等高線赤線は断面図
p(xa)は横からみたもの

ガウス分布に対するベイズ
• ベイズの定理を求める
p(x)とp(y¦x)が既知のとき、p(y)とp(x¦y)を求めたい
２次形式を用いると、
上の式から変形してp(y)とp(x¦y)を求めることができる。

ガウス分布の最尤推定
• ガウス分布の最尤推定も偏微分を行えば、求められる
求める
パラメータ
観測値

逐次推定
一括処理できないくらいデータ集合が大きい時に利用
更新時の修正分
Nが増えるに連れ
影響は小さくなる

ガウス分布によるベイズ推論
• ガウス分布を用いると、以下を求めることができる
• 分散が既知の場合の平均の推定
• 平均が既知の場合の分散の推定
• 分散、平均ともに未知の場合の推定

分散が既知、平均の推定
尤度関数が以下であったとき、
であるので事前分布p(μ)にガウス分布を選べば
と推定できる
共役事前分布に！

考察
• 事後分布の平均＝事前分布の平均∼最尤推定解の平均
• N＝０事前分布の平均
• N→ 最尤推定解の平均
平均が0の事前分布

平均が既知、分散の推定
• 便利なので分散を精度でもって計算
• 精度は分散の逆数
• 共役事前分布はガンマ分布があてはまる

平均、分散ともに未知
• 事前分布：ガウス―ガンマ分布
• ガウス分布とガンマ分布の積だが、パラメータは依存してい
る

スチューデントのt分布
• 平均は同じだが、精度が異なるようなガウス分布を
無限個足しあわせたもの
• ガウス分布より分布の「すそ」が長い→ロバスト！
• 外れ値に強い
• 実運用では、このようなすその重い分布を使うと外れ
値に強いのでおすすめとのこと。

周期関数
• 周期になっている変数を扱う際、原点の選択で平均
の値が変わってしまう。そこで極座標を使おうよと
いう話。
θ1
θ2

混合ガウス分布
通常のガウス分布混合ガウス分布
混合分布：ガウス分布のような基本的な分布を線形結合

ガウス分布
個別に平均と共分散の
パラメータを持つ
混合係数

ガウス分布
個別に平均と共分散の
パラメータを持つ
混合係数
xで積分

混合ガウス分布のパラメータ推定
• 単純には解けない！！
• みんな大好きEMアルゴリズムで！！！！

Recommended