2012/7/16PRML読書会担当分(3.4 ベイズモデル比較)

1. PRML3.4 ベイズモデル比較
２０１２／７／１６
@K5_sem
PRML読書会

2. 概要
●
3.4ではベイズの立場で モデル選択(Model
Selection)について考える
●
3.4の流れ
●
ベイズ以外の立場でモデル選択
●
ベイズの立場でモデル選択
●
モデルエビデンスの評価
●
モデル選択

3. ベイズ以外 の立場でモデル選択[1/2]
●
詳細は1.3参照
●
確認用集合(検証用集合:validation set)で予測性能
のよいモデルを考える
●
テスト集合(Test Set)で選んだモデルの性能を評価
●
性能の尺度をみつけるために情報量基準
(Information Criterion)を使い、これが最大に
なるモデルを選んだ!!

4. ベイズ以外 の立場でモデル選択[2/2]
●
短所
●
(AICやBICは)モデルパラメータの不確実性を考慮し
ておらず、過度に単純なモデルを選んでしまう
●
テスト集合(Test Set)で選んだモデルの性能を評価
●
複雑さに罰金(penalty?)を与える方法として、
完全なベイズアプローチを採用する!!
→「3.4 ベイズモデル比較」で説明!!

5. ベイズの立場でのモデル比較
●
モデル選択における不確かさを表すために確率
を用いる。
●
p(Mi|D) ∝ p(Mi)p(D|Mi) ※(3.66)式
p(Mi|D) →モデルの事後分布 ※Dは訓練集合
p(Mi) →事前確率分布
p(D|Mi) →モデルエビデンス／周辺尤度
●
ここではモデルエビデンス(Model Evidence)が
重要である!!

6. モデルエビデンスとは？
● モデルの空間でパラメタを周辺化した尤度関数
● 周辺尤度(marginal likelihood)
● パラメタを事前分布からランダムにサンプリングされたこ
とで手元にあるデータ集合Dから生成される確率とみなせる
(11章参照)
● 2つのモデルに対するエビデンスの比
→ベイズ因子(Bayes factor)
● ベイズの定理(P.14)によってパラメタの事後確率を計
算するときの分母に現れる正規化定数そのもの
((3.69)式参照)

7. モデルエビデンスの評価
● パラメタに関する積分を単純近似することでモデ
ルエビデンスの別の解釈ができる!!
・・・以下、解析のお話((3.70)式～(3.72)式およ
び図3-12。詳細は3.5参照)
● 解析の流れ
● 図3-12から(3.70)式の導出
●
(3.70)式で対数をとる→(3.71)式
※解析の常套手法？(積を和で表現できるから？)
● (3.71)式を汎化?したもの→(3.72)式 ※M〓1が3.71式

8. モデル選択[1/2]
● 「考えているモデルの集合の中にデータが生成される真の
分布が含まれている」と仮定
→ベイズモデル比較で正しいモデル選択が可能
● 真のモデルと偽のモデルのエビデンスの比(ベイズ因子)を
データ集合の分布に関して平均することで得られる期待ベ
イズ因子
→カルバックライブラ情報量(Kullback-Leibler
divergence) ※(3.73)式
● 2つのモデルが等しいときだけ0で、それ以外の場合は常
に正の値となる
→正しいモデルのベイズ因子の方が常に大。

9. モデル選択[2/2]
●
真(True)のモデルがあった時に、モデルエビデ
ンスとのカルバック距離が0に近いほど真のモ
デルに近そうだと判断する
●
しかし2つのモデルのエビデンス比を考えてか
ら極限をとることで意味のある値を得られるこ
ともある
→実際の応用ではテスト用の独立なデータ集合
をとっておき、それを用いて最終的なシステム
の全体性能を評価するほうがよい