パターン認識と機械学習 (ベイズ理論による統計的予測) 1.2.1~1.2.2 Pattern Recognition and Machine Learning (PRML)

1. パターン認識と機械学習 (ベイズ理論による統計的予測)
1.2.1~1.2.2
Pattern Recognition and Machine Learning (PRML)

2. 第1章 序論
1.1 多項式フィッティング
1.2 確率論
1.2.1 確率密度
1.2.2 期待値と分散
1.2.3 ベイズ確率
1.2.4 ガウス分布
1.2.5 曲線フィッティング再訪
1.2.6 ベイズ曲線フィッティング
1.3 モデル選択
1.4 次元の呪い
1.5 決定理論
1.5.1 識別率の最⼩化
1.5.2 期待値損失と最⼩化
1.5.3 棄却オプション
1.5.4 推論と決定
1.5.5 回帰のための損失関数
1.6 情報理論
1.6.1 相対エントロピーと相互情報量
⽬次

3. 連続変数について確率を考えるとき,実数値の変数xが区間(x, 𝑥 + 𝛿𝑥)に⼊る確率𝑝(𝑥)
⇨ 確率密度と呼ぶ
｛
多変数確率密度にも拡張できる
確率密度は累積分布関数P(x)の微分で表現できる
xが区間(-∞,z)に⼊る確率の累積分布関数
1.2.1 確率密度

4. ・関数𝑓 𝑥 に対して,変数変換𝑥 = 𝑔(𝑦) を考えるとき 𝑓 𝑥 は𝑓 𝑦 = 𝑓(𝑔 𝑦 ) となる
・確率密度P𝑥 𝑥 に対応する,変換後の変数𝑦に関する密度Py(y)を考える
⇨区間 𝑥, 𝑥 + 𝛿𝑥 に⼊る観測値は𝛿𝑥が⼩さければ区間 𝑦, 𝑦 + 𝛿𝑦 に⼊り,
Px 𝑥 𝛿𝑥~𝑃𝑦 𝑦 𝛿𝑦となる
𝑃𝑦 𝑦 = 𝑃𝑥 𝑥
𝑑𝑥
𝑑𝑦
= 𝑃𝑥(𝑔 𝑦 ) 𝑔′(𝑦)
1.2.1 確率密度

5. ベイズの定理のおさらい
⇨ ２つの事象AとBについて,
P A > 0ならば𝑃 𝐵 𝐴 − 𝑃 𝐴 𝐵 ・
:(;)
:(<)
これは確率密度や離散変数,連続変数の組み合わせに対しても適⽤可能である
𝑋, 𝑌を実数として,
𝑃 𝑥 = ?𝑝 𝑥, 𝑦 𝑑𝑦
𝑃(𝑥, 𝑦) =P(𝑦 𝑥)𝑃(𝑥)
1.2.1 確率密度

6. 期待値
⇨ ある関数𝑓(𝑥)の確率分布の下での平均値を𝑓(𝑥)の期待値と呼び,𝔼[𝑓]で表す
離散変数の場合は確率質量関数で重みをつけた総和𝔼 𝑓 = ∑ 𝑃 𝑥 𝑓(𝑥)C
期待値の近似
⇨ 離散変数,連続変数どちらの場合も確率分布や確率密度から得られた
Ｎ（有限）個の測定値を⽤いて近似することが可能
𝔼[𝑓] ~
D
E
∑ 𝑓(𝑥n )E
FGD
1.2.2 期待値と分散
期待値と平均の違いは？

7. 条件付き期待値
⇨ 条件付確率についても期待値を定義することができ,
そのときの期待値を条件付き期待値と呼ぶ
離散変数の場合
𝔼 x [𝑓|y] = ∑ 𝑃 𝑥|y 𝑓(𝑥)C
連続変数の場合も同様に
𝔼 x [𝑓|y] = ∫ 𝑃 𝑥|y 𝑓 𝑥 𝑑𝑥
1.2.2 期待値と分散

8. 分散
⇨ ある関数𝑓(𝑥)の分散は測定値とその平均の差を２乗したものの平均
Var 𝑓 = 𝐸 𝑓 𝑥 − 𝐸 𝑓 𝑥 2]
２乗を展開して整理すると
Var 𝑓 = 𝐸 𝑓 𝑥 2 − 𝐸[𝑓 𝑥 ]2 ]
離散変数の共分散
⇨ 2 組の対応するデータ間での,偏差の積の平均値
C𝑂𝑉 𝑥, 𝑦 = 𝐸x,y 𝑥 − 𝐸 𝑥 {𝑦 − 𝐸 𝑦 } ]
= 𝐸x,y 𝑥𝑦 − 𝐸 𝑥 𝐸[𝑦]
連続変数の共分散
⇨ いくつかの連続変数をまとめてベクトルｘ、ｙとしたとき共分散は
C𝑂𝑉 𝑥, 𝑦 = 𝐸x,y 𝑥 − 𝐸 𝑥 {𝑦ᵀ − 𝐸 𝑦ᵀ }
= 𝐸x,y 𝑋 𝑌] − 𝐸 𝑋ᵀ 𝐸[𝑌ᵀ]
1.2.2 期待値と分散