8. 誤識別率の最小化
1 2 2 1( ) ( , ) ( , )p p R C p R C x x誤り
1 2
2 1( , ) ( , )
R R
p C d p C d x x x x
誤識別率を最小化するには積分値が小さくなるように
領域を決め, クラスの割り当てをする.
( , ) ( | ) ( )k kp C p C px x x
なら𝔁を𝐶1に割り当てるべき1 2( , ) ( , )p C p Cx x
事後確率 が最大のクラスに割り当てるべ
きと言い換えられる．
( | )kp C x
より
11. 期待損失の最小化
• 期待損失
• 期待損失を最小化する決定領域を決める
- 各𝔁を期待損失が最小になるように決定領域𝑅𝑗のどれかに割り当てる
各 𝔁ごとに を最小化すべき
より，
を最小化すれば良く，事後確率 で求まる．
E[ ]= ( , )
j
kj kR
k j
L L p C d x x
( , )kj k
k
L p C x
( , ) ( | ) ( )k kp C p C px x x
( | )kj k
k
L p C x ( | )kp C x
12. 棄却オプション
• 𝔁がどのクラスに属するのか不確かな場合もある
- クラス分類の誤差が起きるのは が拮抗している場合．
不確かな場合は決定を避ける方が結果的に誤差が小さくなる可能性．
(棄却オプション)
• 事後確率に対して閾値θを導入する
- 事後確率 の最大値がθ以下なら入力𝔁を棄却．
・θ＝1なら全て棄却．
・kクラスある場合，θ=1/kにすれば全て棄却されない．
・棄却時の損失を考慮した損失行列を与えれば，期待
損失を最小にする棄却の基準を一般化できる．
( | )kp C x
( | )kp C x
13. 推論と決定
• 推論問題：訓練データから を学習する．
• 決定問題：3つのアプローチ
a. クラスの条件付き密度 と事前クラス確率 を求める方法．
（生成モデル）
b．最初にクラス事後確率を求める方法．（識別モデル）
c．入力𝔁から直接クラスラベルに写像する識別関数を求める方法．
これらの方法にはメリット・デメリットが存在．→ 順に見ていく
( , )p x t
( | )kp Cx ( )kp C
21. 事後確率の何が嬉しいのか
• モデルの結合
- X線画像(𝔁𝐼)の他に，血液検査(𝔁 𝐵)の情報も利用できる場合
→ 1つの入力空間にまとめるより，それぞれ別々に処理した方が効率的
(それぞれクラスの事後確率があれば，確率の規則に則って統合できる)
各クラスのそれぞれについて𝔁𝐼と𝔁 𝑩が独立という仮定をおく．
条件付き独立（クラスで条件付けを行った時に独立になる）
I B I B( , | ) ( | ) ( | )k k kp C p C p Cx x x x
22. 事後確率の何が嬉しいのか
• モデルの結合
- X線画像(𝔁𝐼)と血液検査(𝔁 𝐵)のデータが両方得られた時の事後確率は
・クラスの事前確率は各クラスのデータの比率から推定可能
・条件付き独立という仮定はナイーブベイズモデルの例
→ このモデルでは，同時分布は必ずしも分解可能とは限らない
I B I B( | , ) ( , | ) ( )k k kp C p C p Cx x x x
I B( | ) ( | ) ( )k k kp C p C p C x x
I B( | ) ( | )
( )
k k
k
p C p C
p C
x x
I B I B( , | ) ( | ) ( | )k k kp C p C p Cx x x x
26. 期待損失についての注意
2
[ ] ( , ( )) ( , )d d
{ ( ) } ( , )d d
L L t y p t t
y t p t t
x x x
x x x
E
同時確率 は真の同時確率
→ 普通は求めることができない
→NNなどで近似を求める
これまでの期待損失最小の話は真の同時確率を前提として成り立つ
