ぞくパタ #2で発表した資料です。

1. 1
第2回「続・わかりやすいパターン認識」読書会
ぞくパタ #2
@weda_654
第3章 ベイズ決定則

2. 2
自己紹介
TwitterID : weda_654
所属 : GoogleMapとAWSとデータ分析の会社
業務 : 前処理！ 集計！ 資料作成！
使用言語 : R(メイン), Python(たまに)
こんなアイコンシェル芸による前処理の修行中です

3. 注意事項
本資料は個人の意見・認識によるものです
所属する組織の意見・認識とは無関係です
ご了承おねがいいたします

4. 4
目次
パターン認識
事後確率最大化
事前確率の効果
ベイズ誤り確率

5. 5
パターン認識

6. 6
パターン認識とは
パターン認識
観測されたパターンをあらかじめ定められた複数の
概念のうち1つに対応させる処理
概念はクラス(またはカテゴリー)とよばれる
パターンは観測データと読み替えても良い
用意していたクラス
{1, 2, 3, 4, 5,
6, 7, 8, 9, 0}
パターン
手書きの数字5
照合
５

7. 特徴ベクトル
特徴は数値(離散値・連続値)で表される
それらの数値を組にしたベクトルを特徴ベクトルと呼ぶ
x = (x1, x2, ..., xd)t (1)
7
パターン認識
健康・不健康を判定するために
体重や血糖値などd個の観測値をベクトルで表すと…

8. 識別関数
パターン認識
クラスはc個(c 2)とし !1, ..., !c と表す
各クラスに対し識別関数gi(x) を用意し,
所属クラスが未知のパターンx を入力しクラスごとに計算する
k = arg max
i
{gi(x)} (2)
となる !k がパターン認識の結果となる
8

9. 識別関数
パターン認識
識別関数を用いたパターン認識処理
入力x
gc(x)
gi(x)
g1(x)
識別関数
g1
gi
gc
最
大
値
選
択
機
出力
!k
クラス
図1：識別関数を用いたパターン認識処理
9

10. 識別関数
パターン認識
特徴ベクトルx に対して重み係数とした線形識別関数
gi = wi0 +
dX
j=1
wijxj (3)(i = 1, 2, ..., c)
wi0, wi1, ..., wid重み係数：
時系列データは式(4)とあらわす
10
(4)x(n)
= x1x2...xt...xn
xt (t = 1, 2, ..., n) は時点tにおける観測結果
nは観測回数

11. 11
事後確率最大化

12. 事後確率最大化とは
事後確率最大化
事後確率が最も大きくなるクラスを求め判定結果とする
事後確率最大化に基づく決定方法をベイズ決定則とよぶ
12
(5)
ベイズ決定則におけるパターンは式(1)・(4)のどちらでもよい
ベイズ決定則を実現する識別関数をベイズ識別関数と呼ぶ
gi(x(n)
) = P(!i | x(n)
) (6)
!k = arg max
!i
{P(!i | x(n)
)}

13. 例題3.1
事後確率最大化
!1 !2 !3
!i
コインの種類
コインの
含有率
表が出る
確率
!1 !2 !3
⇡3⇡2⇡1
✓1 ✓2 ✓3
表1：各コインの関する確率
• 取り出したコインをn回投げた観測結果 x(n)
= x1...xn
• コインはr回表が出る
13
• 取り出したコインの種類を判定するための識別関数を求める

14. 例題3.1
事後確率最大化
P(!i | x(n)
) =
P(x(n)
| !i)P(!i)
P(x(n))
ベイズの定理より,観測結果が
!i
x(n) であるとき
コインが である確率は…
P(x(n)
)分母の は確率の大小比較に影響を及ぼさないため
分子のみに注目する
識別関数は…
gi(x(n)
) = P(x(n)
| !i)P(!i) = ✓r
i (1 ✓i)n r
⇡i
14
(7)
(8)

15. 例題3.2
事後確率最大化
例題3.1に具体的な数値を当てはめる
コインの種類
コインの
含有率
0.1 0.4 0.5
表が出る
確率
0.8 0.6 0.3
!1 !2 !3
表2：各コインの関する確率
• 観測結果
15
x(10)
= HHHHTHHTHT
* H：表, T：裏
• (1) コインの種類が3つの内どれであるか決定する
• (2) 表の出る回数による判定結果の変化を示す

16. 例題3.2
事後確率最大化
(1) コインの種類が3つの内どれであるか決定する
• 2・3 ベイズ更新の実験より
• 表(3)より事後確率が最も大きくなるコインは…
arg max
!i
{P(!i | x(10)
)} = !2
0.182 0.777 0.041
!1 !2 !3!i
P(!i | x(10)
)
表3：コインを10回投げたあとの確率
16
(9)

17. 例題3.2
事後確率最大化
(2) 表の出る回数による判定結果の変化を示す
!1
!2!3
17
図2：観測結果と事後確率の関係
n=10

18. 18
事前確率の効果

19. 19
例題3.2より
事前確率の効果
試行回数nが小さい場合,事後確率は事前確率の影響を強く受ける
• 例題3.2にて表が8回出た時の確率
0.381 0.610 0.009
!1 !2 !3!i
P(!i | x(10)
)
• 例題3.2の事前確率を変更 P(!1) = P(!2) = P(!3) =
1
3
0.712 0.285 0.003
!1 !2 !3!i
P(!i | x(10)
)

20. 20
試行回数を大きくした例
事前確率の効果
試行回数をn=100としたときの例題3.2
図3：観測結果と事後確率の関係(n=100)
!1!2!3
試行回数が大きくなったとき,
ベイズの定理を用いて事後確率
を計算する際,事前確率の影響
を無視できる
• 左図より

21. 21
ベイズ誤り確率

22. 22
ベイズ誤り確率とは
ベイズ誤り確率
ベイズ決定則を適用したときに発生する誤り確率
特徴の評価などに用いられる
観測結果 x(n)
= x1x2...xn における誤り確率 eB(x(n)
)
eB(x(n)
) = 1 max
i
{P(!i | x(n)
)}
= min
i
{1 P(!i | x(n)
)}
(10)
• eB(x(n)
) を条件付きベイズ誤り確率とよぶ
* 直感的にはベイズ誤り確率はクラス間の重なり度合いを示す

23. 23
ベイズ誤り確率とは
ベイズ誤り確率
ベイズ誤り確率はeB(x(n)
) の x(n) に関する期待値である
eb =
X
x(n)
eb(x(n)
)P(x(n)
)
=
X
x(n)
min
i
{1 P(!i | x(n)
)}P(x(n)
)
(11)
X
x(n)
• は起こりうる全ての x(n)についての和をとることを示す

24. 24
コイン投げの例
ベイズ誤り確率
n回のうち表の出た回数をrとしたときの確率関数
• n回投げてr回表の確率
• コイン !i でn回投げてr回表の確率
• n回投げてr回表がでるときコイン!iである確率
Pn(r)
Pn(r | !i)
Pn(!i | r)
観測結果に対してベイズ決定則を適用したときの誤り確率 eB(r)
eB(r) = min
i
{1 Pn(!i | r)} (12)
P(!i | x(n)
) は x1x2...xn の順序には依存せず
表の出た回数のみ注目

25. 25
コイン投げの例
ベイズ誤り確率
ベイズ誤り確率はeB(r)のrに関する期待値として求まる
eB =
nX
r=0
eB(r)Pn(r) (13)
Pn(r) =
3X
i=1
P(r | !i)P(!i)
P(r | !i) = nCr✓r
i (1 ✓i)n r
• Pn(r) は以下のように求まる
(14)
(15)

26. 26
コイン投げの例
ベイズ誤り確率
例題3.2に適用した結果
eb =
10X
r=0
eB(r)Pn(r) = 0.223
例題3.2にてn=100に変更し適用した結果
eb =
100X
r=0
eB(r)Pn(r) = 0.006
観測回数の増大とともにベイズ誤り確率は減少する

27. 27
コイン投げの例
ベイズ誤り確率
観測回数の増大とともにベイズ誤り確率は減少する
図4：観測回数とベイズ誤り確率の推移

28. 28
ご清聴ありがとうございました