Recommended
More Related Content
What's hot
What's hot (20)
続・わかりやすいパターン認識_3章
- 2. 2 自己紹介 TwitterID : weda_654 所属 : GoogleMapとAWSとデータ分析の会社 業務 : 前処理！ 集計！ 資料作成！ 使用言語 : R(メイン), Python(たまに) こんなアイコンシェル芸による前処理の修行中です
- 5. 5 パターン認識
- 6. 6 パターン認識とは パターン認識 観測されたパターンをあらかじめ定められた複数の 概念のうち1つに対応させる処理 概念はクラス(またはカテゴリー)とよばれる パターンは観測データと読み替えても良い 用意していたクラス {1, 2, 3, 4, 5, 6, 7, 8, 9, 0} パターン 手書きの数字5 照合 ５
- 7. 特徴ベクトル 特徴は数値(離散値・連続値)で表される それらの数値を組にしたベクトルを特徴ベクトルと呼ぶ x = (x1, x2, ..., xd)t (1) 7 パターン認識 健康・不健康を判定するために 体重や血糖値などd個の観測値をベクトルで表すと…
- 8. 識別関数 パターン認識 クラスはc個(c 2)とし !1, ..., !c と表す 各クラスに対し識別関数gi(x) を用意し, 所属クラスが未知のパターンx を入力しクラスごとに計算する k = arg max i {gi(x)} (2) となる !k がパターン認識の結果となる 8
- 10. 識別関数 パターン認識 特徴ベクトルx に対して重み係数とした線形識別関数 gi = wi0 + dX j=1 wijxj (3)(i = 1, 2, ..., c) wi0, wi1, ..., wid重み係数： 時系列データは式(4)とあらわす 10 (4)x(n) = x1x2...xt...xn xt (t = 1, 2, ..., n) は時点tにおける観測結果 nは観測回数
- 11. 11 事後確率最大化
- 12. 事後確率最大化とは 事後確率最大化 事後確率が最も大きくなるクラスを求め判定結果とする 事後確率最大化に基づく決定方法をベイズ決定則とよぶ 12 (5) ベイズ決定則におけるパターンは式(1)・(4)のどちらでもよい ベイズ決定則を実現する識別関数をベイズ識別関数と呼ぶ gi(x(n) ) = P(!i | x(n) ) (6) !k = arg max !i {P(!i | x(n) )}
- 13. 例題3.1 事後確率最大化 !1 !2 !3 !i コインの種類 コインの 含有率 表が出る 確率 !1 !2 !3 ⇡3⇡2⇡1 ✓1 ✓2 ✓3 表1：各コインの関する確率 • 取り出したコインをn回投げた観測結果 x(n) = x1...xn • コインはr回表が出る 13 • 取り出したコインの種類を判定するための識別関数を求める
- 14. 例題3.1 事後確率最大化 P(!i | x(n) ) = P(x(n) | !i)P(!i) P(x(n)) ベイズの定理より,観測結果が !i x(n) であるとき コインが である確率は… P(x(n) )分母の は確率の大小比較に影響を及ぼさないため 分子のみに注目する 識別関数は… gi(x(n) ) = P(x(n) | !i)P(!i) = ✓r i (1 ✓i)n r ⇡i 14 (7) (8)
- 15. 例題3.2 事後確率最大化 例題3.1に具体的な数値を当てはめる コインの種類 コインの 含有率 0.1 0.4 0.5 表が出る 確率 0.8 0.6 0.3 !1 !2 !3 表2：各コインの関する確率 • 観測結果 15 x(10) = HHHHTHHTHT * H：表, T：裏 • (1) コインの種類が3つの内どれであるか決定する • (2) 表の出る回数による判定結果の変化を示す
- 16. 例題3.2 事後確率最大化 (1) コインの種類が3つの内どれであるか決定する • 2・3 ベイズ更新の実験より • 表(3)より事後確率が最も大きくなるコインは… arg max !i {P(!i | x(10) )} = !2 0.182 0.777 0.041 !1 !2 !3!i P(!i | x(10) ) 表3：コインを10回投げたあとの確率 16 (9)
- 18. 18 事前確率の効果
- 19. 19 例題3.2より 事前確率の効果 試行回数nが小さい場合,事後確率は事前確率の影響を強く受ける • 例題3.2にて表が8回出た時の確率 0.381 0.610 0.009 !1 !2 !3!i P(!i | x(10) ) • 例題3.2の事前確率を変更 P(!1) = P(!2) = P(!3) = 1 3 0.712 0.285 0.003 !1 !2 !3!i P(!i | x(10) )
- 21. 21 ベイズ誤り確率
- 22. 22 ベイズ誤り確率とは ベイズ誤り確率 ベイズ決定則を適用したときに発生する誤り確率 特徴の評価などに用いられる 観測結果 x(n) = x1x2...xn における誤り確率 eB(x(n) ) eB(x(n) ) = 1 max i {P(!i | x(n) )} = min i {1 P(!i | x(n) )} (10) • eB(x(n) ) を条件付きベイズ誤り確率とよぶ * 直感的にはベイズ誤り確率はクラス間の重なり度合いを示す
- 23. 23 ベイズ誤り確率とは ベイズ誤り確率 ベイズ誤り確率はeB(x(n) ) の x(n) に関する期待値である eb = X x(n) eb(x(n) )P(x(n) ) = X x(n) min i {1 P(!i | x(n) )}P(x(n) ) (11) X x(n) • は起こりうる全ての x(n)についての和をとることを示す
- 24. 24 コイン投げの例 ベイズ誤り確率 n回のうち表の出た回数をrとしたときの確率関数 • n回投げてr回表の確率 • コイン !i でn回投げてr回表の確率 • n回投げてr回表がでるときコイン!iである確率 Pn(r) Pn(r | !i) Pn(!i | r) 観測結果に対してベイズ決定則を適用したときの誤り確率 eB(r) eB(r) = min i {1 Pn(!i | r)} (12) P(!i | x(n) ) は x1x2...xn の順序には依存せず 表の出た回数のみ注目
- 25. 25 コイン投げの例 ベイズ誤り確率 ベイズ誤り確率はeB(r)のrに関する期待値として求まる eB = nX r=0 eB(r)Pn(r) (13) Pn(r) = 3X i=1 P(r | !i)P(!i) P(r | !i) = nCr✓r i (1 ✓i)n r • Pn(r) は以下のように求まる (14) (15)
- 26. 26 コイン投げの例 ベイズ誤り確率 例題3.2に適用した結果 eb = 10X r=0 eB(r)Pn(r) = 0.223 例題3.2にてn=100に変更し適用した結果 eb = 100X r=0 eB(r)Pn(r) = 0.006 観測回数の増大とともにベイズ誤り確率は減少する