Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

続・わかりやすいパターン認識_3章

4,537 views

Published on

ぞくパタ #2で発表した資料です。

Published in: Data & Analytics

続・わかりやすいパターン認識_3章

  1. 1. 1 第2回「続・わかりやすいパターン認識」読書会 ぞくパタ #2 @weda_654 第3章 ベイズ決定則
  2. 2. 2 自己紹介 TwitterID : weda_654 所属 : GoogleMapとAWSとデータ分析の会社 業務 : 前処理! 集計! 資料作成! 使用言語 : R(メイン), Python(たまに) こんなアイコンシェル芸による前処理の修行中です
  3. 3. 注意事項 本資料は個人の意見・認識によるものです 所属する組織の意見・認識とは無関係です ご了承おねがいいたします
  4. 4. 4 目次 パターン認識 事後確率最大化 事前確率の効果 ベイズ誤り確率
  5. 5. 5 パターン認識
  6. 6. 6 パターン認識とは パターン認識 観測されたパターンをあらかじめ定められた複数の 概念のうち1つに対応させる処理 概念はクラス(またはカテゴリー)とよばれる パターンは観測データと読み替えても良い 用意していたクラス {1, 2, 3, 4, 5, 6, 7, 8, 9, 0} パターン 手書きの数字5 照合 5
  7. 7. 特徴ベクトル 特徴は数値(離散値・連続値)で表される それらの数値を組にしたベクトルを特徴ベクトルと呼ぶ x = (x1, x2, ..., xd)t (1) 7 パターン認識 健康・不健康を判定するために 体重や血糖値などd個の観測値をベクトルで表すと…
  8. 8. 識別関数 パターン認識 クラスはc個(c 2)とし !1, ..., !c と表す 各クラスに対し識別関数gi(x) を用意し, 所属クラスが未知のパターンx を入力しクラスごとに計算する k = arg max i {gi(x)} (2) となる !k がパターン認識の結果となる 8
  9. 9. 識別関数 パターン認識 識別関数を用いたパターン認識処理 入力x gc(x) gi(x) g1(x) 識別関数 g1 gi gc 最 大 値 選 択 機 出力 !k クラス 図1:識別関数を用いたパターン認識処理 9
  10. 10. 識別関数 パターン認識 特徴ベクトルx に対して重み係数とした線形識別関数 gi = wi0 + dX j=1 wijxj (3)(i = 1, 2, ..., c) wi0, wi1, ..., wid重み係数: 時系列データは式(4)とあらわす 10 (4)x(n) = x1x2...xt...xn xt (t = 1, 2, ..., n) は時点tにおける観測結果 nは観測回数
  11. 11. 11 事後確率最大化
  12. 12. 事後確率最大化とは 事後確率最大化 事後確率が最も大きくなるクラスを求め判定結果とする 事後確率最大化に基づく決定方法をベイズ決定則とよぶ 12 (5) ベイズ決定則におけるパターンは式(1)・(4)のどちらでもよい ベイズ決定則を実現する識別関数をベイズ識別関数と呼ぶ gi(x(n) ) = P(!i | x(n) ) (6) !k = arg max !i {P(!i | x(n) )}
  13. 13. 例題3.1 事後確率最大化 !1 !2 !3 !i コインの種類 コインの 含有率 表が出る 確率 !1 !2 !3 ⇡3⇡2⇡1 ✓1 ✓2 ✓3 表1:各コインの関する確率 • 取り出したコインをn回投げた観測結果 x(n) = x1...xn • コインはr回表が出る 13 • 取り出したコインの種類を判定するための識別関数を求める
  14. 14. 例題3.1 事後確率最大化 P(!i | x(n) ) = P(x(n) | !i)P(!i) P(x(n)) ベイズの定理より,観測結果が !i x(n) であるとき コインが である確率は… P(x(n) )分母の は確率の大小比較に影響を及ぼさないため 分子のみに注目する 識別関数は… gi(x(n) ) = P(x(n) | !i)P(!i) = ✓r i (1 ✓i)n r ⇡i 14 (7) (8)
  15. 15. 例題3.2 事後確率最大化 例題3.1に具体的な数値を当てはめる コインの種類 コインの 含有率 0.1 0.4 0.5 表が出る 確率 0.8 0.6 0.3 !1 !2 !3 表2:各コインの関する確率 • 観測結果 15 x(10) = HHHHTHHTHT * H:表, T:裏 • (1) コインの種類が3つの内どれであるか決定する • (2) 表の出る回数による判定結果の変化を示す
  16. 16. 例題3.2 事後確率最大化 (1) コインの種類が3つの内どれであるか決定する • 2・3 ベイズ更新の実験より • 表(3)より事後確率が最も大きくなるコインは… arg max !i {P(!i | x(10) )} = !2 0.182 0.777 0.041 !1 !2 !3!i P(!i | x(10) ) 表3:コインを10回投げたあとの確率 16 (9)
  17. 17. 例題3.2 事後確率最大化 (2) 表の出る回数による判定結果の変化を示す !1 !2!3 17 図2:観測結果と事後確率の関係 n=10
  18. 18. 18 事前確率の効果
  19. 19. 19 例題3.2より 事前確率の効果 試行回数nが小さい場合,事後確率は事前確率の影響を強く受ける • 例題3.2にて表が8回出た時の確率 0.381 0.610 0.009 !1 !2 !3!i P(!i | x(10) ) • 例題3.2の事前確率を変更 P(!1) = P(!2) = P(!3) = 1 3 0.712 0.285 0.003 !1 !2 !3!i P(!i | x(10) )
  20. 20. 20 試行回数を大きくした例 事前確率の効果 試行回数をn=100としたときの例題3.2 図3:観測結果と事後確率の関係(n=100) !1!2!3 試行回数が大きくなったとき, ベイズの定理を用いて事後確率 を計算する際,事前確率の影響 を無視できる • 左図より
  21. 21. 21 ベイズ誤り確率
  22. 22. 22 ベイズ誤り確率とは ベイズ誤り確率 ベイズ決定則を適用したときに発生する誤り確率 特徴の評価などに用いられる 観測結果 x(n) = x1x2...xn における誤り確率 eB(x(n) ) eB(x(n) ) = 1 max i {P(!i | x(n) )} = min i {1 P(!i | x(n) )} (10) •  eB(x(n) ) を条件付きベイズ誤り確率とよぶ * 直感的にはベイズ誤り確率はクラス間の重なり度合いを示す
  23. 23. 23 ベイズ誤り確率とは ベイズ誤り確率 ベイズ誤り確率はeB(x(n) ) の x(n) に関する期待値である eb = X x(n) eb(x(n) )P(x(n) ) = X x(n) min i {1 P(!i | x(n) )}P(x(n) ) (11) X x(n) •   は起こりうる全ての x(n)についての和をとることを示す
  24. 24. 24 コイン投げの例 ベイズ誤り確率 n回のうち表の出た回数をrとしたときの確率関数 • n回投げてr回表の確率 • コイン !i でn回投げてr回表の確率 • n回投げてr回表がでるときコイン!iである確率 Pn(r) Pn(r | !i) Pn(!i | r) 観測結果に対してベイズ決定則を適用したときの誤り確率 eB(r) eB(r) = min i {1 Pn(!i | r)} (12) P(!i | x(n) )  は x1x2...xn の順序には依存せず 表の出た回数のみ注目
  25. 25. 25 コイン投げの例 ベイズ誤り確率 ベイズ誤り確率はeB(r)のrに関する期待値として求まる eB = nX r=0 eB(r)Pn(r) (13) Pn(r) = 3X i=1 P(r | !i)P(!i) P(r | !i) = nCr✓r i (1 ✓i)n r •  Pn(r) は以下のように求まる (14) (15)
  26. 26. 26 コイン投げの例 ベイズ誤り確率 例題3.2に適用した結果 eb = 10X r=0 eB(r)Pn(r) = 0.223 例題3.2にてn=100に変更し適用した結果 eb = 100X r=0 eB(r)Pn(r) = 0.006 観測回数の増大とともにベイズ誤り確率は減少する
  27. 27. 27 コイン投げの例 ベイズ誤り確率 観測回数の増大とともにベイズ誤り確率は減少する 図4:観測回数とベイズ誤り確率の推移
  28. 28. 28 ご清聴ありがとうございました

×