Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

はじパタ6章前半

  • Login to see the comments

はじパタ6章前半

  1. 1. 9/17/2013 6th #はじパタ #ピンクの薄い本 1 はじめてのパターン認識 6章 線形識別関数 前半(pp.71-82) @tanimocchi
  2. 2. 9/17/2013 6th #はじパタ #ピンクの薄い本 2 自己紹介  Twitter ID: @tanimocchi (もっちぃ)  修士(数学)、博士(情報科学)  所属: タヒにかけ半導体  仕事: マーケティングなのか ブランディングなのか?  統計解析とパターン認識・機械学習は必要! だと信じてる。  統数研公開講座に結構参加してますので、ご一緒の際は宜しくお願いします。  アンケート設計・分析に従事しつつ、新規市場開拓も  画像認識・センサ応用技術開発にも袖触れ合う程度に関係
  3. 3. 9/17/2013 6th #はじパタ #ピンクの薄い本 3 4.2.2項のおさらい  ベイズ誤り率最小識別規則:正規分布を仮定して                         x ΣμxΣμxx xxx ΣμΣμCΣΣS xCx xCSxxx i i iiiiii jiij jiijji ij ij ji g CPg ggf Ff Ff CC minarg ln2ln , ,, 02 02 , 1 1111            識別クラス              線形識別関数:  2次識別関数: の識別境界クラス 分散・共分散行列 平均 事前確率   という形で表される。    、一般に線形識別関数は 0wf   xwx 次元の超平面線形識別関数: 次元入力データ: 的意味線形識別関数の幾何学 1-d d 
  4. 4. 9/17/2013 6th #はじパタ #ピンクの薄い本 4 6.1 線形識別関数の定義 目的 ・線形識別関数が2つのクラスを超平面で区分 ・多クラス問題への拡張
  5. 5. 9/17/2013 6th #はじパタ #ピンクの薄い本 5 6.1.1 超平面の方程式 [1/7]                      となる。従って識別境界は、           識別クラス 、識別規則は を識別境界とすると :バイアス項   :係数ベクトル   次元入力ベクトル:   の線形識別関数:クラス問題 0 0 0 0 0 ,, d,, ,2 00 0 2 1 0 1 1 021                             w w d d f ww wf fC fC f w ww xx wfCC xnx xn w x w w w x w w xwx x x x w x xwx            ww w n 0 , w w 
  6. 6. 9/17/2013 6th #はじパタ #ピンクの薄い本 6 6.1.1 超平面の方程式 [2/7]    0  wf xnx超平面: :法線ベクトルn  位置ベクトル   :超平面上の任意の点P  原点 0   Pn PnPP     w wf が成立。に対して、位置ベクトル 0 ルは直線①の法線ベクト 直線②より、直線①  直線②: 直線①:                                             b a y x b a y x b a c y x b a // 0 0   0xf   0xf
  7. 7. 9/17/2013 6th #はじパタ #ピンクの薄い本 7 6.1.1 超平面の方程式 [3/7]    0  wf xnx超平面: n P  原点 0 x Px      0  PxnPnxnxPn fw より、  Pxn 幾何学的には、   0xf   0xf
  8. 8. 9/17/2013 6th #はじパタ #ピンクの薄い本 8 6.1.1 超平面の方程式 [4/7]    0  wf xnx超平面: n P  原点 0 x  は単位法線ベクトル     nP PnPn   cos cos    w w  原点から超平面への距離 正規化されたバイアス   0xf   0xf
  9. 9. 9/17/2013 6th #はじパタ #ピンクの薄い本 9 6.1.1 超平面の方程式 [5/7]    0  wf xnx超平面: n   0xf   0xf P  原点 0 'x w    1' 0''' C f ww    x xnxxn   
  10. 10. 9/17/2013 6th #はじパタ #ピンクの薄い本 10 6.1.1 超平面の方程式 [6/7]    0  wf xnx超平面: n   0xf   0xf P  原点 0 ''x w    2'' 0'''''' C f ww    x xnxxn   
  11. 11. 9/17/2013 6th #はじパタ #ピンクの薄い本 11 6.1.1 超平面の方程式 [7/7]   ことを確かめよ。 のように表現できるを用いて、識別境界がルを求め、適当なベクト の直線の法線ベクトルで表されるとする。こ 識別境界が直線例題 0 226.1    PxnP xy                         として表現できた。を 即ち、           すると、を直線上の任意の点と  より、法線ベクトル   は直交。とより、解答   022 022 5 1 22 5 1 2 5 1 5 1 5 2 02b2 5 1 5 2 512 1202 1 2 02y2 22                                                Pxn Pxn P w w nw wx xy yxbayx byax by ax aba yx y x x
  12. 12. 9/17/2013 6th #はじパタ #ピンクの薄い本 12 6.1.2 多クラス問題への拡張 [1/9] K(>2)クラスの識別関数の作り方 ・一対多(one-versus-the-rest) ・一対一(one-versus-one) ・最大識別関数法 識別不能領域 (空白クラス)発生 解消!
  13. 13. 9/17/2013 6th #はじパタ #ピンクの薄い本 13 6.1.2 多クラス問題への拡張 [2/9]         0; 0; 1,,1 21-K              識別クラス を用意 線形識別関数 クラス個のてのクラスを識別する一つのクラスと他の全 x x x j j K j j fKj fj C C Kjf  (1) 一対多 クラス2 クラス3 クラス1   01 xf   02 xf   01 xf   02 xf     00 21  xx ff     00 21  xx ff ←空白領域(1か2か識別不能)
  14. 14. 9/17/2013 6th #はじパタ #ピンクの薄い本 14 6.1.2 多クラス問題への拡張 [3/9]                 jvote fKljfjijvote KKKjif KKCji j jlij ij K maxarg 0|#0|1# : 211 2212       識別クラス       識別クラスを決定 で個の識別関数の多数決を用意し、  クラス線形識別関数個のを識別するとクラス xx x (2) 一対一 [1/2]     に投票   に投票   多数決投票ルール: jf if ij ij   0 0 x x クラス3 クラス2 クラス1   013 xf   012 xf                               evenvotevotevote fff voteff voteff voteff            空白領域: :クラス :クラス :クラス 13,11,12 000 23003 22002 21001 231312 2313 2312 1312 xxx xx xx xx   023 xf
  15. 15. 9/17/2013 6th #はじパタ #ピンクの薄い本 15 6.1.2 多クラス問題への拡張 [4/9]   能性ありない票が投票される可 仕方に依っては関係 義の別クラスの判定法の定個が無関係であり、識② がとれないより、多数決で過半数① ある手法である。従って、下記の懸念が 個の      に対しては、タ 1つ固定した入力デー   例 個の個数に直接関連したクラス 入力データのクラス 個 識別関数の個数 を識別する場合個手書き文字 36 95.22245 9,,,,,,,, 3) 9 45 ,90,ex.10 393837363534231303 210    fffffffff C  (2) 一対一 [2/2]
  16. 16. 9/17/2013 6th #はじパタ #ピンクの薄い本 16 6.1.2 多クラス問題への拡張 [5/9] (3) 最大識別関数法 [1/5]                           に一致。ラスの場合の識別境界この識別境界は、2ク                よりの識別境界は、とクラス   識別クラス 一意性?義 を識別クラスとして定識別関数を最大とする 0 maxargmaxarg 00 00 00 0           jiji jiji jjiijiij ji jj j j j j ww ww wwfff ffji wf C xww xww xwxwxxx xx xwx 以下、最大識別法にて、K(>2)個の線形識別関数で、 K個のクラス(領域)に必ず分割可能である事を示す。
  17. 17. 9/17/2013 6th #はじパタ #ピンクの薄い本 17 6.1.2 多クラス問題への拡張 [6/9] (3) 最大識別関数法 [2/5]         は凸でない。となり、  即ち、 穴に属する点が存在。点を結ぶ直線上には、  をとると、 点ると、その穴を跨ぐ2に穴が開いているとす   は凸でない」を示す。が単連結でない 対偶、即ち「証明 穴の開いていない領域は単連結が凸補題: 」「    が凸定義:領域 RR RR RR RR RR R      21 21 2121 1;10 2 , 1*,10;, xx xx xxxxx  
  18. 18. 9/17/2013 6th #はじパタ #ピンクの薄い本 18 6.1.2 多クラス問題への拡張 [7/9] (3) 最大識別関数法 [3/5]                                 は凸。となり  クラス               数の線形性とから、  とすると、識別関 をとり、と  さて、任意に     の定義から、とすると、識別クラスクラス   事のみ示せば良い。 補題から、凸である証明 める領域は単連結で凸命題1:各クラスの占 RReiRif ijforffff ffff R ffijR iR k k jjjj iiii ji       *.,.*maxarg *11 11* 1*10, ,, 2121 2121 2121 xx xxxxx xxxxx xxxxx xxx   
  19. 19. 9/17/2013 6th #はじパタ #ピンクの薄い本 19 6.1.2 多クラス問題への拡張 [8/9] (3) 最大識別関数法 [4/5]           するからである。空白クラスが現れ矛盾何れかが判別できない とすると、2つの何故なら、一意でないである事が示される。 スの定義が一意別関数法での識別クラ上記命題から、最大識 矛盾。として識別されるためラス  空白エリアは、ク となり、、は線形関数であるためと  然るに、 ルを持つ。にて同一の法線ベクトは、と  即ち、      が存在したとすると、次元の空白エリア    背理法にて示す。証明 エリアなし識別境界を除いて空白法命題2:最大識別関数 ji ffff Aff ffAjifAji Ad jiji ji jiij     xxxxx ,;,0,;,
  20. 20. 9/17/2013 6th #はじパタ #ピンクの薄い本 20 6.1.2 多クラス問題への拡張 [9/9] (3) 最大識別関数法 [5/5]   れる。個の領域に必ず分割さ個の識別関数で、  従って、 命題2の主張に矛盾。来た事となり、これは  の空白エリアが出 個とすると、個の領域に分割されたなる  今仮に、 。個の領域に分割される高々飛び地はできないので  ため、 各クラスは凸である個であり、命題1から 識別関数は証明 れる個の領域に必ず分割さ個の識別関数で、     法命題3:最大識別関数 kk k)( k kk lklkl  
  21. 21. 9/17/2013 6th #はじパタ #ピンクの薄い本 21 6.2 最小2乗誤差基準に よるパラメータの推定 目的 ・最小2乗誤差基準による線形識別関数の パラメータが正規方程式により得られる事 ・多クラス問題への拡張
  22. 22. 9/17/2013 6th #はじパタ #ピンクの薄い本 22 6.2.1 正規方程式 [1/7]                  :教師ベクトル   :データ行列   を以下とする。と教師ベクトルとし、データ行列また、学習数を のとする。のように与えられるも          により、教師入力が所属するクラスは、さて、入力ベクトル トル 番目の学習用入力べク:   先変数:入力ベクトルの代入   :バイアス項:係数ベクトル、      線形識別関数                   N N i i i ii iidii d d dd tt N C C t t xixx xx wwww xwxwwf ,, ,, 1 1 1,,,1 ,,,1 ,,, 1 1 2 1 01 1 010 110       t xxX tX x x x x x w xwx
  23. 23. 9/17/2013 6th #はじパタ #ピンクの薄い本 23 6.2.1 正規方程式 [2/7]                       より、スカラスカラ                         乗誤差とすると教師入力の差のを識別関数の出力値と評価関数 tXwXwtXwXwXwttt XwXwtXwXwttt XwtXwt XwtXwt xw xw xw xw xw xw xwxw w                                                         2 2 22 11 22 11 1 2 1 2 NNNN N i ii N i ii t t t t t t tftE E                                                                                     NNddN dd dNdNN d dNd N xwxww xwxww w w xxx xxx w w w w xw xw x x xxXw          1 110 11110 0 21 11211 010 1 1 1 ,,
  24. 24. 9/17/2013 6th #はじパタ #ピンクの薄い本 24 6.2.1 正規方程式 [3/7]             。ハット行列と呼ばれる 、に変換する行列でありを予測値は、教師データ行列 となる。    は、測値学習データに対する予 :正規方程式      の最小を与えるになるパラメータがでの微分が故に、  は下に凸な関数評価関数 ttXXXX tXXXXwXt t tXXXw tXXwXXwXtX w w ww XwXwXwtttw ˆ ˆˆ ˆ ˆ 022 0 2 1 1 1            E E E              tX w wtX w Xwt XttXwxtXaa x xa BXXXXBXwX w XwXw wxXXBxBB x Bxx                           からとおくと、で、 公式       とおくと、で、 公式  , 2 ,          の存在を保証可能。 とできで、入力ベクトルの与え方 :正方行列  より 1 1 1,1 ,1,1,       XX XX XX dN ddM NdMdNM
  25. 25. 9/17/2013 6th #はじパタ #ピンクの薄い本 25 6.2.1 正規方程式 [4/7]                となる等高線を描け。 が 平面内に識別関数値も変数と考え、に固定せず、への入力をバイアス項 平面に図示せよ。識別関数をを求めよ。  いに答えよ。としたとき、下記の問 をとする。学習データ対 識別関数を例題 6,0,6 ,1(3) ,1,(2)ˆ(1) 2,1, ,1,1,,16.2 1000 11 212 11111010    xxxw xfx xt xtxwwxxf w                                                                                                            2 3 1 1 11 12 1 1 21 11 23 35 ˆ 23 35 53 32 21 11 21 11 21 11 1 1 21 11 )1( 1 1 2 1 210 110 tXXXw XXXXX tX     、、    、教師ベクトルデータ行列 解答  t t xx xx
  26. 26. 9/17/2013 6th #はじパタ #ピンクの薄い本 26 6.2.1 正規方程式 [5/7]                となる等高線を描け。 が 平面内に識別関数値も変数と考え、に固定せず、への入力をバイアス項 平面に図示せよ。識別関数をを求めよ。  いに答えよ。としたとき、下記の問 をとする。学習データ対 識別関数を例題 6,0,6 ,1(3) ,1,(2)ˆ(1) 2,1, ,1,1,,16.2 1000 11 212 11111010    xxxw xfx xt xtxwwxxf w           1 1 1 23 1 2,3 2,3ˆ,,1,ˆ(2) x x fy xf          x wxxwx     より識別関数 解答  1,1 xfy  0f 0f が識別境界5.11 x y x
  27. 27. 9/17/2013 6th #はじパタ #ピンクの薄い本 27 6.2.1 正規方程式 [6/7]                となる等高線を描け。 が 平面内に識別関数値も変数と考え、に固定せず、への入力をバイアス項 平面に図示せよ。識別関数をを求めよ。  いに答えよ。としたとき、下記の問 をとする。学習データ対 識別関数を例題 6,0,6 ,1(3) ,1,(2)ˆ(1) 2,1, ,1,1,,16.2 1000 11 212 11111010    xxxw xfx xt xtxwwxxf w           10 1 0 10 232,3 2,3ˆ,,,ˆ(3) xx x x fy xxf          x wxxwx     より識別関数 解答   0, 10 xxf 1x 0x 法線ベクトル 2 2   6, 10 xxf   6, 10 xxf 10 x 標準座標系での識別境界  10 xが現れる平面 標系同次座標系内の標準座 標準座標系 同次座標系
  28. 28. 9/17/2013 6th #はじパタ #ピンクの薄い本 28 6.2.1 正規方程式 [7/7]   示せ。は必ず原点を通る事をば、識別境界 同次座標表現によれ例題 06.3 xf         なる。 は識別境界上の点と     より、。識別境界は、 のように表現される     は、識別関数は解答 同次座標表現で     0,0, 0 23 10 10 xx f xxf x x x     。を線形識別関数とするを用いて、 表現ので、以降、同時座標平面として表現可能な 点を通るは、同次座標系では原に依らず アス項平面で表現され、バイバイアスは xwx x     f f x 0 10
  29. 29. 9/17/2013 6th #はじパタ #ピンクの薄い本 29 6.2.2 多クラス問題への拡張 [1/4]                   を求める。乗誤差を与えるこの前提で、最小 個の学習データ:   個の教師ベクトル:   個のベクトル:要素数    それ以外 番目のクラスに属する番目の学習入力が         :教師ベクトル    :識別関数                    K N N i ik iNii kk N N K ki t tstt Kkf wwW xxX ttT t t xwx ,,ˆ2 ,, ,, 0,,1,,0 0 1 ..,, ,,1 1 1 1 1      
  30. 30. 9/17/2013 6th #はじパタ #ピンクの薄い本 30 6.2.2 多クラス問題への拡張 [2/4]                                                                         K k kkkkkk K k kkkk K k NkNk kk kk NkNk kk kk K k N i ikik K k N i ikik t t t t t t tftE E 1 1 1 22 11 22 11 1 1 2 1 1 2 2 2 XwXwXwttt XwtXwt xw xw xw xw xw xw xwxw w                乗誤差とすると教師入力の差のを識別関数の出力値と評価関数 
  31. 31. 9/17/2013 6th #はじパタ #ピンクの薄い本 31 6.2.2 多クラス問題への拡張 [3/4]                        xWxwwx w w xwxwxxxf TXXXW TXXWX tXXwX XwXtX w w wwXwXwXwtttw ˆ,,,,,, 2ˆ 0 ,,10 ,,1022 ,,2 1 1 11 1 1 1                               K K KK jj jj j K K k kkkkkk ff Kj Kj E E       識別関数 ラメータ乗誤差を最小にするパ                  で偏微分を、評価関数
  32. 32. 9/17/2013 6th #はじパタ #ピンクの薄い本 32 6.2.2 多クラス問題への拡張 [4/4]    行かない!! だと上手く並んでいるような分布のクラスが一直線上に  かない場合あり!上手く行く場合と、行    識別クラス 識別規則 2 maxarg    K f j j x
  33. 33. 9/17/2013 6th #はじパタ #ピンクの薄い本 33 6.3 線形判別分析 ・線形識別関数: ・最小2乗誤差法:教師データに忠実になるよう fを求めた ・線形判別分析:1-dimに写像したとき、クラス 間の分布が出来るだけ重ならないようにする  重なりの少ない写像を実現するベクトルw を見つける事が大事! 上のスカラ関数ベクトル次元ベクトル wd   xwxx  f w 0w
  34. 34. 9/17/2013 6th #はじパタ #ピンクの薄い本 34 6.3.1 フィッシャーの線形判別関数 [1/9]      2121 22 11 21 1 ,2 μμw μwμ xμ xw          mm m N y CN CN CC kkk Ci i k k i    る、クラス分離が良くな平均の差が大きいほど   写像:   平均ベクトル: 線形変換 線形識別関数 向け学習データ数:  向け学習データ数:  問題クラス  0w w
  35. 35. 9/17/2013 6th #はじパタ #ピンクの薄い本 35 6.3.1 フィッシャーの線形判別関数 [2/9]           シャーの基準という。を見つける事をフィッを最大にする    内変動の比クラス間変動とクラス    全クラス内変動はクラスしかないので、      次元に写像後の分散クラス内変動     乗平均の差のクラス間変動 w w xw 2 2 2 1 2 21 2 2 2 1 22 2 21 2 1: 2: SS mm J SS ymyS mm ii Ci kik i           
  36. 36. 9/17/2013 6th #はじパタ #ピンクの薄い本 36 6.3.1 フィッシャーの線形判別関数 [3/9]                       より、対称行列 変動行列学習データのクラス間:線形変換される前の       スカラスカラ         乗平均の差のクラス間変動            2121 2121 2121 2 21 2 21 2: μμμμS S wSw wμμμμw μμwμμw μμw B B B mm 
  37. 37. 9/17/2013 6th #はじパタ #ピンクの薄い本 37 6.3.1 フィッシャーの線形判別関数 [4/9]                                    wSwwSSwwSwwSw SS wSw xAAxAxAwμxμxw xxxwμxμxw wμxμxw μxwμxw μxw w wk k Ci kiki Ci kiki Ci kiki Ci kiki Ci ki Ci kik SS yyyy myS i i i i ii                                    2121 2 2 2 1 2121 2121 222 , 1:   は対称行列構成の仕方から全クラス変動                   スカラスカラ       次元に写像後の分散クラス内変動   
  38. 38. 9/17/2013 6th #はじパタ #ピンクの薄い本 38 6.3.1 フィッシャーの線形判別関数 [5/9]                                            wSwS wSSwSSSS w wSSw wSSwwSwwSw wSwwSw wSw wSw wSwS w wSw wSw w wB wBwBwB wB wBwB wB w B wB w B J                     、を未定乗数と見立てて     問題の解は、次の一般化固有値これを最大にする解    フィッシャーの基準は 02 0  も対称行列は対称行列より、 wBwB SSSS ,
  39. 39. 9/17/2013 6th #はじパタ #ピンクの薄い本 39 6.3.1 フィッシャーの線形判別関数 [6/9]                   来ない。で、直接求める事が出が消去されてしまうのの項で    ーの基準では、イアス項。フィッシャが識別境界を与えるバであり、    、さて、線形識別関数は となる。による最適ながフィッシャーの基準    より、 はスカラ内積     通常の固有値問題     とすると 0 2121 0 0 21 11 21212121 1 w mm w wf dGL wBw B Bw w μμw xwx w μμSwSSw wμμμμwμμμμwS wwSS S              0w w
  40. 40. 9/17/2013 6th #はじパタ #ピンクの薄い本 40 6.3.1 フィッシャーの線形判別関数 [7/9]                 違いのみとなる。 動行列は比例乗数の全クラスのクラス内変となり、共分散行列と    より、         関数と仮定。すると、を持つ多次元正規分布    散行例の値に依らず同じ共分 が、率に、クラス条件付き確を算出可能とするため wpool i i N j ijij i i pool k NNNN N NN N i NN N N CP N N CP CPCP k kCPw i S SS SSΣ SμxμxΣ ΣΣΣ x 111 2,1 11 , 2,1 21 2 2 2 1 1 1 1 2 2 1 1 2211 0          0w w
  41. 41. 9/17/2013 6th #はじパタ #ピンクの薄い本 41 6.3.1 フィッシャーの線形判別関数 [8/9]                    線形変換に一致。最小識別規則で求めたとなり、ベイズ誤り率 は対称行列       とすると、    にてルにて定義されたベクト となる。    のみ重要定数倍を無視した向きはよる最適解フィッシャーの基準に    poolijpoolijpool poolijiijj poolji iijj pool poolw N ΣμμΣμμΣc ΣμμΣμΣμc ΣΣΣ ΣμΣμc μμΣw w μμΣμμSw            11 111 11 21 1 21 1 21 1 32.4 0w w
  42. 42. 9/17/2013 6th #はじパタ #ピンクの薄い本 42 6.3.1 フィッシャーの線形判別関数 [9/9] 0w w              とすれば良い。への射影をのとなるような    ように にある章、即ち、じになる点を従って、事後確率が同 正規分布正規分布の線形変換は 正規分布で近似可能  元の射影は、それぞれ一次に属するデータのへのため、 関数に従うと仮定したを持つ多次元正規分布共分散行例 の値に依らず同じは、クラス条件付き確率 0 2211 0 p.263 2,1 w CPCPCPCP w C kkCP k pool k wx xx Σ x   
  43. 43. 9/17/2013 6th #はじパタ #ピンクの薄い本 43 Thanks a lot!

×