はじパタ6章前半

はじパタ6章前半
9/17/2013 6th #はじパタ #ピンクの薄い本 1 はじめてのパターン認識６章線形識別関数前半（pp.71-82） @tanimocchi
9/17/2013 6th #はじパタ #ピンクの薄い本 2 自己紹介  Twitter ID： @tanimocchi （もっちぃ）  修士(数学)、博士(情報科学)  所属：ﾀﾋにかけ半導体  仕事：マーケティングなのかブランディングなのか？  統計解析とパターン認識・機械学習は必要！だと信じてる。  統数研公開講座に結構参加してますので、ご一緒の際は宜しくお願いします。  アンケート設計・分析に従事しつつ、新規市場開拓も  画像認識・センサ応用技術開発にも袖触れ合う程度に関係
9/17/2013 6th #はじパタ #ピンクの薄い本 3 4.2.2項のおさらい  ベイズ誤り率最小識別規則：正規分布を仮定して                         x ΣμxΣμxx xxx ΣμΣμCΣΣS xCx xCSxxx i i iiiiii jiij jiijji ij ij ji g CPg ggf Ff Ff CC minarg ln2ln , ,, 02 02 , 1 1111           　識別クラス　　　　　　　　　　線形識別関数：　２次識別関数：の識別境界クラス分散・共分散行列平均事前確率   という形で表される。　　、一般に線形識別関数は 0wf   xwx 次元の超平面線形識別関数：次元入力データ：的意味線形識別関数の幾何学 1-d d 
9/17/2013 6th #はじパタ #ピンクの薄い本 4 6.1 線形識別関数の定義目的・線形識別関数が２つのクラスを超平面で区分・多クラス問題への拡張
9/17/2013 6th #はじパタ #ピンクの薄い本 5 6.1.1 超平面の方程式 [1/7]                     　となる。従って識別境界は、　　　　　　　識別クラス、識別規則は　を識別境界とすると：バイアス項　　：係数ベクトル　　次元入力ベクトル：　　の線形識別関数：クラス問題 0 0 0 0 0 ,, d,, ,2 00 0 2 1 0 1 1 021                             w w d d f ww wf fC fC f w ww xx wfCC xnx xn w x w w w x w w xwx x x x w x xwx            ww w n 0 , w w　
9/17/2013 6th #はじパタ #ピンクの薄い本 6 6.1.1 超平面の方程式 [2/7]    0  wf xnx超平面：：法線ベクトルn  位置ベクトル　　：超平面上の任意の点P  原点　0   Pn PnPP     w wf が成立。に対して、位置ベクトル 0 ルは直線①の法線ベクト直線②より、直線① 　直線②：直線①：                                             b a y x b a y x b a c y x b a // 0 0   0xf   0xf
9/17/2013 6th #はじパタ #ピンクの薄い本 7 6.1.1 超平面の方程式 [3/7]    0  wf xnx超平面： n P  原点　0 x Px      0  PxnPnxnxPn fw より、  Pxn 幾何学的には、   0xf   0xf
9/17/2013 6th #はじパタ #ピンクの薄い本 8 6.1.1 超平面の方程式 [4/7]    0  wf xnx超平面： n P  原点　0 x  は単位法線ベクトル　　　　 nP PnPn   cos cos    w w  原点から超平面への距離正規化されたバイアス   0xf   0xf
9/17/2013 6th #はじパタ #ピンクの薄い本 9 6.1.1 超平面の方程式 [5/7]    0  wf xnx超平面： n   0xf   0xf P  原点　0 'x w    1' 0''' C f ww    x xnxxn 　　
9/17/2013 6th #はじパタ #ピンクの薄い本 10 6.1.1 超平面の方程式 [6/7]    0  wf xnx超平面： n   0xf   0xf P  原点　0 ''x w    2'' 0'''''' C f ww    x xnxxn 　　
9/17/2013 6th #はじパタ #ピンクの薄い本 11 6.1.1 超平面の方程式 [7/7]   ことを確かめよ。のように表現できるを用いて、識別境界がルを求め、適当なベクトの直線の法線ベクトルで表されるとする。こ　識別境界が直線例題 0 226.1    PxnP xy                         として表現できた。を　即ち、　　　　　　　　すると、を直線上の任意の点と　より、法線ベクトル　　は直交。とより、解答　　 022 022 5 1 22 5 1 2 5 1 5 1 5 2 02b2 5 1 5 2 512 1202 1 2 02y2 22                                                Pxn Pxn P w w nw wx xy yxbayx byax by ax aba yx y x x
9/17/2013 6th #はじパタ #ピンクの薄い本 12 6.1.2 多クラス問題への拡張 [1/9] K(>2)クラスの識別関数の作り方・一対多（one-versus-the-rest）・一対一（one-versus-one）・最大識別関数法識別不能領域（空白クラス）発生解消！
9/17/2013 6th #はじパタ #ピンクの薄い本 13 6.1.2 多クラス問題への拡張 [2/9]         0; 0; 1,,1 21-K        　　　　識別クラスを用意　線形識別関数クラス個のてのクラスを識別する一つのクラスと他の全 x x x j j K j j fKj fj C C Kjf  (1) 一対多クラス2 クラス3 クラス1   01 xf   02 xf   01 xf   02 xf     00 21  xx ff     00 21  xx ff ←空白領域（１か２か識別不能）
9/17/2013 6th #はじパタ #ピンクの薄い本 14 6.1.2 多クラス問題への拡張 [3/9]                 jvote fKljfjijvote KKKjif KKCji j jlij ij K maxarg 0|#0|1# : 211 2212     　　識別クラス　　　　　識別クラスを決定で個の識別関数の多数決を用意し、　クラス線形識別関数個のを識別するとクラス xx x (2) 一対一 [1/2]     に投票　　に投票　　多数決投票ルール： jf if ij ij   0 0 x x クラス3 クラス2 クラス1   013 xf   012 xf                               evenvotevotevote fff voteff voteff voteff      　　　　　空白領域：：クラス：クラス：クラス 13,11,12 000 23003 22002 21001 231312 2313 2312 1312 xxx xx xx xx   023 xf
9/17/2013 6th #はじパタ #ピンクの薄い本 15 6.1.2 多クラス問題への拡張 [4/9]   能性ありない票が投票される可　仕方に依っては関係義の別クラスの判定法の定個が無関係であり、識② がとれないより、多数決で過半数① ある手法である。従って、下記の懸念が個の　　　　　に対しては、タ　１つ固定した入力デー　　　例個の個数に直接関連したクラス　入力データのクラス個　識別関数の個数を識別する場合個手書き文字 36 95.22245 9,,,,,,,, 3) 9 45 ,90,ex.10 393837363534231303 210    fffffffff C  (2) 一対一 [2/2]
9/17/2013 6th #はじパタ #ピンクの薄い本 16 6.1.2 多クラス問題への拡張 [5/9] (3) 最大識別関数法 [1/5]                           に一致。ラスの場合の識別境界この識別境界は、２ク　　　　　　　　　　　　よりの識別境界は、とクラス　　識別クラス一意性？義　を識別クラスとして定識別関数を最大とする 0 maxargmaxarg 00 00 00 0           jiji jiji jjiijiij ji jj j j j j ww ww wwfff ffji wf C xww xww xwxwxxx xx xwx 以下、最大識別法にて、K(>2)個の線形識別関数で、 K個のクラス(領域)に必ず分割可能である事を示す。
9/17/2013 6th #はじパタ #ピンクの薄い本 17 6.1.2 多クラス問題への拡張 [6/9] (3) 最大識別関数法 [2/5]         は凸でない。となり、　　即ち、穴に属する点が存在。点を結ぶ直線上には、　　をとると、点ると、その穴を跨ぐ２に穴が開いているとす　　は凸でない」を示す。が単連結でない　対偶、即ち「証明穴の開いていない領域は単連結が凸補題：」「　　　が凸定義：領域 RR RR RR RR RR R      21 21 2121 1;10 2 , 1*,10;, xx xx xxxxx  
9/17/2013 6th #はじパタ #ピンクの薄い本 18 6.1.2 多クラス問題への拡張 [7/9] (3) 最大識別関数法 [3/5]                                 は凸。となり　　クラス　　　　　　　　　　　　数の線形性とから、　　とすると、識別関をとり、と　　さて、任意に　　　の定義から、とすると、識別クラスクラス　　事のみ示せば良い。　補題から、凸である証明める領域は単連結で凸命題１：各クラスの占 RReiRif ijforffff ffff R ffijR iR k k jjjj iiii ji       *.,.*maxarg *11 11* 1*10, ,, 2121 2121 2121 xx xxxxx xxxxx xxxxx xxx   
9/17/2013 6th #はじパタ #ピンクの薄い本 19 6.1.2 多クラス問題への拡張 [8/9] (3) 最大識別関数法 [4/5]           するからである。空白クラスが現れ矛盾何れかが判別できないとすると、２つの何故なら、一意でないである事が示される。スの定義が一意別関数法での識別クラ上記命題から、最大識矛盾。として識別されるためラス　　空白エリアは、クとなり、、は線形関数であるためと　　然るに、ルを持つ。にて同一の法線ベクトは、と　　即ち、　　　　が存在したとすると、次元の空白エリア　　　背理法にて示す。証明エリアなし識別境界を除いて空白法命題２：最大識別関数 ji ffff Aff ffAjifAji Ad jiji ji jiij     xxxxx ,;,0,;,
9/17/2013 6th #はじパタ #ピンクの薄い本 20 6.1.2 多クラス問題への拡張 [9/9] (3) 最大識別関数法 [5/5]   れる。個の領域に必ず分割さ個の識別関数で、　　従って、命題２の主張に矛盾。来た事となり、これは　　の空白エリアが出個とすると、個の領域に分割されたなる　　今仮に、。個の領域に分割される高々飛び地はできないので　　ため、各クラスは凸である個であり、命題１から　識別関数は証明れる個の領域に必ず分割さ個の識別関数で、　　　　法命題３：最大識別関数 kk k)( k kk lklkl  
9/17/2013 6th #はじパタ #ピンクの薄い本 21 6.2 最小２乗誤差基準によるパラメータの推定目的・最小2乗誤差基準による線形識別関数のパラメータが正規方程式により得られる事・多クラス問題への拡張
9/17/2013 6th #はじパタ #ピンクの薄い本 22 6.2.1 正規方程式 [1/7]                  ：教師ベクトル　　：データ行列　　を以下とする。と教師ベクトルとし、データ行列また、学習数をのとする。のように与えられるも　　　　　　により、教師入力が所属するクラスは、さて、入力ベクトルトル　番目の学習用入力べク：　　先変数：入力ベクトルの代入　　：バイアス項：係数ベクトル、　　　　線形識別関数                   N N i i i ii iidii d d dd tt N C C t t xixx xx wwww xwxwwf ,, ,, 1 1 1,,,1 ,,,1 ,,, 1 1 2 1 01 1 010 110       t xxX tX x x x x x w xwx
9/17/2013 6th #はじパタ #ピンクの薄い本 23 6.2.1 正規方程式 [2/7]                       より、スカラスカラ　　　　　　　　　　　　　　　　　　　乗誤差とすると教師入力の差のを識別関数の出力値と評価関数 tXwXwtXwXwXwttt XwXwtXwXwttt XwtXwt XwtXwt xw xw xw xw xw xw xwxw w                                                         2 2 22 11 22 11 1 2 1 2 NNNN N i ii N i ii t t t t t t tftE E                                                                                     NNddN dd dNdNN d dNd N xwxww xwxww w w xxx xxx w w w w xw xw x x xxXw          1 110 11110 0 21 11211 010 1 1 1 ,,
9/17/2013 6th #はじパタ #ピンクの薄い本 24 6.2.1 正規方程式 [3/7]             。ハット行列と呼ばれる、に変換する行列でありを予測値は、教師データ行列となる。　　は、測値学習データに対する予：正規方程式　　　　の最小を与えるになるパラメータがでの微分が故に、　は下に凸な関数評価関数 ttXXXX tXXXXwXt t tXXXw tXXwXXwXtX w w ww XwXwXwtttw ˆ ˆˆ ˆ ˆ 022 0 2 1 1 1            E E E              tX w wtX w Xwt XttXwxtXaa x xa BXXXXBXwX w XwXw wxXXBxBB x Bxx                        　　からとおくと、で、　公式　　　　　とおくと、で、　公式　 , 2 ,          の存在を保証可能。とできで、入力ベクトルの与え方：正方行列　より 1 1 1,1 ,1,1,       XX XX XX dN ddM NdMdNM
9/17/2013 6th #はじパタ #ピンクの薄い本 25 6.2.1 正規方程式 [4/7]                となる等高線を描け。　が平面内に識別関数値も変数と考え、に固定せず、への入力をバイアス項平面に図示せよ。識別関数をを求めよ。　いに答えよ。としたとき、下記の問をとする。学習データ対　識別関数を例題 6,0,6 ,1(3) ,1,(2)ˆ(1) 2,1, ,1,1,,16.2 1000 11 212 11111010    xxxw xfx xt xtxwwxxf w                                                                                                            2 3 1 1 11 12 1 1 21 11 23 35 ˆ 23 35 53 32 21 11 21 11 21 11 1 1 21 11 )1( 1 1 2 1 210 110 tXXXw XXXXX tX 　　　、、　　　、教師ベクトルデータ行列解答　 t t xx xx
9/17/2013 6th #はじパタ #ピンクの薄い本 26 6.2.1 正規方程式 [5/7]                となる等高線を描け。　が平面内に識別関数値も変数と考え、に固定せず、への入力をバイアス項平面に図示せよ。識別関数をを求めよ。　いに答えよ。としたとき、下記の問をとする。学習データ対　識別関数を例題 6,0,6 ,1(3) ,1,(2)ˆ(1) 2,1, ,1,1,,16.2 1000 11 212 11111010    xxxw xfx xt xtxwwxxf w           1 1 1 23 1 2,3 2,3ˆ,,1,ˆ(2) x x fy xf          x wxxwx 　　　より識別関数解答  1,1 xfy  0f 0f が識別境界5.11 x y x
9/17/2013 6th #はじパタ #ピンクの薄い本 27 6.2.1 正規方程式 [6/7]                となる等高線を描け。　が平面内に識別関数値も変数と考え、に固定せず、への入力をバイアス項平面に図示せよ。識別関数をを求めよ。　いに答えよ。としたとき、下記の問をとする。学習データ対　識別関数を例題 6,0,6 ,1(3) ,1,(2)ˆ(1) 2,1, ,1,1,,16.2 1000 11 212 11111010    xxxw xfx xt xtxwwxxf w           10 1 0 10 232,3 2,3ˆ,,,ˆ(3) xx x x fy xxf          x wxxwx 　　　より識別関数解答   0, 10 xxf 1x 0x 法線ベクトル 2 2   6, 10 xxf   6, 10 xxf 10 x 標準座標系での識別境界  10 xが現れる平面標系同次座標系内の標準座標準座標系同次座標系
9/17/2013 6th #はじパタ #ピンクの薄い本 28 6.2.1 正規方程式 [7/7]   示せ。は必ず原点を通る事をば、識別境界　同次座標表現によれ例題 06.3 xf         なる。　は識別境界上の点と　　　より、。識別境界は、　のように表現される　　　は、識別関数は解答　同次座標表現で     0,0, 0 23 10 10 xx f xxf x x x     。を線形識別関数とするを用いて、表現ので、以降、同時座標平面として表現可能な点を通るは、同次座標系では原に依らずアス項平面で表現され、バイバイアスは xwx x     f f x 0 10
9/17/2013 6th #はじパタ #ピンクの薄い本 29 6.2.2 多クラス問題への拡張 [1/4]                   を求める。乗誤差を与えるこの前提で、最小個の学習データ：　　個の教師ベクトル：　　個のベクトル：要素数　　　それ以外番目のクラスに属する番目の学習入力が　　　　　：教師ベクトル　　　：識別関数　　　                 K N N i ik iNii kk N N K ki t tstt Kkf wwW xxX ttT t t xwx ,,ˆ2 ,, ,, 0,,1,,0 0 1 ..,, ,,1 1 1 1 1      
9/17/2013 6th #はじパタ #ピンクの薄い本 30 6.2.2 多クラス問題への拡張 [2/4]                                                                         K k kkkkkk K k kkkk K k NkNk kk kk NkNk kk kk K k N i ikik K k N i ikik t t t t t t tftE E 1 1 1 22 11 22 11 1 1 2 1 1 2 2 2 XwXwXwttt XwtXwt xw xw xw xw xw xw xwxw w 　　　　　　　　　　　乗誤差とすると教師入力の差のを識別関数の出力値と評価関数 
9/17/2013 6th #はじパタ #ピンクの薄い本 31 6.2.2 多クラス問題への拡張 [3/4]                        xWxwwx w w xwxwxxxf TXXXW TXXWX tXXwX XwXtX w w wwXwXwXwtttw ˆ,,,,,, 2ˆ 0 ,,10 ,,1022 ,,2 1 1 11 1 1 1                               K K KK jj jj j K K k kkkkkk ff Kj Kj E E     　識別関数ラメータ乗誤差を最小にするパ　　　　　　　　　　　　　　で偏微分を、評価関数
9/17/2013 6th #はじパタ #ピンクの薄い本 32 6.2.2 多クラス問題への拡張 [4/4]   　行かない！！だと上手く並んでいるような分布のクラスが一直線上に　かない場合あり！上手く行く場合と、行　　　識別クラス識別規則 2 maxarg    K f j j x
9/17/2013 6th #はじパタ #ピンクの薄い本 33 6.3 線形判別分析・線形識別関数：・最小2乗誤差法：教師データに忠実になるよう fを求めた・線形判別分析：1-dimに写像したとき、クラス間の分布が出来るだけ重ならないようにする  重なりの少ない写像を実現するベクトルw を見つける事が大事！上のスカラ関数ベクトル次元ベクトル wd   xwxx  f w 0w
9/17/2013 6th #はじパタ #ピンクの薄い本 34 6.3.1 フィッシャーの線形判別関数 [1/9]      2121 22 11 21 1 ,2 μμw μwμ xμ xw          mm m N y CN CN CC kkk Ci i k k i 　　る、クラス分離が良くな平均の差が大きいほど　　写像：　　平均ベクトル：線形変換　線形識別関数向け学習データ数：　向け学習データ数：　問題クラス  0w w
9/17/2013 6th #はじパタ #ピンクの薄い本 35 6.3.1 フィッシャーの線形判別関数 [2/9]           シャーの基準という。を見つける事をフィッを最大にする　　内変動の比クラス間変動とクラス　　全クラス内変動はクラスしかないので、　　　　次元に写像後の分散クラス内変動　　　乗平均の差のクラス間変動 w w xw 2 2 2 1 2 21 2 2 2 1 22 2 21 2 1: 2: SS mm J SS ymyS mm ii Ci kik i           
9/17/2013 6th #はじパタ #ピンクの薄い本 36 6.3.1 フィッシャーの線形判別関数 [3/9]                       より、対称行列変動行列学習データのクラス間：線形変換される前の　　　　スカラスカラ　　　　　　　乗平均の差のクラス間変動            2121 2121 2121 2 21 2 21 2: μμμμS S wSw wμμμμw μμwμμw μμw B B B mm 
9/17/2013 6th #はじパタ #ピンクの薄い本 37 6.3.1 フィッシャーの線形判別関数 [4/9]                                    wSwwSSwwSwwSw SS wSw xAAxAxAwμxμxw xxxwμxμxw wμxμxw μxwμxw μxw w wk k Ci kiki Ci kiki Ci kiki Ci kiki Ci ki Ci kik SS yyyy myS i i i i ii                                    2121 2 2 2 1 2121 2121 222 , 1: 　は対称行列構成の仕方から全クラス変動　　　　　　　　　　　　　　スカラスカラ　　　　　次元に写像後の分散クラス内変動   
9/17/2013 6th #はじパタ #ピンクの薄い本 38 6.3.1 フィッシャーの線形判別関数 [5/9]                                            wSwS wSSwSSSS w wSSw wSSwwSwwSw wSwwSw wSw wSw wSwS w wSw wSw w wB wBwBwB wB wBwB wB w B wB w B J        　　　　　　　　　、を未定乗数と見立てて　　　問題の解は、次の一般化固有値これを最大にする解　　フィッシャーの基準は 02 0  も対称行列は対称行列より、 wBwB SSSS ,
9/17/2013 6th #はじパタ #ピンクの薄い本 39 6.3.1 フィッシャーの線形判別関数 [6/9]                   来ない。で、直接求める事が出が消去されてしまうのの項で　　ーの基準では、イアス項。フィッシャが識別境界を与えるバであり、　　、さて、線形識別関数はとなる。による最適ながフィッシャーの基準　　より、はスカラ内積　　　　通常の固有値問題　　　　とすると 0 2121 0 0 21 11 21212121 1 w mm w wf dGL wBw B Bw w μμw xwx w μμSwSSw wμμμμwμμμμwS wwSS S              0w w
9/17/2013 6th #はじパタ #ピンクの薄い本 40 6.3.1 フィッシャーの線形判別関数 [7/9]                 違いのみとなる。動行列は比例乗数の全クラスのクラス内変となり、共分散行列と　　より、　　　　　　関数と仮定。すると、を持つ多次元正規分布　　散行例の値に依らず同じ共分が、率に、クラス条件付き確を算出可能とするため wpool i i N j ijij i i pool k NNNN N NN N i NN N N CP N N CP CPCP k kCPw i S SS SSΣ SμxμxΣ ΣΣΣ x 111 2,1 11 , 2,1 21 2 2 2 1 1 1 1 2 2 1 1 2211 0          0w w
9/17/2013 6th #はじパタ #ピンクの薄い本 41 6.3.1 フィッシャーの線形判別関数 [8/9]                    線形変換に一致。最小識別規則で求めたとなり、ベイズ誤り率は対称行列　　　　　とすると、　　にてルにて定義されたベクトとなる。　　のみ重要定数倍を無視した向きはよる最適解フィッシャーの基準に　　 poolijpoolijpool poolijiijj poolji iijj pool poolw N ΣμμΣμμΣc ΣμμΣμΣμc ΣΣΣ ΣμΣμc μμΣw w μμΣμμSw            11 111 11 21 1 21 1 21 1 32.4 0w w
9/17/2013 6th #はじパタ #ピンクの薄い本 42 6.3.1 フィッシャーの線形判別関数 [9/9] 0w w              とすれば良い。への射影をのとなるような　　ようににある章、即ち、じになる点を従って、事後確率が同正規分布正規分布の線形変換は　正規分布で近似可能　元の射影は、それぞれ一次に属するデータのへのため、関数に従うと仮定したを持つ多次元正規分布共分散行例の値に依らず同じは、クラス条件付き確率 0 2211 0 p.263 2,1 w CPCPCPCP w C kkCP k pool k wx xx Σ x   
9/17/2013 6th #はじパタ #ピンクの薄い本 43 Thanks a lot!

Check these out next

はじパタ6章前半

Recommended

More Related Content

Slideshows for you(20)

Viewers also liked(20)

More from T T(9)

Recently uploaded(20)

はじパタ6章前半