Successfully reported this slideshow.
Upcoming SlideShare
×

# 2014年度春学期　画像情報処理　第７回　主成分分析とKarhunen-Loève変換 (2014. 5. 28)

2,192 views

Published on

Published in: Education
• Full Name
Comment goes here.

Are you sure you want to Yes No
• Be the first to comment

### 2014年度春学期　画像情報処理　第７回　主成分分析とKarhunen-Loève変換 (2014. 5. 28)

1. 1. A.Asano,KansaiUniv. 2014年度春学期 画像情報処理 浅野 晃 関西大学総合情報学部 主成分分析とKarhunen-Loève変換 第７回
2. 2. A.Asano,KansaiUniv.
3. 3. A.Asano,KansaiUniv. 画像情報圧縮
4. 4. 2013 A.Asano,KansaiUniv. 画像情報圧縮の必要性 この画像では，１画素の明るさを0∼255の整数で表す カラー画像ならば，３倍の１５メガバイト必要 １画素に，２進数８桁 = ８ビット = １バイト必要 ５００万画素のデジカメの画像は，約５メガバイト必要 Figure 1. Example of panoramic radiograph. pothesis. 2. Extraction of trabeculae 2.1. Region for extraction of trabeculae The images used for our experiments are captured from panoramic radiographs by a scanner with the transparent ﬁlm adapter. Since the panoramic radiographic ﬁlms, as shown in Fig. 1 for example, are taken by rotating an X- ray source and a ﬁlm around the head of patient, images of skin and other organs are overlapped on the ﬁlm. The image is degraded since bones are overlapped each other near the temporomandibular joint and the cervical vertebra is over- lapped on anterior teeth. Thus a region of interest in the left part of the mandible is extracted because of its sharpness, as shown in Fig. 1. 2.2. Extraction procedure Since it is easier to extract thick tooth roots of similar di- the longest line segment in each half using the Radon transformation, and measureing the angles of these line segments. If the measured angle is less than zero, it is assumed that no root is found in the image, and the following steps for the removal of roots are skipped. 4. Applying erosion to each of the separated images using a linear structuring element of the direction measured in the above. This operation removes almost all trabec- ulae whose directions are different from the structuring elements. 5. Applying opening to the results of the above step using the same structuring elements. This operation removes remaining trabeculae. 6. Applying dilation to the results of the above step with an elliptic structuring element. This operation embold- ens the roots, which are thinned by the above erosion. 7. Removing the image of the roots obtained in the above step from the skeleton image obtained in Step 2. The resultant image is the extraction of the trabeculae ex- cluding the tooth roots. 3. Experimental results of extraction The images used in the experiments are scanned with the resolution of 800 dpi, and the size of scanned images is 1600×900 pixels. The brightness has been modiﬁed after こういう画像は，１画素 = １６ビットで， ２倍の１０メガバイト必要なこともある 動画ならば，(1/30)秒でこれだけのデータ量！
5. 5. 2013 A.Asano,KansaiUniv. JPEG方式による画像圧縮 画像を波の重ね合わせで表わし， 一部を省略して，データ量を減らす
6. 6. 2013 A.Asano,KansaiUniv. JPEG方式による画像圧縮 画像を波の重ね合わせで表わし， 一部を省略して，データ量を減らす
7. 7. 2013 A.Asano,KansaiUniv. JPEG方式による画像圧縮 画像を波の重ね合わせで表わし， 一部を省略して，データ量を減らす 8×8ピクセルずつの セルに分解
8. 8. 2013 A.Asano,KansaiUniv. JPEG方式による画像圧縮 画像を波の重ね合わせで表わし， 一部を省略して，データ量を減らす ひとつのセルを， これらの波の重ね合わせで表す 8×8ピクセルずつの セルに分解 （著作権の問題により画像をはずしました）
9. 9. 2013 A.Asano,KansaiUniv. JPEG方式による画像圧縮 画像を波の重ね合わせで表わし， 一部を省略して，データ量を減らす ひとつのセルを， これらの波の重ね合わせで表す 8×8ピクセルずつの セルに分解 細かい部分は，どの画像でも大してかわ らないから，省略しても気づかない （著作権の問題により画像をはずしました）
10. 10. 2013 A.Asano,KansaiUniv. JPEG方式による画像圧縮 画像を波の重ね合わせで表わし， 一部を省略して，データ量を減らす ひとつのセルを， これらの波の重ね合わせで表す 8×8ピクセルずつの セルに分解 細かい部分は，どの画像でも大してかわ らないから，省略しても気づかない 省略すると，データ量が減る （著作権の問題により画像をはずしました）
11. 11. 2013 A.Asano,KansaiUniv. 画像情報圧縮の例 データ量：80KB データ量：16KB
12. 12. 2013 A.Asano,KansaiUniv. 画像情報圧縮の例 データ量：80KB データ量：16KB
13. 13. 2013 A.Asano,KansaiUniv. 画像情報圧縮の例 データ量：80KB データ量：16KB （８×８ピクセルの セルが見える）
14. 14. A.Asano,KansaiUniv.
15. 15. A.Asano,KansaiUniv. ところで，本当に「波」でいいんですか？
16. 16. A.Asano,KansaiUniv.
17. 17. A.Asano,KansaiUniv. もっと根本的な原理から説明します。
18. 18. A.Asano,KansaiUniv. もっと根本的な原理から説明します。 「主成分分析」と「直交変換」
19. 19. A.Asano,KansaiUniv.
20. 20. A.Asano,KansaiUniv. 主成分分析
21. 21. 2013 A.Asano,KansaiUniv. 重要な成分と，そうでない成分 しばらく，画素が２つしかない画像を考える たくさんの２画素画像を考える ひとつの２画素画像は， この図の１つの点で 表される す。つまり，これらの画像は x1 だけで概ね表現できるわけで，この考え す。 図 2 のような画像の分布を，図 2 のように画像が分布している場合でも作 ？ それは，図 3 のように軸を回転することによって可能になります。この ++ + + + + + x1 x2 図 1: ２画素の画像の分布の例 (1) x2 + + + 図 2: ２画素 画素１の値 画素２の値 （散布図という）
22. 22. 2013 A.Asano,KansaiUniv. どちらかの画素値を省略できるか？ たくさんの２画素画像が こんなふうに散らばって （分布して）いたら 図 2 のような画像の分布を，図 2 のように画像が分布している場合でも作 ？ それは，図 3 のように軸を回転することによって可能になります。この ++ + + + + + x1 x2 図 1: ２画素の画像の分布の例 (1) x2 + + + 図 2: ２画素  晃／画像情報処理（2013 年度春学期） 第７回 (2013. 5. 22) http:/ 画素１の値 画素２の値
23. 23. 2013 A.Asano,KansaiUniv. どちらかの画素値を省略できるか？ 各画像の違いを表現する のには，どちらの画素も 省略することはできない たくさんの２画素画像が こんなふうに散らばって （分布して）いたら 図 2 のような画像の分布を，図 2 のように画像が分布している場合でも作 ？ それは，図 3 のように軸を回転することによって可能になります。この ++ + + + + + x1 x2 図 1: ２画素の画像の分布の例 (1) x2 + + + 図 2: ２画素  晃／画像情報処理（2013 年度春学期） 第７回 (2013. 5. 22) http:/ 画素１の値 画素２の値
24. 24. 2013 A.Asano,KansaiUniv. どちらかの画素値を省略できるか？ どちらの画素値の分散も大きい 各画像の違いを表現する のには，どちらの画素も 省略することはできない たくさんの２画素画像が こんなふうに散らばって （分布して）いたら 図 2 のような画像の分布を，図 2 のように画像が分布している場合でも作 ？ それは，図 3 のように軸を回転することによって可能になります。この ++ + + + + + x1 x2 図 1: ２画素の画像の分布の例 (1) x2 + + + 図 2: ２画素  晃／画像情報処理（2013 年度春学期） 第７回 (2013. 5. 22) http:/ 画素１の値 画素２の値
25. 25. 2013 A.Asano,KansaiUniv. こんな分布なら 各画像の違いを表現する のに，画素２はそれほど 必要ない 画素２の値は，どの画像 でもあまり変わりない （分散が小さい） 画素１の値 画素２の値 になります。このように x1, x2 軸を回転した x1 x2 ++ + + + + + 図 2: ２画素の画像の分布の例 (2) http://racco.mikeneko.jp/  1/8 ページ
26. 26. 2013 A.Asano,KansaiUniv. こんな分布なら 画素２の値は，それらの平均に置きかえてし まってもそれほど変わらない 各画像の違いを表現する のに，画素２はそれほど 必要ない 画素２の値は，どの画像 でもあまり変わりない （分散が小さい） 画素１の値 画素２の値 になります。このように x1, x2 軸を回転した x1 x2 ++ + + + + + 図 2: ２画素の画像の分布の例 (2) http://racco.mikeneko.jp/  1/8 ページ ++ + + + + +
27. 27. 2013 A.Asano,KansaiUniv. こんな分布なら 画素２の値は，それらの平均に置きかえてし まってもそれほど変わらない 各画像の違いを表現する のに，画素２はそれほど 必要ない 画素２の値は，どの画像 でもあまり変わりない （分散が小さい） 画素１の値 画素２の値 になります。このように x1, x2 軸を回転した x1 x2 ++ + + + + + 図 2: ２画素の画像の分布の例 (2) http://racco.mikeneko.jp/  1/8 ページ ++ + + + + + 画素２の値はいちいち記録しなくてもいいか ら，データ量が半分に減る
28. 28. 2013 A.Asano,KansaiUniv. そういう都合のいい分布に変換できないの？ ます。つまり，これらの画像は x1 だけで概ね表現できるわけで，この考 ます。 図 2 のような画像の分布を，図 2 のように画像が分布している場合でも か？ それは，図 3 のように軸を回転することによって可能になります。こ ++ + + + + + x1 x2 図 1: ２画素の画像の分布の例 (1) x2 + 図 2: ２画 画素１の値 画素２の値
29. 29. 2013 A.Asano,KansaiUniv. そういう都合のいい分布に変換できないの？ 散布図上である方向に広がっているなら （x1, x2に相関があるなら）できます。こうすればいい ます。つまり，これらの画像は x1 だけで概ね表現できるわけで，この考 ます。 図 2 のような画像の分布を，図 2 のように画像が分布している場合でも か？ それは，図 3 のように軸を回転することによって可能になります。こ ++ + + + + + x1 x2 図 1: ２画素の画像の分布の例 (1) x2 + 図 2: ２画 画素１の値 画素２の値
30. 30. 2013 A.Asano,KansaiUniv. そういう都合のいい分布に変換できないの？ 散布図上である方向に広がっているなら （x1, x2に相関があるなら）できます。こうすればいい す は ， x1 ,x2 い る 」 と い う こ い る こ と を 意 味 し て い る こ と は で き ま せ ん 。 ， も し も 画 像 の 分 布 が 図 2の よ う で あ ま に 異 な っ て い る の に 対 し て ， 画 素 x2 は ど の ， 図 2 の 各 画 像 の 違 い を 表 現 す る の に は 画 素 x1 だ １ つ の 値 （ 例 え ば 各 画 像 の 画 素 x2 の 平 均 ） で 置 き 換 え て ま す 。 つ ま り ， こ れ ら の 画 像 は x1 だ け で 概 ね 表 現 で き る わ ま す 。 図 2 の よ う な 画 像 の 分 布 を ， 図 2 の よ う に 画 像 が 分 布 し て い る か ？ そ れ は ， 図 3の よ う に 軸 を 回 転 す る こ と に よ っ て 可 能 に + + + + + + + xx2 図 1: ２ 画 素 の 画 像 の 処 画 素 １ の 値 画 素 ２ の 値 z(2) z(1)
31. 31. 2013 A.Asano,KansaiUniv. そういう都合のいい分布に変換できないの？ 散布図上である方向に広がっているなら （x1, x2に相関があるなら）できます。こうすればいい す は ， x1 ,x2 い る 」 と い う こ い る こ と を 意 味 し て い る こ と は で き ま せ ん 。 ， も し も 画 像 の 分 布 が 図 2の よ う で あ ま に 異 な っ て い る の に 対 し て ， 画 素 x2 は ど の ， 図 2 の 各 画 像 の 違 い を 表 現 す る の に は 画 素 x1 だ １ つ の 値 （ 例 え ば 各 画 像 の 画 素 x2 の 平 均 ） で 置 き 換 え て ま す 。 つ ま り ， こ れ ら の 画 像 は x1 だ け で 概 ね 表 現 で き る わ ま す 。 図 2 の よ う な 画 像 の 分 布 を ， 図 2 の よ う に 画 像 が 分 布 し て い る か ？ そ れ は ， 図 3の よ う に 軸 を 回 転 す る こ と に よ っ て 可 能 に + + + + + + + xx2 図 1: ２ 画 素 の 画 像 の 処 画 素 １ の 値 画 素 ２ の 値 z(2) z(1) x1, x2を回転して，新たに z(1) , z(2) とすればよい
32. 32. 2013 A.Asano,KansaiUniv. そういう都合のいい分布に変換できないの？ 散布図上である方向に広がっているなら （x1, x2に相関があるなら）できます。こうすればいい す は ， x1 ,x2 い る 」 と い う こ い る こ と を 意 味 し て い る こ と は で き ま せ ん 。 ， も し も 画 像 の 分 布 が 図 2の よ う で あ ま に 異 な っ て い る の に 対 し て ， 画 素 x2 は ど の ， 図 2 の 各 画 像 の 違 い を 表 現 す る の に は 画 素 x1 だ １ つ の 値 （ 例 え ば 各 画 像 の 画 素 x2 の 平 均 ） で 置 き 換 え て ま す 。 つ ま り ， こ れ ら の 画 像 は x1 だ け で 概 ね 表 現 で き る わ ま す 。 図 2 の よ う な 画 像 の 分 布 を ， 図 2 の よ う に 画 像 が 分 布 し て い る か ？ そ れ は ， 図 3の よ う に 軸 を 回 転 す る こ と に よ っ て 可 能 に + + + + + + + xx2 図 1: ２ 画 素 の 画 像 の 処 画 素 １ の 値 画 素 ２ の 値 z(2) z(1) x1, x2を回転して，新たに z(1) , z(2) とすればよい z(1) の分散がもっとも大き くなるように回転する
33. 33. 2013 A.Asano,KansaiUniv. そういう都合のいい分布に変換できないの？ 散布図上である方向に広がっているなら （x1, x2に相関があるなら）できます。こうすればいい す は ， x1 ,x2 い る 」 と い う こ い る こ と を 意 味 し て い る こ と は で き ま せ ん 。 ， も し も 画 像 の 分 布 が 図 2の よ う で あ ま に 異 な っ て い る の に 対 し て ， 画 素 x2 は ど の ， 図 2 の 各 画 像 の 違 い を 表 現 す る の に は 画 素 x1 だ １ つ の 値 （ 例 え ば 各 画 像 の 画 素 x2 の 平 均 ） で 置 き 換 え て ま す 。 つ ま り ， こ れ ら の 画 像 は x1 だ け で 概 ね 表 現 で き る わ ま す 。 図 2 の よ う な 画 像 の 分 布 を ， 図 2 の よ う に 画 像 が 分 布 し て い る か ？ そ れ は ， 図 3の よ う に 軸 を 回 転 す る こ と に よ っ て 可 能 に + + + + + + + xx2 図 1: ２ 画 素 の 画 像 の 処 画 素 １ の 値 画 素 ２ の 値 z(2) z(1) x1, x2を回転して，新たに z(1) , z(2) とすればよい z(1) の分散がもっとも大き くなるように回転する これをするのが 主成分分析
34. 34. 2013 A.Asano,KansaiUniv. 主成分分析 x1, x2から次の式で zを求めるものとし， zの分散V(z)が最大になるa1, a2を求める なわち画素値 z(1), z(2) を求めてみましょう。元の画素値 x z = a1x1 + a2x2 の画像の画素 x1, x2 の値を x1i, x2i とすると，画素 x1, x2 = s21 は，画像の数を n として次のように定義されます。 n i=1 x2i, s11 = 1 n n i=1 (x1i − x1)2 , s22 = 1 n n i=1 (x2i − x2 2 = s21 = 1 n n (x1i − x1)(x2i − x2).
35. 35. 2013 A.Asano,KansaiUniv. 主成分分析 x1, x2から次の式で zを求めるものとし， zの分散V(z)が最大になるa1, a2を求める なわち画素値 z(1), z(2) を求めてみましょう。元の画素値 x z = a1x1 + a2x2 の画像の画素 x1, x2 の値を x1i, x2i とすると，画素 x1, x2 = s21 は，画像の数を n として次のように定義されます。 n i=1 x2i, s11 = 1 n n i=1 (x1i − x1)2 , s22 = 1 n n i=1 (x2i − x2 2 = s21 = 1 n n (x1i − x1)(x2i − x2). V(z)を求めるために，次の量を用いる z(1), z(2) 軸では，z(1) の値の分散が最大となっていま に変換した場合，画素 z(1) は「重要な成分」，画素 ます。 主成分分析 このような変換後の座標軸，すなわち画素値 z(1), て，新しい画素値 z が z = a1x1 で表されるものとします。i 番目の画像の画素 x1, x ¯x1, ¯x2，分散 s11, s22，共分散 s12 = s21 は，画像の数 x1 = 1 n n i=1 x1i, x2 = 1 n n i=1 x2i, s11 = 1 n x1, x2の全画像にわたる平均 2) は「あまり重要でない成分」ということになり (2) を求めてみましょう。元の画素値 x1, x2 に対し + a2x2 (1) の値を x1i, x2i とすると，画素 x1, x2 の値の平均 を n として次のように定義されます。 n i=1 (x1i − x1)2 , s22 = 1 n n i=1 (x2i − x2)2 n枚中のi番目の画像の，x1, x2の値 z(2) 軸では，z(1) の値の分散が最大となっています1。この 換した場合，画素 z(1) は「重要な成分」，画素 z(2) は「あ 。 分分析 のような変換後の座標軸，すなわち画素値 z(1), z(2) を求め 新しい画素値 z が z = a1x1 + a2x2 されるものとします。i 番目の画像の画素 x1, x2 の値を x 2，分散 s11, s22，共分散 s12 = s21 は，画像の数を n として 1 n 1 n 1 n x1, x2の分散
36. 36. 2013 A.Asano,KansaiUniv. 共分散とはi, x2 = 1 n n i=1 x2i, s11 = 1 n n i=1 (x1i − x1)2 , s22 = 1 n n i=1 (x2i − x2)2 s12 = s21 = 1 n n i=1 (x1i − x1)(x2i − x2). (2) のは，x と z の添字の区別を明確にするためですが，このやりかたは一般的なものではありません。 年度春学期） 第７回 (2013. 5. 22) http://racco.mikeneko.jp/  2/8 ページ x1, x2の共分散
37. 37. 2013 A.Asano,KansaiUniv. 共分散とはi, x2 = 1 n n i=1 x2i, s11 = 1 n n i=1 (x1i − x1)2 , s22 = 1 n n i=1 (x2i − x2)2 s12 = s21 = 1 n n i=1 (x1i − x1)(x2i − x2). (2) のは，x と z の添字の区別を明確にするためですが，このやりかたは一般的なものではありません。 年度春学期） 第７回 (2013. 5. 22) http://racco.mikeneko.jp/  2/8 ページ x1, x2の共分散 ++ z(2) x1 図 3: 軸の回転 ++ + + + + + x1 x2 x2 x1 x2 + + + + + +x2 x1 相関がない→ (a) (b) < 0 < 0 > 0 > 0 ( x1i – x1 )( x2i – x2 ) ( x1i – x1 )( x2i – x2 ) ( x1i – x1 )( x2i – x2 )( x1i – x1 )( x2i – x2 ) ( x1i – x1 )( x2i – x
38. 38. 2013 A.Asano,KansaiUniv. 共分散とはi, x2 = 1 n n i=1 x2i, s11 = 1 n n i=1 (x1i − x1)2 , s22 = 1 n n i=1 (x2i − x2)2 s12 = s21 = 1 n n i=1 (x1i − x1)(x2i − x2). (2) のは，x と z の添字の区別を明確にするためですが，このやりかたは一般的なものではありません。 年度春学期） 第７回 (2013. 5. 22) http://racco.mikeneko.jp/  2/8 ページ x1, x2の共分散 ++ z(2) x1 図 3: 軸の回転 ++ + + + + + x1 x2 x2 x1 x2 + + + + + +x2 x1 相関がない→ (a) (b) < 0 < 0 > 0 > 0 ( x1i – x1 )( x2i – x2 ) ( x1i – x1 )( x2i – x2 ) ( x1i – x1 )( x2i – x2 )( x1i – x1 )( x2i – x2 ) ( x1i – x1 )( x2i – x 共分散の正負 ＝相関の正負
39. 39. 2013 A.Asano,KansaiUniv. 共分散とはi, x2 = 1 n n i=1 x2i, s11 = 1 n n i=1 (x1i − x1)2 , s22 = 1 n n i=1 (x2i − x2)2 s12 = s21 = 1 n n i=1 (x1i − x1)(x2i − x2). (2) のは，x と z の添字の区別を明確にするためですが，このやりかたは一般的なものではありません。 年度春学期） 第７回 (2013. 5. 22) http://racco.mikeneko.jp/  2/8 ページ x1, x2の共分散 ++ z(2) x1 図 3: 軸の回転 ++ + + + + + x1 x2 x2 x1 x2 + + + + + +x2 x1 相関がない→ (a) (b) < 0 < 0 > 0 > 0 ( x1i – x1 )( x2i – x2 ) ( x1i – x1 )( x2i – x2 ) ( x1i – x1 )( x2i – x2 )( x1i – x1 )( x2i – x2 ) ( x1i – x1 )( x2i – x 共分散の正負 ＝相関の正負 （共分散を  x1, x2の標準偏差で  割ったものが  相関係数）
40. 40. 2013 A.Asano,KansaiUniv. さて，zの分散V(z)は (3)式 の間に相関がないときは，(x1i − ¯x1)(x2i − ¯x2) の総和は，正負のものが さて，新しい画素値の分散 V (z) は，上記の議論から次のように表さ V (z) = 1 n n i=1 (zi − z)2 = 1 n n i=1 {(a1x1i + a2x2i) − (a1x1 + a2x2i)}2 = 1 n n i=1 {(a1(x1i − x1) + a2(x2i − x2)}2 = 1 n n i=1 {(a2 1(x1i − x1)2 + 2a1a2(x1i − x1)(x2i − x2) + (a = a2 1{ 1 n n i=1 (x1i − x1)2 } + 2a1a2 1 n n i=1 (x1i − x1)(x2i − x2 = a2 1s11 + 2a1a2s12 + a2 2s22 = 1 n n i=1 {(a2 1(x1i − x1)2 + 2a1a2(x1i − x1)(x2i − x2) + = a2 1{ 1 n n i=1 (x1i − x1)2 } + 2a1a2 1 n n i=1 (x1i − x1)(x2i − x = a2 1s11 + 2a1a2s12 + a2 2s22 したがって，この V (z) を最大にする a1, a2 を求めればよいわけです。 れ x1, x2 軸となす角として a1 = cos θ1, a2 = cos θ2 とおくと，(a1, a2) は新しい座標軸 z の方向余弦ということになり，a a2 1 + a2 2 = 1 を満たします。したがって，問題は (5) 式の条件のもとでの (3) 式の ます。
41. 41. 2013 A.Asano,KansaiUniv. さて，zの分散V(z)は (3)式 V(z)が最大になるa1, a2を求める の間に相関がないときは，(x1i − ¯x1)(x2i − ¯x2) の総和は，正負のものが さて，新しい画素値の分散 V (z) は，上記の議論から次のように表さ V (z) = 1 n n i=1 (zi − z)2 = 1 n n i=1 {(a1x1i + a2x2i) − (a1x1 + a2x2i)}2 = 1 n n i=1 {(a1(x1i − x1) + a2(x2i − x2)}2 = 1 n n i=1 {(a2 1(x1i − x1)2 + 2a1a2(x1i − x1)(x2i − x2) + (a = a2 1{ 1 n n i=1 (x1i − x1)2 } + 2a1a2 1 n n i=1 (x1i − x1)(x2i − x2 = a2 1s11 + 2a1a2s12 + a2 2s22 = 1 n n i=1 {(a2 1(x1i − x1)2 + 2a1a2(x1i − x1)(x2i − x2) + = a2 1{ 1 n n i=1 (x1i − x1)2 } + 2a1a2 1 n n i=1 (x1i − x1)(x2i − x = a2 1s11 + 2a1a2s12 + a2 2s22 したがって，この V (z) を最大にする a1, a2 を求めればよいわけです。 れ x1, x2 軸となす角として a1 = cos θ1, a2 = cos θ2 とおくと，(a1, a2) は新しい座標軸 z の方向余弦ということになり，a a2 1 + a2 2 = 1 を満たします。したがって，問題は (5) 式の条件のもとでの (3) 式の ます。
42. 42. 2013 A.Asano,KansaiUniv. さて，zの分散V(z)は (3)式 V(z)が最大になるa1, a2を求める の間に相関がないときは，(x1i − ¯x1)(x2i − ¯x2) の総和は，正負のものが さて，新しい画素値の分散 V (z) は，上記の議論から次のように表さ V (z) = 1 n n i=1 (zi − z)2 = 1 n n i=1 {(a1x1i + a2x2i) − (a1x1 + a2x2i)}2 = 1 n n i=1 {(a1(x1i − x1) + a2(x2i − x2)}2 = 1 n n i=1 {(a2 1(x1i − x1)2 + 2a1a2(x1i − x1)(x2i − x2) + (a = a2 1{ 1 n n i=1 (x1i − x1)2 } + 2a1a2 1 n n i=1 (x1i − x1)(x2i − x2 = a2 1s11 + 2a1a2s12 + a2 2s22 = 1 n n i=1 {(a2 1(x1i − x1)2 + 2a1a2(x1i − x1)(x2i − x2) + = a2 1{ 1 n n i=1 (x1i − x1)2 } + 2a1a2 1 n n i=1 (x1i − x1)(x2i − x = a2 1s11 + 2a1a2s12 + a2 2s22 したがって，この V (z) を最大にする a1, a2 を求めればよいわけです。 れ x1, x2 軸となす角として a1 = cos θ1, a2 = cos θ2 とおくと，(a1, a2) は新しい座標軸 z の方向余弦ということになり，a a2 1 + a2 2 = 1 を満たします。したがって，問題は (5) 式の条件のもとでの (3) 式の ます。 xからzへの変換は「回転」 （伸び縮みしない）→
43. 43. 2013 A.Asano,KansaiUniv. さて，zの分散V(z)は (3)式 V(z)が最大になるa1, a2を求める の間に相関がないときは，(x1i − ¯x1)(x2i − ¯x2) の総和は，正負のものが さて，新しい画素値の分散 V (z) は，上記の議論から次のように表さ V (z) = 1 n n i=1 (zi − z)2 = 1 n n i=1 {(a1x1i + a2x2i) − (a1x1 + a2x2i)}2 = 1 n n i=1 {(a1(x1i − x1) + a2(x2i − x2)}2 = 1 n n i=1 {(a2 1(x1i − x1)2 + 2a1a2(x1i − x1)(x2i − x2) + (a = a2 1{ 1 n n i=1 (x1i − x1)2 } + 2a1a2 1 n n i=1 (x1i − x1)(x2i − x2 = a2 1s11 + 2a1a2s12 + a2 2s22 = 1 n n i=1 {(a2 1(x1i − x1)2 + 2a1a2(x1i − x1)(x2i − x2) + = a2 1{ 1 n n i=1 (x1i − x1)2 } + 2a1a2 1 n n i=1 (x1i − x1)(x2i − x = a2 1s11 + 2a1a2s12 + a2 2s22 したがって，この V (z) を最大にする a1, a2 を求めればよいわけです。 れ x1, x2 軸となす角として a1 = cos θ1, a2 = cos θ2 とおくと，(a1, a2) は新しい座標軸 z の方向余弦ということになり，a a2 1 + a2 2 = 1 を満たします。したがって，問題は (5) 式の条件のもとでの (3) 式の ます。 xからzへの変換は「回転」 （伸び縮みしない）→ = 1 n i=1 {(a2 1(x1i − x1)2 + 2a1a2(x1i − x1)(x2i − x2) + (a2 2(x2i = a2 1{ 1 n n i=1 (x1i − x1)2 } + 2a1a2 1 n n i=1 (x1i − x1)(x2i − x2) + a = a2 1s11 + 2a1a2s12 + a2 2s22 て，この V (z) を最大にする a1, a2 を求めればよいわけです。ここで 軸となす角として a1 = cos θ1, a2 = cos θ2 ，(a1, a2) は新しい座標軸 z の方向余弦ということになり，a1, a2 は a2 1 + a2 2 = 1 ます。したがって，問題は (5) 式の条件のもとでの (3) 式の V (z) の
44. 44. 2013 A.Asano,KansaiUniv. Lagrangeの未定乗数法 を という条件で最大化する a1, a2 を求めればよいわけです。ここで，θ1, θ2 を，z 軸がそれぞ a1 = cos θ1, a2 = cos θ2 (4) の方向余弦ということになり，a1, a2 は a2 1 + a2 2 = 1 (5) 5) 式の条件のもとでの (3) 式の V (z) の最大化ということになり は，Lagrange の未定乗数法によって解くことができます。これに いて a2 1s11 + 2a1a2s12 + a2 2s22 − λ(a2 1 + a2 2 − 1) (6) 題に帰着されます。これを解くため，F を a1, a2, それに λ でそ いとおくと i=1 = a2 1{ 1 n n i=1 (x1i − x1)2 } + 2a1a2 1 n n i=1 (x1i − x1)(x2i − x = a2 1s11 + 2a1a2s12 + a2 2s22 したがって，この V (z) を最大にする a1, a2 を求めればよいわけです。 れ x1, x2 軸となす角として a1 = cos θ1, a2 = cos θ2 とおくと，(a1, a2) は新しい座標軸 z の方向余弦ということになり，a a2 1 + a2 2 = 1 を満たします。したがって，問題は (5) 式の条件のもとでの (3) 式の ます。 このような制約条件付き最大化問題は，Lagrange の未定乗数法によ よれば，この問題は未定乗数を λ とおいて さて，新しい画素値の分散 V (z) は，上記の議論から次のよう V (z) = 1 n n i=1 (zi − z)2 = 1 n n i=1 {(a1x1i + a2x2i) − (a1x1 + a2x2i)}2 = 1 n n i=1 {(a1(x1i − x1) + a2(x2i − x2)}2 = 1 n n i=1 {(a2 1(x1i − x1)2 + 2a1a2(x1i − x1)(x2i − = a2 1{ 1 n n i=1 (x1i − x1)2 } + 2a1a2 1 n n i=1 (x1i − x1)
45. 45. 2013 A.Asano,KansaiUniv. Lagrangeの未定乗数法 を という条件で最大化する a1, a2 を求めればよいわけです。ここで，θ1, θ2 を，z 軸がそれぞ a1 = cos θ1, a2 = cos θ2 (4) の方向余弦ということになり，a1, a2 は a2 1 + a2 2 = 1 (5) 5) 式の条件のもとでの (3) 式の V (z) の最大化ということになり は，Lagrange の未定乗数法によって解くことができます。これに いて a2 1s11 + 2a1a2s12 + a2 2s22 − λ(a2 1 + a2 2 − 1) (6) 題に帰着されます。これを解くため，F を a1, a2, それに λ でそ いとおくと i=1 = a2 1{ 1 n n i=1 (x1i − x1)2 } + 2a1a2 1 n n i=1 (x1i − x1)(x2i − x = a2 1s11 + 2a1a2s12 + a2 2s22 したがって，この V (z) を最大にする a1, a2 を求めればよいわけです。 れ x1, x2 軸となす角として a1 = cos θ1, a2 = cos θ2 とおくと，(a1, a2) は新しい座標軸 z の方向余弦ということになり，a a2 1 + a2 2 = 1 を満たします。したがって，問題は (5) 式の条件のもとでの (3) 式の ます。 このような制約条件付き最大化問題は，Lagrange の未定乗数法によ よれば，この問題は未定乗数を λ とおいて さて，新しい画素値の分散 V (z) は，上記の議論から次のよう V (z) = 1 n n i=1 (zi − z)2 = 1 n n i=1 {(a1x1i + a2x2i) − (a1x1 + a2x2i)}2 = 1 n n i=1 {(a1(x1i − x1) + a2(x2i − x2)}2 = 1 n n i=1 {(a2 1(x1i − x1)2 + 2a1a2(x1i − x1)(x2i − = a2 1{ 1 n n i=1 (x1i − x1)2 } + 2a1a2 1 n n i=1 (x1i − x1) 2) は新しい座標軸 z の方向余弦ということになり，a1, a2 は a2 1 + a2 2 = 1 したがって，問題は (5) 式の条件のもとでの (3) 式の V (z) の最大 約条件付き最大化問題は，Lagrange の未定乗数法によって解くこと 題は未定乗数を λ とおいて F(a1, a2, λ) = a2 1s11 + 2a1a2s12 + a2 2s22 − λ(a2 1 + a2 2 − 1) 約条件なしの最大化問題に帰着されます。これを解くため，F を て，それらが 0 に等しいとおくと ∂F ∂a = 2a1s11 + 2a2s12 − 2a1λ = 0 条件なしで を最大化する
46. 46. 2013 A.Asano,KansaiUniv. Lagrangeの未定乗数法 を という条件で最大化する a1, a2 を求めればよいわけです。ここで，θ1, θ2 を，z 軸がそれぞ a1 = cos θ1, a2 = cos θ2 (4) の方向余弦ということになり，a1, a2 は a2 1 + a2 2 = 1 (5) 5) 式の条件のもとでの (3) 式の V (z) の最大化ということになり は，Lagrange の未定乗数法によって解くことができます。これに いて a2 1s11 + 2a1a2s12 + a2 2s22 − λ(a2 1 + a2 2 − 1) (6) 題に帰着されます。これを解くため，F を a1, a2, それに λ でそ いとおくと i=1 = a2 1{ 1 n n i=1 (x1i − x1)2 } + 2a1a2 1 n n i=1 (x1i − x1)(x2i − x = a2 1s11 + 2a1a2s12 + a2 2s22 したがって，この V (z) を最大にする a1, a2 を求めればよいわけです。 れ x1, x2 軸となす角として a1 = cos θ1, a2 = cos θ2 とおくと，(a1, a2) は新しい座標軸 z の方向余弦ということになり，a a2 1 + a2 2 = 1 を満たします。したがって，問題は (5) 式の条件のもとでの (3) 式の ます。 このような制約条件付き最大化問題は，Lagrange の未定乗数法によ よれば，この問題は未定乗数を λ とおいて さて，新しい画素値の分散 V (z) は，上記の議論から次のよう V (z) = 1 n n i=1 (zi − z)2 = 1 n n i=1 {(a1x1i + a2x2i) − (a1x1 + a2x2i)}2 = 1 n n i=1 {(a1(x1i − x1) + a2(x2i − x2)}2 = 1 n n i=1 {(a2 1(x1i − x1)2 + 2a1a2(x1i − x1)(x2i − = a2 1{ 1 n n i=1 (x1i − x1)2 } + 2a1a2 1 n n i=1 (x1i − x1) 2) は新しい座標軸 z の方向余弦ということになり，a1, a2 は a2 1 + a2 2 = 1 したがって，問題は (5) 式の条件のもとでの (3) 式の V (z) の最大 約条件付き最大化問題は，Lagrange の未定乗数法によって解くこと 題は未定乗数を λ とおいて F(a1, a2, λ) = a2 1s11 + 2a1a2s12 + a2 2s22 − λ(a2 1 + a2 2 − 1) 約条件なしの最大化問題に帰着されます。これを解くため，F を て，それらが 0 に等しいとおくと ∂F ∂a = 2a1s11 + 2a2s12 − 2a1λ = 0 条件なしで を最大化する 未定乗数
47. 47. 2013 A.Asano,KansaiUniv. Lagrangeの未定乗数法 を という条件で最大化する a1, a2 を求めればよいわけです。ここで，θ1, θ2 を，z 軸がそれぞ a1 = cos θ1, a2 = cos θ2 (4) の方向余弦ということになり，a1, a2 は a2 1 + a2 2 = 1 (5) 5) 式の条件のもとでの (3) 式の V (z) の最大化ということになり は，Lagrange の未定乗数法によって解くことができます。これに いて a2 1s11 + 2a1a2s12 + a2 2s22 − λ(a2 1 + a2 2 − 1) (6) 題に帰着されます。これを解くため，F を a1, a2, それに λ でそ いとおくと i=1 = a2 1{ 1 n n i=1 (x1i − x1)2 } + 2a1a2 1 n n i=1 (x1i − x1)(x2i − x = a2 1s11 + 2a1a2s12 + a2 2s22 したがって，この V (z) を最大にする a1, a2 を求めればよいわけです。 れ x1, x2 軸となす角として a1 = cos θ1, a2 = cos θ2 とおくと，(a1, a2) は新しい座標軸 z の方向余弦ということになり，a a2 1 + a2 2 = 1 を満たします。したがって，問題は (5) 式の条件のもとでの (3) 式の ます。 このような制約条件付き最大化問題は，Lagrange の未定乗数法によ よれば，この問題は未定乗数を λ とおいて さて，新しい画素値の分散 V (z) は，上記の議論から次のよう V (z) = 1 n n i=1 (zi − z)2 = 1 n n i=1 {(a1x1i + a2x2i) − (a1x1 + a2x2i)}2 = 1 n n i=1 {(a1(x1i − x1) + a2(x2i − x2)}2 = 1 n n i=1 {(a2 1(x1i − x1)2 + 2a1a2(x1i − x1)(x2i − = a2 1{ 1 n n i=1 (x1i − x1)2 } + 2a1a2 1 n n i=1 (x1i − x1) 2) は新しい座標軸 z の方向余弦ということになり，a1, a2 は a2 1 + a2 2 = 1 したがって，問題は (5) 式の条件のもとでの (3) 式の V (z) の最大 約条件付き最大化問題は，Lagrange の未定乗数法によって解くこと 題は未定乗数を λ とおいて F(a1, a2, λ) = a2 1s11 + 2a1a2s12 + a2 2s22 − λ(a2 1 + a2 2 − 1) 約条件なしの最大化問題に帰着されます。これを解くため，F を て，それらが 0 に等しいとおくと ∂F ∂a = 2a1s11 + 2a2s12 − 2a1λ = 0 条件なしで を最大化する 条件をみたせば ここは0 未定乗数
48. 48. 2013 A.Asano,KansaiUniv. Lagrangeの未定乗数法 条件付き最大化問題は，Lagrange の未定乗数法によって解くこと は未定乗数を λ とおいて F(a1, a2, λ) = a2 1s11 + 2a1a2s12 + a2 2s22 − λ(a2 1 + a2 2 − 1) 条件なしの最大化問題に帰着されます。これを解くため，F を a ，それらが 0 に等しいとおくと ∂F ∂a1 = 2a1s11 + 2a2s12 − 2a1λ = 0 ∂F ∂a2 = 2a2s22 + 2a1s12 − 2a2λ = 0 ∂F ∂λ = −λ(a2 1 + a2 2 − 1) = 0 ，私の「統計学」第 6 回の講義録を参照してください。この講義のスケジュー をa1, a2, λで偏微分して0とおく
49. 49. 2013 A.Asano,KansaiUniv. Lagrangeの未定乗数法 条件付き最大化問題は，Lagrange の未定乗数法によって解くこと は未定乗数を λ とおいて F(a1, a2, λ) = a2 1s11 + 2a1a2s12 + a2 2s22 − λ(a2 1 + a2 2 − 1) 条件なしの最大化問題に帰着されます。これを解くため，F を a ，それらが 0 に等しいとおくと ∂F ∂a1 = 2a1s11 + 2a2s12 − 2a1λ = 0 ∂F ∂a2 = 2a2s22 + 2a1s12 − 2a2λ = 0 ∂F ∂λ = −λ(a2 1 + a2 2 − 1) = 0 ，私の「統計学」第 6 回の講義録を参照してください。この講義のスケジュー をa1, a2, λで偏微分して0とおく き最大化問題は，Lagrange の未定乗数法によって解くことができます。こ 乗数を λ とおいて a1, a2, λ) = a2 1s11 + 2a1a2s12 + a2 2s22 − λ(a2 1 + a2 2 − 1) しの最大化問題に帰着されます。これを解くため，F を a1, a2, それに λ らが 0 に等しいとおくと ∂F ∂a1 = 2a1s11 + 2a2s12 − 2a1λ = 0 ∂F ∂a2 = 2a2s22 + 2a1s12 − 2a2λ = 0 ∂F ∂λ = −λ(a2 1 + a2 2 − 1) = 0 統計学」第 6 回の講義録を参照してください。この講義のスケジュールからリンクして 度春学期） 第７回 (2013. 5. 22) http://racco.mikeneko.jp/  3/8
50. 50. 2013 A.Asano,KansaiUniv. Lagrangeの未定乗数法 条件付き最大化問題は，Lagrange の未定乗数法によって解くこと は未定乗数を λ とおいて F(a1, a2, λ) = a2 1s11 + 2a1a2s12 + a2 2s22 − λ(a2 1 + a2 2 − 1) 条件なしの最大化問題に帰着されます。これを解くため，F を a ，それらが 0 に等しいとおくと ∂F ∂a1 = 2a1s11 + 2a2s12 − 2a1λ = 0 ∂F ∂a2 = 2a2s22 + 2a1s12 − 2a2λ = 0 ∂F ∂λ = −λ(a2 1 + a2 2 − 1) = 0 ，私の「統計学」第 6 回の講義録を参照してください。この講義のスケジュー をa1, a2, λで偏微分して0とおく き最大化問題は，Lagrange の未定乗数法によって解くことができます。こ 乗数を λ とおいて a1, a2, λ) = a2 1s11 + 2a1a2s12 + a2 2s22 − λ(a2 1 + a2 2 − 1) しの最大化問題に帰着されます。これを解くため，F を a1, a2, それに λ らが 0 に等しいとおくと ∂F ∂a1 = 2a1s11 + 2a2s12 − 2a1λ = 0 ∂F ∂a2 = 2a2s22 + 2a1s12 − 2a2λ = 0 ∂F ∂λ = −λ(a2 1 + a2 2 − 1) = 0 統計学」第 6 回の講義録を参照してください。この講義のスケジュールからリンクして 度春学期） 第７回 (2013. 5. 22) http://racco.mikeneko.jp/  3/8 すでに満たされている
51. 51. 2013 A.Asano,KansaiUniv. Lagrangeの未定乗数法 条件付き最大化問題は，Lagrange の未定乗数法によって解くこと は未定乗数を λ とおいて F(a1, a2, λ) = a2 1s11 + 2a1a2s12 + a2 2s22 − λ(a2 1 + a2 2 − 1) 条件なしの最大化問題に帰着されます。これを解くため，F を a ，それらが 0 に等しいとおくと ∂F ∂a1 = 2a1s11 + 2a2s12 − 2a1λ = 0 ∂F ∂a2 = 2a2s22 + 2a1s12 − 2a2λ = 0 ∂F ∂λ = −λ(a2 1 + a2 2 − 1) = 0 ，私の「統計学」第 6 回の講義録を参照してください。この講義のスケジュー をa1, a2, λで偏微分して0とおく き最大化問題は，Lagrange の未定乗数法によって解くことができます。こ 乗数を λ とおいて a1, a2, λ) = a2 1s11 + 2a1a2s12 + a2 2s22 − λ(a2 1 + a2 2 − 1) しの最大化問題に帰着されます。これを解くため，F を a1, a2, それに λ らが 0 に等しいとおくと ∂F ∂a1 = 2a1s11 + 2a2s12 − 2a1λ = 0 ∂F ∂a2 = 2a2s22 + 2a1s12 − 2a2λ = 0 ∂F ∂λ = −λ(a2 1 + a2 2 − 1) = 0 統計学」第 6 回の講義録を参照してください。この講義のスケジュールからリンクして 度春学期） 第７回 (2013. 5. 22) http://racco.mikeneko.jp/  3/8 偏微分って？ すでに満たされている
52. 52. 2013 A.Asano,KansaiUniv. 偏微分と最大化 偏微分： 多変数関数を，その中のひとつの変数で微分
53. 53. 2013 A.Asano,KansaiUniv. 偏微分と最大化 偏微分： 多変数関数を，その中のひとつの変数で微分 a1 a2 F ★
54. 54. 2013 A.Asano,KansaiUniv. 偏微分と最大化 偏微分： 多変数関数を，その中のひとつの変数で微分 a1 a2 F ★ ★では，a1, a2のどちらによ る偏微分も0
55. 55. 2013 A.Asano,KansaiUniv. 偏微分と最大化 偏微分： 多変数関数を，その中のひとつの変数で微分 a1 a2 F ★ ★では，a1, a2のどちらによ る偏微分も0 → a1, a2のどちらの方向の 接線の傾きも0
56. 56. 2013 A.Asano,KansaiUniv. 偏微分と最大化 偏微分： 多変数関数を，その中のひとつの変数で微分 a1 a2 F ★ ★では，a1, a2のどちらによ る偏微分も0 → a1, a2のどちらの方向の 接線の傾きも0 →曲面の「頂点」であり， Fは最大
57. 57. 2013 A.Asano,KansaiUniv. 固有値問題 が得られる 式と同じですから，すでに満たされています。残りの式からは， a1s11 + a2s12 = a1λ a2s22 + a1s12 = a2λ を行列を使って書くと s11 s12 s12 s22 a1 a2 = λ a1 a2 は，分散共分散行列 (covariance matrix) とよばれています。 行列の固有値を求める」問題で，これを満たす λ は固有値 (eigenval ector) とよばれています。このようにして画素値 x1, x2 から得ら 実は固有値 λ です。なぜならば，(8) 式の上の式に a1 を，下の式に
58. 58. 2013 A.Asano,KansaiUniv. 固有値問題 が得られる 式と同じですから，すでに満たされています。残りの式からは， a1s11 + a2s12 = a1λ a2s22 + a1s12 = a2λ を行列を使って書くと s11 s12 s12 s22 a1 a2 = λ a1 a2 は，分散共分散行列 (covariance matrix) とよばれています。 行列の固有値を求める」問題で，これを満たす λ は固有値 (eigenval ector) とよばれています。このようにして画素値 x1, x2 から得ら 実は固有値 λ です。なぜならば，(8) 式の上の式に a1 を，下の式に 行列でかくと
59. 59. 2013 A.Asano,KansaiUniv. 固有値問題 が得られる 式と同じですから，すでに満たされています。残りの式からは， a1s11 + a2s12 = a1λ a2s22 + a1s12 = a2λ を行列を使って書くと s11 s12 s12 s22 a1 a2 = λ a1 a2 は，分散共分散行列 (covariance matrix) とよばれています。 行列の固有値を求める」問題で，これを満たす λ は固有値 (eigenval ector) とよばれています。このようにして画素値 x1, x2 から得ら 実は固有値 λ です。なぜならば，(8) 式の上の式に a1 を，下の式に 式は (5) 式と同じですから，すでに満たされています。残りの式からは， a1s11 + a2s12 = a1λ a2s22 + a1s12 = a2λ (8 。これを行列を使って書くと s11 s12 s12 s22 a1 a2 = λ a1 a2 (9 の行列は，分散共分散行列 (covariance matrix) とよばれています。 共分散行列の固有値を求める」問題で，これを満たす λ は固有値 (eigenvalue) eigenvector) とよばれています。このようにして画素値 x1, x2 から得られる z) は，実は固有値 λ です。なぜならば，(8) 式の上の式に a1 を，下の式に a 行列でかくと
60. 60. 2013 A.Asano,KansaiUniv. 固有値問題 が得られる 式と同じですから，すでに満たされています。残りの式からは， a1s11 + a2s12 = a1λ a2s22 + a1s12 = a2λ を行列を使って書くと s11 s12 s12 s22 a1 a2 = λ a1 a2 は，分散共分散行列 (covariance matrix) とよばれています。 行列の固有値を求める」問題で，これを満たす λ は固有値 (eigenval ector) とよばれています。このようにして画素値 x1, x2 から得ら 実は固有値 λ です。なぜならば，(8) 式の上の式に a1 を，下の式に 式は (5) 式と同じですから，すでに満たされています。残りの式からは， a1s11 + a2s12 = a1λ a2s22 + a1s12 = a2λ (8 。これを行列を使って書くと s11 s12 s12 s22 a1 a2 = λ a1 a2 (9 の行列は，分散共分散行列 (covariance matrix) とよばれています。 共分散行列の固有値を求める」問題で，これを満たす λ は固有値 (eigenvalue) eigenvector) とよばれています。このようにして画素値 x1, x2 から得られる z) は，実は固有値 λ です。なぜならば，(8) 式の上の式に a1 を，下の式に a 行列でかくと 分散共分散行列
61. 61. 2013 A.Asano,KansaiUniv. 固有値問題 が得られる 式と同じですから，すでに満たされています。残りの式からは， a1s11 + a2s12 = a1λ a2s22 + a1s12 = a2λ を行列を使って書くと s11 s12 s12 s22 a1 a2 = λ a1 a2 は，分散共分散行列 (covariance matrix) とよばれています。 行列の固有値を求める」問題で，これを満たす λ は固有値 (eigenval ector) とよばれています。このようにして画素値 x1, x2 から得ら 実は固有値 λ です。なぜならば，(8) 式の上の式に a1 を，下の式に 式は (5) 式と同じですから，すでに満たされています。残りの式からは， a1s11 + a2s12 = a1λ a2s22 + a1s12 = a2λ (8 。これを行列を使って書くと s11 s12 s12 s22 a1 a2 = λ a1 a2 (9 の行列は，分散共分散行列 (covariance matrix) とよばれています。 共分散行列の固有値を求める」問題で，これを満たす λ は固有値 (eigenvalue) eigenvector) とよばれています。このようにして画素値 x1, x2 から得られる z) は，実は固有値 λ です。なぜならば，(8) 式の上の式に a1 を，下の式に a 行列でかくと 分散共分散行列 固有ベクトル
62. 62. 2013 A.Asano,KansaiUniv. 固有値問題 が得られる 式と同じですから，すでに満たされています。残りの式からは， a1s11 + a2s12 = a1λ a2s22 + a1s12 = a2λ を行列を使って書くと s11 s12 s12 s22 a1 a2 = λ a1 a2 は，分散共分散行列 (covariance matrix) とよばれています。 行列の固有値を求める」問題で，これを満たす λ は固有値 (eigenval ector) とよばれています。このようにして画素値 x1, x2 から得ら 実は固有値 λ です。なぜならば，(8) 式の上の式に a1 を，下の式に 式は (5) 式と同じですから，すでに満たされています。残りの式からは， a1s11 + a2s12 = a1λ a2s22 + a1s12 = a2λ (8 。これを行列を使って書くと s11 s12 s12 s22 a1 a2 = λ a1 a2 (9 の行列は，分散共分散行列 (covariance matrix) とよばれています。 共分散行列の固有値を求める」問題で，これを満たす λ は固有値 (eigenvalue) eigenvector) とよばれています。このようにして画素値 x1, x2 から得られる z) は，実は固有値 λ です。なぜならば，(8) 式の上の式に a1 を，下の式に a 行列でかくと 分散共分散行列 固有ベクトル 固有値 固有値・固有ベクトルを求める問題を 「固有値問題」という（解き方は略）
63. 63. 2013 A.Asano,KansaiUniv. 結局V(z)は より (5) 式と同じですから，すでに満たされています。残りの式からは a1s11 + a2s12 = a1λ a2s22 + a1s12 = a2λ れを行列を使って書くと s11 s12 s12 s22 a1 a2 = λ a1 a2 列は，分散共分散行列 (covariance matrix) とよばれています。 散行列の固有値を求める」問題で，これを満たす λ は固有値 (eigen nvector) とよばれています。このようにして画素値 x1, x2 から得
64. 64. 2013 A.Asano,KansaiUniv. 結局V(z)は より (5) 式と同じですから，すでに満たされています。残りの式からは a1s11 + a2s12 = a1λ a2s22 + a1s12 = a2λ れを行列を使って書くと s11 s12 s12 s22 a1 a2 = λ a1 a2 列は，分散共分散行列 (covariance matrix) とよばれています。 散行列の固有値を求める」問題で，これを満たす λ は固有値 (eigen nvector) とよばれています。このようにして画素値 x1, x2 から得 散行列の固有値を求める」問題で，これを満たす λ は固有値 (eigenval nvector) とよばれています。このようにして画素値 x1, x2 から得ら ，実は固有値 λ です。なぜならば，(8) 式の上の式に a1 を，下の式に a2 1s11 + a1a2s12 = λa2 1 a1a2s12 + a2 2s22 = λa2 2 a2 1s11 + 2a1a2s12 + a2 2s22 = λ(a2 1 + a2 2) V (z) = λ では省略しますが3，(9) 式の 2 変数のベクトルの固有値問題では，固
65. 65. 2013 A.Asano,KansaiUniv. 結局V(z)は より (5) 式と同じですから，すでに満たされています。残りの式からは a1s11 + a2s12 = a1λ a2s22 + a1s12 = a2λ れを行列を使って書くと s11 s12 s12 s22 a1 a2 = λ a1 a2 列は，分散共分散行列 (covariance matrix) とよばれています。 散行列の固有値を求める」問題で，これを満たす λ は固有値 (eigen nvector) とよばれています。このようにして画素値 x1, x2 から得 散行列の固有値を求める」問題で，これを満たす λ は固有値 (eigenval nvector) とよばれています。このようにして画素値 x1, x2 から得ら ，実は固有値 λ です。なぜならば，(8) 式の上の式に a1 を，下の式に a2 1s11 + a1a2s12 = λa2 1 a1a2s12 + a2 2s22 = λa2 2 a2 1s11 + 2a1a2s12 + a2 2s22 = λ(a2 1 + a2 2) V (z) = λ では省略しますが3，(9) 式の 2 変数のベクトルの固有値問題では，固 z) は，実は固有値 λ です。なぜならば，(8) 式の上の式 a2 1s11 + a1a2s12 = λa2 1 a1a2s12 + a2 2s22 = λa2 2 a2 1s11 + 2a1a2s12 + a2 2s22 = λ(a2 1 + a2 2) ら V (z) = λ
66. 66. 2013 A.Asano,KansaiUniv. 結局V(z)は より (5) 式と同じですから，すでに満たされています。残りの式からは a1s11 + a2s12 = a1λ a2s22 + a1s12 = a2λ れを行列を使って書くと s11 s12 s12 s22 a1 a2 = λ a1 a2 列は，分散共分散行列 (covariance matrix) とよばれています。 散行列の固有値を求める」問題で，これを満たす λ は固有値 (eigen nvector) とよばれています。このようにして画素値 x1, x2 から得 散行列の固有値を求める」問題で，これを満たす λ は固有値 (eigenval nvector) とよばれています。このようにして画素値 x1, x2 から得ら ，実は固有値 λ です。なぜならば，(8) 式の上の式に a1 を，下の式に a2 1s11 + a1a2s12 = λa2 1 a1a2s12 + a2 2s22 = λa2 2 a2 1s11 + 2a1a2s12 + a2 2s22 = λ(a2 1 + a2 2) V (z) = λ では省略しますが3，(9) 式の 2 変数のベクトルの固有値問題では，固 z) は，実は固有値 λ です。なぜならば，(8) 式の上の式 a2 1s11 + a1a2s12 = λa2 1 a1a2s12 + a2 2s22 = λa2 2 a2 1s11 + 2a1a2s12 + a2 2s22 = λ(a2 1 + a2 2) ら V (z) = λ V(z)
67. 67. 2013 A.Asano,KansaiUniv. 結局V(z)は より (5) 式と同じですから，すでに満たされています。残りの式からは a1s11 + a2s12 = a1λ a2s22 + a1s12 = a2λ れを行列を使って書くと s11 s12 s12 s22 a1 a2 = λ a1 a2 列は，分散共分散行列 (covariance matrix) とよばれています。 散行列の固有値を求める」問題で，これを満たす λ は固有値 (eigen nvector) とよばれています。このようにして画素値 x1, x2 から得 散行列の固有値を求める」問題で，これを満たす λ は固有値 (eigenval nvector) とよばれています。このようにして画素値 x1, x2 から得ら ，実は固有値 λ です。なぜならば，(8) 式の上の式に a1 を，下の式に a2 1s11 + a1a2s12 = λa2 1 a1a2s12 + a2 2s22 = λa2 2 a2 1s11 + 2a1a2s12 + a2 2s22 = λ(a2 1 + a2 2) V (z) = λ では省略しますが3，(9) 式の 2 変数のベクトルの固有値問題では，固 z) は，実は固有値 λ です。なぜならば，(8) 式の上の式 a2 1s11 + a1a2s12 = λa2 1 a1a2s12 + a2 2s22 = λa2 2 a2 1s11 + 2a1a2s12 + a2 2s22 = λ(a2 1 + a2 2) ら V (z) = λ V(z) 1
68. 68. 2013 A.Asano,KansaiUniv. 結局V(z)は より (5) 式と同じですから，すでに満たされています。残りの式からは a1s11 + a2s12 = a1λ a2s22 + a1s12 = a2λ れを行列を使って書くと s11 s12 s12 s22 a1 a2 = λ a1 a2 列は，分散共分散行列 (covariance matrix) とよばれています。 散行列の固有値を求める」問題で，これを満たす λ は固有値 (eigen nvector) とよばれています。このようにして画素値 x1, x2 から得 散行列の固有値を求める」問題で，これを満たす λ は固有値 (eigenval nvector) とよばれています。このようにして画素値 x1, x2 から得ら ，実は固有値 λ です。なぜならば，(8) 式の上の式に a1 を，下の式に a2 1s11 + a1a2s12 = λa2 1 a1a2s12 + a2 2s22 = λa2 2 a2 1s11 + 2a1a2s12 + a2 2s22 = λ(a2 1 + a2 2) V (z) = λ では省略しますが3，(9) 式の 2 変数のベクトルの固有値問題では，固 z) は，実は固有値 λ です。なぜならば，(8) 式の上の式 a2 1s11 + a1a2s12 = λa2 1 a1a2s12 + a2 2s22 = λa2 2 a2 1s11 + 2a1a2s12 + a2 2s22 = λ(a2 1 + a2 2) ら V (z) = λ V(z) 1 トル (eigenvector) とよばれています。このようにして画素値 散 V (z) は，実は固有値 λ です。なぜならば，(8) 式の上の式 a2 1s11 + a1a2s12 = λa2 1 a1a2s12 + a2 2s22 = λa2 2 ， a2 1s11 + 2a1a2s12 + a2 2s22 = λ(a2 1 + a2 2) 式から V (z) = λつまり
69. 69. 2013 A.Asano,KansaiUniv. 第１主成分 固有ベクトル となります。ここで左辺の行列は，分散共分散行 (9) 式はすなわち「分散共分散行列の固有値を求 a1 a2 は固有ベクトル (eigenvector) とよばれ 新しい画素値 z の分散 V (z) は，実は固有値 λ で をかけると， a2 1s11 + a a1a2s12 + となります。さらに， a2 1s11 + 2a1a2s1 となり，(3) 式と (5) 式から V が得られます。 固有値問題の解き方はここでは省略しますが3 固有値 λ が２組得られる
70. 70. 2013 A.Asano,KansaiUniv. 第１主成分 固有ベクトル 1 1 a1a2s12 + a2 2s22 = λa2 2 (1 2a1a2s12 + a2 2s22 = λ(a2 1 + a2 2) (1 V (z) = λ (1 しますが3，(9) 式の 2 変数のベクトルの固有値問題では，固有 られます。この計算は新しい画素値 z の分散 V (z) を最大にす は固有値 λ ですから，2 組のうち固有値の大きいほうの組み合 が得られます。これを第１主成分といい，「もっとも重要な成分 だから， となります。ここで左辺の行列は，分散共分散行 (9) 式はすなわち「分散共分散行列の固有値を求 a1 a2 は固有ベクトル (eigenvector) とよばれ 新しい画素値 z の分散 V (z) は，実は固有値 λ で をかけると， a2 1s11 + a a1a2s12 + となります。さらに， a2 1s11 + 2a1a2s1 となり，(3) 式と (5) 式から V が得られます。 固有値問題の解き方はここでは省略しますが3 固有値 λ が２組得られる
71. 71. 2013 A.Asano,KansaiUniv. 第１主成分 固有ベクトル 1 1 a1a2s12 + a2 2s22 = λa2 2 (1 2a1a2s12 + a2 2s22 = λ(a2 1 + a2 2) (1 V (z) = λ (1 しますが3，(9) 式の 2 変数のベクトルの固有値問題では，固有 られます。この計算は新しい画素値 z の分散 V (z) を最大にす は固有値 λ ですから，2 組のうち固有値の大きいほうの組み合 が得られます。これを第１主成分といい，「もっとも重要な成分 だから， となります。ここで左辺の行列は，分散共分散行 (9) 式はすなわち「分散共分散行列の固有値を求 a1 a2 は固有ベクトル (eigenvector) とよばれ 新しい画素値 z の分散 V (z) は，実は固有値 λ で をかけると， a2 1s11 + a a1a2s12 + となります。さらに， a2 1s11 + 2a1a2s1 となり，(3) 式と (5) 式から V が得られます。 固有値問題の解き方はここでは省略しますが3 固有値 λ が２組得られる 大きい方の λ(λ(1)とする）に対応する 固有ベクトル! 求めた z（ z(1) とする）が，求めたかった z 有値問題の解き方はここでは省略しますが3，(9) 式の 2 変数のベクトルの固有値問題では，固有値 有ベクトルの組み合わせが 2 組得られます。この計算は新しい画素値 z の分散 V (z) を最大にする で，(12) 式で示したようにその値は固有値 λ ですから，2 組のうち固有値の大きいほうの組み合わ ら，最大の分散をもつ画素値 z(1) が得られます。これを第１主成分といい，「もっとも重要な成分 うことができます。 ころで，(9) 式のとおり分散共分散行列は対称行列で，対称行列の固有ベクトルは直交することが れています（線形代数学の教科書を見てください）。したがって，もう１つの固有値に対応する固有 トルから (1) 式の計算でもうひとつの新しい画素値 z を求め，これを z(2) とすれば，新しい画素値 z(2) で新たな直交座標が得られ，図 3 のような座標軸の回転が行えることがわかります。この手法 成分分析 (principal component analysis, PCA) といいます。 分分析と行列の対角化 の計算の，もう少し先を見てみましょう。２つの固有値のうち，大きい方を λ(1)，小さい方を λ(2 ，それぞれ対応する固有ベクトルを a1(1) a2(1) および a1(2) a2(2) とします。これらはどちらも (9 私の「応用統計学」(広島大 2010 年度前期) 第 5 回の講義録を参照してください。この講義のスケジュールからリンクし ります。 晃／画像情報処理（2013 年度春学期） 第７回 (2013. 5. 22) http://racco.mikeneko.jp/  4/8 ページ を使って
72. 72. 2013 A.Asano,KansaiUniv. 第１主成分 固有ベクトル 1 1 a1a2s12 + a2 2s22 = λa2 2 (1 2a1a2s12 + a2 2s22 = λ(a2 1 + a2 2) (1 V (z) = λ (1 しますが3，(9) 式の 2 変数のベクトルの固有値問題では，固有 られます。この計算は新しい画素値 z の分散 V (z) を最大にす は固有値 λ ですから，2 組のうち固有値の大きいほうの組み合 が得られます。これを第１主成分といい，「もっとも重要な成分 だから， となります。ここで左辺の行列は，分散共分散行 (9) 式はすなわち「分散共分散行列の固有値を求 a1 a2 は固有ベクトル (eigenvector) とよばれ 新しい画素値 z の分散 V (z) は，実は固有値 λ で をかけると， a2 1s11 + a a1a2s12 + となります。さらに， a2 1s11 + 2a1a2s1 となり，(3) 式と (5) 式から V が得られます。 固有値問題の解き方はここでは省略しますが3 固有値 λ が２組得られる 第１主成分という 大きい方の λ(λ(1)とする）に対応する 固有ベクトル! 求めた z（ z(1) とする）が，求めたかった z 有値問題の解き方はここでは省略しますが3，(9) 式の 2 変数のベクトルの固有値問題では，固有値 有ベクトルの組み合わせが 2 組得られます。この計算は新しい画素値 z の分散 V (z) を最大にする で，(12) 式で示したようにその値は固有値 λ ですから，2 組のうち固有値の大きいほうの組み合わ ら，最大の分散をもつ画素値 z(1) が得られます。これを第１主成分といい，「もっとも重要な成分 うことができます。 ころで，(9) 式のとおり分散共分散行列は対称行列で，対称行列の固有ベクトルは直交することが れています（線形代数学の教科書を見てください）。したがって，もう１つの固有値に対応する固有 トルから (1) 式の計算でもうひとつの新しい画素値 z を求め，これを z(2) とすれば，新しい画素値 z(2) で新たな直交座標が得られ，図 3 のような座標軸の回転が行えることがわかります。この手法 成分分析 (principal component analysis, PCA) といいます。 分分析と行列の対角化 の計算の，もう少し先を見てみましょう。２つの固有値のうち，大きい方を λ(1)，小さい方を λ(2 ，それぞれ対応する固有ベクトルを a1(1) a2(1) および a1(2) a2(2) とします。これらはどちらも (9 私の「応用統計学」(広島大 2010 年度前期) 第 5 回の講義録を参照してください。この講義のスケジュールからリンクし ります。 晃／画像情報処理（2013 年度春学期） 第７回 (2013. 5. 22) http://racco.mikeneko.jp/  4/8 ページ を使って
73. 73. A.Asano,KansaiUniv.
74. 74. A.Asano,KansaiUniv. 主成分分析と直交変換
75. 75. 2013 A.Asano,KansaiUniv. このときz(1)とz(2)は無相関図 2 のような画像の分布を，図 2 のように画像が分布している場合でも か？ それは，図 3 のように軸を回転することによって可能になります。こ ++ + + + + + x1 x2 図 1: ２画素の画像の分布の例 (1) x2 + 図 2: ２画 浅野 晃／画像情報処理（2013 年度春学期） 第７回 (2013. 5. 22) htt 画素１の値 画素２の値 x1, x2を回転して，新たに z(1) , z(2) とする z(1) の分散がもっとも大き くなるように回転する
76. 76. 2013 A.Asano,KansaiUniv. このときz(1)とz(2)は無相関 x2 と い う こ と を 意 味 し て い は で き ま せ ん 。 も 画 像 の 分 布 が 図 2の よ う で あ な っ て い る の に 対 し て ， 画 素 x2 は ど の の 各 画 像 の 違 い を 表 現 す る の に は 画 素 x1 だ け の 値 （ 例 え ば 各 画 像 の 画 素 x2 の 平 均 ） で 置 き 換 え て す 。 つ ま り ， こ れ ら の 画 像 は x1 だ け で 概 ね 表 現 で き る わ ま す 。 図 2 の よ う な 画 像 の 分 布 を ， 図 2 の よ う に 画 像 が 分 布 し て い る 場 合 か ？ そ れ は ， 図 3の よ う に 軸 を 回 転 す る こ と に よ っ て 可 能 に な り ま + + + + + + + x1 x2 図 1: ２ 画 素 の 画 像 の 分 布 の 処 理 （ 20 画 素 １ の 値 画 素 ２ の 値 z(2) z(1) x1, x2を回転して，新たに z(1) , z(2) とする z(1) の分散がもっとも大き くなるように回転する
77. 77. 2013 A.Asano,KansaiUniv. このときz(1)とz(2)は無相関 x2 と い う こ と を 意 味 し て い は で き ま せ ん 。 も 画 像 の 分 布 が 図 2の よ う で あ な っ て い る の に 対 し て ， 画 素 x2 は ど の の 各 画 像 の 違 い を 表 現 す る の に は 画 素 x1 だ け の 値 （ 例 え ば 各 画 像 の 画 素 x2 の 平 均 ） で 置 き 換 え て す 。 つ ま り ， こ れ ら の 画 像 は x1 だ け で 概 ね 表 現 で き る わ ま す 。 図 2 の よ う な 画 像 の 分 布 を ， 図 2 の よ う に 画 像 が 分 布 し て い る 場 合 か ？ そ れ は ， 図 3の よ う に 軸 を 回 転 す る こ と に よ っ て 可 能 に な り ま + + + + + + + x1 x2 図 1: ２ 画 素 の 画 像 の 分 布 の 処 理 （ 20 画 素 １ の 値 画 素 ２ の 値 z(2) z(1) x1, x2を回転して，新たに z(1) , z(2) とする z(1) の分散がもっとも大き くなるように回転する z(1) , z(2) は無相関。 なぜなら
78. 78. 2013 A.Asano,KansaiUniv. 相関がないときは 共分散＝０ z(1) , z(2) はこうなっている →本当？ z1 z2 ++ + + + + +z2 z1 相関がない→ の正負がつりあう( z1i – z1)( z2i – z2)
79. 79. 2013 A.Asano,KansaiUniv. 主成分分析と分散共分散行列 固有値のうち，大きい方を λ(1)，小さい方を λ(2) 対応する固有ベクトル ベクトルから (1) 式の計算でもうひとつの新しい画素値 z を求め，これを z(2) と z(1), z(2) で新たな直交座標が得られ，図 3 のような座標軸の回転が行えることが を主成分分析 (principal component analysis, PCA) といいます。 主成分分析と行列の対角化 この計算の，もう少し先を見てみましょう。２つの固有値のうち，大きい方を とし，それぞれ対応する固有ベクトルを a1(1) a2(1) および a1(2) a2(2) とします。 3 私の「応用統計学」(広島大 2010 年度前期) 第 5 回の講義録を参照してください。この講義の てあります。 浅野 晃／画像情報処理（2013 年度春学期） 第７回 (2013. 5. 22) http://racc ベクトルから (1) 式の計算でもうひとつの新しい画素値 z を求め，これを z(2) とすれば z(1), z(2) で新たな直交座標が得られ，図 3 のような座標軸の回転が行えることがわかり を主成分分析 (principal component analysis, PCA) といいます。 主成分分析と行列の対角化 この計算の，もう少し先を見てみましょう。２つの固有値のうち，大きい方を λ(1)， とし，それぞれ対応する固有ベクトルを a1(1) a2(1) および a1(2) a2(2) とします。これら 3 私の「応用統計学」(広島大 2010 年度前期) 第 5 回の講義録を参照してください。この講義のスケジュ てあります。 浅野 晃／画像情報処理（2013 年度春学期） 第７回 (2013. 5. 22) http://racco.mikene
80. 80. 2013 A.Asano,KansaiUniv. 主成分分析と分散共分散行列 固有値のうち，大きい方を λ(1)，小さい方を λ(2) 対応する固有ベクトル ベクトルから (1) 式の計算でもうひとつの新しい画素値 z を求め，これを z(2) と z(1), z(2) で新たな直交座標が得られ，図 3 のような座標軸の回転が行えることが を主成分分析 (principal component analysis, PCA) といいます。 主成分分析と行列の対角化 この計算の，もう少し先を見てみましょう。２つの固有値のうち，大きい方を とし，それぞれ対応する固有ベクトルを a1(1) a2(1) および a1(2) a2(2) とします。 3 私の「応用統計学」(広島大 2010 年度前期) 第 5 回の講義録を参照してください。この講義の てあります。 浅野 晃／画像情報処理（2013 年度春学期） 第７回 (2013. 5. 22) http://racc ベクトルから (1) 式の計算でもうひとつの新しい画素値 z を求め，これを z(2) とすれば z(1), z(2) で新たな直交座標が得られ，図 3 のような座標軸の回転が行えることがわかり を主成分分析 (principal component analysis, PCA) といいます。 主成分分析と行列の対角化 この計算の，もう少し先を見てみましょう。２つの固有値のうち，大きい方を λ(1)， とし，それぞれ対応する固有ベクトルを a1(1) a2(1) および a1(2) a2(2) とします。これら 3 私の「応用統計学」(広島大 2010 年度前期) 第 5 回の講義録を参照してください。この講義のスケジュ てあります。 浅野 晃／画像情報処理（2013 年度春学期） 第７回 (2013. 5. 22) http://racco.mikene これらは きます。ここで，右辺の λ は普通の数（スカラー）で，このとき右辺 は，この式を満たす a1, a2 は２組あるので，λ もそれぞれに対応し す。それらを λ(1), λ(2) と表すと，それぞれに対応する式は s11 s12 s21 s22 a1(1) a2(1) = λ(1) a1(1) a2(1) s11 s12 s21 s22 a1(2) a2(2) = λ(2) a1(2) a2(2) をみたす
81. 81. 2013 A.Asano,KansaiUniv. 分散共分散行列の対角化 まとめると
82. 82. 2013 A.Asano,KansaiUniv. 分散共分散行列の対角化 まとめると を左右にくっつけて， a1(1) a1(2) a2(1) a2(2) と，ひとつの行列で表し 式は，まとめて s11 s12 s21 s22 a1(1) a1(2) a2(1) a2(2) = a1(1) a1(2) a2(1) a2(2) λ(1) 0 ができます。この式の両辺は，「行列と行列のかけ算」になってい 左辺は，上で述べたとおり， s11 s12 s21 s22 a1(1) a2(1) a1(2) a2(2) っつけたものです。 式の右辺は，右側の行列を列ベクトルに分けて a1(1) a1(2) a2(1) a2(2) a1(1) a1(2) λ(1) の２つの式を，ひとつにまとめて表してみましょう。列ベクトル つけて， a1(1) a1(2) a2(1) a2(2) と，ひとつの行列で表します。すると， めて s12 s22 a1(1) a1(2) a2(1) a2(2) = a1(1) a1(2) a2(1) a2(2) λ(1) 0 0 λ(2) 。この式の両辺は，「行列と行列のかけ算」になっています。 述べたとおり， s11 s12 s21 s22 a1(1) a2(1) a1(2) a2(2) のように のです。 a1(1) a1(2) λ(1)
83. 83. 2013 A.Asano,KansaiUniv. 分散共分散行列の対角化 まとめると を左右にくっつけて， a1(1) a1(2) a2(1) a2(2) と，ひとつの行列で表し 式は，まとめて s11 s12 s21 s22 a1(1) a1(2) a2(1) a2(2) = a1(1) a1(2) a2(1) a2(2) λ(1) 0 ができます。この式の両辺は，「行列と行列のかけ算」になってい 左辺は，上で述べたとおり， s11 s12 s21 s22 a1(1) a2(1) a1(2) a2(2) っつけたものです。 式の右辺は，右側の行列を列ベクトルに分けて a1(1) a1(2) a2(1) a2(2) a1(1) a1(2) λ(1) の２つの式を，ひとつにまとめて表してみましょう。列ベクトル つけて， a1(1) a1(2) a2(1) a2(2) と，ひとつの行列で表します。すると， めて s12 s22 a1(1) a1(2) a2(1) a2(2) = a1(1) a1(2) a2(1) a2(2) λ(1) 0 0 λ(2) 。この式の両辺は，「行列と行列のかけ算」になっています。 述べたとおり， s11 s12 s21 s22 a1(1) a2(1) a1(2) a2(2) のように のです。 a1(1) a1(2) λ(1) S P P Λ
84. 84. 2013 A.Asano,KansaiUniv. 分散共分散行列の対角化 まとめると つまり を左右にくっつけて， a1(1) a1(2) a2(1) a2(2) と，ひとつの行列で表し 式は，まとめて s11 s12 s21 s22 a1(1) a1(2) a2(1) a2(2) = a1(1) a1(2) a2(1) a2(2) λ(1) 0 ができます。この式の両辺は，「行列と行列のかけ算」になってい 左辺は，上で述べたとおり， s11 s12 s21 s22 a1(1) a2(1) a1(2) a2(2) っつけたものです。 式の右辺は，右側の行列を列ベクトルに分けて a1(1) a1(2) a2(1) a2(2) a1(1) a1(2) λ(1) の２つの式を，ひとつにまとめて表してみましょう。列ベクトル つけて， a1(1) a1(2) a2(1) a2(2) と，ひとつの行列で表します。すると， めて s12 s22 a1(1) a1(2) a2(1) a2(2) = a1(1) a1(2) a2(1) a2(2) λ(1) 0 0 λ(2) 。この式の両辺は，「行列と行列のかけ算」になっています。 述べたとおり， s11 s12 s21 s22 a1(1) a2(1) a1(2) a2(2) のように のです。 a1(1) a1(2) λ(1) S P P Λ p(2) p(p) p(1) p(2) p(p) も扱いきれません。また，要素が p 個ある場合は，ベク の場合のように図形的に考えることもできません。 れぞれひとつの文字で表して， SP = PΛ に，複雑な計算をあたかも数の計算のように表して，単 のが考えられた理由です。
85. 85. 2013 A.Asano,KansaiUniv. 分散共分散行列の対角化 まとめると つまり を左右にくっつけて， a1(1) a1(2) a2(1) a2(2) と，ひとつの行列で表し 式は，まとめて s11 s12 s21 s22 a1(1) a1(2) a2(1) a2(2) = a1(1) a1(2) a2(1) a2(2) λ(1) 0 ができます。この式の両辺は，「行列と行列のかけ算」になってい 左辺は，上で述べたとおり， s11 s12 s21 s22 a1(1) a2(1) a1(2) a2(2) っつけたものです。 式の右辺は，右側の行列を列ベクトルに分けて a1(1) a1(2) a2(1) a2(2) a1(1) a1(2) λ(1) の２つの式を，ひとつにまとめて表してみましょう。列ベクトル つけて， a1(1) a1(2) a2(1) a2(2) と，ひとつの行列で表します。すると， めて s12 s22 a1(1) a1(2) a2(1) a2(2) = a1(1) a1(2) a2(1) a2(2) λ(1) 0 0 λ(2) 。この式の両辺は，「行列と行列のかけ算」になっています。 述べたとおり， s11 s12 s21 s22 a1(1) a2(1) a1(2) a2(2) のように のです。 a1(1) a1(2) λ(1) S P P Λ p(2) p(p) p(1) p(2) p(p) も扱いきれません。また，要素が p 個ある場合は，ベク の場合のように図形的に考えることもできません。 れぞれひとつの文字で表して， SP = PΛ に，複雑な計算をあたかも数の計算のように表して，単 のが考えられた理由です。 すなわち s12 s22 a2(2) a2(2) とつにすると， a1(1) a1(2) a2(1) a2(2) = a1(1) a1(2) a2(1) a2(2) λ(1) 0 0 λ(2) ぞれひとつの文字で表して， PΛ, すなわち Λ = P−1 SP, S = PΛP−1 に含まれる各固有ベクトルは，(5) 式で行ったように正規 ベクトルは直交しています。すなわち，各固有ベクトル
86. 86. 2013 A.Asano,KansaiUniv. 分散共分散行列の対角化 まとめると つまり を左右にくっつけて， a1(1) a1(2) a2(1) a2(2) と，ひとつの行列で表し 式は，まとめて s11 s12 s21 s22 a1(1) a1(2) a2(1) a2(2) = a1(1) a1(2) a2(1) a2(2) λ(1) 0 ができます。この式の両辺は，「行列と行列のかけ算」になってい 左辺は，上で述べたとおり， s11 s12 s21 s22 a1(1) a2(1) a1(2) a2(2) っつけたものです。 式の右辺は，右側の行列を列ベクトルに分けて a1(1) a1(2) a2(1) a2(2) a1(1) a1(2) λ(1) の２つの式を，ひとつにまとめて表してみましょう。列ベクトル つけて， a1(1) a1(2) a2(1) a2(2) と，ひとつの行列で表します。すると， めて s12 s22 a1(1) a1(2) a2(1) a2(2) = a1(1) a1(2) a2(1) a2(2) λ(1) 0 0 λ(2) 。この式の両辺は，「行列と行列のかけ算」になっています。 述べたとおり， s11 s12 s21 s22 a1(1) a2(1) a1(2) a2(2) のように のです。 a1(1) a1(2) λ(1) S P P Λ p(2) p(p) p(1) p(2) p(p) も扱いきれません。また，要素が p 個ある場合は，ベク の場合のように図形的に考えることもできません。 れぞれひとつの文字で表して， SP = PΛ に，複雑な計算をあたかも数の計算のように表して，単 のが考えられた理由です。 すなわち （分散共分散行列の）対角化という s12 s22 a2(2) a2(2) とつにすると， a1(1) a1(2) a2(1) a2(2) = a1(1) a1(2) a2(1) a2(2) λ(1) 0 0 λ(2) ぞれひとつの文字で表して， PΛ, すなわち Λ = P−1 SP, S = PΛP−1 に含まれる各固有ベクトルは，(5) 式で行ったように正規 ベクトルは直交しています。すなわち，各固有ベクトル
87. 87. 2013 A.Asano,KansaiUniv. 対称行列の対角化 分散共分散行列 S は 対称行列 が得られます。この２つの式をひとつにすると， s11 s12 s21 s22 a1(1) a1(2) a2(1) a2(2) = となります。 ここで，上の式の各行列をそれぞれひとつの文字で表 SP = PΛ, すなわち Λ = と表します。このとき，行列 P に含まれる各固有ベクト また S は対称行列なので各固有ベクトルは直交していま をなしています。したがって P は正規直交行列です。 （これも線形代数学の教科書を見てください）， P′ SP = Λ, すなわち
88. 88. 2013 A.Asano,KansaiUniv. 対称行列の対角化 分散共分散行列 S は 対称行列 が得られます。この２つの式をひとつにすると， s11 s12 s21 s22 a1(1) a1(2) a2(1) a2(2) = となります。 ここで，上の式の各行列をそれぞれひとつの文字で表 SP = PΛ, すなわち Λ = と表します。このとき，行列 P に含まれる各固有ベクト また S は対称行列なので各固有ベクトルは直交していま をなしています。したがって P は正規直交行列です。 （これも線形代数学の教科書を見てください）， P′ SP = Λ, すなわち
89. 89. 2013 A.Asano,KansaiUniv. 対称行列の対角化 分散共分散行列 S は 対称行列 が得られます。この２つの式をひとつにすると， s11 s12 s21 s22 a1(1) a1(2) a2(1) a2(2) = となります。 ここで，上の式の各行列をそれぞれひとつの文字で表 SP = PΛ, すなわち Λ = と表します。このとき，行列 P に含まれる各固有ベクト また S は対称行列なので各固有ベクトルは直交していま をなしています。したがって P は正規直交行列です。 （これも線形代数学の教科書を見てください）， P′ SP = Λ, すなわち s12 = s21 共分散
90. 90. 2013 A.Asano,KansaiUniv. 対称行列の対角化 分散共分散行列 S は 対称行列 が得られます。この２つの式をひとつにすると， s11 s12 s21 s22 a1(1) a1(2) a2(1) a2(2) = となります。 ここで，上の式の各行列をそれぞれひとつの文字で表 SP = PΛ, すなわち Λ = と表します。このとき，行列 P に含まれる各固有ベクト また S は対称行列なので各固有ベクトルは直交していま をなしています。したがって P は正規直交行列です。 （これも線形代数学の教科書を見てください）， P′ SP = Λ, すなわち s12 = s21 共分散 対称行列の固有ベクトルは直交する（詳細略） Pは直交行列 s11 s12 s12 s22 a1(1) a2(1) = λ(1) a1(1) a2(1) s11 s12 s12 s22 a1(2) a2(2) = λ(2) a1(2) a2(2) が得られます。この２つの式をひとつにすると， s11 s12 s21 s22 a1(1) a1(2) a2(1) a2(2) = a1(1) a1(2) a2(1) a2(2) となります。 ここで，上の式の各行列をそれぞれひとつの文字で表して， SP = PΛ, すなわち Λ = P−1 SP, S = PΛP と表します。このとき，行列 P に含まれる各固有ベクトルは，(5) 式で行
91. 91. 2013 A.Asano,KansaiUniv. 対称行列の対角化 分散共分散行列 S は 対称行列 が得られます。この２つの式をひとつにすると， s11 s12 s21 s22 a1(1) a1(2) a2(1) a2(2) = となります。 ここで，上の式の各行列をそれぞれひとつの文字で表 SP = PΛ, すなわち Λ = と表します。このとき，行列 P に含まれる各固有ベクト また S は対称行列なので各固有ベクトルは直交していま をなしています。したがって P は正規直交行列です。 （これも線形代数学の教科書を見てください）， P′ SP = Λ, すなわち s12 = s21 共分散 対称行列の固有ベクトルは直交する（詳細略） Pは直交行列 s11 s12 s12 s22 a1(1) a2(1) = λ(1) a1(1) a2(1) s11 s12 s12 s22 a1(2) a2(2) = λ(2) a1(2) a2(2) が得られます。この２つの式をひとつにすると， s11 s12 s21 s22 a1(1) a1(2) a2(1) a2(2) = a1(1) a1(2) a2(1) a2(2) となります。 ここで，上の式の各行列をそれぞれひとつの文字で表して， SP = PΛ, すなわち Λ = P−1 SP, S = PΛP と表します。このとき，行列 P に含まれる各固有ベクトルは，(5) 式で行
92. 92. 2013 A.Asano,KansaiUniv. 対称行列の対角化 分散共分散行列 S は 対称行列 直交行列の逆行列は転置行列（逆回転） すなわち が得られます。この２つの式をひとつにすると， s11 s12 s21 s22 a1(1) a1(2) a2(1) a2(2) = となります。 ここで，上の式の各行列をそれぞれひとつの文字で表 SP = PΛ, すなわち Λ = と表します。このとき，行列 P に含まれる各固有ベクト また S は対称行列なので各固有ベクトルは直交していま をなしています。したがって P は正規直交行列です。 （これも線形代数学の教科書を見てください）， P′ SP = Λ, すなわち s12 = s21 共分散 対称行列の固有ベクトルは直交する（詳細略） Pは直交行列 s11 s12 s12 s22 a1(1) a2(1) = λ(1) a1(1) a2(1) s11 s12 s12 s22 a1(2) a2(2) = λ(2) a1(2) a2(2) が得られます。この２つの式をひとつにすると， s11 s12 s21 s22 a1(1) a1(2) a2(1) a2(2) = a1(1) a1(2) a2(1) a2(2) となります。 ここで，上の式の各行列をそれぞれひとつの文字で表して， SP = PΛ, すなわち Λ = P−1 SP, S = PΛP と表します。このとき，行列 P に含まれる各固有ベクトルは，(5) 式で行 とつの文字で表して， すなわち Λ = P−1 SP, S = PΛP−1 る各固有ベクトルは，(5) 式で行ったように正規化 は直交しています。すなわち，各固有ベクトルは正 直交行列です。P が直交行列のとき P−1 = P′ が成 さい）， = Λ, すなわち S = PΛP′ ,
93. 93. 2013 A.Asano,KansaiUniv. 対角化の意味 すなわち S = PΛP′ , nalization) とよんでいます。 ぞれ 1) a2(1) x1 x2
94. 94. 2013 A.Asano,KansaiUniv. 対角化の意味 すなわち S = PΛP′ , nalization) とよんでいます。 ぞれ 1) a2(1) x1 x2
95. 95. 2013 A.Asano,KansaiUniv. 対角化の意味 分散 共分散行列は すなわち S = PΛP′ , nalization) とよんでいます。 ぞれ 1) a2(1) x1 x2
96. 96. 2013 A.Asano,KansaiUniv. 対角化の意味 分散 共分散行列は P′で変換し すなわち S = PΛP′ , nalization) とよんでいます。 ぞれ 1) a2(1) x1 x2
97. 97. 2013 A.Asano,KansaiUniv. 対角化の意味 分散 共分散行列は P′で変換し そこでは分散共分散行列が Λ で すなわち S = PΛP′ , nalization) とよんでいます。 ぞれ 1) a2(1) x1 x2
98. 98. 2013 A.Asano,KansaiUniv. 対角化の意味 分散 共分散行列は P′で変換し そこでは分散共分散行列が Λ で P で戻る すなわち S = PΛP′ , nalization) とよんでいます。 ぞれ 1) a2(1) x1 x2
99. 99. 2013 A.Asano,KansaiUniv. 対角化の意味 分散 共分散行列は P′で変換し そこでは分散共分散行列が Λ で P で戻る 「この世」 すなわち S = PΛP′ , nalization) とよんでいます。 ぞれ 1) a2(1) x1 x2
100. 100. 2013 A.Asano,KansaiUniv. 対角化の意味 分散 共分散行列は P′で変換し そこでは分散共分散行列が Λ で P で戻る 「この世」「あの世」 すなわち S = PΛP′ , nalization) とよんでいます。 ぞれ 1) a2(1) x1 x2
101. 101. 2013 A.Asano,KansaiUniv. 対角化の意味 分散 共分散行列は P′で変換し そこでは分散共分散行列が Λ で P で戻る λ(1) a1(1) a2(1) λ(2) a1(2) a2(2) (13) 1) a1(2) 1) a2(2) λ(1) 0 0 λ(2) (14) ると， 1(2) 2(2) = a1(1) a1(2) a2(1) a2(2) λ(1) 0 0 λ(2) つの文字で表して， なわち Λ = P−1 SP, S = PΛP−1 各固有ベクトルは，(5) 式で行ったように正規化され 直交しています。すなわち，各固有ベクトルは正規直 「この世」「あの世」 すなわち S = PΛP′ , nalization) とよんでいます。 ぞれ 1) a2(1) x1 x2
102. 102. 2013 A.Asano,KansaiUniv. 対角化の意味 分散 共分散行列は P′で変換し そこでは分散共分散行列が Λ で P で戻る λ(1) a1(1) a2(1) λ(2) a1(2) a2(2) (13) 1) a1(2) 1) a2(2) λ(1) 0 0 λ(2) (14) ると， 1(2) 2(2) = a1(1) a1(2) a2(1) a2(2) λ(1) 0 0 λ(2) つの文字で表して， なわち Λ = P−1 SP, S = PΛP−1 各固有ベクトルは，(5) 式で行ったように正規化され 直交しています。すなわち，各固有ベクトルは正規直 あの世では 共分散が０ →相関がない 「この世」「あの世」 すなわち S = PΛP′ , nalization) とよんでいます。 ぞれ 1) a2(1) x1 x2
103. 103. 2013 A.Asano,KansaiUniv. P’で変換された「あの世」とは？ だから 行列 S の対角化 (diagonalization) とよんでいます。 成分 z(1), z(2) はそれぞれ z(1) = a1(1) a2(1) x1 x2 z(2) = a1(2) a2(2) x1 x2 (17) ２つをまとめると z(1) z(2) = a1(1) a2(1) a1(2) a2(2) x1 x2 (18) 行列は，(14) 式・(15) 式での行列 P の定義と比べると，P′ にあたることがわ 列 P′ はもとの画像の画素値 x1, x2 を新たな画像の画素値 z(1), z(2) に変換する による画像の変換を，画像の直交変換 (orthogonal transformation) とよんで 画像 x1, x2 での分散共分散行列が，「一度画像 z(1), z(2) に変換して（P′）」，「固 Λ をとり」，「もう一度画像 x1, x2 にもどる（(P′)−1 = P）」という操作で得ら
104. 104. 2013 A.Asano,KansaiUniv. P’で変換された「あの世」とは？ だから 行列 S の対角化 (diagonalization) とよんでいます。 成分 z(1), z(2) はそれぞれ z(1) = a1(1) a2(1) x1 x2 z(2) = a1(2) a2(2) x1 x2 (17) ２つをまとめると z(1) z(2) = a1(1) a2(1) a1(2) a2(2) x1 x2 (18) 行列は，(14) 式・(15) 式での行列 P の定義と比べると，P′ にあたることがわ 列 P′ はもとの画像の画素値 x1, x2 を新たな画像の画素値 z(1), z(2) に変換する による画像の変換を，画像の直交変換 (orthogonal transformation) とよんで 画像 x1, x2 での分散共分散行列が，「一度画像 z(1), z(2) に変換して（P′）」，「固 Λ をとり」，「もう一度画像 x1, x2 にもどる（(P′)−1 = P）」という操作で得ら z(1) = a1(1) a2(1) x1 x2 z(2) = a1(2) a2(2) x1 x2 ２つをまとめると z(1) z(2) = a1(1) a2(1) a1(2) a2(2) x1 x2 行列は，(14) 式・(15) 式での行列 P の定義と比べると，P′ にあた 列 P′ はもとの画像の画素値 x1, x2 を新たな画像の画素値 z(1), z(2) 式による画像の変換を，画像の直交変換 (orthogonal transformation
105. 105. 2013 A.Asano,KansaiUniv. P’で変換された「あの世」とは？ だから 行列 S の対角化 (diagonalization) とよんでいます。 成分 z(1), z(2) はそれぞれ z(1) = a1(1) a2(1) x1 x2 z(2) = a1(2) a2(2) x1 x2 (17) ２つをまとめると z(1) z(2) = a1(1) a2(1) a1(2) a2(2) x1 x2 (18) 行列は，(14) 式・(15) 式での行列 P の定義と比べると，P′ にあたることがわ 列 P′ はもとの画像の画素値 x1, x2 を新たな画像の画素値 z(1), z(2) に変換する による画像の変換を，画像の直交変換 (orthogonal transformation) とよんで 画像 x1, x2 での分散共分散行列が，「一度画像 z(1), z(2) に変換して（P′）」，「固 Λ をとり」，「もう一度画像 x1, x2 にもどる（(P′)−1 = P）」という操作で得ら z(1) = a1(1) a2(1) x1 x2 z(2) = a1(2) a2(2) x1 x2 ２つをまとめると z(1) z(2) = a1(1) a2(1) a1(2) a2(2) x1 x2 行列は，(14) 式・(15) 式での行列 P の定義と比べると，P′ にあた 列 P′ はもとの画像の画素値 x1, x2 を新たな画像の画素値 z(1), z(2) 式による画像の変換を，画像の直交変換 (orthogonal transformation
106. 106. 2013 A.Asano,KansaiUniv. P’で変換された「あの世」とは？ だから 行列 S の対角化 (diagonalization) とよんでいます。 成分 z(1), z(2) はそれぞれ z(1) = a1(1) a2(1) x1 x2 z(2) = a1(2) a2(2) x1 x2 (17) ２つをまとめると z(1) z(2) = a1(1) a2(1) a1(2) a2(2) x1 x2 (18) 行列は，(14) 式・(15) 式での行列 P の定義と比べると，P′ にあたることがわ 列 P′ はもとの画像の画素値 x1, x2 を新たな画像の画素値 z(1), z(2) に変換する による画像の変換を，画像の直交変換 (orthogonal transformation) とよんで 画像 x1, x2 での分散共分散行列が，「一度画像 z(1), z(2) に変換して（P′）」，「固 Λ をとり」，「もう一度画像 x1, x2 にもどる（(P′)−1 = P）」という操作で得ら z(1) = a1(1) a2(1) x1 x2 z(2) = a1(2) a2(2) x1 x2 ２つをまとめると z(1) z(2) = a1(1) a2(1) a1(2) a2(2) x1 x2 行列は，(14) 式・(15) 式での行列 P の定義と比べると，P′ にあた 列 P′ はもとの画像の画素値 x1, x2 を新たな画像の画素値 z(1), z(2) 式による画像の変換を，画像の直交変換 (orthogonal transformation これが P′
107. 107. 2013 A.Asano,KansaiUniv. P’で変換された「あの世」とは？ だから 行列 S の対角化 (diagonalization) とよんでいます。 成分 z(1), z(2) はそれぞれ z(1) = a1(1) a2(1) x1 x2 z(2) = a1(2) a2(2) x1 x2 (17) ２つをまとめると z(1) z(2) = a1(1) a2(1) a1(2) a2(2) x1 x2 (18) 行列は，(14) 式・(15) 式での行列 P の定義と比べると，P′ にあたることがわ 列 P′ はもとの画像の画素値 x1, x2 を新たな画像の画素値 z(1), z(2) に変換する による画像の変換を，画像の直交変換 (orthogonal transformation) とよんで 画像 x1, x2 での分散共分散行列が，「一度画像 z(1), z(2) に変換して（P′）」，「固 Λ をとり」，「もう一度画像 x1, x2 にもどる（(P′)−1 = P）」という操作で得ら z(1) = a1(1) a2(1) x1 x2 z(2) = a1(2) a2(2) x1 x2 ２つをまとめると z(1) z(2) = a1(1) a2(1) a1(2) a2(2) x1 x2 行列は，(14) 式・(15) 式での行列 P の定義と比べると，P′ にあた 列 P′ はもとの画像の画素値 x1, x2 を新たな画像の画素値 z(1), z(2) 式による画像の変換を，画像の直交変換 (orthogonal transformation これが P′ 直交行列で変換 するから 直交変換という
108. 108. 2013 A.Asano,KansaiUniv. P’で変換された「あの世」とは？ だから つまり， x から z に変換すると， z(1) とz(2) の共分散が０ →相関がない 行列 S の対角化 (diagonalization) とよんでいます。 成分 z(1), z(2) はそれぞれ z(1) = a1(1) a2(1) x1 x2 z(2) = a1(2) a2(2) x1 x2 (17) ２つをまとめると z(1) z(2) = a1(1) a2(1) a1(2) a2(2) x1 x2 (18) 行列は，(14) 式・(15) 式での行列 P の定義と比べると，P′ にあたることがわ 列 P′ はもとの画像の画素値 x1, x2 を新たな画像の画素値 z(1), z(2) に変換する による画像の変換を，画像の直交変換 (orthogonal transformation) とよんで 画像 x1, x2 での分散共分散行列が，「一度画像 z(1), z(2) に変換して（P′）」，「固 Λ をとり」，「もう一度画像 x1, x2 にもどる（(P′)−1 = P）」という操作で得ら z(1) = a1(1) a2(1) x1 x2 z(2) = a1(2) a2(2) x1 x2 ２つをまとめると z(1) z(2) = a1(1) a2(1) a1(2) a2(2) x1 x2 行列は，(14) 式・(15) 式での行列 P の定義と比べると，P′ にあた 列 P′ はもとの画像の画素値 x1, x2 を新たな画像の画素値 z(1), z(2) 式による画像の変換を，画像の直交変換 (orthogonal transformation これが P′ 直交行列で変換 するから 直交変換という
109. 109. 2013 A.Asano,KansaiUniv. 相関がないときは 共分散＝０ z1 z2 ++ + + + + +z2 z1 相関がない→ の正負がつりあう( z1i – z1)( z2i – z2)
110. 110. 2013 A.Asano,KansaiUniv. たしかにz(1)とz(2)は無相関図 2 のような画像の分布を，図 2 のように画像が分布している場合でも か？ それは，図 3 のように軸を回転することによって可能になります。こ ++ + + + + + x1 x2 図 1: ２画素の画像の分布の例 (1) x2 + 図 2: ２画 浅野 晃／画像情報処理（2013 年度春学期） 第７回 (2013. 5. 22) htt 画素１の値 画素２の値 x1, x2を回転して，新たに z(1) , z(2) とする z(1) の分散がもっとも大き くなるように回転する
111. 111. 2013 A.Asano,KansaiUniv. たしかにz(1)とz(2)は無相関 x2 と い う こ と を 意 味 し て い は で き ま せ ん 。 も 画 像 の 分 布 が 図 2の よ う で あ な っ て い る の に 対 し て ， 画 素 x2 は ど の の 各 画 像 の 違 い を 表 現 す る の に は 画 素 x1 だ け の 値 （ 例 え ば 各 画 像 の 画 素 x2 の 平 均 ） で 置 き 換 え て す 。 つ ま り ， こ れ ら の 画 像 は x1 だ け で 概 ね 表 現 で き る わ ま す 。 図 2 の よ う な 画 像 の 分 布 を ， 図 2 の よ う に 画 像 が 分 布 し て い る 場 合 か ？ そ れ は ， 図 3の よ う に 軸 を 回 転 す る こ と に よ っ て 可 能 に な り ま + + + + + + + x1 x2 図 1: ２ 画 素 の 画 像 の 分 布 の 処 理 （ 20 画 素 １ の 値 画 素 ２ の 値 z(2) z(1) x1, x2を回転して，新たに z(1) , z(2) とする z(1) の分散がもっとも大き くなるように回転する
112. 112. 2013 A.Asano,KansaiUniv. たしかにz(1)とz(2)は無相関 x2 と い う こ と を 意 味 し て い は で き ま せ ん 。 も 画 像 の 分 布 が 図 2の よ う で あ な っ て い る の に 対 し て ， 画 素 x2 は ど の の 各 画 像 の 違 い を 表 現 す る の に は 画 素 x1 だ け の 値 （ 例 え ば 各 画 像 の 画 素 x2 の 平 均 ） で 置 き 換 え て す 。 つ ま り ， こ れ ら の 画 像 は x1 だ け で 概 ね 表 現 で き る わ ま す 。 図 2 の よ う な 画 像 の 分 布 を ， 図 2 の よ う に 画 像 が 分 布 し て い る 場 合 か ？ そ れ は ， 図 3の よ う に 軸 を 回 転 す る こ と に よ っ て 可 能 に な り ま + + + + + + + x1 x2 図 1: ２ 画 素 の 画 像 の 分 布 の 処 理 （ 20 画 素 １ の 値 画 素 ２ の 値 z(2) z(1) x1, x2を回転して，新たに z(1) , z(2) とする z(1) の分散がもっとも大き くなるように回転する たしかに z(1) , z(2) は無相関
113. 113. 2013 A.Asano,KansaiUniv. 画素がp個あっても同じます。 うに行列をひとつの文字で表してしまうと，これはすでに説明した２画素の場合とまっ のあとの直交変換に関する説明も，(21) 式を k = 1, 2, . . . , p についてまとめて ⎛ ⎜ ⎜ ⎜ ⎜ ⎝ z(1) z(2) ... z(p) ⎞ ⎟ ⎟ ⎟ ⎟ ⎠ = ⎛ ⎜ ⎜ ⎜ ⎜ ⎝ a1(1) a2(1) · · · ap(1) a1(2) a2(2) · · · ap(2) ... ... a1(p) a2(p) · · · ap(p) ⎞ ⎟ ⎟ ⎟ ⎟ ⎠ ⎛ ⎜ ⎜ ⎜ ⎜ ⎝ x1 x2 ... xp ⎞ ⎟ ⎟ ⎟ ⎟ ⎠ = P′ ⎛ ⎜ ⎜ ⎜ ⎜ ⎝ x1 x2 ... xp ⎞ ⎟ ⎟ ⎟ ⎟ ⎠ ，２画素画像の場合とまったく同じです。このように，行列の形にまとめることで，何 （ベクトルが何次元あっても）まったく同じように理解できるのが，行列という形式の 。 n-Lo`eve 変換 k 主成分の分散の，分散の合計に対する割合」，すなわち λ(k) の (λ(1) + λ(2) + · · · + λ( を，第 k 主成分の寄与率といいます。つまり，寄与率は，最初の節で説明した「変換後 xからzへの，P′による直交変換 Pは固有値問題の解 ある場合 は画素が２つの画像を考えましたが，では画素が p 個ある画像の場合を考えてみましょう。 1, x2, . . . , xp からなるとするとき，変換後の画素を z = a1x1 + a2x2 + · · · + apxp (19) の分散を最大にする a1, a2, · · · , ap を求めることを考えます。この問題は，２画素の場合と ⎛ ⎜ ⎜ ⎜ ⎜ ⎝ s11 s12 · · · s1p s12 s22 · · · s2p ... ... sp1 sp2 · · · spp ⎞ ⎟ ⎟ ⎟ ⎟ ⎠ ⎛ ⎜ ⎜ ⎜ ⎜ ⎝ a1 a2 ... ap ⎞ ⎟ ⎟ ⎟ ⎟ ⎠ = λ ⎛ ⎜ ⎜ ⎜ ⎜ ⎝ a1 a2 ... ap ⎞ ⎟ ⎟ ⎟ ⎟ ⎠ (20) 共分散行列の固有値問題になります。ここで sij は xi と xj の共分散を意味します。また，前 の場合と同様に，(20) 式で求められる p 個の固有値は，各々変換後の画素値 z の分散になりま ，固有値を大きいほうから λ(1), λ(2), . . . , λ(p) とし，対応する変換後の画素を z(1), z(2), . . . , z(p) 1) が「分散が最大の成分」すなわち「もっとも重要な成分」で，z(2) はそれに直交する成分 が最大の成分，以下番号が進むにつれ重要さがだんだん落ちてゆくことになります。このと k 主成分とよびます。 有値 λ に対応する固有ベクトルを (a , a , . . . , a )′ とすると，変換後の「k 番目に重 節の２変数の場合と同様に，(20) 式で求められる p 個の固有値は，各々変換後の画素値 z の分散になりま す。そこで，固有値を大きいほうから λ(1), λ(2), . . . , λ(p) とし，対応する変換後の画素を z(1), z(2), . . . , z(p) とすると，z(1) が「分散が最大の成分」すなわち「もっとも重要な成分」で，z(2) はそれに直交する成分 の中で分散が最大の成分，以下番号が進むにつれ重要さがだんだん落ちてゆくことになります。このと き z(k) を第 k 主成分とよびます。 さて，固有値 λ(k) に対応する固有ベクトルを (a1(k), a2(k), . . . , ap(k))′ とすると，変換後の「k 番目に重 要な」画素値すなわち第 k 主成分 z(k) は (19) 式から z(k) = a1(k)x1 + a2(k)x2 + · · · + ap(k)xp = a1(k) a2(k) · · · ap(k) ⎛ ⎜ ⎜ ⎜ ⎜ ⎝ x1 x2 ... xp ⎞ ⎟ ⎟ ⎟ ⎟ ⎠ (21) となります。このとき，(20) 式の分散共分散行列を S とすると，(20) 式から S ⎛ ⎜ ⎜ ⎜ ⎜ ⎝ a1(k) a2(k) ... ap(k) ⎞ ⎟ ⎟ ⎟ ⎟ ⎠ = λ(k) ⎛ ⎜ ⎜ ⎜ ⎜ ⎝ a1(k) a2(k) ... ap(k) ⎞ ⎟ ⎟ ⎟ ⎟ ⎠ (k = 1, 2, . . . , p) (22) がなりたちますから，k = 1, 2, . . . , p を合わせると， S ⎛ ⎜ ⎜ ⎜ ⎜ ⎝ a1(1) a1(2) · · · a1(p) a2(1) a2(2) · · · a2(p) ... ... ap(1) ap(2) · · · ap(p) ⎞ ⎟ ⎟ ⎟ ⎟ ⎠ = ⎛ ⎜ ⎜ ⎜ ⎜ ⎝ a1(1) a1(2) · · · a1(p) a2(1) a2(2) · · · a2(p) ... ... ap(1) ap(2) · · · ap(p) ⎞ ⎟ ⎟ ⎟ ⎟ ⎠ ⎛ ⎜ ⎜ ⎜ ⎜ ⎝ λ(1) 0 λ(2) ... 0 λ(p) ⎞ ⎟ ⎟ ⎟ ⎟ ⎠ (23) が得られます。ここで，行列 P を，大きいものから順に並べた固有値に対応する固有ベクトルを並べた