2013年度春学期 画像情報処理 第７回「主成分分析とKarhunen-Loève変換」
•
2 likes•3,023 views
関西大学総合情報学部 2013年度春学期 画像情報処理 第７回／ 第２部・画像情報圧縮「主成分分析とKarhunen-Loève変換」 担当・浅野晃 2013/5/22
Recommended
More Related Content
What's hot
What's hot (20)
Similar to 2013年度春学期 画像情報処理 第７回「主成分分析とKarhunen-Loève変換」
Similar to 2013年度春学期 画像情報処理 第７回「主成分分析とKarhunen-Loève変換」 (9)
More from Akira Asano
More from Akira Asano (20)
Recently uploaded
Recently uploaded (20)
2013年度春学期 画像情報処理 第７回「主成分分析とKarhunen-Loève変換」
- 4. 2013年度春学期 画像情報処理 A.Asano,KansaiUniv. 画像情報圧縮の必要性 この画像では，１画素の明るさを0∼255の整数で表す カラー画像ならば，３倍の１５メガバイト必要 １画素に，２進数８桁 = ８ビット = １バイト必要 ５００万画素のデジカメの画像は，約５メガバイト必要 Figure 1. Example of panoramic radiograph. pothesis. 2. Extraction of trabeculae 2.1. Region for extraction of trabeculae The images used for our experiments are captured from panoramic radiographs by a scanner with the transparent film adapter. Since the panoramic radiographic films, as shown in Fig. 1 for example, are taken by rotating an X- ray source and a film around the head of patient, images of skin and other organs are overlapped on the film. The image is degraded since bones are overlapped each other near the temporomandibular joint and the cervical vertebra is over- lapped on anterior teeth. Thus a region of interest in the left part of the mandible is extracted because of its sharpness, as shown in Fig. 1. 2.2. Extraction procedure Since it is easier to extract thick tooth roots of similar di- the longest line segment in each half using the Radon transformation, and measureing the angles of these line segments. If the measured angle is less than zero, it is assumed that no root is found in the image, and the following steps for the removal of roots are skipped. 4. Applying erosion to each of the separated images using a linear structuring element of the direction measured in the above. This operation removes almost all trabec- ulae whose directions are different from the structuring elements. 5. Applying opening to the results of the above step using the same structuring elements. This operation removes remaining trabeculae. 6. Applying dilation to the results of the above step with an elliptic structuring element. This operation embold- ens the roots, which are thinned by the above erosion. 7. Removing the image of the roots obtained in the above step from the skeleton image obtained in Step 2. The resultant image is the extraction of the trabeculae ex- cluding the tooth roots. 3. Experimental results of extraction The images used in the experiments are scanned with the resolution of 800 dpi, and the size of scanned images is 1600×900 pixels. The brightness has been modified after こういう画像は，１画素 = １６ビットで， ２倍の１０メガバイト必要なこともある 動画ならば，(1/30)秒でこれだけのデータ量！
- 21. 2013年度春学期 画像情報処理 A.Asano,KansaiUniv. 重要な成分と，そうでない成分 しばらく，画素が２つしかない画像を考える たくさんの２画素画像を考える ひとつの２画素画像は， この図の１つの点で 表される す。つまり，これらの画像は x1 だけで概ね表現できるわけで，この考え す。 図 2 のような画像の分布を，図 2 のように画像が分布している場合でも作 ？ それは，図 3 のように軸を回転することによって可能になります。この ++ + + + + + x1 x2 図 1: ２画素の画像の分布の例 (1) x2 + + + 図 2: ２画素 画素１の値 画素２の値 （散布図という）
- 22. 2013年度春学期 画像情報処理 A.Asano,KansaiUniv. どちらかの画素値を省略できるか？ たくさんの２画素画像が こんなふうに散らばって （分布して）いたら 図 2 のような画像の分布を，図 2 のように画像が分布している場合でも作 ？ それは，図 3 のように軸を回転することによって可能になります。この ++ + + + + + x1 x2 図 1: ２画素の画像の分布の例 (1) x2 + + + 図 2: ２画素の 晃／画像情報処理（2013 年度春学期） 第７回 (2013. 5. 22) http:// 画素１の値 画素２の値
- 23. 2013年度春学期 画像情報処理 A.Asano,KansaiUniv. どちらかの画素値を省略できるか？ 各画像の違いを表現する のには，どちらの画素も 省略することはできない たくさんの２画素画像が こんなふうに散らばって （分布して）いたら 図 2 のような画像の分布を，図 2 のように画像が分布している場合でも作 ？ それは，図 3 のように軸を回転することによって可能になります。この ++ + + + + + x1 x2 図 1: ２画素の画像の分布の例 (1) x2 + + + 図 2: ２画素の 晃／画像情報処理（2013 年度春学期） 第７回 (2013. 5. 22) http:// 画素１の値 画素２の値
- 24. 2013年度春学期 画像情報処理 A.Asano,KansaiUniv. どちらかの画素値を省略できるか？ どちらの画素値の分散も大きい 各画像の違いを表現する のには，どちらの画素も 省略することはできない たくさんの２画素画像が こんなふうに散らばって （分布して）いたら 図 2 のような画像の分布を，図 2 のように画像が分布している場合でも作 ？ それは，図 3 のように軸を回転することによって可能になります。この ++ + + + + + x1 x2 図 1: ２画素の画像の分布の例 (1) x2 + + + 図 2: ２画素の 晃／画像情報処理（2013 年度春学期） 第７回 (2013. 5. 22) http:// 画素１の値 画素２の値
- 25. 2013年度春学期 画像情報処理 A.Asano,KansaiUniv. こんな分布なら 各画像の違いを表現する のに，画素２はそれほど 必要ない 画素２の値は，どの画像 でもあまり変わりない （分散が小さい） 画素１の値 画素２の値 になります。このように x1, x2 軸を回転した x1 x2 ++ + + + + + 図 2: ２画素の画像の分布の例 (2) http://racco.mikeneko.jp/ 1/8 ページ
- 26. 2013年度春学期 画像情報処理 A.Asano,KansaiUniv. こんな分布なら 画素２の値は，それらの平均に置きかえてし まってもそれほど変わらない 各画像の違いを表現する のに，画素２はそれほど 必要ない 画素２の値は，どの画像 でもあまり変わりない （分散が小さい） 画素１の値 画素２の値 になります。このように x1, x2 軸を回転した x1 x2 ++ + + + + + 図 2: ２画素の画像の分布の例 (2) http://racco.mikeneko.jp/ 1/8 ページ ++ + + + + +
- 27. 2013年度春学期 画像情報処理 A.Asano,KansaiUniv. こんな分布なら 画素２の値は，それらの平均に置きかえてし まってもそれほど変わらない 各画像の違いを表現する のに，画素２はそれほど 必要ない 画素２の値は，どの画像 でもあまり変わりない （分散が小さい） 画素１の値 画素２の値 になります。このように x1, x2 軸を回転した x1 x2 ++ + + + + + 図 2: ２画素の画像の分布の例 (2) http://racco.mikeneko.jp/ 1/8 ページ ++ + + + + + 画素２の値はいちいち記録しなくてもいいか ら，データ量が半分に減る
- 28. 2013年度春学期 画像情報処理 A.Asano,KansaiUniv. そういう都合のいい分布に変換できないの？ ます。つまり，これらの画像は x1 だけで概ね表現できるわけで，この考 ます。 図 2 のような画像の分布を，図 2 のように画像が分布している場合でも か？ それは，図 3 のように軸を回転することによって可能になります。こ ++ + + + + + x1 x2 図 1: ２画素の画像の分布の例 (1) x2 + 図 2: ２画 画素１の値 画素２の値
- 29. 2013年度春学期 画像情報処理 A.Asano,KansaiUniv. そういう都合のいい分布に変換できないの？ 散布図上である方向に広がっているなら （x1, x2に相関があるなら）できます。こうすればいい ます。つまり，これらの画像は x1 だけで概ね表現できるわけで，この考 ます。 図 2 のような画像の分布を，図 2 のように画像が分布している場合でも か？ それは，図 3 のように軸を回転することによって可能になります。こ ++ + + + + + x1 x2 図 1: ２画素の画像の分布の例 (1) x2 + 図 2: ２画 画素１の値 画素２の値
- 34. 2013年度春学期 画像情報処理 A.Asano,KansaiUniv. 主成分分析 x1, x2から次の式で zを求めるものとし， zの分散V(z)が最大になるa1, a2を求める なわち画素値 z(1), z(2) を求めてみましょう。元の画素値 x z = a1x1 + a2x2 の画像の画素 x1, x2 の値を x1i, x2i とすると，画素 x1, x2 = s21 は，画像の数を n として次のように定義されます。 n i=1 x2i, s11 = 1 n n i=1 (x1i − x1)2 , s22 = 1 n n i=1 (x2i − x2 2 = s21 = 1 n n i=1 (x1i − x1)(x2i − x2).
- 35. 2013年度春学期 画像情報処理 A.Asano,KansaiUniv. 主成分分析 x1, x2から次の式で zを求めるものとし， zの分散V(z)が最大になるa1, a2を求める なわち画素値 z(1), z(2) を求めてみましょう。元の画素値 x z = a1x1 + a2x2 の画像の画素 x1, x2 の値を x1i, x2i とすると，画素 x1, x2 = s21 は，画像の数を n として次のように定義されます。 n i=1 x2i, s11 = 1 n n i=1 (x1i − x1)2 , s22 = 1 n n i=1 (x2i − x2 2 = s21 = 1 n n i=1 (x1i − x1)(x2i − x2). V(z)を求めるために，次の量を用いる z(1), z(2) 軸では，z(1) の値の分散が最大となっていま に変換した場合，画素 z(1) は「重要な成分」，画素 z ます。 主成分分析 このような変換後の座標軸，すなわち画素値 z(1), て，新しい画素値 z が z = a1x1 で表されるものとします。i 番目の画像の画素 x1, x ¯x1, ¯x2，分散 s11, s22，共分散 s12 = s21 は，画像の数 x1 = 1 n n i=1 x1i, x2 = 1 n n i=1 x2i, s11 = 1 n x1, x2の全画像にわたる平均 (2) は「あまり重要でない成分」ということになり (2) を求めてみましょう。元の画素値 x1, x2 に対し + a2x2 (1) の値を x1i, x2i とすると，画素 x1, x2 の値の平均 を n として次のように定義されます。 n i=1 (x1i − x1)2 , s22 = 1 n n i=1 (x2i − x2)2 n枚中のi番目の画像の，x1, x2の値 z(2) 軸では，z(1) の値の分散が最大となっています1。この 換した場合，画素 z(1) は「重要な成分」，画素 z(2) は「あま 。 分分析 のような変換後の座標軸，すなわち画素値 z(1), z(2) を求めて 新しい画素値 z が z = a1x1 + a2x2 されるものとします。i 番目の画像の画素 x1, x2 の値を x1 ¯2，分散 s11, s22，共分散 s12 = s21 は，画像の数を n として 1 n 1 n 1 n x1, x2の分散
- 36. 2013年度春学期 画像情報処理 A.Asano,KansaiUniv. 共分散とはi, x2 = 1 n n i=1 x2i, s11 = 1 n n i=1 (x1i − x1)2 , s22 = 1 n n i=1 (x2i − x2)2 s12 = s21 = 1 n n i=1 (x1i − x1)(x2i − x2). (2) のは，x と z の添字の区別を明確にするためですが，このやりかたは一般的なものではありません。 年度春学期） 第７回 (2013. 5. 22) http://racco.mikeneko.jp/ 2/8 ページ x1, x2の共分散
- 37. 2013年度春学期 画像情報処理 A.Asano,KansaiUniv. 共分散とはi, x2 = 1 n n i=1 x2i, s11 = 1 n n i=1 (x1i − x1)2 , s22 = 1 n n i=1 (x2i − x2)2 s12 = s21 = 1 n n i=1 (x1i − x1)(x2i − x2). (2) のは，x と z の添字の区別を明確にするためですが，このやりかたは一般的なものではありません。 年度春学期） 第７回 (2013. 5. 22) http://racco.mikeneko.jp/ 2/8 ページ x1, x2の共分散 ++ +z(2) x1 図 3: 軸の回転 ++ + + + + + x1 x2 x2 x1 x2 + + + + + +x2 x1 相関がない→ (a) (b) < 0 < 0 > 0 > 0 ( x1i – x1)( x2i – x2) ( x1i – x1)( x2i – x2) ( x1i – x1 )( x2i – x2 )( x1i – x1 )( x2i – x2 ) ( x1i – x1 )( x2i – x2
- 38. 2013年度春学期 画像情報処理 A.Asano,KansaiUniv. 共分散とはi, x2 = 1 n n i=1 x2i, s11 = 1 n n i=1 (x1i − x1)2 , s22 = 1 n n i=1 (x2i − x2)2 s12 = s21 = 1 n n i=1 (x1i − x1)(x2i − x2). (2) のは，x と z の添字の区別を明確にするためですが，このやりかたは一般的なものではありません。 年度春学期） 第７回 (2013. 5. 22) http://racco.mikeneko.jp/ 2/8 ページ x1, x2の共分散 ++ +z(2) x1 図 3: 軸の回転 ++ + + + + + x1 x2 x2 x1 x2 + + + + + +x2 x1 相関がない→ (a) (b) < 0 < 0 > 0 > 0 ( x1i – x1)( x2i – x2) ( x1i – x1)( x2i – x2) ( x1i – x1 )( x2i – x2 )( x1i – x1 )( x2i – x2 ) ( x1i – x1 )( x2i – x2 共分散の正負 ＝相関の正負
- 39. 2013年度春学期 画像情報処理 A.Asano,KansaiUniv. 共分散とはi, x2 = 1 n n i=1 x2i, s11 = 1 n n i=1 (x1i − x1)2 , s22 = 1 n n i=1 (x2i − x2)2 s12 = s21 = 1 n n i=1 (x1i − x1)(x2i − x2). (2) のは，x と z の添字の区別を明確にするためですが，このやりかたは一般的なものではありません。 年度春学期） 第７回 (2013. 5. 22) http://racco.mikeneko.jp/ 2/8 ページ x1, x2の共分散 ++ +z(2) x1 図 3: 軸の回転 ++ + + + + + x1 x2 x2 x1 x2 + + + + + +x2 x1 相関がない→ (a) (b) < 0 < 0 > 0 > 0 ( x1i – x1)( x2i – x2) ( x1i – x1)( x2i – x2) ( x1i – x1 )( x2i – x2 )( x1i – x1 )( x2i – x2 ) ( x1i – x1 )( x2i – x2 共分散の正負 ＝相関の正負 （共分散を x1, x2の標準偏差で 割ったものが 相関係数）
- 40. 2013年度春学期 画像情報処理 A.Asano,KansaiUniv. さて，zの分散V(z)は (3)式 の間に相関がないときは，(x1i − ¯x1)(x2i − ¯x2) の総和は，正負のものが さて，新しい画素値の分散 V (z) は，上記の議論から次のように表され V (z) = 1 n n i=1 (zi − z)2 = 1 n n i=1 {(a1x1i + a2x2i) − (a1x1 + a2x2i)}2 = 1 n n i=1 {(a1(x1i − x1) + a2(x2i − x2)}2 = 1 n n i=1 {(a2 1(x1i − x1)2 + 2a1a2(x1i − x1)(x2i − x2) + (a = a2 1{ 1 n n i=1 (x1i − x1)2 } + 2a1a2 1 n n i=1 (x1i − x1)(x2i − x2 = a2 1s11 + 2a1a2s12 + a2 2s22 = 1 n n i=1 {(a2 1(x1i − x1)2 + 2a1a2(x1i − x1)(x2i − x2) + ( = a2 1{ 1 n n i=1 (x1i − x1)2 } + 2a1a2 1 n n i=1 (x1i − x1)(x2i − x = a2 1s11 + 2a1a2s12 + a2 2s22 したがって，この V (z) を最大にする a1, a2 を求めればよいわけです。 れ x1, x2 軸となす角として a1 = cos θ1, a2 = cos θ2 とおくと，(a1, a2) は新しい座標軸 z の方向余弦ということになり，a a2 1 + a2 2 = 1 を満たします。したがって，問題は (5) 式の条件のもとでの (3) 式の ます。
- 41. 2013年度春学期 画像情報処理 A.Asano,KansaiUniv. さて，zの分散V(z)は (3)式 V(z)が最大になるa1, a2を求める の間に相関がないときは，(x1i − ¯x1)(x2i − ¯x2) の総和は，正負のものが さて，新しい画素値の分散 V (z) は，上記の議論から次のように表され V (z) = 1 n n i=1 (zi − z)2 = 1 n n i=1 {(a1x1i + a2x2i) − (a1x1 + a2x2i)}2 = 1 n n i=1 {(a1(x1i − x1) + a2(x2i − x2)}2 = 1 n n i=1 {(a2 1(x1i − x1)2 + 2a1a2(x1i − x1)(x2i − x2) + (a = a2 1{ 1 n n i=1 (x1i − x1)2 } + 2a1a2 1 n n i=1 (x1i − x1)(x2i − x2 = a2 1s11 + 2a1a2s12 + a2 2s22 = 1 n n i=1 {(a2 1(x1i − x1)2 + 2a1a2(x1i − x1)(x2i − x2) + ( = a2 1{ 1 n n i=1 (x1i − x1)2 } + 2a1a2 1 n n i=1 (x1i − x1)(x2i − x = a2 1s11 + 2a1a2s12 + a2 2s22 したがって，この V (z) を最大にする a1, a2 を求めればよいわけです。 れ x1, x2 軸となす角として a1 = cos θ1, a2 = cos θ2 とおくと，(a1, a2) は新しい座標軸 z の方向余弦ということになり，a a2 1 + a2 2 = 1 を満たします。したがって，問題は (5) 式の条件のもとでの (3) 式の ます。
- 42. 2013年度春学期 画像情報処理 A.Asano,KansaiUniv. さて，zの分散V(z)は (3)式 V(z)が最大になるa1, a2を求める の間に相関がないときは，(x1i − ¯x1)(x2i − ¯x2) の総和は，正負のものが さて，新しい画素値の分散 V (z) は，上記の議論から次のように表され V (z) = 1 n n i=1 (zi − z)2 = 1 n n i=1 {(a1x1i + a2x2i) − (a1x1 + a2x2i)}2 = 1 n n i=1 {(a1(x1i − x1) + a2(x2i − x2)}2 = 1 n n i=1 {(a2 1(x1i − x1)2 + 2a1a2(x1i − x1)(x2i − x2) + (a = a2 1{ 1 n n i=1 (x1i − x1)2 } + 2a1a2 1 n n i=1 (x1i − x1)(x2i − x2 = a2 1s11 + 2a1a2s12 + a2 2s22 = 1 n n i=1 {(a2 1(x1i − x1)2 + 2a1a2(x1i − x1)(x2i − x2) + ( = a2 1{ 1 n n i=1 (x1i − x1)2 } + 2a1a2 1 n n i=1 (x1i − x1)(x2i − x = a2 1s11 + 2a1a2s12 + a2 2s22 したがって，この V (z) を最大にする a1, a2 を求めればよいわけです。 れ x1, x2 軸となす角として a1 = cos θ1, a2 = cos θ2 とおくと，(a1, a2) は新しい座標軸 z の方向余弦ということになり，a a2 1 + a2 2 = 1 を満たします。したがって，問題は (5) 式の条件のもとでの (3) 式の ます。 xからzへの変換は「回転」 （伸び縮みしない）→
- 43. 2013年度春学期 画像情報処理 A.Asano,KansaiUniv. さて，zの分散V(z)は (3)式 V(z)が最大になるa1, a2を求める の間に相関がないときは，(x1i − ¯x1)(x2i − ¯x2) の総和は，正負のものが さて，新しい画素値の分散 V (z) は，上記の議論から次のように表され V (z) = 1 n n i=1 (zi − z)2 = 1 n n i=1 {(a1x1i + a2x2i) − (a1x1 + a2x2i)}2 = 1 n n i=1 {(a1(x1i − x1) + a2(x2i − x2)}2 = 1 n n i=1 {(a2 1(x1i − x1)2 + 2a1a2(x1i − x1)(x2i − x2) + (a = a2 1{ 1 n n i=1 (x1i − x1)2 } + 2a1a2 1 n n i=1 (x1i − x1)(x2i − x2 = a2 1s11 + 2a1a2s12 + a2 2s22 = 1 n n i=1 {(a2 1(x1i − x1)2 + 2a1a2(x1i − x1)(x2i − x2) + ( = a2 1{ 1 n n i=1 (x1i − x1)2 } + 2a1a2 1 n n i=1 (x1i − x1)(x2i − x = a2 1s11 + 2a1a2s12 + a2 2s22 したがって，この V (z) を最大にする a1, a2 を求めればよいわけです。 れ x1, x2 軸となす角として a1 = cos θ1, a2 = cos θ2 とおくと，(a1, a2) は新しい座標軸 z の方向余弦ということになり，a a2 1 + a2 2 = 1 を満たします。したがって，問題は (5) 式の条件のもとでの (3) 式の ます。 xからzへの変換は「回転」 （伸び縮みしない）→ = 1 n n i=1 {(a2 1(x1i − x1)2 + 2a1a2(x1i − x1)(x2i − x2) + (a2 2(x2i = a2 1{ 1 n n i=1 (x1i − x1)2 } + 2a1a2 1 n n i=1 (x1i − x1)(x2i − x2) + a = a2 1s11 + 2a1a2s12 + a2 2s22 て，この V (z) を最大にする a1, a2 を求めればよいわけです。ここで 軸となす角として a1 = cos θ1, a2 = cos θ2 ，(a1, a2) は新しい座標軸 z の方向余弦ということになり，a1, a2 は a2 1 + a2 2 = 1 ます。したがって，問題は (5) 式の条件のもとでの (3) 式の V (z) の
- 44. 2013年度春学期 画像情報処理 A.Asano,KansaiUniv. Lagrangeの未定乗数法 を という条件で最大化する a1, a2 を求めればよいわけです。ここで，θ1, θ2 を，z 軸がそれぞ a1 = cos θ1, a2 = cos θ2 (4) の方向余弦ということになり，a1, a2 は a2 1 + a2 2 = 1 (5) 5) 式の条件のもとでの (3) 式の V (z) の最大化ということになり は，Lagrange の未定乗数法によって解くことができます。これに いて a2 1s11 + 2a1a2s12 + a2 2s22 − λ(a2 1 + a2 2 − 1) (6) 題に帰着されます。これを解くため，F を a1, a2, それに λ でそ いとおくと i=1 = a2 1{ 1 n n i=1 (x1i − x1)2 } + 2a1a2 1 n n i=1 (x1i − x1)(x2i − x = a2 1s11 + 2a1a2s12 + a2 2s22 したがって，この V (z) を最大にする a1, a2 を求めればよいわけです。 れ x1, x2 軸となす角として a1 = cos θ1, a2 = cos θ2 とおくと，(a1, a2) は新しい座標軸 z の方向余弦ということになり，a a2 1 + a2 2 = 1 を満たします。したがって，問題は (5) 式の条件のもとでの (3) 式の ます。 このような制約条件付き最大化問題は，Lagrange の未定乗数法によ よれば，この問題は未定乗数を λ とおいて さて，新しい画素値の分散 V (z) は，上記の議論から次のよう V (z) = 1 n n i=1 (zi − z)2 = 1 n n i=1 {(a1x1i + a2x2i) − (a1x1 + a2x2i)}2 = 1 n n i=1 {(a1(x1i − x1) + a2(x2i − x2)}2 = 1 n n i=1 {(a2 1(x1i − x1)2 + 2a1a2(x1i − x1)(x2i − = a2 1{ 1 n n i=1 (x1i − x1)2 } + 2a1a2 1 n n i=1 (x1i − x1) 2 2
- 45. 2013年度春学期 画像情報処理 A.Asano,KansaiUniv. Lagrangeの未定乗数法 を という条件で最大化する a1, a2 を求めればよいわけです。ここで，θ1, θ2 を，z 軸がそれぞ a1 = cos θ1, a2 = cos θ2 (4) の方向余弦ということになり，a1, a2 は a2 1 + a2 2 = 1 (5) 5) 式の条件のもとでの (3) 式の V (z) の最大化ということになり は，Lagrange の未定乗数法によって解くことができます。これに いて a2 1s11 + 2a1a2s12 + a2 2s22 − λ(a2 1 + a2 2 − 1) (6) 題に帰着されます。これを解くため，F を a1, a2, それに λ でそ いとおくと i=1 = a2 1{ 1 n n i=1 (x1i − x1)2 } + 2a1a2 1 n n i=1 (x1i − x1)(x2i − x = a2 1s11 + 2a1a2s12 + a2 2s22 したがって，この V (z) を最大にする a1, a2 を求めればよいわけです。 れ x1, x2 軸となす角として a1 = cos θ1, a2 = cos θ2 とおくと，(a1, a2) は新しい座標軸 z の方向余弦ということになり，a a2 1 + a2 2 = 1 を満たします。したがって，問題は (5) 式の条件のもとでの (3) 式の ます。 このような制約条件付き最大化問題は，Lagrange の未定乗数法によ よれば，この問題は未定乗数を λ とおいて さて，新しい画素値の分散 V (z) は，上記の議論から次のよう V (z) = 1 n n i=1 (zi − z)2 = 1 n n i=1 {(a1x1i + a2x2i) − (a1x1 + a2x2i)}2 = 1 n n i=1 {(a1(x1i − x1) + a2(x2i − x2)}2 = 1 n n i=1 {(a2 1(x1i − x1)2 + 2a1a2(x1i − x1)(x2i − = a2 1{ 1 n n i=1 (x1i − x1)2 } + 2a1a2 1 n n i=1 (x1i − x1) 2 2 2) は新しい座標軸 z の方向余弦ということになり，a1, a2 は a2 1 + a2 2 = 1 したがって，問題は (5) 式の条件のもとでの (3) 式の V (z) の最大 約条件付き最大化問題は，Lagrange の未定乗数法によって解くこと 題は未定乗数を λ とおいて F(a1, a2, λ) = a2 1s11 + 2a1a2s12 + a2 2s22 − λ(a2 1 + a2 2 − 1) 約条件なしの最大化問題に帰着されます。これを解くため，F を て，それらが 0 に等しいとおくと ∂F ∂a1 = 2a1s11 + 2a2s12 − 2a1λ = 0 条件なしで を最大化する
- 46. 2013年度春学期 画像情報処理 A.Asano,KansaiUniv. Lagrangeの未定乗数法 を という条件で最大化する a1, a2 を求めればよいわけです。ここで，θ1, θ2 を，z 軸がそれぞ a1 = cos θ1, a2 = cos θ2 (4) の方向余弦ということになり，a1, a2 は a2 1 + a2 2 = 1 (5) 5) 式の条件のもとでの (3) 式の V (z) の最大化ということになり は，Lagrange の未定乗数法によって解くことができます。これに いて a2 1s11 + 2a1a2s12 + a2 2s22 − λ(a2 1 + a2 2 − 1) (6) 題に帰着されます。これを解くため，F を a1, a2, それに λ でそ いとおくと i=1 = a2 1{ 1 n n i=1 (x1i − x1)2 } + 2a1a2 1 n n i=1 (x1i − x1)(x2i − x = a2 1s11 + 2a1a2s12 + a2 2s22 したがって，この V (z) を最大にする a1, a2 を求めればよいわけです。 れ x1, x2 軸となす角として a1 = cos θ1, a2 = cos θ2 とおくと，(a1, a2) は新しい座標軸 z の方向余弦ということになり，a a2 1 + a2 2 = 1 を満たします。したがって，問題は (5) 式の条件のもとでの (3) 式の ます。 このような制約条件付き最大化問題は，Lagrange の未定乗数法によ よれば，この問題は未定乗数を λ とおいて さて，新しい画素値の分散 V (z) は，上記の議論から次のよう V (z) = 1 n n i=1 (zi − z)2 = 1 n n i=1 {(a1x1i + a2x2i) − (a1x1 + a2x2i)}2 = 1 n n i=1 {(a1(x1i − x1) + a2(x2i − x2)}2 = 1 n n i=1 {(a2 1(x1i − x1)2 + 2a1a2(x1i − x1)(x2i − = a2 1{ 1 n n i=1 (x1i − x1)2 } + 2a1a2 1 n n i=1 (x1i − x1) 2 2 2) は新しい座標軸 z の方向余弦ということになり，a1, a2 は a2 1 + a2 2 = 1 したがって，問題は (5) 式の条件のもとでの (3) 式の V (z) の最大 約条件付き最大化問題は，Lagrange の未定乗数法によって解くこと 題は未定乗数を λ とおいて F(a1, a2, λ) = a2 1s11 + 2a1a2s12 + a2 2s22 − λ(a2 1 + a2 2 − 1) 約条件なしの最大化問題に帰着されます。これを解くため，F を て，それらが 0 に等しいとおくと ∂F ∂a1 = 2a1s11 + 2a2s12 − 2a1λ = 0 条件なしで を最大化する 未定乗数
- 47. 2013年度春学期 画像情報処理 A.Asano,KansaiUniv. Lagrangeの未定乗数法 を という条件で最大化する a1, a2 を求めればよいわけです。ここで，θ1, θ2 を，z 軸がそれぞ a1 = cos θ1, a2 = cos θ2 (4) の方向余弦ということになり，a1, a2 は a2 1 + a2 2 = 1 (5) 5) 式の条件のもとでの (3) 式の V (z) の最大化ということになり は，Lagrange の未定乗数法によって解くことができます。これに いて a2 1s11 + 2a1a2s12 + a2 2s22 − λ(a2 1 + a2 2 − 1) (6) 題に帰着されます。これを解くため，F を a1, a2, それに λ でそ いとおくと i=1 = a2 1{ 1 n n i=1 (x1i − x1)2 } + 2a1a2 1 n n i=1 (x1i − x1)(x2i − x = a2 1s11 + 2a1a2s12 + a2 2s22 したがって，この V (z) を最大にする a1, a2 を求めればよいわけです。 れ x1, x2 軸となす角として a1 = cos θ1, a2 = cos θ2 とおくと，(a1, a2) は新しい座標軸 z の方向余弦ということになり，a a2 1 + a2 2 = 1 を満たします。したがって，問題は (5) 式の条件のもとでの (3) 式の ます。 このような制約条件付き最大化問題は，Lagrange の未定乗数法によ よれば，この問題は未定乗数を λ とおいて さて，新しい画素値の分散 V (z) は，上記の議論から次のよう V (z) = 1 n n i=1 (zi − z)2 = 1 n n i=1 {(a1x1i + a2x2i) − (a1x1 + a2x2i)}2 = 1 n n i=1 {(a1(x1i − x1) + a2(x2i − x2)}2 = 1 n n i=1 {(a2 1(x1i − x1)2 + 2a1a2(x1i − x1)(x2i − = a2 1{ 1 n n i=1 (x1i − x1)2 } + 2a1a2 1 n n i=1 (x1i − x1) 2 2 2) は新しい座標軸 z の方向余弦ということになり，a1, a2 は a2 1 + a2 2 = 1 したがって，問題は (5) 式の条件のもとでの (3) 式の V (z) の最大 約条件付き最大化問題は，Lagrange の未定乗数法によって解くこと 題は未定乗数を λ とおいて F(a1, a2, λ) = a2 1s11 + 2a1a2s12 + a2 2s22 − λ(a2 1 + a2 2 − 1) 約条件なしの最大化問題に帰着されます。これを解くため，F を て，それらが 0 に等しいとおくと ∂F ∂a1 = 2a1s11 + 2a2s12 − 2a1λ = 0 条件なしで を最大化する 条件をみたせば ここは0 未定乗数
- 48. 2013年度春学期 画像情報処理 A.Asano,KansaiUniv. Lagrangeの未定乗数法 条件付き最大化問題は，Lagrange の未定乗数法によって解くこと は未定乗数を λ とおいて F(a1, a2, λ) = a2 1s11 + 2a1a2s12 + a2 2s22 − λ(a2 1 + a2 2 − 1) 条件なしの最大化問題に帰着されます。これを解くため，F を a ，それらが 0 に等しいとおくと ∂F ∂a1 = 2a1s11 + 2a2s12 − 2a1λ = 0 ∂F ∂a2 = 2a2s22 + 2a1s12 − 2a2λ = 0 ∂F ∂λ = −λ(a2 1 + a2 2 − 1) = 0 ，私の「統計学」第 6 回の講義録を参照してください。この講義のスケジュー をa1, a2, λで偏微分して0とおく
- 49. 2013年度春学期 画像情報処理 A.Asano,KansaiUniv. Lagrangeの未定乗数法 条件付き最大化問題は，Lagrange の未定乗数法によって解くこと は未定乗数を λ とおいて F(a1, a2, λ) = a2 1s11 + 2a1a2s12 + a2 2s22 − λ(a2 1 + a2 2 − 1) 条件なしの最大化問題に帰着されます。これを解くため，F を a ，それらが 0 に等しいとおくと ∂F ∂a1 = 2a1s11 + 2a2s12 − 2a1λ = 0 ∂F ∂a2 = 2a2s22 + 2a1s12 − 2a2λ = 0 ∂F ∂λ = −λ(a2 1 + a2 2 − 1) = 0 ，私の「統計学」第 6 回の講義録を参照してください。この講義のスケジュー をa1, a2, λで偏微分して0とおく き最大化問題は，Lagrange の未定乗数法によって解くことができます。こ 乗数を λ とおいて a1, a2, λ) = a2 1s11 + 2a1a2s12 + a2 2s22 − λ(a2 1 + a2 2 − 1) しの最大化問題に帰着されます。これを解くため，F を a1, a2, それに λ らが 0 に等しいとおくと ∂F ∂a1 = 2a1s11 + 2a2s12 − 2a1λ = 0 ∂F ∂a2 = 2a2s22 + 2a1s12 − 2a2λ = 0 ∂F ∂λ = −λ(a2 1 + a2 2 − 1) = 0 統計学」第 6 回の講義録を参照してください。この講義のスケジュールからリンクして 度春学期） 第７回 (2013. 5. 22) http://racco.mikeneko.jp/ 3/8
- 50. 2013年度春学期 画像情報処理 A.Asano,KansaiUniv. Lagrangeの未定乗数法 条件付き最大化問題は，Lagrange の未定乗数法によって解くこと は未定乗数を λ とおいて F(a1, a2, λ) = a2 1s11 + 2a1a2s12 + a2 2s22 − λ(a2 1 + a2 2 − 1) 条件なしの最大化問題に帰着されます。これを解くため，F を a ，それらが 0 に等しいとおくと ∂F ∂a1 = 2a1s11 + 2a2s12 − 2a1λ = 0 ∂F ∂a2 = 2a2s22 + 2a1s12 − 2a2λ = 0 ∂F ∂λ = −λ(a2 1 + a2 2 − 1) = 0 ，私の「統計学」第 6 回の講義録を参照してください。この講義のスケジュー をa1, a2, λで偏微分して0とおく き最大化問題は，Lagrange の未定乗数法によって解くことができます。こ 乗数を λ とおいて a1, a2, λ) = a2 1s11 + 2a1a2s12 + a2 2s22 − λ(a2 1 + a2 2 − 1) しの最大化問題に帰着されます。これを解くため，F を a1, a2, それに λ らが 0 に等しいとおくと ∂F ∂a1 = 2a1s11 + 2a2s12 − 2a1λ = 0 ∂F ∂a2 = 2a2s22 + 2a1s12 − 2a2λ = 0 ∂F ∂λ = −λ(a2 1 + a2 2 − 1) = 0 統計学」第 6 回の講義録を参照してください。この講義のスケジュールからリンクして 度春学期） 第７回 (2013. 5. 22) http://racco.mikeneko.jp/ 3/8 すでに満たされている
- 51. 2013年度春学期 画像情報処理 A.Asano,KansaiUniv. Lagrangeの未定乗数法 条件付き最大化問題は，Lagrange の未定乗数法によって解くこと は未定乗数を λ とおいて F(a1, a2, λ) = a2 1s11 + 2a1a2s12 + a2 2s22 − λ(a2 1 + a2 2 − 1) 条件なしの最大化問題に帰着されます。これを解くため，F を a ，それらが 0 に等しいとおくと ∂F ∂a1 = 2a1s11 + 2a2s12 − 2a1λ = 0 ∂F ∂a2 = 2a2s22 + 2a1s12 − 2a2λ = 0 ∂F ∂λ = −λ(a2 1 + a2 2 − 1) = 0 ，私の「統計学」第 6 回の講義録を参照してください。この講義のスケジュー をa1, a2, λで偏微分して0とおく き最大化問題は，Lagrange の未定乗数法によって解くことができます。こ 乗数を λ とおいて a1, a2, λ) = a2 1s11 + 2a1a2s12 + a2 2s22 − λ(a2 1 + a2 2 − 1) しの最大化問題に帰着されます。これを解くため，F を a1, a2, それに λ らが 0 に等しいとおくと ∂F ∂a1 = 2a1s11 + 2a2s12 − 2a1λ = 0 ∂F ∂a2 = 2a2s22 + 2a1s12 − 2a2λ = 0 ∂F ∂λ = −λ(a2 1 + a2 2 − 1) = 0 統計学」第 6 回の講義録を参照してください。この講義のスケジュールからリンクして 度春学期） 第７回 (2013. 5. 22) http://racco.mikeneko.jp/ 3/8 偏微分って？ すでに満たされている
- 55. 2013年度春学期 画像情報処理 A.Asano,KansaiUniv. 偏微分と最大化 偏微分： 多変数関数を，その中のひとつの変数で微分 a1 a2 F ★ ★では，a1, a2のどちらによ る偏微分も0 → a1, a2のどちらの方向の 接線の傾きも0
- 56. 2013年度春学期 画像情報処理 A.Asano,KansaiUniv. 偏微分と最大化 偏微分： 多変数関数を，その中のひとつの変数で微分 a1 a2 F ★ ★では，a1, a2のどちらによ る偏微分も0 → a1, a2のどちらの方向の 接線の傾きも0 →曲面の「頂点」であり， Fは最大
- 57. 2013年度春学期 画像情報処理 A.Asano,KansaiUniv. 固有値問題 が得られる 式と同じですから，すでに満たされています。残りの式からは， a1s11 + a2s12 = a1λ a2s22 + a1s12 = a2λ を行列を使って書くと s11 s12 s12 s22 a1 a2 = λ a1 a2 は，分散共分散行列 (covariance matrix) とよばれています。 行列の固有値を求める」問題で，これを満たす λ は固有値 (eigenvalu ector) とよばれています。このようにして画素値 x1, x2 から得られ 実は固有値 λ です。なぜならば，(8) 式の上の式に a1 を，下の式に
- 58. 2013年度春学期 画像情報処理 A.Asano,KansaiUniv. 固有値問題 が得られる 式と同じですから，すでに満たされています。残りの式からは， a1s11 + a2s12 = a1λ a2s22 + a1s12 = a2λ を行列を使って書くと s11 s12 s12 s22 a1 a2 = λ a1 a2 は，分散共分散行列 (covariance matrix) とよばれています。 行列の固有値を求める」問題で，これを満たす λ は固有値 (eigenvalu ector) とよばれています。このようにして画素値 x1, x2 から得られ 実は固有値 λ です。なぜならば，(8) 式の上の式に a1 を，下の式に 行列でかくと
- 59. 2013年度春学期 画像情報処理 A.Asano,KansaiUniv. 固有値問題 が得られる 式と同じですから，すでに満たされています。残りの式からは， a1s11 + a2s12 = a1λ a2s22 + a1s12 = a2λ を行列を使って書くと s11 s12 s12 s22 a1 a2 = λ a1 a2 は，分散共分散行列 (covariance matrix) とよばれています。 行列の固有値を求める」問題で，これを満たす λ は固有値 (eigenvalu ector) とよばれています。このようにして画素値 x1, x2 から得られ 実は固有値 λ です。なぜならば，(8) 式の上の式に a1 を，下の式に 式は (5) 式と同じですから，すでに満たされています。残りの式からは， a1s11 + a2s12 = a1λ a2s22 + a1s12 = a2λ (8 。これを行列を使って書くと s11 s12 s12 s22 a1 a2 = λ a1 a2 (9 の行列は，分散共分散行列 (covariance matrix) とよばれています。 共分散行列の固有値を求める」問題で，これを満たす λ は固有値 (eigenvalue) eigenvector) とよばれています。このようにして画素値 x1, x2 から得られる z) は，実は固有値 λ です。なぜならば，(8) 式の上の式に a1 を，下の式に a 行列でかくと
- 60. 2013年度春学期 画像情報処理 A.Asano,KansaiUniv. 固有値問題 が得られる 式と同じですから，すでに満たされています。残りの式からは， a1s11 + a2s12 = a1λ a2s22 + a1s12 = a2λ を行列を使って書くと s11 s12 s12 s22 a1 a2 = λ a1 a2 は，分散共分散行列 (covariance matrix) とよばれています。 行列の固有値を求める」問題で，これを満たす λ は固有値 (eigenvalu ector) とよばれています。このようにして画素値 x1, x2 から得られ 実は固有値 λ です。なぜならば，(8) 式の上の式に a1 を，下の式に 式は (5) 式と同じですから，すでに満たされています。残りの式からは， a1s11 + a2s12 = a1λ a2s22 + a1s12 = a2λ (8 。これを行列を使って書くと s11 s12 s12 s22 a1 a2 = λ a1 a2 (9 の行列は，分散共分散行列 (covariance matrix) とよばれています。 共分散行列の固有値を求める」問題で，これを満たす λ は固有値 (eigenvalue) eigenvector) とよばれています。このようにして画素値 x1, x2 から得られる z) は，実は固有値 λ です。なぜならば，(8) 式の上の式に a1 を，下の式に a 行列でかくと 分散共分散行列
- 61. 2013年度春学期 画像情報処理 A.Asano,KansaiUniv. 固有値問題 が得られる 式と同じですから，すでに満たされています。残りの式からは， a1s11 + a2s12 = a1λ a2s22 + a1s12 = a2λ を行列を使って書くと s11 s12 s12 s22 a1 a2 = λ a1 a2 は，分散共分散行列 (covariance matrix) とよばれています。 行列の固有値を求める」問題で，これを満たす λ は固有値 (eigenvalu ector) とよばれています。このようにして画素値 x1, x2 から得られ 実は固有値 λ です。なぜならば，(8) 式の上の式に a1 を，下の式に 式は (5) 式と同じですから，すでに満たされています。残りの式からは， a1s11 + a2s12 = a1λ a2s22 + a1s12 = a2λ (8 。これを行列を使って書くと s11 s12 s12 s22 a1 a2 = λ a1 a2 (9 の行列は，分散共分散行列 (covariance matrix) とよばれています。 共分散行列の固有値を求める」問題で，これを満たす λ は固有値 (eigenvalue) eigenvector) とよばれています。このようにして画素値 x1, x2 から得られる z) は，実は固有値 λ です。なぜならば，(8) 式の上の式に a1 を，下の式に a 行列でかくと 分散共分散行列 固有ベクトル
- 62. 2013年度春学期 画像情報処理 A.Asano,KansaiUniv. 固有値問題 が得られる 式と同じですから，すでに満たされています。残りの式からは， a1s11 + a2s12 = a1λ a2s22 + a1s12 = a2λ を行列を使って書くと s11 s12 s12 s22 a1 a2 = λ a1 a2 は，分散共分散行列 (covariance matrix) とよばれています。 行列の固有値を求める」問題で，これを満たす λ は固有値 (eigenvalu ector) とよばれています。このようにして画素値 x1, x2 から得られ 実は固有値 λ です。なぜならば，(8) 式の上の式に a1 を，下の式に 式は (5) 式と同じですから，すでに満たされています。残りの式からは， a1s11 + a2s12 = a1λ a2s22 + a1s12 = a2λ (8 。これを行列を使って書くと s11 s12 s12 s22 a1 a2 = λ a1 a2 (9 の行列は，分散共分散行列 (covariance matrix) とよばれています。 共分散行列の固有値を求める」問題で，これを満たす λ は固有値 (eigenvalue) eigenvector) とよばれています。このようにして画素値 x1, x2 から得られる z) は，実は固有値 λ です。なぜならば，(8) 式の上の式に a1 を，下の式に a 行列でかくと 分散共分散行列 固有ベクトル 固有値 固有値・固有ベクトルを求める問題を 「固有値問題」という（解き方は略）
- 63. 2013年度春学期 画像情報処理 A.Asano,KansaiUniv. 結局V(z)は より (5) 式と同じですから，すでに満たされています。残りの式からは a1s11 + a2s12 = a1λ a2s22 + a1s12 = a2λ れを行列を使って書くと s11 s12 s12 s22 a1 a2 = λ a1 a2 列は，分散共分散行列 (covariance matrix) とよばれています。 散行列の固有値を求める」問題で，これを満たす λ は固有値 (eigenv nvector) とよばれています。このようにして画素値 x1, x2 から得 は，実は固有値 λ です。なぜならば，(8) 式の上の式に a を，下の式
- 64. 2013年度春学期 画像情報処理 A.Asano,KansaiUniv. 結局V(z)は より (5) 式と同じですから，すでに満たされています。残りの式からは a1s11 + a2s12 = a1λ a2s22 + a1s12 = a2λ れを行列を使って書くと s11 s12 s12 s22 a1 a2 = λ a1 a2 列は，分散共分散行列 (covariance matrix) とよばれています。 散行列の固有値を求める」問題で，これを満たす λ は固有値 (eigenv nvector) とよばれています。このようにして画素値 x1, x2 から得 は，実は固有値 λ です。なぜならば，(8) 式の上の式に a を，下の式 散行列の固有値を求める」問題で，これを満たす λ は固有値 (eigenval nvector) とよばれています。このようにして画素値 x1, x2 から得ら ，実は固有値 λ です。なぜならば，(8) 式の上の式に a1 を，下の式に a2 1s11 + a1a2s12 = λa2 1 a1a2s12 + a2 2s22 = λa2 2 a2 1s11 + 2a1a2s12 + a2 2s22 = λ(a2 1 + a2 2) V (z) = λ では省略しますが3，(9) 式の 2 変数のベクトルの固有値問題では，固
- 65. 2013年度春学期 画像情報処理 A.Asano,KansaiUniv. 結局V(z)は より (5) 式と同じですから，すでに満たされています。残りの式からは a1s11 + a2s12 = a1λ a2s22 + a1s12 = a2λ れを行列を使って書くと s11 s12 s12 s22 a1 a2 = λ a1 a2 列は，分散共分散行列 (covariance matrix) とよばれています。 散行列の固有値を求める」問題で，これを満たす λ は固有値 (eigenv nvector) とよばれています。このようにして画素値 x1, x2 から得 は，実は固有値 λ です。なぜならば，(8) 式の上の式に a を，下の式 散行列の固有値を求める」問題で，これを満たす λ は固有値 (eigenval nvector) とよばれています。このようにして画素値 x1, x2 から得ら ，実は固有値 λ です。なぜならば，(8) 式の上の式に a1 を，下の式に a2 1s11 + a1a2s12 = λa2 1 a1a2s12 + a2 2s22 = λa2 2 a2 1s11 + 2a1a2s12 + a2 2s22 = λ(a2 1 + a2 2) V (z) = λ では省略しますが3，(9) 式の 2 変数のベクトルの固有値問題では，固 z) は，実は固有値 λ です。なぜならば，(8) 式の上の式 a2 1s11 + a1a2s12 = λa2 1 a1a2s12 + a2 2s22 = λa2 2 a2 1s11 + 2a1a2s12 + a2 2s22 = λ(a2 1 + a2 2) ら V (z) = λ
- 66. 2013年度春学期 画像情報処理 A.Asano,KansaiUniv. 結局V(z)は より (5) 式と同じですから，すでに満たされています。残りの式からは a1s11 + a2s12 = a1λ a2s22 + a1s12 = a2λ れを行列を使って書くと s11 s12 s12 s22 a1 a2 = λ a1 a2 列は，分散共分散行列 (covariance matrix) とよばれています。 散行列の固有値を求める」問題で，これを満たす λ は固有値 (eigenv nvector) とよばれています。このようにして画素値 x1, x2 から得 は，実は固有値 λ です。なぜならば，(8) 式の上の式に a を，下の式 散行列の固有値を求める」問題で，これを満たす λ は固有値 (eigenval nvector) とよばれています。このようにして画素値 x1, x2 から得ら ，実は固有値 λ です。なぜならば，(8) 式の上の式に a1 を，下の式に a2 1s11 + a1a2s12 = λa2 1 a1a2s12 + a2 2s22 = λa2 2 a2 1s11 + 2a1a2s12 + a2 2s22 = λ(a2 1 + a2 2) V (z) = λ では省略しますが3，(9) 式の 2 変数のベクトルの固有値問題では，固 z) は，実は固有値 λ です。なぜならば，(8) 式の上の式 a2 1s11 + a1a2s12 = λa2 1 a1a2s12 + a2 2s22 = λa2 2 a2 1s11 + 2a1a2s12 + a2 2s22 = λ(a2 1 + a2 2) ら V (z) = λ V(z)
- 67. 2013年度春学期 画像情報処理 A.Asano,KansaiUniv. 結局V(z)は より (5) 式と同じですから，すでに満たされています。残りの式からは a1s11 + a2s12 = a1λ a2s22 + a1s12 = a2λ れを行列を使って書くと s11 s12 s12 s22 a1 a2 = λ a1 a2 列は，分散共分散行列 (covariance matrix) とよばれています。 散行列の固有値を求める」問題で，これを満たす λ は固有値 (eigenv nvector) とよばれています。このようにして画素値 x1, x2 から得 は，実は固有値 λ です。なぜならば，(8) 式の上の式に a を，下の式 散行列の固有値を求める」問題で，これを満たす λ は固有値 (eigenval nvector) とよばれています。このようにして画素値 x1, x2 から得ら ，実は固有値 λ です。なぜならば，(8) 式の上の式に a1 を，下の式に a2 1s11 + a1a2s12 = λa2 1 a1a2s12 + a2 2s22 = λa2 2 a2 1s11 + 2a1a2s12 + a2 2s22 = λ(a2 1 + a2 2) V (z) = λ では省略しますが3，(9) 式の 2 変数のベクトルの固有値問題では，固 z) は，実は固有値 λ です。なぜならば，(8) 式の上の式 a2 1s11 + a1a2s12 = λa2 1 a1a2s12 + a2 2s22 = λa2 2 a2 1s11 + 2a1a2s12 + a2 2s22 = λ(a2 1 + a2 2) ら V (z) = λ V(z) 1
- 68. 2013年度春学期 画像情報処理 A.Asano,KansaiUniv. 結局V(z)は より (5) 式と同じですから，すでに満たされています。残りの式からは a1s11 + a2s12 = a1λ a2s22 + a1s12 = a2λ れを行列を使って書くと s11 s12 s12 s22 a1 a2 = λ a1 a2 列は，分散共分散行列 (covariance matrix) とよばれています。 散行列の固有値を求める」問題で，これを満たす λ は固有値 (eigenv nvector) とよばれています。このようにして画素値 x1, x2 から得 は，実は固有値 λ です。なぜならば，(8) 式の上の式に a を，下の式 散行列の固有値を求める」問題で，これを満たす λ は固有値 (eigenval nvector) とよばれています。このようにして画素値 x1, x2 から得ら ，実は固有値 λ です。なぜならば，(8) 式の上の式に a1 を，下の式に a2 1s11 + a1a2s12 = λa2 1 a1a2s12 + a2 2s22 = λa2 2 a2 1s11 + 2a1a2s12 + a2 2s22 = λ(a2 1 + a2 2) V (z) = λ では省略しますが3，(9) 式の 2 変数のベクトルの固有値問題では，固 z) は，実は固有値 λ です。なぜならば，(8) 式の上の式 a2 1s11 + a1a2s12 = λa2 1 a1a2s12 + a2 2s22 = λa2 2 a2 1s11 + 2a1a2s12 + a2 2s22 = λ(a2 1 + a2 2) ら V (z) = λ V(z) 1 トル (eigenvector) とよばれています。このようにして画素値 散 V (z) は，実は固有値 λ です。なぜならば，(8) 式の上の式 a2 1s11 + a1a2s12 = λa2 1 a1a2s12 + a2 2s22 = λa2 2 ， a2 1s11 + 2a1a2s12 + a2 2s22 = λ(a2 1 + a2 2) 式から V (z) = λつまり
- 69. 2013年度春学期 画像情報処理 A.Asano,KansaiUniv. 第１主成分 固有ベクトル となります。ここで左辺の行列は，分散共分散行 (9) 式はすなわち「分散共分散行列の固有値を求 a1 a2 は固有ベクトル (eigenvector) とよばれ 新しい画素値 z の分散 V (z) は，実は固有値 λ で をかけると， a2 1s11 + a a1a2s12 + となります。さらに， a2 1s11 + 2a1a2s1 となり，(3) 式と (5) 式から V が得られます。 固有値問題の解き方はここでは省略しますが3 固有値 λ が２組得られる
- 70. 2013年度春学期 画像情報処理 A.Asano,KansaiUniv. 第１主成分 固有ベクトル 1 1 a1a2s12 + a2 2s22 = λa2 2 (1 2a1a2s12 + a2 2s22 = λ(a2 1 + a2 2) (1 V (z) = λ (1 しますが3，(9) 式の 2 変数のベクトルの固有値問題では，固有 られます。この計算は新しい画素値 z の分散 V (z) を最大にす は固有値 λ ですから，2 組のうち固有値の大きいほうの組み合 が得られます。これを第１主成分といい，「もっとも重要な成分 だから， となります。ここで左辺の行列は，分散共分散行 (9) 式はすなわち「分散共分散行列の固有値を求 a1 a2 は固有ベクトル (eigenvector) とよばれ 新しい画素値 z の分散 V (z) は，実は固有値 λ で をかけると， a2 1s11 + a a1a2s12 + となります。さらに， a2 1s11 + 2a1a2s1 となり，(3) 式と (5) 式から V が得られます。 固有値問題の解き方はここでは省略しますが3 固有値 λ が２組得られる
- 71. 2013年度春学期 画像情報処理 A.Asano,KansaiUniv. 第１主成分 固有ベクトル 1 1 a1a2s12 + a2 2s22 = λa2 2 (1 2a1a2s12 + a2 2s22 = λ(a2 1 + a2 2) (1 V (z) = λ (1 しますが3，(9) 式の 2 変数のベクトルの固有値問題では，固有 られます。この計算は新しい画素値 z の分散 V (z) を最大にす は固有値 λ ですから，2 組のうち固有値の大きいほうの組み合 が得られます。これを第１主成分といい，「もっとも重要な成分 だから， となります。ここで左辺の行列は，分散共分散行 (9) 式はすなわち「分散共分散行列の固有値を求 a1 a2 は固有ベクトル (eigenvector) とよばれ 新しい画素値 z の分散 V (z) は，実は固有値 λ で をかけると， a2 1s11 + a a1a2s12 + となります。さらに， a2 1s11 + 2a1a2s1 となり，(3) 式と (5) 式から V が得られます。 固有値問題の解き方はここでは省略しますが3 固有値 λ が２組得られる 大きい方の λ(λ(1)とする）に対応する 固有ベクトル 求めた z（ z(1) とする）が，求めたかった z 有値問題の解き方はここでは省略しますが3，(9) 式の 2 変数のベクトルの固有値問題では，固有値 有ベクトルの組み合わせが 2 組得られます。この計算は新しい画素値 z の分散 V (z) を最大にする で，(12) 式で示したようにその値は固有値 λ ですから，2 組のうち固有値の大きいほうの組み合わ ら，最大の分散をもつ画素値 z(1) が得られます。これを第１主成分といい，「もっとも重要な成分 うことができます。 ころで，(9) 式のとおり分散共分散行列は対称行列で，対称行列の固有ベクトルは直交することが れています（線形代数学の教科書を見てください）。したがって，もう１つの固有値に対応する固有 トルから (1) 式の計算でもうひとつの新しい画素値 z を求め，これを z(2) とすれば，新しい画素値 z(2) で新たな直交座標が得られ，図 3 のような座標軸の回転が行えることがわかります。この手法 成分分析 (principal component analysis, PCA) といいます。 分分析と行列の対角化 の計算の，もう少し先を見てみましょう。２つの固有値のうち，大きい方を λ(1)，小さい方を λ(2 ，それぞれ対応する固有ベクトルを a1(1) a2(1) および a1(2) a2(2) とします。これらはどちらも (9 私の「応用統計学」(広島大 2010 年度前期) 第 5 回の講義録を参照してください。この講義のスケジュールからリンクし ります。 晃／画像情報処理（2013 年度春学期） 第７回 (2013. 5. 22) http://racco.mikeneko.jp/ 4/8 ページ を使って
- 72. 2013年度春学期 画像情報処理 A.Asano,KansaiUniv. 第１主成分 固有ベクトル 1 1 a1a2s12 + a2 2s22 = λa2 2 (1 2a1a2s12 + a2 2s22 = λ(a2 1 + a2 2) (1 V (z) = λ (1 しますが3，(9) 式の 2 変数のベクトルの固有値問題では，固有 られます。この計算は新しい画素値 z の分散 V (z) を最大にす は固有値 λ ですから，2 組のうち固有値の大きいほうの組み合 が得られます。これを第１主成分といい，「もっとも重要な成分 だから， となります。ここで左辺の行列は，分散共分散行 (9) 式はすなわち「分散共分散行列の固有値を求 a1 a2 は固有ベクトル (eigenvector) とよばれ 新しい画素値 z の分散 V (z) は，実は固有値 λ で をかけると， a2 1s11 + a a1a2s12 + となります。さらに， a2 1s11 + 2a1a2s1 となり，(3) 式と (5) 式から V が得られます。 固有値問題の解き方はここでは省略しますが3 固有値 λ が２組得られる 第１主成分という 大きい方の λ(λ(1)とする）に対応する 固有ベクトル 求めた z（ z(1) とする）が，求めたかった z 有値問題の解き方はここでは省略しますが3，(9) 式の 2 変数のベクトルの固有値問題では，固有値 有ベクトルの組み合わせが 2 組得られます。この計算は新しい画素値 z の分散 V (z) を最大にする で，(12) 式で示したようにその値は固有値 λ ですから，2 組のうち固有値の大きいほうの組み合わ ら，最大の分散をもつ画素値 z(1) が得られます。これを第１主成分といい，「もっとも重要な成分 うことができます。 ころで，(9) 式のとおり分散共分散行列は対称行列で，対称行列の固有ベクトルは直交することが れています（線形代数学の教科書を見てください）。したがって，もう１つの固有値に対応する固有 トルから (1) 式の計算でもうひとつの新しい画素値 z を求め，これを z(2) とすれば，新しい画素値 z(2) で新たな直交座標が得られ，図 3 のような座標軸の回転が行えることがわかります。この手法 成分分析 (principal component analysis, PCA) といいます。 分分析と行列の対角化 の計算の，もう少し先を見てみましょう。２つの固有値のうち，大きい方を λ(1)，小さい方を λ(2 ，それぞれ対応する固有ベクトルを a1(1) a2(1) および a1(2) a2(2) とします。これらはどちらも (9 私の「応用統計学」(広島大 2010 年度前期) 第 5 回の講義録を参照してください。この講義のスケジュールからリンクし ります。 晃／画像情報処理（2013 年度春学期） 第７回 (2013. 5. 22) http://racco.mikeneko.jp/ 4/8 ページ を使って
- 75. 2013年度春学期 画像情報処理 A.Asano,KansaiUniv. このときz(1)とz(2)は無相関図 2 のような画像の分布を，図 2 のように画像が分布している場合でも か？ それは，図 3 のように軸を回転することによって可能になります。こ ++ + + + + + x1 x2 図 1: ２画素の画像の分布の例 (1) x2 + 図 2: ２画 浅野 晃／画像情報処理（2013 年度春学期） 第７回 (2013. 5. 22) http 画素１の値 画素２の値 x1, x2を回転して，新たに z(1) , z(2) とする z(1) の分散がもっとも大き くなるように回転する
- 77. 2013年度春学期 画像情報処理 A.Asano,KansaiUniv. このときz(1)とz(2)は無相関 x2 と い う こ と を 意 味 し て い ま と は で き ま せ ん 。 し も 画 像 の 分 布 が 図 2の よ う で あ な っ て い る の に 対 し て ， 画 素 x2 は ど の 画 の 各 画 像 の 違 い を 表 現 す る の に は 画 素 x1 だ け の 値 （ 例 え ば 各 画 像 の 画 素 x2 の 平 均 ） で 置 き 換 え て ま す 。 つ ま り ， こ れ ら の 画 像 は x1 だ け で 概 ね 表 現 で き る わ ま す 。 図 2 の よ う な 画 像 の 分 布 を ， 図 2 の よ う に 画 像 が 分 布 し て い る 場 合 か ？ そ れ は ， 図 3の よ う に 軸 を 回 転 す る こ と に よ っ て 可 能 に な り ま + + + + + + + x1 x2 図 1: ２ 画 素 の 画 像 の 分 布 の 処 理 （ 20 画 素 １ の 値 画 素 ２ の 値 z(2) z(1) x1, x2を回転して，新たに z(1) , z(2) とする z(1) の分散がもっとも大き くなるように回転する z(1) , z(2) は無相関。 なぜなら
- 78. 2013年度春学期 画像情報処理 A.Asano,KansaiUniv. 相関がないときは 共分散＝０ z(1) , z(2) はこうなっている →本当？ z1 z2 ++ + + + + +z2 z1 相関がない→ の正負がつりあう( z1i – z1)( z2i – z2)
- 79. 2013年度春学期 画像情報処理 A.Asano,KansaiUniv. 主成分分析と分散共分散行列 固有値のうち，大きい方を λ(1)，小さい方を λ(2) 対応する固有ベクトル ベクトルから (1) 式の計算でもうひとつの新しい画素値 z を求め，これを z(2) と z(1), z(2) で新たな直交座標が得られ，図 3 のような座標軸の回転が行えることが を主成分分析 (principal component analysis, PCA) といいます。 主成分分析と行列の対角化 この計算の，もう少し先を見てみましょう。２つの固有値のうち，大きい方を とし，それぞれ対応する固有ベクトルを a1(1) a2(1) および a1(2) a2(2) とします。 3 私の「応用統計学」(広島大 2010 年度前期) 第 5 回の講義録を参照してください。この講義の てあります。 浅野 晃／画像情報処理（2013 年度春学期） 第７回 (2013. 5. 22) http://racco ベクトルから (1) 式の計算でもうひとつの新しい画素値 z を求め，これを z(2) とすれば z(1), z(2) で新たな直交座標が得られ，図 3 のような座標軸の回転が行えることがわかり を主成分分析 (principal component analysis, PCA) といいます。 主成分分析と行列の対角化 この計算の，もう少し先を見てみましょう。２つの固有値のうち，大きい方を λ(1)， とし，それぞれ対応する固有ベクトルを a1(1) a2(1) および a1(2) a2(2) とします。これら 3 私の「応用統計学」(広島大 2010 年度前期) 第 5 回の講義録を参照してください。この講義のスケジュ てあります。 浅野 晃／画像情報処理（2013 年度春学期） 第７回 (2013. 5. 22) http://racco.mikene
- 80. 2013年度春学期 画像情報処理 A.Asano,KansaiUniv. 主成分分析と分散共分散行列 固有値のうち，大きい方を λ(1)，小さい方を λ(2) 対応する固有ベクトル ベクトルから (1) 式の計算でもうひとつの新しい画素値 z を求め，これを z(2) と z(1), z(2) で新たな直交座標が得られ，図 3 のような座標軸の回転が行えることが を主成分分析 (principal component analysis, PCA) といいます。 主成分分析と行列の対角化 この計算の，もう少し先を見てみましょう。２つの固有値のうち，大きい方を とし，それぞれ対応する固有ベクトルを a1(1) a2(1) および a1(2) a2(2) とします。 3 私の「応用統計学」(広島大 2010 年度前期) 第 5 回の講義録を参照してください。この講義の てあります。 浅野 晃／画像情報処理（2013 年度春学期） 第７回 (2013. 5. 22) http://racco ベクトルから (1) 式の計算でもうひとつの新しい画素値 z を求め，これを z(2) とすれば z(1), z(2) で新たな直交座標が得られ，図 3 のような座標軸の回転が行えることがわかり を主成分分析 (principal component analysis, PCA) といいます。 主成分分析と行列の対角化 この計算の，もう少し先を見てみましょう。２つの固有値のうち，大きい方を λ(1)， とし，それぞれ対応する固有ベクトルを a1(1) a2(1) および a1(2) a2(2) とします。これら 3 私の「応用統計学」(広島大 2010 年度前期) 第 5 回の講義録を参照してください。この講義のスケジュ てあります。 浅野 晃／画像情報処理（2013 年度春学期） 第７回 (2013. 5. 22) http://racco.mikene これらは きます。ここで，右辺の λ は普通の数（スカラー）で，このとき右辺 は，この式を満たす a1, a2 は２組あるので，λ もそれぞれに対応し す。それらを λ(1), λ(2) と表すと，それぞれに対応する式は s11 s12 s21 s22 a1(1) a2(1) = λ(1) a1(1) a2(1) s11 s12 s21 s22 a1(2) a2(2) = λ(2) a1(2) a2(2) をみたす
- 82. 2013年度春学期 画像情報処理 A.Asano,KansaiUniv. 分散共分散行列の対角化 まとめると を左右にくっつけて， a1(1) a1(2) a2(1) a2(2) と，ひとつの行列で表し 式は，まとめて s11 s12 s21 s22 a1(1) a1(2) a2(1) a2(2) = a1(1) a1(2) a2(1) a2(2) λ(1) 0 ができます。この式の両辺は，「行列と行列のかけ算」になってい 左辺は，上で述べたとおり， s11 s12 s21 s22 a1(1) a2(1) a1(2) a2(2) っつけたものです。 式の右辺は，右側の行列を列ベクトルに分けて a1(1) a1(2) a2(1) a2(2) 側の行列 a1(1) a1(2) と右側の行列の左側の列ベクトル λ(1) の２つの式を，ひとつにまとめて表してみましょう。列ベクトル つけて， a1(1) a1(2) a2(1) a2(2) と，ひとつの行列で表します。すると， めて s12 s22 a1(1) a1(2) a2(1) a2(2) = a1(1) a1(2) a2(1) a2(2) λ(1) 0 0 λ(2) 。この式の両辺は，「行列と行列のかけ算」になっています。 述べたとおり， s11 s12 s21 s22 a1(1) a2(1) a1(2) a2(2) のように のです。 a1(1) a1(2) λ(1)
- 83. 2013年度春学期 画像情報処理 A.Asano,KansaiUniv. 分散共分散行列の対角化 まとめると を左右にくっつけて， a1(1) a1(2) a2(1) a2(2) と，ひとつの行列で表し 式は，まとめて s11 s12 s21 s22 a1(1) a1(2) a2(1) a2(2) = a1(1) a1(2) a2(1) a2(2) λ(1) 0 ができます。この式の両辺は，「行列と行列のかけ算」になってい 左辺は，上で述べたとおり， s11 s12 s21 s22 a1(1) a2(1) a1(2) a2(2) っつけたものです。 式の右辺は，右側の行列を列ベクトルに分けて a1(1) a1(2) a2(1) a2(2) 側の行列 a1(1) a1(2) と右側の行列の左側の列ベクトル λ(1) の２つの式を，ひとつにまとめて表してみましょう。列ベクトル つけて， a1(1) a1(2) a2(1) a2(2) と，ひとつの行列で表します。すると， めて s12 s22 a1(1) a1(2) a2(1) a2(2) = a1(1) a1(2) a2(1) a2(2) λ(1) 0 0 λ(2) 。この式の両辺は，「行列と行列のかけ算」になっています。 述べたとおり， s11 s12 s21 s22 a1(1) a2(1) a1(2) a2(2) のように のです。 a1(1) a1(2) λ(1) S P P Λ
- 84. 2013年度春学期 画像情報処理 A.Asano,KansaiUniv. 分散共分散行列の対角化 まとめると つまり を左右にくっつけて， a1(1) a1(2) a2(1) a2(2) と，ひとつの行列で表し 式は，まとめて s11 s12 s21 s22 a1(1) a1(2) a2(1) a2(2) = a1(1) a1(2) a2(1) a2(2) λ(1) 0 ができます。この式の両辺は，「行列と行列のかけ算」になってい 左辺は，上で述べたとおり， s11 s12 s21 s22 a1(1) a2(1) a1(2) a2(2) っつけたものです。 式の右辺は，右側の行列を列ベクトルに分けて a1(1) a1(2) a2(1) a2(2) 側の行列 a1(1) a1(2) と右側の行列の左側の列ベクトル λ(1) の２つの式を，ひとつにまとめて表してみましょう。列ベクトル つけて， a1(1) a1(2) a2(1) a2(2) と，ひとつの行列で表します。すると， めて s12 s22 a1(1) a1(2) a2(1) a2(2) = a1(1) a1(2) a2(1) a2(2) λ(1) 0 0 λ(2) 。この式の両辺は，「行列と行列のかけ算」になっています。 述べたとおり， s11 s12 s21 s22 a1(1) a2(1) a1(2) a2(2) のように のです。 a1(1) a1(2) λ(1) S P P Λ ap(2) · · · ap(p) ap(1) ap(2) · · · ap(p) も扱いきれません。また，要素が p 個ある場合は，ベク の場合のように図形的に考えることもできません。 れぞれひとつの文字で表して， SP = PΛ に，複雑な計算をあたかも数の計算のように表して，単 のが考えられた理由です。
- 85. 2013年度春学期 画像情報処理 A.Asano,KansaiUniv. 分散共分散行列の対角化 まとめると つまり を左右にくっつけて， a1(1) a1(2) a2(1) a2(2) と，ひとつの行列で表し 式は，まとめて s11 s12 s21 s22 a1(1) a1(2) a2(1) a2(2) = a1(1) a1(2) a2(1) a2(2) λ(1) 0 ができます。この式の両辺は，「行列と行列のかけ算」になってい 左辺は，上で述べたとおり， s11 s12 s21 s22 a1(1) a2(1) a1(2) a2(2) っつけたものです。 式の右辺は，右側の行列を列ベクトルに分けて a1(1) a1(2) a2(1) a2(2) 側の行列 a1(1) a1(2) と右側の行列の左側の列ベクトル λ(1) の２つの式を，ひとつにまとめて表してみましょう。列ベクトル つけて， a1(1) a1(2) a2(1) a2(2) と，ひとつの行列で表します。すると， めて s12 s22 a1(1) a1(2) a2(1) a2(2) = a1(1) a1(2) a2(1) a2(2) λ(1) 0 0 λ(2) 。この式の両辺は，「行列と行列のかけ算」になっています。 述べたとおり， s11 s12 s21 s22 a1(1) a2(1) a1(2) a2(2) のように のです。 a1(1) a1(2) λ(1) S P P Λ ap(2) · · · ap(p) ap(1) ap(2) · · · ap(p) も扱いきれません。また，要素が p 個ある場合は，ベク の場合のように図形的に考えることもできません。 れぞれひとつの文字で表して， SP = PΛ に，複雑な計算をあたかも数の計算のように表して，単 のが考えられた理由です。 すなわち s12 s22 a2(2) a2(2) とつにすると， a1(1) a1(2) a2(1) a2(2) = a1(1) a1(2) a2(1) a2(2) λ(1) 0 0 λ(2) ぞれひとつの文字で表して， PΛ, すなわち Λ = P−1 SP, S = PΛP−1 に含まれる各固有ベクトルは，(5) 式で行ったように正規 ベクトルは直交しています。すなわち，各固有ベクトル
- 86. 2013年度春学期 画像情報処理 A.Asano,KansaiUniv. 分散共分散行列の対角化 まとめると つまり を左右にくっつけて， a1(1) a1(2) a2(1) a2(2) と，ひとつの行列で表し 式は，まとめて s11 s12 s21 s22 a1(1) a1(2) a2(1) a2(2) = a1(1) a1(2) a2(1) a2(2) λ(1) 0 ができます。この式の両辺は，「行列と行列のかけ算」になってい 左辺は，上で述べたとおり， s11 s12 s21 s22 a1(1) a2(1) a1(2) a2(2) っつけたものです。 式の右辺は，右側の行列を列ベクトルに分けて a1(1) a1(2) a2(1) a2(2) 側の行列 a1(1) a1(2) と右側の行列の左側の列ベクトル λ(1) の２つの式を，ひとつにまとめて表してみましょう。列ベクトル つけて， a1(1) a1(2) a2(1) a2(2) と，ひとつの行列で表します。すると， めて s12 s22 a1(1) a1(2) a2(1) a2(2) = a1(1) a1(2) a2(1) a2(2) λ(1) 0 0 λ(2) 。この式の両辺は，「行列と行列のかけ算」になっています。 述べたとおり， s11 s12 s21 s22 a1(1) a2(1) a1(2) a2(2) のように のです。 a1(1) a1(2) λ(1) S P P Λ ap(2) · · · ap(p) ap(1) ap(2) · · · ap(p) も扱いきれません。また，要素が p 個ある場合は，ベク の場合のように図形的に考えることもできません。 れぞれひとつの文字で表して， SP = PΛ に，複雑な計算をあたかも数の計算のように表して，単 のが考えられた理由です。 すなわち （分散共分散行列の）対角化という s12 s22 a2(2) a2(2) とつにすると， a1(1) a1(2) a2(1) a2(2) = a1(1) a1(2) a2(1) a2(2) λ(1) 0 0 λ(2) ぞれひとつの文字で表して， PΛ, すなわち Λ = P−1 SP, S = PΛP−1 に含まれる各固有ベクトルは，(5) 式で行ったように正規 ベクトルは直交しています。すなわち，各固有ベクトル
- 87. 2013年度春学期 画像情報処理 A.Asano,KansaiUniv. 対称行列の対角化 分散共分散行列 S は 対称行列 が得られます。この２つの式をひとつにすると， s11 s12 s21 s22 a1(1) a1(2) a2(1) a2(2) = となります。 ここで，上の式の各行列をそれぞれひとつの文字で表 SP = PΛ, すなわち Λ = と表します。このとき，行列 P に含まれる各固有ベクト また S は対称行列なので各固有ベクトルは直交していま をなしています。したがって P は正規直交行列です。 （これも線形代数学の教科書を見てください）， P SP = Λ, すなわち
- 88. 2013年度春学期 画像情報処理 A.Asano,KansaiUniv. 対称行列の対角化 分散共分散行列 S は 対称行列 が得られます。この２つの式をひとつにすると， s11 s12 s21 s22 a1(1) a1(2) a2(1) a2(2) = となります。 ここで，上の式の各行列をそれぞれひとつの文字で表 SP = PΛ, すなわち Λ = と表します。このとき，行列 P に含まれる各固有ベクト また S は対称行列なので各固有ベクトルは直交していま をなしています。したがって P は正規直交行列です。 （これも線形代数学の教科書を見てください）， P SP = Λ, すなわち
- 89. 2013年度春学期 画像情報処理 A.Asano,KansaiUniv. 対称行列の対角化 分散共分散行列 S は 対称行列 が得られます。この２つの式をひとつにすると， s11 s12 s21 s22 a1(1) a1(2) a2(1) a2(2) = となります。 ここで，上の式の各行列をそれぞれひとつの文字で表 SP = PΛ, すなわち Λ = と表します。このとき，行列 P に含まれる各固有ベクト また S は対称行列なので各固有ベクトルは直交していま をなしています。したがって P は正規直交行列です。 （これも線形代数学の教科書を見てください）， P SP = Λ, すなわち s12 = s21 共分散
- 90. 2013年度春学期 画像情報処理 A.Asano,KansaiUniv. 対称行列の対角化 分散共分散行列 S は 対称行列 が得られます。この２つの式をひとつにすると， s11 s12 s21 s22 a1(1) a1(2) a2(1) a2(2) = となります。 ここで，上の式の各行列をそれぞれひとつの文字で表 SP = PΛ, すなわち Λ = と表します。このとき，行列 P に含まれる各固有ベクト また S は対称行列なので各固有ベクトルは直交していま をなしています。したがって P は正規直交行列です。 （これも線形代数学の教科書を見てください）， P SP = Λ, すなわち s12 = s21 共分散 対称行列の固有ベクトルは直交する（詳細略） Pは直交行列 式をみたしますから， s11 s12 s12 s22 a1(1) a2(1) = λ(1) a1(1) a2(1) s11 s12 s12 s22 a1(2) a2(2) = λ(2) a1(2) a2(2) が得られます。この２つの式をひとつにすると， s11 s12 s21 s22 a1(1) a1(2) a2(1) a2(2) = a1(1) a1(2) a2(1) a2(2) λ となります。 ここで，上の式の各行列をそれぞれひとつの文字で表して， SP = PΛ, すなわち Λ = P−1 SP, S = PΛP と表します。このとき，行列 P に含まれる各固有ベクトルは，(5) 式で行
- 91. 2013年度春学期 画像情報処理 A.Asano,KansaiUniv. 対称行列の対角化 分散共分散行列 S は 対称行列 が得られます。この２つの式をひとつにすると， s11 s12 s21 s22 a1(1) a1(2) a2(1) a2(2) = となります。 ここで，上の式の各行列をそれぞれひとつの文字で表 SP = PΛ, すなわち Λ = と表します。このとき，行列 P に含まれる各固有ベクト また S は対称行列なので各固有ベクトルは直交していま をなしています。したがって P は正規直交行列です。 （これも線形代数学の教科書を見てください）， P SP = Λ, すなわち s12 = s21 共分散 対称行列の固有ベクトルは直交する（詳細略） Pは直交行列 式をみたしますから， s11 s12 s12 s22 a1(1) a2(1) = λ(1) a1(1) a2(1) s11 s12 s12 s22 a1(2) a2(2) = λ(2) a1(2) a2(2) が得られます。この２つの式をひとつにすると， s11 s12 s21 s22 a1(1) a1(2) a2(1) a2(2) = a1(1) a1(2) a2(1) a2(2) λ となります。 ここで，上の式の各行列をそれぞれひとつの文字で表して， SP = PΛ, すなわち Λ = P−1 SP, S = PΛP と表します。このとき，行列 P に含まれる各固有ベクトルは，(5) 式で行
- 92. 2013年度春学期 画像情報処理 A.Asano,KansaiUniv. 対称行列の対角化 分散共分散行列 S は 対称行列 直交行列の逆行列は転置行列（逆回転） すなわち が得られます。この２つの式をひとつにすると， s11 s12 s21 s22 a1(1) a1(2) a2(1) a2(2) = となります。 ここで，上の式の各行列をそれぞれひとつの文字で表 SP = PΛ, すなわち Λ = と表します。このとき，行列 P に含まれる各固有ベクト また S は対称行列なので各固有ベクトルは直交していま をなしています。したがって P は正規直交行列です。 （これも線形代数学の教科書を見てください）， P SP = Λ, すなわち s12 = s21 共分散 対称行列の固有ベクトルは直交する（詳細略） Pは直交行列 式をみたしますから， s11 s12 s12 s22 a1(1) a2(1) = λ(1) a1(1) a2(1) s11 s12 s12 s22 a1(2) a2(2) = λ(2) a1(2) a2(2) が得られます。この２つの式をひとつにすると， s11 s12 s21 s22 a1(1) a1(2) a2(1) a2(2) = a1(1) a1(2) a2(1) a2(2) λ となります。 ここで，上の式の各行列をそれぞれひとつの文字で表して， SP = PΛ, すなわち Λ = P−1 SP, S = PΛP と表します。このとき，行列 P に含まれる各固有ベクトルは，(5) 式で行 とつの文字で表して， すなわち Λ = P−1 SP, S = PΛP−1 る各固有ベクトルは，(5) 式で行ったように正規化 は直交しています。すなわち，各固有ベクトルは正 直交行列です。P が直交行列のとき P−1 = P が成 さい）， = Λ, すなわち S = PΛP ,
- 93. 2013年度春学期 画像情報処理 A.Asano,KansaiUniv. 対角化の意味 すなわち S = PΛP , nalization) とよんでいます。 ぞれ 1) a2(1) x1 x2
- 94. 2013年度春学期 画像情報処理 A.Asano,KansaiUniv. 対角化の意味 すなわち S = PΛP , nalization) とよんでいます。 ぞれ 1) a2(1) x1 x2
- 95. 2013年度春学期 画像情報処理 A.Asano,KansaiUniv. 対角化の意味 分散 共分散行列は すなわち S = PΛP , nalization) とよんでいます。 ぞれ 1) a2(1) x1 x2
- 96. 2013年度春学期 画像情報処理 A.Asano,KansaiUniv. 対角化の意味 分散 共分散行列は P’で変換し すなわち S = PΛP , nalization) とよんでいます。 ぞれ 1) a2(1) x1 x2
- 97. 2013年度春学期 画像情報処理 A.Asano,KansaiUniv. 対角化の意味 分散 共分散行列は P’で変換し そこでは分散共分散行列が Λ で すなわち S = PΛP , nalization) とよんでいます。 ぞれ 1) a2(1) x1 x2
- 98. 2013年度春学期 画像情報処理 A.Asano,KansaiUniv. 対角化の意味 分散 共分散行列は P’で変換し そこでは分散共分散行列が Λ で P で戻る すなわち S = PΛP , nalization) とよんでいます。 ぞれ 1) a2(1) x1 x2
- 99. 2013年度春学期 画像情報処理 A.Asano,KansaiUniv. 対角化の意味 分散 共分散行列は P’で変換し そこでは分散共分散行列が Λ で P で戻る 「この世」 すなわち S = PΛP , nalization) とよんでいます。 ぞれ 1) a2(1) x1 x2
- 100. 2013年度春学期 画像情報処理 A.Asano,KansaiUniv. 対角化の意味 分散 共分散行列は P’で変換し そこでは分散共分散行列が Λ で P で戻る 「この世」「あの世」 すなわち S = PΛP , nalization) とよんでいます。 ぞれ 1) a2(1) x1 x2
- 101. 2013年度春学期 画像情報処理 A.Asano,KansaiUniv. 対角化の意味 分散 共分散行列は P’で変換し そこでは分散共分散行列が Λ で P で戻る λ(1) a1(1) a2(1) λ(2) a1(2) a2(2) (13) 1) a1(2) 1) a2(2) λ(1) 0 0 λ(2) (14) ると， 1(2) 2(2) = a1(1) a1(2) a2(1) a2(2) λ(1) 0 0 λ(2) つの文字で表して， なわち Λ = P−1 SP, S = PΛP−1 各固有ベクトルは，(5) 式で行ったように正規化され 直交しています。すなわち，各固有ベクトルは正規直 「この世」「あの世」 すなわち S = PΛP , nalization) とよんでいます。 ぞれ 1) a2(1) x1 x2
- 102. 2013年度春学期 画像情報処理 A.Asano,KansaiUniv. 対角化の意味 分散 共分散行列は P’で変換し そこでは分散共分散行列が Λ で P で戻る λ(1) a1(1) a2(1) λ(2) a1(2) a2(2) (13) 1) a1(2) 1) a2(2) λ(1) 0 0 λ(2) (14) ると， 1(2) 2(2) = a1(1) a1(2) a2(1) a2(2) λ(1) 0 0 λ(2) つの文字で表して， なわち Λ = P−1 SP, S = PΛP−1 各固有ベクトルは，(5) 式で行ったように正規化され 直交しています。すなわち，各固有ベクトルは正規直 あの世では 共分散が０ →相関がない 「この世」「あの世」 すなわち S = PΛP , nalization) とよんでいます。 ぞれ 1) a2(1) x1 x2
- 103. 2013年度春学期 画像情報処理 A.Asano,KansaiUniv. P’で変換された「あの世」とは？ だから 行列 S の対角化 (diagonalization) とよんでいます。 成分 z(1), z(2) はそれぞれ z(1) = a1(1) a2(1) x1 x2 z(2) = a1(2) a2(2) x1 x2 (17) ２つをまとめると z(1) z(2) = a1(1) a2(1) a1(2) a2(2) x1 x2 (18) 行列は，(14) 式・(15) 式での行列 P の定義と比べると，P にあたることがわ 列 P はもとの画像の画素値 x1, x2 を新たな画像の画素値 z(1), z(2) に変換する による画像の変換を，画像の直交変換 (orthogonal transformation) とよんで 画像 x1, x2 での分散共分散行列が，「一度画像 z(1), z(2) に変換して（P ）」，「固 Λ をとり」，「もう一度画像 x1, x2 にもどる（(P )−1 = P）」という操作で得ら
- 104. 2013年度春学期 画像情報処理 A.Asano,KansaiUniv. P’で変換された「あの世」とは？ だから 行列 S の対角化 (diagonalization) とよんでいます。 成分 z(1), z(2) はそれぞれ z(1) = a1(1) a2(1) x1 x2 z(2) = a1(2) a2(2) x1 x2 (17) ２つをまとめると z(1) z(2) = a1(1) a2(1) a1(2) a2(2) x1 x2 (18) 行列は，(14) 式・(15) 式での行列 P の定義と比べると，P にあたることがわ 列 P はもとの画像の画素値 x1, x2 を新たな画像の画素値 z(1), z(2) に変換する による画像の変換を，画像の直交変換 (orthogonal transformation) とよんで 画像 x1, x2 での分散共分散行列が，「一度画像 z(1), z(2) に変換して（P ）」，「固 Λ をとり」，「もう一度画像 x1, x2 にもどる（(P )−1 = P）」という操作で得ら z(1) = a1(1) a2(1) x1 x2 z(2) = a1(2) a2(2) x1 x2 ２つをまとめると z(1) z(2) = a1(1) a2(1) a1(2) a2(2) x1 x2 行列は，(14) 式・(15) 式での行列 P の定義と比べると，P にあた 列 P はもとの画像の画素値 x1, x2 を新たな画像の画素値 z(1), z(2) 式による画像の変換を，画像の直交変換 (orthogonal transformation
- 105. 2013年度春学期 画像情報処理 A.Asano,KansaiUniv. P’で変換された「あの世」とは？ だから 行列 S の対角化 (diagonalization) とよんでいます。 成分 z(1), z(2) はそれぞれ z(1) = a1(1) a2(1) x1 x2 z(2) = a1(2) a2(2) x1 x2 (17) ２つをまとめると z(1) z(2) = a1(1) a2(1) a1(2) a2(2) x1 x2 (18) 行列は，(14) 式・(15) 式での行列 P の定義と比べると，P にあたることがわ 列 P はもとの画像の画素値 x1, x2 を新たな画像の画素値 z(1), z(2) に変換する による画像の変換を，画像の直交変換 (orthogonal transformation) とよんで 画像 x1, x2 での分散共分散行列が，「一度画像 z(1), z(2) に変換して（P ）」，「固 Λ をとり」，「もう一度画像 x1, x2 にもどる（(P )−1 = P）」という操作で得ら z(1) = a1(1) a2(1) x1 x2 z(2) = a1(2) a2(2) x1 x2 ２つをまとめると z(1) z(2) = a1(1) a2(1) a1(2) a2(2) x1 x2 行列は，(14) 式・(15) 式での行列 P の定義と比べると，P にあた 列 P はもとの画像の画素値 x1, x2 を新たな画像の画素値 z(1), z(2) 式による画像の変換を，画像の直交変換 (orthogonal transformation
- 106. 2013年度春学期 画像情報処理 A.Asano,KansaiUniv. P’で変換された「あの世」とは？ だから 行列 S の対角化 (diagonalization) とよんでいます。 成分 z(1), z(2) はそれぞれ z(1) = a1(1) a2(1) x1 x2 z(2) = a1(2) a2(2) x1 x2 (17) ２つをまとめると z(1) z(2) = a1(1) a2(1) a1(2) a2(2) x1 x2 (18) 行列は，(14) 式・(15) 式での行列 P の定義と比べると，P にあたることがわ 列 P はもとの画像の画素値 x1, x2 を新たな画像の画素値 z(1), z(2) に変換する による画像の変換を，画像の直交変換 (orthogonal transformation) とよんで 画像 x1, x2 での分散共分散行列が，「一度画像 z(1), z(2) に変換して（P ）」，「固 Λ をとり」，「もう一度画像 x1, x2 にもどる（(P )−1 = P）」という操作で得ら z(1) = a1(1) a2(1) x1 x2 z(2) = a1(2) a2(2) x1 x2 ２つをまとめると z(1) z(2) = a1(1) a2(1) a1(2) a2(2) x1 x2 行列は，(14) 式・(15) 式での行列 P の定義と比べると，P にあた 列 P はもとの画像の画素値 x1, x2 を新たな画像の画素値 z(1), z(2) 式による画像の変換を，画像の直交変換 (orthogonal transformation これが P’
- 107. 2013年度春学期 画像情報処理 A.Asano,KansaiUniv. P’で変換された「あの世」とは？ だから 行列 S の対角化 (diagonalization) とよんでいます。 成分 z(1), z(2) はそれぞれ z(1) = a1(1) a2(1) x1 x2 z(2) = a1(2) a2(2) x1 x2 (17) ２つをまとめると z(1) z(2) = a1(1) a2(1) a1(2) a2(2) x1 x2 (18) 行列は，(14) 式・(15) 式での行列 P の定義と比べると，P にあたることがわ 列 P はもとの画像の画素値 x1, x2 を新たな画像の画素値 z(1), z(2) に変換する による画像の変換を，画像の直交変換 (orthogonal transformation) とよんで 画像 x1, x2 での分散共分散行列が，「一度画像 z(1), z(2) に変換して（P ）」，「固 Λ をとり」，「もう一度画像 x1, x2 にもどる（(P )−1 = P）」という操作で得ら z(1) = a1(1) a2(1) x1 x2 z(2) = a1(2) a2(2) x1 x2 ２つをまとめると z(1) z(2) = a1(1) a2(1) a1(2) a2(2) x1 x2 行列は，(14) 式・(15) 式での行列 P の定義と比べると，P にあた 列 P はもとの画像の画素値 x1, x2 を新たな画像の画素値 z(1), z(2) 式による画像の変換を，画像の直交変換 (orthogonal transformation これが P’ 直交行列で変換 するから 直交変換という
- 108. 2013年度春学期 画像情報処理 A.Asano,KansaiUniv. P’で変換された「あの世」とは？ だから つまり， x から z に変換すると， z(1) とz(2) の共分散が０ →相関がない 行列 S の対角化 (diagonalization) とよんでいます。 成分 z(1), z(2) はそれぞれ z(1) = a1(1) a2(1) x1 x2 z(2) = a1(2) a2(2) x1 x2 (17) ２つをまとめると z(1) z(2) = a1(1) a2(1) a1(2) a2(2) x1 x2 (18) 行列は，(14) 式・(15) 式での行列 P の定義と比べると，P にあたることがわ 列 P はもとの画像の画素値 x1, x2 を新たな画像の画素値 z(1), z(2) に変換する による画像の変換を，画像の直交変換 (orthogonal transformation) とよんで 画像 x1, x2 での分散共分散行列が，「一度画像 z(1), z(2) に変換して（P ）」，「固 Λ をとり」，「もう一度画像 x1, x2 にもどる（(P )−1 = P）」という操作で得ら z(1) = a1(1) a2(1) x1 x2 z(2) = a1(2) a2(2) x1 x2 ２つをまとめると z(1) z(2) = a1(1) a2(1) a1(2) a2(2) x1 x2 行列は，(14) 式・(15) 式での行列 P の定義と比べると，P にあた 列 P はもとの画像の画素値 x1, x2 を新たな画像の画素値 z(1), z(2) 式による画像の変換を，画像の直交変換 (orthogonal transformation これが P’ 直交行列で変換 するから 直交変換という
- 109. 2013年度春学期 画像情報処理 A.Asano,KansaiUniv. 相関がないときは 共分散＝０ z1 z2 ++ + + + + +z2 z1 相関がない→ の正負がつりあう( z1i – z1)( z2i – z2)
- 110. 2013年度春学期 画像情報処理 A.Asano,KansaiUniv. たしかにz(1)とz(2)は無相関図 2 のような画像の分布を，図 2 のように画像が分布している場合でも か？ それは，図 3 のように軸を回転することによって可能になります。こ ++ + + + + + x1 x2 図 1: ２画素の画像の分布の例 (1) x2 + 図 2: ２画 浅野 晃／画像情報処理（2013 年度春学期） 第７回 (2013. 5. 22) http 画素１の値 画素２の値 x1, x2を回転して，新たに z(1) , z(2) とする z(1) の分散がもっとも大き くなるように回転する
- 112. 2013年度春学期 画像情報処理 A.Asano,KansaiUniv. たしかにz(1)とz(2)は無相関 x2 と い う こ と を 意 味 し て い ま と は で き ま せ ん 。 し も 画 像 の 分 布 が 図 2の よ う で あ な っ て い る の に 対 し て ， 画 素 x2 は ど の 画 の 各 画 像 の 違 い を 表 現 す る の に は 画 素 x1 だ け の 値 （ 例 え ば 各 画 像 の 画 素 x2 の 平 均 ） で 置 き 換 え て ま す 。 つ ま り ， こ れ ら の 画 像 は x1 だ け で 概 ね 表 現 で き る わ ま す 。 図 2 の よ う な 画 像 の 分 布 を ， 図 2 の よ う に 画 像 が 分 布 し て い る 場 合 か ？ そ れ は ， 図 3の よ う に 軸 を 回 転 す る こ と に よ っ て 可 能 に な り ま + + + + + + + x1 x2 図 1: ２ 画 素 の 画 像 の 分 布 の 処 理 （ 20 画 素 １ の 値 画 素 ２ の 値 z(2) z(1) x1, x2を回転して，新たに z(1) , z(2) とする z(1) の分散がもっとも大き くなるように回転する たしかに z(1) , z(2) は無相関