1) Canonical correlation analysis (CCA) is a statistical method that analyzes the correlation relationship between two sets of multidimensional variables. 2) CCA finds linear transformations of the two sets of variables so that their correlation is maximized. This can be formulated as a generalized eigenvalue problem. 3) The number of dimensions of the transformed variables is determined using Bartlett's test, which tests the eigenvalues against a chi-squared distribution.

1. 正準相関分析
@_akisato

2. 今回の流れ
• 概念的な話 （30%）
– 何をする方法か？
– 他の多変量解析との関係は？
– 生成モデルと関係があるの？
– 何に使えるか？
• 解析的な話 （70%）
– 何を解けば良いか？： 標準正規化データの場合
– 定式化： まじめにやります
– 次元数の決定方法
– 他の多変量解析との関係 再考
Topic Lecture 2009.6.8 Presented by Akisato Kimura Page 2

3. 何をする方法なのか？
２組の多次元変量の間の相関関係を調べる、統計解析手法の１つ
[出展] 涌井、涌井 “図解でわかる多変量解析”、日本実業出版社
Topic Lecture 2009.6.8 Presented by Akisato Kimura Page 3

4. 他の多変量解析との関係性は？
多次元変量を 正準相関分析 多次元変量の
２組に拡張 制約を排除
主成分分析 判別分析
目的変量yを
多次元変量に拡張
重回帰分析
Topic Lecture 2009.6.8 Presented by Akisato Kimura Page 4

5. 生成モデルとの関係は？
• 正準相関分析の過程は、
Gaussianを仮定したpLSAと（ほぼ）一致
– 正しく言えば、正準相関変量同士の相関を
１とする極限がGaussian pLSAと等価
Probabilistic latent
Canonical correlation
semantic analysis
analysis (CCA)
(pLSA)
第１変量群 潜在変数 第２変量群 第１変量群 正準相関変量 第２変量群
Topic Lecture 2009.6.8 Presented by Akisato Kimura Page 5

6. 簡単な例
• 以下のような例を考える。
– このとき、XとYの共分散行列を計算すると、
相関なし？
– 正準相関分析により変換を求めて、
変換先の共分散行列を求めると、
正しい相関を獲得
– 実はこういう構造になっていた。
Topic Lecture 2009.6.8 Presented by Akisato Kimura Page 6

7. 何に使えるのか？
• 他の多変量解析ほどは、使われていない。
• メディア処理関係
– 画像検索 [栗田ら 1992] [中山ら 2007]
– インターモーダル学習
[赤穂ら 1997] [Hardoon et al. 2003] [石黒ら 2004]
– 話者適応 [桜木、有木 1997]
• その他
– 実験データの解析
[Borga et al. 2002] (fMRI) [末谷ら 2008] （カオス同期）
– 経済指標の解析 [岡本 1985]
Topic Lecture 2009.6.8 Presented by Akisato Kimura Page 7

8. 定式化： 準備
• 2組の多次元変量群が与えられているとする。
• 平均・共分散行列
Topic Lecture 2009.6.8 Presented by Akisato Kimura Page 8

9. 先に答え： 標準正規化されたデータの場合
• 各変量群が標準正規化されている
特別な場合を考える。
• このときは、以下の固有値問題を解けば良い。
※ XとYが逆でもOK。
• 当然出る疑問
– この意味は何だろう？
– 一般の場合はどうなるのか？
Topic Lecture 2009.6.8 Presented by Akisato Kimura Page 9

10. 定式化： 準備
• 2組の多次元変量群が与えられているとする。
※ 簡単のため平均０を仮定します。
• 変換先の変量同士の相関が最大となるような
変換 を求めたい。
内積
Topic Lecture 2009.6.8 Presented by Akisato Kimura Page 10

11. 定式化： 目的関数の変形
• 目的関数を多次元変量の共分散行列で表現
Empirical
expectationで置換
共分散行列の
定義
– 注意：変換 を定数倍しても目的関数の値は不変
Topic Lecture 2009.6.8 Presented by Akisato Kimura Page 11

12. 定式化： 問題の変換
• 各変換を以下のようにして正規化
– 正規化の意味： 変換先の変量を標準正規化する
• Lagrange未定定数法を用いて、問題を書き直す。
• 各変換で微分すると・・・
Topic Lecture 2009.6.8 Presented by Akisato Kimura Page 12

13. 定式化： 最終形態
• 共分散行列が正則であるとすると、
下記の一般化固有値問題に変形可能
4
• 共分散行列のCholesky分解を用いることで、
通常の固有値問題に変形可能
2
1
3
Topic Lecture 2009.6.8 Presented by Akisato Kimura Page 13

14. 再考： 標準正規化されたデータの場合
• 各変量群が標準正規化されている
特別な場合を考える。
• 先程の結果から、以下の固有値問題を得る。
– Cholesky分解不要
Topic Lecture 2009.6.8 Presented by Akisato Kimura Page 14

15. 変換変量の次元数の決定
• Bartlett検定 [1] により決定
– 固有値問題を解くことで 個の固有値を得る。
– 第d番目の固有値を採用するかどうかを判定する際、
以下の量を考える。
– この量が、漸近的に自由度 の
分布に従うことが知られている（らしい）。
– 任意に有意水準を決定し、仮説検定。
[1] M.S.Bartlett “The General Canonical Correlation Distribution,” Ann. Math. Statist., Vol.18, No.1, pp.1-17, 1947.
http://projecteuclid.org/DPubS?service=UI&version=1.0&verb=Display&handle=euclid.aoms/1177730488
Topic Lecture 2009.6.8 Presented by Akisato Kimura Page 15

16. 多変量解析同士の関係： 準備
• 多くの多変量解析手法は、
以下の最適化問題を解く構造になっている。
• 変換 に正規化拘束条件を課すと、
実は以下の一般化固有値問題と等価。
– 導出は先ほどとほぼ同じなので、省略。
• 多変量解析の違いは、行列 の違いだけ。
Topic Lecture 2009.6.8 Presented by Akisato Kimura Page 16

17. 多変量解析同士の関係
• 主成分分析
（主成分の正規化）
• 判別分析
（判別射影軸の正規化）
• 重回帰分析
Topic Lecture 2009.6.8 Presented by Akisato Kimura Page 17

18. 多変量解析同士の関係
• 重回帰分析
• 正準相関分析
Topic Lecture 2009.6.8 Presented by Akisato Kimura Page 18

19. おわりに
• 参考文献
– 涌井、涌井 “図解でわかる多変量解析”、日本実業出版社
– Bach, Jordan “A probabilistic interpretation of canonical
correlation analysis,” Technical Report, Univ. California,
Berkeley, 2005
– Borga “Canonical correlation analysis: A tutorial,” 2001.
– Sugiyama, Ide, Nakajima, Sese “Semi-supervised local Fisher
discriminant analysis for dimensionality reduction,” Lecture Notes
in Computer Science, Proc. PAKDD2008.
– Wikipedia: Canonical correlation analysis
Topic Lecture 2009.6.8 Presented by Akisato Kimura Page 19