MIRU2011で用いた発表資料を公開致します．

1. 拡張ペアワイズ表現を用いた
一般化多変量解析
木村昭悟(1), 杉山将(2),亀岡弘和(1,3), 坂野鋭(1)
(1) 日本電信電話(株) コミュニケーション科学基礎研究所
(2) 東京工業大学 大学院情報理工学研究科
(3) 東京大学 大学院情報理工学系研究科

2. あらまし
 数多くの多変量解析を俯瞰する
シンプル かつ コンパクトな表現を示します
 【標準的手法】 PCA，判別分析，線形回帰，CCA etc.
 【局所性導入】 多次元尺度法，局所性保存射影 etc.
 【正則化】 L2ノルム正則化，graph Laplacian etc.
 【カーネル】 カーネルPCA，カーネルFDA etc.
 【半教師化】 SELF，SemiCCA etc.
2 NTT Communication Science Laboratories

3. もくじ
1. 拡張ペアワイズ表現とは？
2. 拡張ペアワイズ表現が持つ意味
 既存手法との対応関係を見ながら説明します
3. まとめ
3 NTT Communication Science Laboratories

4. もくじ
1. 拡張ペアワイズ表現とは？
2. 拡張ペアワイズ表現が持つ意味
 既存手法との対応関係を見ながら説明します
3. まとめ
4 NTT Communication Science Laboratories

5. 多変量解析の定式化
 一般化レイリー商で表現される多変量解析
強調したい
抑制したい
 一般化固有値問題で表現される多変量解析
ラグランジュ
未定乗数法
【注】 詳細な導出は「 slideshare _akisato kernel PCA 」 で検索！
5 NTT Communication Science Laboratories

6. これから述べたいこと
 行列 を 拡張ペアワイズ表現 で書くと，
多変量解析を俯瞰できる枠組が作れます．
拡張ペアワイズ表現 データ依存項 データ独立項
6 NTT Communication Science Laboratories

7. 拡張ペアワイズ表現 ３つの「うまみ」
PCA,FDA,MLR,CCA 等を統一した形式で記述できる
様々な2次統計量を重ね合わせて用いることができる
→ 半教師付き解析への拡張
正則化を導入することができる
7 NTT Communication Science Laboratories

8. 共分散行列とその拡張
 相互共分散行列 （平均＝0 を仮定）
 共分散行列は相互共分散行列の特殊例
 サンプル間類似性を考慮した2次統計量
 : 相互共分散行列と一致
8 NTT Communication Science Laboratories

9. ペアワイズ表現 (PE)
 サンプル間類似性を考慮した2次統計量
和の中の積を展開
 2次統計量のペアワイズ表現 [Sugiyama+ 2010]
【注】 詳細な導出は 「Masashi Sugiyama SELF」 で検索！
9 NTT Communication Science Laboratories

10. 拡張ペアワイズ表現 (EPE)
 ペアワイズ表現の自然な拡張
Qに独立な項を導入
 形式上は類似度行列を意識する必要はない
データ依存項 データ独立項
 上記の表現を，
2次統計量の拡張ペアワイズ表現 と呼ぶ．
10 NTT Communication Science Laboratories

11. もくじ
1. 拡張ペアワイズ表現とは？
2. 拡張ペアワイズ表現が持つ意味
 既存手法との対応関係を見ながら説明します
3. まとめ
11 NTT Communication Science Laboratories

12. 標準的手法の拡張ペアワイズ表現
 主成分分析 (PCA)
データ依存項の典型例
データ独立項の典型例
 線形回帰分析 (MLR)
 正準相関分析 (CCA)
12 Presented by Akisato Kimura in MIRU2011

13. データ依存項が持つ意味
 サンプル間類似性をどう評価するか? を決定
 類似度行列を明示的に設定する必要はない
 既存手法では，類似度行列を明示的に設定
 例： 局所性保存射影 (LPP) [He,Niyogi 2004]
類似度： 近くはより近くに，遠くはより遠くに
13 NTT Communication Science Laboratories

14. データ独立項が持つ意味
 正則化を取り込むことが主要な目的
 例： リッジ回帰 （MLR with L2ノルム正則化）
MLRと異なるのは
ここだけ！
14 NTT Communication Science Laboratories

15. まとめ
 2次統計量を拡張ペアワイズ表現を用いて
表現することで，多変量解析を俯瞰できます．
拡張ペアワイズ表現 データ依存項 データ独立項
15 NTT Communication Science Laboratories