社内勉強会で使用した資料です。

1. Python機械学習プログラミング
読み会
第5章
次元削減でデータを圧縮する
1
[第2版]
基盤 江口春紀

2. 目次
● 主成分分析による教師なし次元削減
● 線形判別分析による教師ありデータ圧縮
● カーネル主成分分析を使った非線形写像
2

3. 3
主成分分析による教師なし次元削減

4. 主成分分析による教師なし次元削減
● 主成分分析(Principle Component Analysis)
● 様々な場所で使用されている線形変換法
● 手順
1. データを標準化する
2. 分散共分散行列を作成する
3. 分散共分散行列の固有値と固有ベクトルを取得する
4. 固有値を降順でソートし、固有ベクトルをランク付けする
4

5. 主成分分析による教師なし次元削減
● 固有ベクトルのランク付け
● データセットを新しい特徴部分空間
に圧縮することが目的
● データに含まれる大半の情報 (分散)
を含んだ固有ベクトルを使う
→分散説明率を算出
5

6. 主成分分析による教師なし次元削減
● 特徴変換
● 新しい主成分軸に変換
● 手順
1. 最も大きいk個の固有値に対応する固有ベクトル
を選択する
2. k個の固有ベクトルから射影行列 Wを作成する
3. 射影行列Wを使ってd次元(元の次元数)の特徴量から、
k次元の特徴部分空間を取得する
6

7. 主成分分析による教師なし次元削減
● データの可視化とロジスティック回帰を使った分類
● Wineデータセットを使用(PCAで得られた2次元の特徴量を使用 )
7
トレーニングデータセット

8. 主成分分析による教師なし次元削減
● データの可視化とロジスティック回帰を使った分類
● Wineデータセットを使用(PCAで得られた2次元の特徴量を使用 )
8
トレーニングデータセットテストデータセット

9. 9
線形判別分析による教師ありデータ圧縮

10. 線形判別分析による教師ありデータ圧縮
● 線形判別分析(Linear Discriminant Analysis)
● 特徴抽出手法の一つである
● クラスの分離を最適化する特徴部分空間を見つけ出そうとする
(PCA: データセットにおいて分散が最も大きい直交成分軸を見つけ出そうとする )
● クラスのラベル情報を使用する
10

11. 線形判別分析の内部の仕組み
● 手順
1. d次元のデータセットを標準化する
2. クラスごとのd次元平均ベクトルを求める
3. 平均ベクトルを使って、 クラス間変動行列SBとクラス内変動行列Swを作る
4. 行列 の固有ベクトルと対応する固有値を計算する
5. 固有値をソートして対応する 固有ベクトルをランク付け する
6. d×k次元の変換行列Wを作るために最も大きい k個の固有値に対応する
固有ベクトルをk個選択する
7. 変換行列Wを使ってデータセットを新しい特徴部分空間へ射影する
11
PCAと同じ手順

12. 線形判別分析の内部の仕組み
● 変動行列を計算する
● 平均ベクトルm
12
1つめのクラスに属する 13個の特徴量の平均

13. 線形判別分析の内部の仕組み
● 変動行列を計算する
● クラス内変動行列SW
● クラス間変動行列SB
13
個々のクラスiについて変動行列Siを
合計することによって計算される
クラスのサンプルを対象とした
全体平均を使って計算される

14. 線形判別分析の内部の仕組み
● 新しい特徴部分空間の線形判別を選択する
● の一般化固有値問題を解く
14

15. 線形判別分析の内部の仕組み
● 新しい特徴空間にサンプルを射影する
● scikit-learnによる実装結果
15
トレーニングデータ テストデータ

16. 16
カーネル主成分分析を使った非線形写像

17. カーネル主成分分析を使った非線形写像
● カーネル主成分分析
● 線形分離不可能な場合は、 PCA や LDA は次元削減手法として適切ではない可能性がある。
● カーネル化されたPCA(KPCA)を取り上げる。線形に分離できないデータを変換し、
線形分類器に適した新しい低次元の部分空間へ射影する。
17

18. カーネル主成分分析を使った非線形写像
● 手順
1. カーネル行列Kを計算する
2. カーネル行列Kの中心化を行う
3. 中心化されたカーネル行列 Kについて固有対を求め、
固有値が大きい順にランク付けをする
18

19. カーネル主成分分析を使った非線形写像
● カーネル行列Kを計算する
● ガウスカーネルを使用する
● この計算を全てのデータセットの組で行う
19
γはグリッドサーチなどを使って決定する

20. カーネル主成分分析を使った非線形写像
● カーネル行列Kを中心化する
● カーネル行列の中心化
● 固有対を計算して、固有値でソートされた上位k個の固有ベクトルを収集
20
1nは全ての値が1/nのn次元正方行列
(今回であれば )

21. カーネル主成分分析の実装
● 半月形の分離
● 100個のサンプル点からなる 2次元のデータセットを使用
21

22. カーネル主成分分析の実装
● PCAを使った半月形の分離
22

23. カーネル主成分分析の実装
● カーネルPCAを使った半月形の分離
23

24. カーネル主成分分析の実装
● 同心円の分離
● 1000個のサンプル点からなる 2次元のデータセットを使用
24

25. カーネル主成分分析の実装
● PCAを使った同心円の分離
25

26. カーネル主成分分析の実装
● カーネルPCAを使った同心円の分離
26

27. 新しいデータ点を射影する
● 実際のデータであれば、トレーニングデータとテストデータのように
データセットが2つ以上存在する可能性がある。
また、新しいデータが追加されることもある。
● 全てのサンプルの組み合わせを使ってカーネル行列を作っているので
データの追加をする場合は、類似度(今回ならRBFカーネル)を
計算する必要がある
27

28. まとめ
● 主成分分析(PCA)
● データを低次元の部分空間に射影し、直交する特徴軸に沿って分散を最大化する
● 線形判別分析(LDA)
● クラスラベルを使用して次元削減し、クラスの分離を最大化する
● カーネル主成分分析(KPCA)
● カーネルトリックとPCAを組み合わせることで、
PCAやLDAで線形分離できないデータについても線形分離可能にする
28