主成分分析の基礎

1. データ解析 第7回
2018年5月31日 八谷 大岳
1

2. 講義内容
5
数学の復習
機械学習の基礎

3. 内容：
6
 主成分分析の基礎
 主成分分析とは
 主成分分析の定式化
 分散最大化問題への変形
 主成分分析の計算
 ラグランジュ未定乗数法を用いた主成分軸の導出
 主成分軸の計算手順

4. 主成分分析
7
 主成分分析：代表的かつ基本的な次元削減手法
 英語では、Principal Component Analysis (PCA)
 次元削減：データの次元を、人間が目視可能な2次元または
3次元に削減すること
 3次元から2次元に削減する例：データを表す2次元平面を探す
𝑧𝑧1
𝑧𝑧2
3次元空間上に分布するデータ
がある平面の上に乗っている
平面の2次元空間上でデータ
を表現可能
𝑥𝑥1
𝑥𝑥3靴のサイズ

5. 主成分分析による次元削減の例
8
 アイリスのデータの可視化
 3種類のアイリス
 がくと花びらの大きさに関する４次元のデータ
 ３種類のアイリスがどのように分布
しているのか確認したい
 しかし、４次元のデータを見ることはできない
 X1 Sepal length（がく長）
 X2 Sepal width（がく幅）
 X3 Petal length（花びら長）
 X4 Petal width（花びら幅）
Setosa versicolor virginica

6. 内容：
9
 主成分分析の基礎
 主成分分析とは
 主成分分析の定式化
 分散最大化問題への変形
 主成分分析の計算
 主成分軸の導出
 主成分軸の計算手順

7. 主成分分析の定式化の準備
10
 定式化のために、データが2次元の場合を考える
 データの中心化：各データ点から平均を引き「平均＝原点」にする
 主成分分析：データ 𝒙𝒙𝒊𝒊
𝒊𝒊=𝟏𝟏
𝑵𝑵
を最も表す主成分軸を求める
𝑥𝑥2
𝑜𝑜
i番目に観測された学習データ点
𝒙𝒙𝒊𝒊 = 𝑥𝑥1
𝑖𝑖
, 𝑥𝑥2
𝑖𝑖
𝑥𝑥1
𝑜𝑜 𝑥𝑥1
𝑥𝑥2
中心化
𝒙𝒙𝒊𝒊 = 𝒙𝒙𝒊𝒊- �𝒙𝒙データの中心(平均)

8. 主成分分析の定式化
11
 データの中心（平均、原点）を通る主成分軸𝑍𝑍を考える
 データ点𝒙𝒙𝒊𝒊の主成分軸𝑍𝑍への正射影した軸𝑍𝑍上の点𝑧𝑧𝑖𝑖をモデル化
 目的：誤差𝜀𝜀𝑖𝑖の二乗和を最小化する主成分軸𝑍𝑍を求める
𝒘𝒘∗ = min
𝒘𝒘
�
𝑖𝑖=1
𝑁𝑁
𝜀𝜀𝑖𝑖2
𝑧𝑧𝑖𝑖
= 𝒘𝒘𝚻𝚻
𝒙𝒙𝒊𝒊
= 𝑤𝑤1 𝑥𝑥1
𝑖𝑖
+ 𝑤𝑤2 𝑥𝑥2
𝑖𝑖
𝒘𝒘 = 𝑤𝑤1, 𝑤𝑤2
Τ
：主成分軸𝑍𝑍の正規直交基底ベクトル
主成分軸𝑍𝑍
𝑥𝑥1
𝑥𝑥2
𝑜𝑜
𝒙𝒙𝒊𝒊 = 𝑥𝑥1
𝑖𝑖
, 𝑥𝑥2
𝑖𝑖
誤差𝜀𝜀𝑖𝑖
𝑧𝑧𝑖𝑖
𝒘𝒘𝒘𝒘と𝒙𝒙𝒊𝒊の内積

9. 回帰と主成分の定式化の違い
12
 回帰：目的変数𝑦𝑦を予測することが目的
 変数を説明変数𝑥𝑥と目的変数𝑦𝑦で区別
 誤差は、y軸成分の距離
 主成分分析：データ𝑥𝑥を表す直線を求めることが目的
 変数を説明変数𝑥𝑥と目的変数𝑦𝑦に区別しない
 誤差は、直線に垂直方向の距離
誤差：𝑦𝑦軸成分の距離
𝑥𝑥
𝑦𝑦
𝑜𝑜
【回帰分析】
距離：直線に垂直な方向の距離
𝑜𝑜
【主成分分析】
𝑥𝑥1
𝑥𝑥2

10. 内積の便利な使い方：座標変換
13
 座標変換：任意のベクトルを、異なる座標系で表現
 新しい座標系の正規直交基底ベクトルを用いて、直交展開
 新しい座標系でのベクトル：
𝑎𝑎1
𝒂𝒂
𝒊𝒊
𝒋𝒋
𝒂𝒂
𝒊𝒊𝒊𝒋𝒋𝒋
𝒂𝒂 = 𝒂𝒂 � 𝒊𝒊 𝒊𝒊+ 𝒂𝒂 � 𝒋𝒋 𝒋𝒋 = 𝒂𝒂 � 𝒊𝒊𝒊 𝒊𝒊𝒊+ 𝒂𝒂 � 𝒋𝒋𝒋 𝒋𝒋𝒋
𝑎𝑎2
𝑎𝑎𝑎1
𝑎𝑎𝑎2
𝑎𝑎1 𝑎𝑎2
元の座標系への正射影
𝑎𝑎𝑎1 𝑎𝑎𝑎2
新しい座標系への正射影
𝒂𝒂 � 𝒊𝒊′
, 𝒂𝒂 � 𝒋𝒋𝒋 𝚻𝚻
第１回目の資料から抜粋

11. 演習1
14
 主成分軸𝑍𝑍と軸𝑥𝑥1のなす角を𝜃𝜃として、主成分軸上の点𝑧𝑧𝑖𝑖
を、𝜃𝜃を用いて表しなさい。
 ヒント：
 正規直交基底ベクトル𝒘𝒘を求めて、𝒙𝒙𝒊𝒊を正射影
 回転行列：
𝑐𝑐𝑜𝑜𝑜𝑜𝜃𝜃 −𝑠𝑠𝑠𝑠𝑠𝑠𝜃𝜃
𝑠𝑠𝑠𝑠𝑠𝑠𝜃𝜃 𝑐𝑐𝑜𝑜𝑜𝑜𝜃𝜃
 軸𝑥𝑥1の正規直交基底ベクトル： 𝒊𝒊 =
1
0
 タイトル「演習レポート」、日付、学生番号、氏名を用紙の一番上
に記載
𝑥𝑥1
𝑥𝑥2
主成分の
候補𝑍𝑍
𝑜𝑜
𝜃𝜃
𝒊𝒊
𝒘𝒘 𝑧𝑧𝑖𝑖
𝒙𝒙𝒊𝒊
𝑧𝑧𝑖𝑖 = 𝒘𝒘𝚻𝚻 𝒙𝒙𝒊𝒊 = 𝑤𝑤1 𝑥𝑥1
𝑖𝑖
+ 𝑤𝑤2 𝑥𝑥2
𝑖𝑖

12. 制約付きの二乗誤差和の最小化
16
 パラメータ𝒘𝒘1のL2ノルム：
 主成分析の制約付きの最適化問題：
 ラグランジュ未定乗数法を使って解く
𝒘𝒘 𝟐𝟐 = 𝒘𝒘Τ 𝒘𝒘 = 𝑤𝑤1
2
+ 𝑤𝑤2
2
= 𝑐𝑐𝑜𝑜𝑜𝑜𝜃𝜃2 + 𝑠𝑠𝑠𝑠𝑠𝑠𝜃𝜃2 = 1
𝑧𝑧𝑖𝑖 = 𝑤𝑤1 𝑥𝑥1
𝑖𝑖
+ 𝑤𝑤2 𝑥𝑥2
𝑖𝑖
= 𝑐𝑐𝑜𝑜𝑜𝑜𝜃𝜃𝑥𝑥1
𝑖𝑖
+𝑠𝑠𝑠𝑠𝑠𝑠𝜃𝜃𝑥𝑥2
𝑖𝑖
min
𝒘𝒘
�
𝑖𝑖=1
𝑁𝑁
𝜀𝜀𝑖𝑖2
s.t. 𝒘𝒘Τ
𝒘𝒘 = 1
主成分軸𝑍𝑍
𝑥𝑥1
𝑥𝑥2
𝑜𝑜
𝒙𝒙𝒊𝒊
= 𝑥𝑥1
𝑖𝑖
, 𝑥𝑥2
𝑖𝑖
誤差𝜀𝜀𝑖𝑖
𝑧𝑧𝑖𝑖
𝒘𝒘

13. 内容：
17
 主成分分析の基礎
 主成分分析とは
 主成分分析の定式化
 分散最大化問題への変形
 主成分分析の計算
 主成分軸の導出
 主成分軸の計算手順

14. 二乗誤差と原点（平均）との関係
18
 原点（平均）、データ点𝒙𝒙𝑖𝑖およびのZ軸上のデータ点𝑧𝑧𝑖𝑖
から成る三角形を考える
 ピタゴラスの定理を用いて、二乗誤差𝜀𝜀𝑖𝑖2
を𝑧𝑧𝑖𝑖2
と𝑐𝑐𝑖𝑖2
で表現
原点（平均）
主成分軸𝑍𝑍𝒙𝒙𝒊𝒊
𝑧𝑧𝑖𝑖
𝑐𝑐𝑖𝑖
𝑧𝑧𝑖𝑖
𝜀𝜀𝑖𝑖
𝑐𝑐𝑖𝑖2
= 𝜀𝜀𝑖𝑖2
+𝑧𝑧𝑖𝑖2

15. 演習2
19
 ピタゴラスの定理に基づき、二乗誤差和の最小化問題を、 底辺の長さ𝑧𝑧𝑖𝑖
に関する最適化問題に変形しなさい。
 タイトル「演習レポート」、日付、学生番号、氏名を用紙の 一番上に記載
argmin
𝒘𝒘
�
𝑖𝑖=1
𝑁𝑁
𝜀𝜀𝑖𝑖2
？
原点（平均）
主成分軸𝑍𝑍𝒙𝒙𝒊𝒊
𝑧𝑧𝑖𝑖
𝑐𝑐𝑖𝑖2
= 𝜀𝜀𝑖𝑖2
+𝑧𝑧𝑖𝑖2
ピタゴラスの定理
ヒント： 𝜀𝜀𝑖𝑖が小さくなるとき、 𝑧𝑧𝑖𝑖どうなる？

16. = argm𝑎𝑎𝑎𝑎
𝒘𝒘
1
𝑁𝑁
�
𝑖𝑖=1
𝑁𝑁
𝑧𝑧𝑖𝑖2
制約付き分散最大化問題
21
 主成分分析：制約付きの分散最大化問題
argmin
𝒘𝒘
�
𝑖𝑖=1
𝑁𝑁
𝜀𝜀𝑖𝑖2
= 𝑎𝑎𝑎𝑎𝑎𝑎m𝑎𝑎𝑎𝑎
𝒘𝒘
�
𝑖𝑖=1
𝑁𝑁
𝑧𝑧𝑖𝑖2
平均0と軸𝑍𝑍上の点𝑧𝑧𝑖𝑖との偏差の二乗
軸𝑍𝑍上の点𝑧𝑧𝑖𝑖
の分散
m𝑎𝑎𝑎𝑎
𝒘𝒘
1
𝑁𝑁
�
𝑖𝑖=1
𝑁𝑁
𝑧𝑧𝑖𝑖2
s.t. 𝒘𝒘Τ 𝒘𝒘 = 1
原点（平均）
主成分軸𝑍𝑍𝒙𝒙𝒊𝒊
𝑧𝑧𝑖𝑖
𝑧𝑧2
𝑧𝑧1

17. 内容：
22
 主成分分析の基礎
 主成分分析とは
 主成分分析の定式化
 分散最大化問題への変形
 主成分分析の計算
 主成分軸の導出
 主成分軸の計算手順

18. 分散最大化問題の行列表現
23
 主成分軸𝑧𝑧上の点𝑧𝑧𝑖𝑖を要素に持つ𝑁𝑁次元のベクトル𝒛𝒛を導入
m𝑎𝑎𝑎𝑎
𝒘𝒘
1
𝑁𝑁
�
𝑖𝑖=1
𝑁𝑁
𝑧𝑧𝑖𝑖2
s.t. 𝒘𝒘Τ
𝒘𝒘 = 1
=
𝑥𝑥1
1
𝑥𝑥1
2
⋮
𝑥𝑥1
𝑁𝑁
𝑥𝑥2
1
𝑥𝑥2
2
⋮
𝑥𝑥2
𝑁𝑁
𝑤𝑤1
𝑤𝑤2
= X𝒘𝒘
X
𝒘𝒘
m𝑎𝑎𝑎𝑎
𝒘𝒘
1
𝑁𝑁
𝒛𝒛Τ 𝒛𝒛
s.t. 𝒘𝒘Τ
𝒘𝒘 = 1
max
𝒘𝒘
1
𝑁𝑁
X𝒘𝒘 Τ X𝒘𝒘
s.t. 𝒘𝒘Τ 𝒘𝒘 = 1
max
𝒘𝒘
1
𝑁𝑁
𝒘𝒘ΤXΤX𝒘𝒘
s.t. 𝒘𝒘Τ
𝒘𝒘 = 1
1
𝑁𝑁
XΤ
Xは平均0の時の
分散・共分散行列
max
𝒘𝒘
𝒘𝒘Τ 𝑆𝑆𝒘𝒘
s.t. 𝒘𝒘Τ 𝒘𝒘 = 1
𝑆𝑆 =
1
𝑁𝑁
XΤ
X
𝒛𝒛 =
𝑧𝑧1
𝑧𝑧2
⋮
𝑧𝑧 𝑁𝑁
𝑧𝑧1
= 𝑤𝑤1 𝑥𝑥1
1
+𝑤𝑤2 𝑥𝑥2
1
𝑧𝑧2
= 𝑤𝑤1 𝑥𝑥1
2
+𝑤𝑤2 𝑥𝑥2
2
⋮
X𝒘𝒘 Τ
= 𝒘𝒘Τ
XΤ

19. 分散・共分散の行列表現
24
 𝒙𝒙 = 𝑥𝑥1
, 𝑥𝑥2
, … , 𝑥𝑥 𝑁𝑁 𝚻𝚻
と、𝒚𝒚 = 𝑦𝑦1
, 𝑦𝑦2
, … , 𝑦𝑦 𝑁𝑁 𝚻𝚻
の分散・共分散
 分散共分散行列： 2変数の場合2x2の行列
 対角成分：それぞれの変数の分散
 非対角成分：共分散
𝑺𝑺 =
1
𝑁𝑁
𝑩𝑩𝚻𝚻 𝑩𝑩
=
1
𝑁𝑁
𝒙𝒙 − ̅𝑥𝑥
𝒚𝒚 − �𝑦𝑦
𝒙𝒙 − ̅𝑥𝑥 𝒚𝒚 − �𝑦𝑦
=
1
𝑁𝑁
(𝒙𝒙 − ̅𝑥𝑥)𝚻𝚻(𝒙𝒙 − ̅𝑥𝑥) (𝒙𝒙 − ̅𝑥𝑥)𝚻𝚻(𝒚𝒚 − �𝑦𝑦)
(𝒚𝒚 − �𝑦𝑦)𝚻𝚻
(𝒙𝒙 − ̅𝑥𝑥) (𝒚𝒚 − �𝑦𝑦)𝚻𝚻
(𝒚𝒚 − �𝑦𝑦)
𝑩𝑩 = 𝒙𝒙 − ̅𝑥𝑥 𝒚𝒚 − �𝑦𝑦 =
𝑥𝑥1
− ̅𝑥𝑥
𝑥𝑥2 − ̅𝑥𝑥
⋮
𝑥𝑥 𝑁𝑁 − ̅𝑥𝑥
𝑦𝑦1 − �𝑦𝑦
𝑦𝑦2 − �𝑦𝑦
⋮
𝑦𝑦 𝑁𝑁 − �𝑦𝑦
𝒙𝒙の分散S𝒙𝒙𝒙𝒙
𝒚𝒚の分散S𝒚𝒚𝒚𝒚
𝒙𝒙と𝒚𝒚の共分散S𝒙𝒙𝒙𝒙
N（データ数）×2（変数の数）の行列
第4回目の資料から抜粋

20. 演習3
25
1. 制約付き分散最大化問題のラグランジュ関数を書きなさい。
2. ラグランジュ関数を偏微分して0と置き最適解の式を求めなさい。
 タイトル「演習レポート」、日付、学生番号、氏名を用紙の 一番上
に記載
max
𝒘𝒘
𝒘𝒘Τ 𝑆𝑆𝒘𝒘
s.t. 𝒘𝒘Τ
𝒘𝒘 = 1

21. 内容：
27
 主成分分析の基礎
 主成分分析とは
 主成分分析の定式化
 分散最大化問題への変形
 主成分分析の計算
 主成分軸の導出
 主成分軸の計算手順

22. 主成分軸の計算の手順
28
1. 点数データの平均�𝒙𝒙を計算
2. データの中心化：
3. 分散共分散行列𝑆𝑆を計算
4. 固有値問題を解く
5. 固有値の降順でソート（ 𝜆𝜆1 ≥ 𝜆𝜆2 ）
6. 第1・第2主成分軸を平均�𝒙𝒙分平行移動して描画
A B C D E F G H I J
数学𝑥𝑥1 2 1 2 3 5 4 8 6 7 4
英語𝑥𝑥2 3 4 2 2 4 4 5 3 6 5
𝒙𝒙𝒊𝒊 = 𝒙𝒙𝒊𝒊- �𝒙𝒙
第1主成分軸𝑍𝑍1の正規直交基底：𝒘𝒘1
数学と英語の点数データの例
𝑆𝑆𝒘𝒘 = 𝜆𝜆𝒘𝒘 𝒘𝒘Τ 𝒘𝒘 = 1
固有値𝜆𝜆1, 𝜆𝜆2と固有ベクトル𝒘𝒘1, 𝒘𝒘2
第2主成分軸𝑍𝑍2の正規直交基底：𝒘𝒘𝟐𝟐
英
語
A
B
C D
E
F
H
GJ
I
0 2 4 6 8 10
10
8
6
4
2
数学 𝑥𝑥1
第2主成分軸𝑍𝑍2
𝒘𝒘2
第1主成分𝑍𝑍1
𝒘𝒘1
平均

23. 課題
29
 英語と数学の点数データに対する主成分分析
1. データの中心化をしなさい。
2. 中心化した点数データの分散共分散行列𝑆𝑆を求めなさい。
3. 行列𝑆𝑆の固有値問題を解き、固有値と固有ベクトルを
求めなさい。
4. 第1・第2主成分軸の式を求めなさい。
5. 点数データと、第1・第2主成分軸をグラフに描きなさい。
A B C D E
数学𝑥𝑥1 50 70 65 60 75
英語𝑥𝑥2 85 75 80 70 90
数学と英語の点数データの例

24. レポートの提出方法
30
 演習レポート：
 タイトル「演習レポート」、日付・学生番号・氏名を用紙の一番上に記載
 課題レポート ：
 タイトル「課題レポート」、出題日・学生番号・氏名を用紙の一番上に記載
 2ページ以上になる場合は、ホッチキス留め
 A4サイズの用紙を使用
 一度に複数の課題レポートを提出する場合出題日ごとに別々に綴じる