Downloaded 260 times
More Related Content
Similar to データサイエンス概論第一=3-2 主成分分析と因子分析
![[Tokyor08] Rによるデータサイエンス 第2部 第3章 対応分析](https://cdn.slidesharecdn.com/ss_thumbnails/tokyor08-100827202403-phpapp01-thumbnail.jpg?width=640&height=640&fit=bounds)
データサイエンス概論第一=3-2 主成分分析と因子分析
- 1.
- 2. 2 データサイエンス概論第一の内容 データとは データのベクトル表現と集合 平均と分散 データ間の距離 データ間の類似度 データのクラスタリング （グルーピング） 線形代数に基づくデータ解析の基礎 主成分分析と因子分析 回帰分析 相関・頻度・ヒストグラム 確率と確率分布 信頼区間と統計的検定 時系列データの解析 異常検出
- 3. 3 初学者へのおすすめ：ここを学ぶ前に 「3-1線形代 数に基づくデータの解析」を是非ご覧ください 線形代数に基づくデータの解析 「分析」の基本的な考え方 ベクトルの分解と合成 基底 完全にもとに戻らくなくてもOKなケース 画像で考えてみる データ解析に適した基底とは何か？ データ集合の主成分分析と因子分析 主成分分析の原理 主成分分析でわかること（その1) 顔画像データ集合を例に主成分分析の 挙動を理解する 主成分を求める実際の方法 主成分分析でわかること（その2) 因子分析との関係 データ集合に関する回帰 「回帰による予測」の基本的考え方 「モデルあてはめ」の方法 重回帰分析 より複雑なモデルの利用 回帰分析で注意したい点 ちょっと「くどい」感じですが， これがわからないと主成分分析も よくわからないと思います
- 4.
- 5.
- 6.
- 7.
- 8.
- 9.
- 10.
- 11. 1111 主成分はいくつ求まる？ 𝑑次元ベクトル集合については， 𝑑個の主成分が求まる それらは完備正規直交基底を成す 一般に，順次広がりは少なくなるので， 求まる主成分の重要度は減少していく 上位 𝑑(< 𝑑)個の主成分のみを利用する場合が多い 𝑥1 𝑥2 𝑥3第1主成分方向 第2主成分方向 第1 第2 第3 広がり∝重要度 第3
- 12. 12 「真の次元」と主成分分析(1/3) 2次元データ6個 座標軸変換 𝑥1 𝑥2 𝑥1 𝑥2 1次元データ6個 𝑑=1(< 𝑑 =2)次元で表せた！ (真の次元=1) 第1 第2 広がり∝重要度
- 13. 13 「真の次元」と主成分分析(2/3) 2次元データ6個 誤差 座標軸変換 ほぼ 𝑑=1(< 𝑑= 2)次元で表せた！ (真の次元≒1) 𝑥1 𝑥2 𝑥1 𝑥2 第1 第2 広がり∝重要度 1次元データ6個
- 14. 14 「真の次元」と主成分分析(3/3) 座標軸変換 𝑑次元ベクトルの分布 𝑑 (<𝑑)次元ベクトルの分布 ほぼ 𝑑 (< 𝑑)次元で表せた！ (真の次元≒ 𝑑) 第1 第2 第 𝑑 第 𝑑 + 1 第𝑑 広がり∝重要度 𝑥1 𝑥2 𝑥 𝑑 𝑥1 𝑥2 𝑥 𝑑
- 15.
- 16. 1616 主成分方向＝分布の主要な広がり方向 高々 𝑑(< 𝑑)個の主成分で，𝑑次元ベクトル分布全体を コンパクトに表現 この意味で，クラスタリングの代表ベクトルにも似ている 時には 𝑑 ≪ 𝑑 やろうと思えばいくらでも 𝑑は小さくできる ただし，やりすぎると分布の構造をうまく捉えられないことに 主成分方向＝平均からの主要な変動と捉えることも可能
- 17.
- 18.
- 19. 1919 主成分負荷量 各主成分が，どっちを向いているか？ Ex. 第1主成分ベクトル = (𝑥1の第1主成分負荷量)𝒆1+ (𝑥2の第1主成分負荷量)𝒆2 𝒆1: 𝑥1方向の単位ベクトル 𝒆2: 𝑥2方向の単位ベクトル 𝑥1 𝑥2 第1主成分 𝑥1の第1主成分負荷量 𝑥2の第1主成分負荷量 𝒆1 𝒆2
- 20. 2020 主成分得点 各データが，各主成分方向にどの程度成分量を持つか？ ＝各データが分布のどの辺にいるかが大体わかる (上図では 𝑑 =𝑑 = 2だが，もし𝑑 > 2だとすると) 高次元のデータを 𝑑 = 2次元上で把握できることになる 第1主成分 第2主成分 𝒙 𝒙の第1主成分得点 𝒙の第2主成分得点 回転
- 21.
- 22.
- 23.
- 24.
- 25.
- 26. 2626 主成分得点で各データを表現 ≒ 10× +4× の主成分得点=(10,4)T ≒ 2× + 8× の主成分得点= (2, 8)T 画像を2次元で 表現！ 画像を2次元で 表現！
- 27.
- 28. 2828 主成分を増やせば「誤差」を減らせます ≒ 10× +4×-2× +5× の主成分得点＝(10, 4, -2, 5) T ≒ 2× + 8× -11× -8× の主成分得点＝ (2, 8, -11, -8)T 画像を４次元で表現！
- 29.
- 30.
- 31.
- 32. 3232 参考：主成分分析の解法 分散・最小誤差，どちらの基準でも，次のように解ける まったく同じ主成分が求まる 以下の3ステップで終了 1. データ集合(各々𝑑次元ベクトル)から共分散行列 Σを求める 2. Σの固有値と固有ベクトルを求める 3. 固有値の大きなものから 𝑑個の固有ベクトルを主成分と する（ 𝑑は適当に決定) そのうちやります
- 33.
- 34.
- 35.
- 36. 36 さらに慣れてくるとわかること： 2要素間の相関(詳しくは後述) 𝑥1 𝑥2 𝑥3 𝑥1 𝑥2 𝑥3 非常に広がっている方向があり(=偏りがあり)， 𝑥1 →大，𝑥2 →大，𝑥3→小 (𝑥1 →小，𝑥2 →小，𝑥3 →大，と等価) 広がり一様→球状分布 →無相関
- 37.
- 38.
- 39.
- 40.
- 41.
- 42.
- 43.
- 44.
- 45.
- 46.
- 47.