Downloaded 239 times
データサイエンス概論第一=3-3 回帰分析
- 1.
- 2. 2 データサイエンス概論第一の内容 データとは データのベクトル表現と集合 平均と分散 データ間の距離 データ間の類似度 データのクラスタリング （グルーピング） 線形代数に基づくデータ解析の基礎 主成分分析と因子分析 回帰分析 相関・頻度・ヒストグラム 確率と確率分布 信頼区間と統計的検定 時系列データの解析 異常検出
- 3.
- 4.
- 5. 55 予測とは？ 「入力に対する結果を推定する」手法 例 予測器 入力 (原因) 結果 入力(原因) 結果 勉強時間 試験の点数 食事量糖尿病になる確率 (身長，体重) バスケットボールの得点 画像 その画像がリンゴの写真である確率
- 6.
- 7.
- 8.
- 9.
- 10.
- 11.
- 12.
- 13.
- 14.
- 15. 15 どういう「あてはめ結果」が望ましい？(3/3) 15 結果 𝑦 入力 𝑥 𝑎と𝑏をいじって 𝑖 𝑦𝑖− 𝑎𝑥𝑖 + 𝑏 2 を最小化 𝑦 = 𝑎𝑥 + 𝑏 𝑥𝑖, 𝑦𝑖𝑦𝑖 − 𝑎𝑥𝑖 + 𝑏 2 二乗誤差で「あてはめ誤差」を定義
- 16. 16 これを「最小二乗法」と呼ぶ 16 𝑎と𝑏をいじって 𝑖 𝑦𝑖 − 𝑎𝑥𝑖+ 𝑏 2 を最小化 二乗誤差を最小にしたいから 最小二乗法 どうやって？？
- 17. 17 参考：最小二乗法，どう解く？ まず問題をよく見る(1/2) 17 𝑖 𝑦𝑖 − 𝑎𝑥𝑖+ 𝑏 2 = 𝑖 𝑦𝑖 − 𝑎𝑥𝑖 + 𝑏 𝑦𝑖 − 𝑎𝑥𝑖 + 𝑏 = 𝑖 𝑥𝑖 2 𝑎2 − 𝑦𝑖 − 𝑏 2𝑎 + 𝑦𝑖 − 𝑏 2 = 𝑖 𝑥𝑖 2 𝑎2 − 2 𝑖 𝑦𝑖 − 𝑏 𝑎 + 𝑖 𝑦𝑖 − 𝑏 2 落ち着いて考えれば 𝑎に関する2次関数 最小化したいもの
- 18. 18 参考：最小二乗法，どう解く？ まず問題をよく見る(2/2) 18 𝑖 𝑦𝑖 − 𝑎𝑥𝑖+ 𝑏 2 = 𝑖 𝑦𝑖 − 𝑎𝑥𝑖 − 𝑏 𝑦𝑖 − 𝑎𝑥𝑖 − 𝑏 = 𝑖 𝑏2 − 𝑦𝑖 − 𝑎𝑥𝑖 2𝑏 + 𝑦𝑖 − 𝑎𝑥𝑖 2 = 𝑖 1 𝑏2 − 2 𝑖 𝑦𝑖 − 𝑎𝑥𝑖 𝑏 + 𝑖 𝑦𝑖 − 𝑎𝑥𝑖 2 落ち着いて考えれば 𝑏に関しても2次関数 最小化したいもの
- 19. 19 ここはイマイチ ここがベスト 参考：最小二乗法，どう解く？ 要するにこんな形になっています 19 𝑏 𝑎 𝑖 𝑦𝑖 − 𝑎𝑥𝑖+ 𝑏 2 ベストは１か所→ベストな「モデルあてはめ」は一つ！ (by 一か所だけ出っ張った二次関数の美しい特性) 誤差大 誤差最小 誤差
- 20. 20 参考：最小二乗法，どう解く？ 解き方の細かいところ 20 𝜕 𝑖 𝑦𝑖− 𝑎𝑥𝑖 + 𝑏 2 𝜕𝑎 = 0 𝜕 𝑖 𝑦𝑖 − 𝑎𝑥𝑖 + 𝑏 2 𝜕𝑏 = 0 解き方(要は「極値なら微分してゼロ」という条件) 高校時代 二次関数の 極値問題を 解かされたな... 𝑎と𝑏をいじって 𝑖 𝑦𝑖 − 𝑎𝑥𝑖 + 𝑏 2 を最小化
- 21. 21 主成分分析と回帰分析の違い： どちらがいい・悪いというものではなく，目的からして全く違う 21 要素 𝑥2 要素 𝑥1 第1主成分= 分布の近似方向 主成分分析 結果𝑦 入力(原因)𝑥 回帰直線= 入力と結果の関係 (線形)回帰分析 要素 𝑥1, 𝑥2を交換しても同じ 入力 𝑥と結果𝑦を交換すると違う直線
- 22.
- 23.
- 24.
- 25.
- 26. 2626 余談：なんで「重」回帰？ 何か重たいのか？ 英語では Multipleregression analysis このmultipleを「重」と訳した Regression analysis = 回帰分析 Multiple＝「複数のものを(同時に)」という意味合いか というわけで「何かが重たい」わけではない
- 27.
- 28.
- 29. 29 回帰分析は「線形モデル」だけじゃない： 𝑁次多項式モデル 結果 入力 𝑦 = 𝑎𝑛 𝑥 𝑛 + 𝑎 𝑛−1 𝑥 𝑛−1 + ⋯ + 𝑎1 𝑥 + 𝑎0 全データを通過 →誤差ゼロ でも...これOK？ (この点，後述)
- 30.
- 31. 31 アウトライヤ(はずれ値)の悪影響(1/4) 31 結果 𝑦 入力 𝑥 アウトライヤ •センサの異常 • 測定ミス • イイカゲンな返答
- 32.
- 33.
- 34.
- 35.
- 36.
- 37.
- 38.