Recommended
Recommended
More Related Content
Recently uploaded
Recently uploaded (9)
Featured
Featured (20)
Lt slide 2020_0808_ multi_linearity
- 2. 多重共線性が線形回帰に与える影響 • 分散共分散行列内に一次従属が存在する • 統計学：どの説明変数が目的変数に寄与するか判断できない • 機械学習：未知のデータの予測精度が落ちる可能性あり 32020/8/8
- 3. 多重共線性が線形回帰に与える影響 • 分散共分散行列内に一次従属が存在する • 統計学：どの説明変数が目的変数に寄与するか判断できない • 機械学習：未知のデータの予測精度が落ちる可能性あり X1, X2：説明変数 Y：目的変数 COVxx：分散共分散行列 • COVxxに一次従属が見られる • 固有値が0 • 階数(rank)が下がる • 逆行列が求まらない 42020/8/8
- 4. 多重共線性が線形回帰に与える影響 X1, X2：説明変数 Y：目的変数 COVxx：分散共分散行列 • COVxxに一次従属が見られる • 固有値が0 • 階数(rank)が下がる • 逆行列が求まらない 多重共線性は分散共分散行列の固有値から 調べることができる • 分散共分散行列内に一次従属が存在する • 統計学：どの説明変数が目的変数に寄与するか判断できない • 機械学習：未知のデータの予測精度が落ちる可能性あり 52020/8/8
- 5. 分散共分散行列 確率変数 X, Y, Zとすると COV = COVxx COVxy COVxz COVyx COVyy COVyz COVzx COVzy COVzz COVxy = E XY − E X E Y E[ ∙ ]：期待値(定数) ≈ 平均 • 確率変数はゆらぐ(変数)ため，不変(定数)にしたい 分散共分散行列で確率変数を定数にすると 数値解析ができる 多変量正規分布でCOVxy 参照： https://en.wikipedia.org/wiki/Multivariate _normal_distribution 62020/8/8
- 6. 分散共分散行列と線形回帰係数 • 線形回帰 y = θ1x1 + θ2x2 + … + θ 𝑛x 𝑛 y：目的変数 x：説明変数 θ：線形回帰係数 𝑛：説明変数の個数 𝛉 = [θ1, θ2 … θ 𝑛]を求めたい • 正規方程式 𝛉 = (𝐗 𝐓 𝐗)−𝟏 𝐗 𝐓 𝐲 ここで COVxx−1 = (𝐗 𝐓 𝐗)−𝟏 COVxy = 𝐗 𝐓 𝐲 とすることができる 𝛉 = COVxx−1 COVxy • 線形回帰係数𝛉は正規方程式で求めることができる 多重共線性が発生しているとCOVxx−1 (逆行列) をちゃんと求めることができない 72020/8/8
- 7. 多重共線性を見つけて取り除く • 分散共分散行列の固有値が0に近い説明変数を取り除く 固有値0.02以上 正規化[0,1]された説明変数から抽出した固有値 線形回帰係数と寄与の割合 固有値の大きさと説明変数の寄与は関係ない x1 x2 x3 θ1 θ2 θ3 ソースコード：https://www.kaggle.com/hamamatcha/linear-regression-using-cov 82020/8/8
- 8. まとめ：多重共線性が線形回帰に与える影響 X1, X2：説明変数 Y：目的変数 COVxx：分散共分散行列 • COVxxに一次従属が見られる • 固有値が0 • 階数(rank)が下がる • 逆行列が求まらない 多重共線性はなくすべし • 分散共分散行列内に一次従属が存在する • 統計学：どの説明変数が目的変数に寄与するか判断できない • 機械学習：未知のデータの予測精度が落ちる可能性あり 92020/8/8
- 9. おまけ：ランダムフォレスト(Xgboost) はどうなの？ • 強み • 値のスケーリングがいらない • 高い精度を出すことが可能 • アンサンブル学習が強い • 弱み • 特徴量や，学習器を増やしすぎると学習に時間がかかる • 多重共線性が存在する 多重共線性が存在するので， 変数重要度を調べたい場合は注意が必要 102020/8/8
- 10. おまけ：多重共線性とは • 重回帰モデルにおける1つの説明変数が、他の説明変数から 線形予測できる現象 • 線形代数の一次独立，一次従属の話 • 一次独立の説明変数のみをそろえれば問題ないが， 意外と見落とされる • 学習データ • 影響がない • 未知のデータ • 精度の低下がみられる • 境界平面が一意に定まらない • 線形回帰係数θが学習ごとに大きく変化する 112020/8/8
- 11. おまけ：ほかに重要な部分は？ • データの分析に着目すると • 特徴量選択：学習データの傾向を見る ピアソンの相関係数 1, 0, -1に近いデータを観てみるのが意外といい 参照：https://en.wikipedia.org/wiki/Correlation_and_dependence ピアソンの相関係数が1に近い説明変数をプロット 目的変数は”SalePrice” 122020/8/8