Lt slide 2020_0808_ multi_linearity

4. 多重共線性が線形回帰に与える影響 X1, X2：説明変数 Y：目的変数 COVxx：分散共分散行列 • COVxxに一次従属が見られる • 固有値が0 • 階数(rank)が下がる • 逆行列が求まらない多重共線性は分散共分散行列の固有値から調べることができる • 分散共分散行列内に一次従属が存在する • 統計学：どの説明変数が目的変数に寄与するか判断できない • 機械学習：未知のデータの予測精度が落ちる可能性あり 52020/8/8

5. 分散共分散行列確率変数 X, Y, Zとすると COV = COVxx COVxy COVxz COVyx COVyy COVyz COVzx COVzy COVzz COVxy = E XY − E X E Y E[ ∙ ]：期待値(定数) ≈ 平均 • 確率変数はゆらぐ(変数)ため，不変(定数)にしたい分散共分散行列で確率変数を定数にすると数値解析ができる多変量正規分布でCOVxy 参照： https://en.wikipedia.org/wiki/Multivariate _normal_distribution 62020/8/8

6. 分散共分散行列と線形回帰係数 • 線形回帰 y = θ1x1 + θ2x2 + … + θ 𝑛x 𝑛 y：目的変数 x：説明変数 θ：線形回帰係数 𝑛：説明変数の個数 𝛉 = [θ1, θ2 … θ 𝑛]を求めたい • 正規方程式 𝛉 = (𝐗 𝐓 𝐗)−𝟏 𝐗 𝐓 𝐲 ここで COVxx−1 = (𝐗 𝐓 𝐗)−𝟏 COVxy = 𝐗 𝐓 𝐲 とすることができる 𝛉 = COVxx−1 COVxy • 線形回帰係数𝛉は正規方程式で求めることができる多重共線性が発生しているとCOVxx−1 (逆行列) をちゃんと求めることができない 72020/8/8

7. 多重共線性を見つけて取り除く • 分散共分散行列の固有値が0に近い説明変数を取り除く固有値0.02以上正規化[0,1]された説明変数から抽出した固有値線形回帰係数と寄与の割合固有値の大きさと説明変数の寄与は関係ない x1 x2 x3 θ1 θ2 θ3 ソースコード：https://www.kaggle.com/hamamatcha/linear-regression-using-cov 82020/8/8

8. まとめ：多重共線性が線形回帰に与える影響 X1, X2：説明変数 Y：目的変数 COVxx：分散共分散行列 • COVxxに一次従属が見られる • 固有値が0 • 階数(rank)が下がる • 逆行列が求まらない多重共線性はなくすべし • 分散共分散行列内に一次従属が存在する • 統計学：どの説明変数が目的変数に寄与するか判断できない • 機械学習：未知のデータの予測精度が落ちる可能性あり 92020/8/8

9. おまけ：ランダムフォレスト(Xgboost) はどうなの？ • 強み • 値のスケーリングがいらない • 高い精度を出すことが可能 • アンサンブル学習が強い • 弱み • 特徴量や，学習器を増やしすぎると学習に時間がかかる • 多重共線性が存在する多重共線性が存在するので，変数重要度を調べたい場合は注意が必要 102020/8/8

10. おまけ：多重共線性とは • 重回帰モデルにおける1つの説明変数が、他の説明変数から線形予測できる現象 • 線形代数の一次独立，一次従属の話 • 一次独立の説明変数のみをそろえれば問題ないが，意外と見落とされる • 学習データ • 影響がない • 未知のデータ • 精度の低下がみられる • 境界平面が一意に定まらない • 線形回帰係数θが学習ごとに大きく変化する 112020/8/8

11. おまけ：ほかに重要な部分は？ • データの分析に着目すると • 特徴量選択：学習データの傾向を見るピアソンの相関係数 1, 0, -1に近いデータを観てみるのが意外といい参照：https://en.wikipedia.org/wiki/Correlation_and_dependence ピアソンの相関係数が1に近い説明変数をプロット目的変数は”SalePrice” 122020/8/8

Lt slide 2020_0808_ multi_linearity

Recommended

Recommended

More Related Content

Recently uploaded

Recently uploaded (10)

Featured

Featured (20)

Lt slide 2020_0808_ multi_linearity