5. Notation
: 共変量数
: 目的変数
: 共変量
: 回帰モデル(線形とはいっていない)
: ノイズ
: 線形回帰モデルの回帰係数 ( )
この論文の議論では切片は考えない
p
Y
X
p
X = (X
, ..., X
) ∈
1 p
T
Rp
m(X)
ϵ ∼ Nn(0, σ )
2
β ∈ Rp
13. LASSOの課題1 - 推定器として
1. 化だと最大 個のパラメタを選択しがち
2. 罰則項によってバイアス付与しがち
1.の問題よりより高い予測誤差を生み出す
OLSの損失を基にして解析すると 以下の を に潰すというバイアスがあること
がわかる
=
β
^
j
L
1
sign(
)(∣
∣ −
β
^
j
OLS
β
^
j
OLS
λ)
+
は係数の符号, は値が負の場合に にする処理
2.のバイアスを取り除くために係数個分 を設定したadaptive LASSOがある
Zou (2006), Huang et al. (2008), Van de Geer et al. (2011) 参照
p > n n
λ β
j 0
sign(⋅ ) (⋅ )
+ 0
λ
14. LASSOの課題2 - 変数選択器として
変数選択の結果がブレがち
共変量間に強い多重共線性がある場合にランダムで共変量を選びがち
スパースでなないけどこの問題を解決しているのがRidge regression (Hoerl and
Kennard (1970))とか Elastic Net (Zou and Hastie (2005))
一貫性に必要な条件
計画行列 の“neighborhood stability condition” (Meinshausen et al. (2006)).
これは"irrepresentable condition"に相当(Zhao and Yu (2006); Zou (2006);
Yuan and Lin (2007)) <- (9)式みてね
n > s log(p), s = ∣S∣, S = {j : β =
j 0}
X
15. LASSOの課題2 - 変数選択器として
Bühlmann and Van De Geer (2011)の引用
計画行列 があまりにも "不格好"で、 の "より小さい"部分行列内で
の線型従属関係が強すぎる場合近傍安定性または表現不可能な条件(9)式
は成立しない
固有値ゼロだと情報ない
ランダムに解を出しているのと変わらない
疎なベクトル の "非ゼロ要素の復元"のために十分な情報と適切な特性
があることを保証する必要がある。これは、関連する共変量係数が、ゼ
ロのものと区別できるように十分に大きいことを必要とするく
非ゼロの に以下の条件が必要
inf
∣β
∣ >>
j∈S j
s log(p)/n
これを満たすのは非現実的でありがち
X X
β
β
j
16. LASSOの課題2 - 変数選択器として
変数選択器の一貫性を担保する手法が以下
random LASSO (Wang et al. (2011))
algorithm based on subsampling
stability selection method mixed with randomized LASSO of Meinshausen and
Bühlmann (2010)
18. LASSOの課題3 - 変数選択器として
以下の手法で回避できる
boLASSO procedure (see Bach (2008))
thresholded LASSO (Zhou (2010))
the stability selection method (see Meinshausen and Bühlmann (2010))
the use of knockoffs (see Hofner et al. (2015), Weinstein et al. (2017), Candes
et al. (2018) and Barber et al. (2019))
これらではまだ を克服できない...
p > n
19. LASSOの課題4 - ハイパーパラメタ選択
を適切に調整する必要あり
が大きすぎると のすべての係数がヌルになる
逆にゼロに近いとノイズの多い共変量の係数がゼロにならない
理論解析としてはBühlmann and Van De Geer (2011), Fan et al. (2012), Reid et al.
(2016)
現実的な方法として次の3つがある(引用: Homrighausen and McDonald (2018))
一般化された情報基準(AICまたはBICのような)の最小化
リサンプリング手順(クロスバリデーションまたはブートストラップのよう
な)
LASSOの最適化問題の再構成
λ
λ
β
^L
1
22. vanilla LASSOの性能検証
シナリオ2 (ブロックによる依存性)
where and for all pairs (j, k)
except if mod10 = mod10 , in that case , taking
p > s
β
=
1 ⋯ = β
=
s 1
β
=
s+1 ⋯ = β
=
p 0
X ∼ N
(0, Σ)
n σ =
jj 1 σ =
jk cov(X
, X
) =
j k 0
(j) (k) σ =
jk ρ ρ = 0.5, 0.9