鵜飼雄哉先生の補足スライド。高次元データの統計解析について。

1. 補足スライド
城下彰宏 (PGY6)

2. Risk modelの考え方
最小二乗法
実測値と推定値の誤差が最小になるような直線を引くイ
メージ。
𝑌𝑖 = 𝛽0 + 𝛽1 ∗ 𝑋1 + 𝛽2 ∗ 𝑋2 + 𝜖

3. 複雑な式を作ると曲線も描
ける!

4. High demensional dataの
問題点
遺伝子などの説明変数の数が結果変数よりも圧倒的に多
い。
𝑌𝑖 = 𝛽0 + 𝛽1 ∗ 𝑋1+. . . . 𝛽1000 ∗ 𝑋1000
この場合は、データに過剰に適合したモデルができて、
未来の予想には向かない（overfittingと呼ぶ）。
モデルの係数の変動が激しくなる。

5. From Wikipedia

6. 対処方法
通常の最小二乗法では問題が多い。
⇒ ほとんどの𝛽𝑖が0になることに対応できる解析が必要。
多くの係数を“0”にできるためLasso回帰を使用すること
が多い。

7. Penalized formについて
本当はすべての𝛽𝑖に対して「d(0以外)以下になる」とい
う規定を設けたい。 そうすることで、係数の変動を抑え
ることができる。
ただ、それはかなりの計算上かなりのタスクになってし
まう。
では、𝛽𝑖の合計で制約をかけられないか？

8. Lidge回帰、Lasso回帰
そこで、L1ノルム σ 𝑘=1
𝑛
| 𝑥 𝑘| や L2ノルム σ 𝑘=1
𝑛
𝑋 𝑘
2
がc(0
以外)以下になるという制約を設ける。

9. ではどのようにハイパーパラメータを決めるのか？
෍
𝑖
( 𝑌𝑖 − 𝛽𝑜 − 𝑋𝑖
𝑇
𝛽)2 + 𝜆 ෍
𝑗
| 𝛽𝑗|

10. Split sample
Cross-validationなどdata splitを行って、trained
datasetでモデルを作成し、validation datasetで検証す
る。
予測性能の一番良いlambdaを機械学習で選びすべての
データ(test dataset)での予測能を確認し最終的なモデル
を決定する。

11. ハイパーパラメータ
Sample sizeが多いと𝜆は小さくなる。
Sample sizeが少ないと𝜆は大きくなる。
情報が多いとより複雑な𝜆が使用できるというイメージ。

12. 他の手法は？
他の機械学習の手法も有用であるが、Lasso回帰よりもは
るかに優れているという報告はなさそう。
- Elastic net regression
- Diagnal linear dicriminant analysis
- Nearest shrunken centroid
- Support vector machine

13. 結語
ハイパーパラメータの設定によっては予測能が下がるこ
ともあるので、使い慣れているものを使用したり、複数
の手法を使って評価する。