線形?非線形?
- 14. 結果考察6
ただし、GPRはDが増えるとSGDに負ける。
14
N=30 D=10 S=0.1
SGD 0.62(+-0.02), SVR 0.29(+-0.02), GPR 0.68(+-0.03)
N=100 D=10 S=0.1
SGD 0.91(+-0.00), SVR 0.76(+-0.02), GPR 0.83(+-0.02)
N=300 D=10 S=0.1
SGD 1.00(+-0.00), SVR 0.87(+-0.02), GPR 0.94(+-0.01)
N=1000 D=10 S=0.1
SGD 1.00(+-0.00), SVR 0.94(+-0.02), GPR 0.98(+-0.01)
N=30 D=30 S=0.1
SGD 0.44(+-0.03), SVR -0.06(+-0.05), GPR -0.15(+-0.06)
N=100 D=30 S=0.1
SGD 0.93(+-0.01), SVR 0.26(+-0.01), GPR 0.15(+-0.01)
N=300 D=30 S=0.1
SGD 0.99(+-0.00), SVR 0.61(+-0.02), GPR 0.32(+-0.02)
N=1000 D=30 S=0.1
SGD 1.00(+-0.00), SVR 0.91(+-0.01), GPR 0.58(+-0.02)
- 29. 結果1
前回GPRが強かったノイズ少なめの問題設定で
普通の線形回帰(LIN)はN=30でもスコア1.00。
(余談: 線形SVR*も同様の結果)
データ量の少ないときにSGDの性能が悪いだけ。
29
N=30 D=3 S=0.1
LIN 1.00(+-0.00), SGD 0.62(+-0.01), SVR 0.74(+-0.02), LSVR 1.00(+-0.00) GPR 0.95(+-0.01)
N=100 D=3 S=0.1
LIN 1.00(+-0.00), SGD 0.95(+-0.00), SVR 0.90(+-0.02), LSVR 1.00(+-0.00) GPR 1.00(+-0.00)
N=300 D=3 S=0.1
LIN 1.00(+-0.00), SGD 1.00(+-0.00), SVR 0.96(+-0.02), LSVR 1.00(+-0.00) GPR 1.00(+-0.00)
N=1000 D=3 S=0.1
LIN 1.00(+-0.00), SGD 1.00(+-0.00), SVR 0.98(+-0.01), LSVR 1.00(+-0.00) GPR 1.00(+-0.00)
* sklearn.svm.LinearSVR
- 30. 結果2
普通の線形回帰はだいたいどのシチュエーション
でも一番性能が良い。(例外は次ページ)
今回の問題設定ではN=30の時の普通の線形回帰
の性能にSVRやGPRはN=1000でも追いつけない。
30
N=30 D=10 S=1.0
LIN 0.92(+-0.01), SGD 0.60(+-0.02), SVR 0.30(+-0.02), LSVR 0.87(+-0.02) GPR 0.72(+-0.03)
N=100 D=10 S=1.0
LIN 0.99(+-0.00), SGD 0.95(+-0.00), SVR 0.71(+-0.02), LSVR 0.99(+-0.00) GPR 0.77(+-0.03)
N=300 D=10 S=1.0
LIN 1.00(+-0.00), SGD 0.99(+-0.00), SVR 0.82(+-0.01), LSVR 0.99(+-0.00) GPR 0.82(+-0.01)
N=1000 D=10 S=1.0
LIN 1.00(+-0.00), SGD 1.00(+-0.00), SVR 0.90(+-0.02), LSVR 1.00(+-0.00) GPR 0.77(+-0.03)
- 31. 結果3
普通の線形回帰の性能が悪いのは D ≧ N の時。
D次元の係数を決定するのにデータが足りない。
一方、そういうシチュエーションでも線形SVRは
悪くない性能を出している。
31
N=30 D=30 S=1.0
LIN 0.02(+-0.13), SGD 0.67(+-0.02), SVR 0.09(+-0.00), LSVR 0.79(+-0.03) GPR 0.04(+-0.01)
N=30 D=100 S=1.0
LIN 0.15(+-0.04), SGD 0.22(+-0.04), SVR -0.18(+-0.03), LSVR 0.23(+-0.04) GPR -0.08(+-0.02
N=100 D=100 S=1.0
LIN -19.66(+-2.39), SGD 0.71(+-0.02), SVR 0.03(+-0.02), LSVR 0.87(+-0.01) GPR -0.01(+-0.0