1. 魁!! ベイズ塾
第一話 最小二乗法
発表者：教育学研究科 山根 嵩史

2. お品書き
最小二乗法とは
最小二乗法の種類
最小二乗法のメリット・デメリット

3. 最小二乗法とは
0
1
2
3
4
0 2 4 6
位置(m)
時間(秒)
例えば…
一定測度で動く車の時間と
スタートからの位置の関係
理想的には ⇒
一次関数上に観測値が並ぶ
傾き＝速度

4. 最小二乗法とは
例えば…
一定測度で動く車の時間と
スタートからの位置の関係
現実には測定誤差が
入るので ⇒
このようなデータにも直線を
当てはめて速度を求めたい！
0
1
2
3
4
0 2 4 6
位置(m)
時間(秒)

5. 最小二乗法とは
各測定値から直線までの差を
それぞれd1～d5とすると，
“もっともらしい直線”とは
S＝d1
2+d2
2+d3
2+d4
2+d5
2
Sの値を最小にするような直線
y=ax+bであると考えられる
0
1
2
3
4
0 2 4 6
位置(m)
時間(秒)
d1
d2
d3
d4
d5
y=ax+b
直線 y=ax+bの切片と傾きを決めるための推定法が最小二乗法

6. 最小二乗基準
残差

7. 曲線への近似
0
1
2
3
4
5
0 2 4 6
位置(m)
時間(秒)

8. お品書き
最小二乗法とは
最小二乗法の種類
最小二乗法のメリット・デメリット

9. 最小二乗法の種類
最小二乗法には，最小二乗値の計算方法による下位区分がある
某統計ソフト(SピーSS)では，因子分析の因子抽出の際に
・重み付けのない最小二乗法
・重み付き最小二乗法
・一般化最小二乗法
が選択できます

10. 最小二乗法の種類
 重み付けのない最小二乗法(Unweighted Least Squares)
・特別な前提を設けず(= 全ての誤差を同じ重みで考える)，
モデルとデータの差の二乗和を最小化する方法
・計算が効率的であり，反復主因子法を用いるよりも
収束が速い

11. 最小二乗法の種類
 重み付け最小二乗法(Weighted Least Squares)
・水準間で分散が異なる場合などに，分散が散らばる
ところは軽く，散らばりが少ないところは重く評価
・尺度不変，汎用的

12. 最小二乗法の種類
 一般化最小二乗法(Generalized Least Squares)
・分散多変量正規分布を仮定した，重み付き最小二乗法
の発展形
・モデルの有意性検定が可能

13. 最小二乗法の種類
 どれを使えば良いの？
・重みなし→重み付き→一般化の順に発展しているので，基
本的には一般化最小二乗法を使うのが良い
・一般化最小二乗法では，モデルとデータとの適合度検定が
できるようになっている

14. お品書き
最小二乗法とは
最小二乗法の種類
最小二乗法のメリット・デメリット

15. 最小二乗法のメリット
 因子抽出法として最小二乗法を用いることのメリット
・データの正規性を仮定しない(=使いやすい)
・最尤法に比べて，不適解をあまり出さない

16. 最小二乗法のデメリット
 最小二乗法のデメリット
・最小二乗法で得られる因子負荷量は尺度不変ではない
(重み付けのある最小二乗法，一般化最小二乗法では
因子負荷量は尺度不変になる)