輪講の担当分です。テキストは東京大学教養学部統計学教室編（1992）「自然科学の統計学」東京大学出版会

1. 自然科学の統計学
2.2節 最小二乗法
輪講 2016.05.14
担当 和田

2. 2.2.1 最小二乗法の原理
線形モデル
𝒚 = 𝑿𝜽 + 𝜺 (2.9)
𝒚 : y1, … , 𝑦𝑛
⊤
観測地のベクトル
𝜽 : 𝜃1, … , 𝜃 𝑝
⊤
未知母数のベクトル
𝑿 : 既知係数行列/ 計画行列 design
matrix
2/16

3. 線形推定量
未知母数 𝜽 の任意の係数 𝒍 = (𝑙1, … , 𝑙 𝑝) によ
る線形結合
𝒍⊤
𝜽 = 𝑙1 𝜃1 + 𝑙2 𝜃2 + ⋯ + 𝑙 𝑝 𝜃 𝑝
の線形推定量
例1) 多項式モデル(2.8)の母数𝛽0, 𝛽1, 𝛽2
例2) 説明変数𝑥の値についての予測値
𝛽0 + 𝛽1 𝑥 + 𝛽2 𝑥2
3/16
𝒍 の選び方により様々なモデルになる

4. 最小二乗法の原理
データ 𝒚 とその期待値の二乗和
𝑆 𝜽 = 𝒚 − 𝑿𝜽 𝟐 = 𝒚 − 𝑿𝜽 ⊤ 𝒚 − 𝑿𝜽 (2.15)
を最小にする解 𝜽 = 𝜽 を求め、単に 𝒍⊤ 𝜽 とする
例1) 繰り返し測定モデル
yi = 𝜇 + 𝜀𝑖 : 𝑆 𝜽 = ∑ 𝑦𝑖 − 𝜇 2
例2) 一元配置モデル
yij = 𝜇 + 𝛼𝑖 + 𝜀𝑖𝑗 : 𝑆 𝜽 = ∑∑ 𝑦𝑖𝑗 − 𝜇 − 𝑎𝑖
2
例3) 多項式モデル
yi = 𝛽0 + 𝛽1 𝑥𝑖 + 𝛽2 𝑥𝑖
2
+ 𝜀𝑖 𝑆 𝜽 = ∑ 𝑦𝑖 − 𝛽0 − 𝛽1 𝑥𝑖 − 𝛽2 𝑥𝑖
2 2
4/16
ガウス・マルコフの定理
2.1.4節で紹介したものよりも簡単なBLUEの求め方

5. 2.2.2 正規方程式
線形モデル 𝒚 = 𝑿𝜽 + 𝜺 についての正規方程式
𝑿⊤ 𝑿𝜽 = 𝑿⊤ 𝒚
これを満たす 𝜽 = 𝜽 は、偏差二乗和 𝑆 𝜽 を最小にする。
𝑆 𝜽 = 𝒚 − 𝑿 𝜽 + 𝑿 𝜽 − 𝜽
⊤
𝒚 − 𝑿 𝜽 + 𝑿 𝜽 − 𝜽
= 𝒚 − 𝑿 𝜽
⊤
𝒚 − 𝑿 𝜽 + 𝑿 𝜽 − 𝑿𝜽
⊤
𝑿 𝜽 − 𝑿𝜽 ≥ 𝑆 𝜽
例2.3 多項式モデル: 曇り点データ
5/16
Sθ
𝑆 𝜽

6. 例2.3 多項式モデル: 曇り点データ
x <- c(0,1,2,3,4,5,6,7,8,0,2,4,6,8,10,0,3,6,9)
y <- c(22.1, 24.5, 26, 26.8, 28.2, 28.9, 30, 30.4, 31.4, 21.9, 26.1, 28.5,
30.3, 31.5, 33.1, 22.8, 27.3, 29.8, 31.8)
X <- cbind(rep(1, length(x)), x, diag(x %*% t(x)))
solve(t(X) %*% X)
# x
# 0.253355906 -0.097147349 0.0079029365
#x -0.097147349 0.063003809 -0.0062664006
# 0.007902936 -0.006266401 0.0006840397
solve(t(X) %*% X) %*% t(X) %*% y
# [,1]
# 22.56123063
#x 1.66802044
# -0.06795836
6/16

7. 推定可能関数
𝑿𝜽 の各要素とその線形結合全体
※ ただし、一元配置モデルの 𝜇 + 𝛼𝑖 や
𝛼𝑖 − 𝛼𝑗 は推定可能であるが、𝜇 と 𝛼𝑖 は単
独で推定可能ではない。
7/16

8. 2.2.3 ガウス-マルコフの定理
線形モデル 𝒚 = 𝑿𝜽 + 𝜺 の任意の推定関数
𝒍⊤
𝜽 について、𝒍⊤
𝜽 が一意にBLUE。
ここで、𝜽 = 𝜽 は、正規方程式 𝑿⊤
𝑿 𝜽 =
𝑿⊤
𝒚 を満たす任意の最小二乗解。
Xがフルランクの場合、任意の線形関数
も 𝜽 自体も推定可能で、正規方程式も一意
な最小二乗解 𝜽 = 𝑿⊤
𝑿 −𝟏
𝑿⊤
𝒚 を持つ。
8/16

9. 証明(1)
任意の線形式 𝒍⊤
𝜽 に対し、
𝒍⊤
𝜽 = 𝒍⊤
𝑿⊤
𝑿 −𝟏
𝑿⊤
𝒚
𝐸 𝒍⊤ 𝜽 = 𝒍⊤ 𝑿⊤ 𝑿 −𝟏 𝑿⊤ 𝐸 𝒚 = 𝒍⊤ 𝑿⊤ 𝑿 −𝟏 𝑿⊤ 𝑿𝜽 = 𝒍⊤ 𝜽
次に、 𝒍⊤ 𝜽 とは別の線形不偏推定量 𝑡 𝒚 = 𝑳⊤ 𝒚 との差
を次のように定義する。
𝒍⊤
𝜽 − 𝑳⊤
𝒚 = 𝒍⊤
𝑿⊤
𝑿 −𝟏
𝑿⊤
− 𝑳⊤
𝒚 ≡ 𝒃⊤
𝒚
このとき、不偏性から、全ての 𝜽 について 𝐸 𝑳⊤
𝒚 =
𝒍⊤ 𝜽 となるべきで、
𝐸 𝒃⊤
𝒚 = 𝒃⊤
𝑿𝜽 = 0
が任意の 𝜽 で成り立つので、
𝒃⊤ 𝑿 = 0.
9/16
<= 不偏

10. 証明(2)
10/16
二つの確率変数X, Yに対して
𝑉 𝑋 + 𝑌 = 𝑉 𝑋 + 2Cov 𝑋, 𝑌 + 𝑉 𝑌 (2.26)
であるから、 𝑳⊤ 𝒚 の分散は、
V 𝑳⊤ 𝒚 = V 𝒍⊤ 𝜽 − 𝒃⊤ 𝒚
= V 𝒍⊤
𝜽 − 2Cov 𝒍⊤
𝑿⊤
𝑿 −𝟏
𝑿⊤
𝒚, 𝒃⊤
𝒚 + V 𝒃⊤
𝒚 .
一方、誤差 ε が無相関で等分散の仮定(2.14)を満たせば、2つの確
率変数
𝒂⊤
𝒚 = ∑𝑎𝑖 𝑦𝑖, 𝒃⊤
𝒚 = ∑𝑏𝑖 𝑦𝑖
の共分散は、
Cov 𝒂⊤ 𝒚, 𝒃⊤ 𝒚 = Cov 𝒂⊤ 𝜺, 𝒃⊤ 𝜺 = ∑𝑎𝑖 𝑏𝑖 𝜎2 = (𝒂⊤ 𝒃)𝜎2
Cov 𝒍⊤
𝑿⊤
𝑿 −𝟏
𝑿⊤
𝒚, 𝒃⊤
𝒚 = 𝒍⊤
𝑿⊤
𝑿 −𝟏
𝑿⊤
𝒃𝜎2
= 0
よって、
V 𝑳⊤
𝒚 = V 𝒍⊤
𝜽 + 𝑽(𝒃⊤
𝒚)
ゆえに、
V 𝑳⊤ 𝒚 ≥ V 𝒍⊤ 𝜽
𝑳⊤ 𝒚は任意の線形不偏推定量なので、 𝒍⊤ 𝜽 はBLUE
0

11. Xがランク落ちするときの計算方法
① 正規方程式 𝑿⊤
𝑿 𝜽 = 𝑿⊤
𝒚 の不定解を 𝜽 =
𝑿⊤
𝑿 −
𝑿⊤
𝒚 のように表し、 𝑿⊤
𝑿 −
の代
数的な性質を使って証明する
② データを直交変換により扱いやすい標準
形に変換して証明する
11/16

12. 例2.5 繰り返し測定のモデル:
飲料製品中のエキス含有量[表2.1] p.33
y <- c(37.55, 37.74, 37.69, 37.71, 37.73,
37.81, 37.53, 37.58, 37.74)
j <- rep(1, length(y))
solve(t(j) %*% j) %*% t(j) %*% y
# 37.67556 <- 𝜇
1/length(y) * sum(y)
# 37.67556
12/16

13. 例2.6’ 単回帰データ: コンクリートの養生の温
度条件と圧縮強度の関係［表2.4］p.45
x <- c(2.62, 2.75, 2.85, 2.92, 2.92, 3.05, 3.14,
3.15, 3.23, 3.26, 3.36, 3.44, 3.66, 3.74, 4.04)
y <- c(209, 237, 273, 316, 283, 317, 321, 356,
404, 368, 405, 429, 413, 440, 439)
X <- cbind(rep(1, length(x)), x)
(t1 <- as.vector(solve(t(X) %*% X) %*% t(X)
%*% y))
# [1] -217.9524 176.1747
plot(x, y); abline(as.vector(t1), col="red")
13/16

14. 例2.7 一元配置モデル: 脂肪の種類に対す
る吸収量［表2.2］p.34
theta <- c(64, 72, 68, 77, 56, 95, 78, 91, 97, 82, 85, 77, 75,
93, 78, 71, 63, 76, 55, 66, 49, 64, 70, 68)
(X <- matrix(c(rep(1, length(theta)), rep(1, 6), rep(0, 24),
rep(1, 6), rep(0, 24), rep(1, 6), rep(0, 24), rep(1, 6)),
nc=5))
(t1 <- as.vector(solve(t(X) %*% X) %*% t(X) %*% theta))
# 以下にエラー solve.default(t(X) %*% X) :
# Lapack routine dgesv: システムは正確に特異です: U[5,5] = 0
require(MASS) # for ginv()
(t1 <- as.vector(ginv(t(X) %*% X) %*% t(X) %*% theta))
# [1] 59 13 26 17 3
# mu=59, α1=13, α2=26, α3=17, α4=3.
14/16

15. 2.2.4最小二乗法と制約式
★ 例2.7に、mu=0という制約をつけて解いてみる
(X2 <- matrix(c(rep(1, 6), rep(0, 24), rep(1, 6), rep(0, 24),
rep(1, 6), rep(0, 24), rep(1, 6)), nc=4))
(t2 <- as.vector(solve(t(X2) %*% X2) %*% t(X2) %*%
theta))
#[1] 72 85 76 62
★ 例2.7に、𝜶 𝟏 = 𝟎 という制約をつけてみる
require(MASS) # for ginv()
(X3 <- matrix(c(rep(1, length(theta)), rep(0, 6), rep(0, 24),
rep(1, 6), rep(0, 24), rep(1, 6), rep(0, 24), rep(1, 6)), nc=5))
(t3 <- as.vector(ginv(t(X3) %*% X3) %*% t(X3) %*%
theta))
# [1] 7.200000e+01 -3.478067e-15 1.300000e+01
4.000000e+00 -1.000000e+01
15/16

16. ★ 例2.7に、∑𝜶𝒊 = 𝟎 という制約をつける
theta <- c(64, 72, 68, 77, 56, 95, 78, 91, 97, 82,
85, 77, 75, 93, 78, 71, 63, 76, 55, 66, 49, 64, 70,
68)
(X4 <- matrix(c(rep(1, length(theta)), rep(1, 6),
rep(0, 24), rep(1, 6), rep(0, 24), rep(1, 6), rep(0,
24), rep(1, 6)), nc=5)) # 通常の計画行列
X4[19:24,] <- c(rep(1, 6), rep(-1, 18), rep(0, 6))
X4
(t4 <- as.vector(ginv(t(X4) %*% X4) %*% t(X4)
%*% theta))
# [1] 73.75 -1.75 11.25 2.25 0.00
# mu= 73.75, α1= -1.75, α2=11.25, α3= 2.25,
# α4=-(α1 + α2+ α3 )=-11.75 # -sum(t4[2:4])
16/16

17. おまけ
MS Officeの数式エディタは、TeXのよう
な入力が可能
例) y_i = beta_0 + beta_1 x_i +
beta_2 x_i^2 + varepsilon_i
𝑦𝑖 = 𝛽0 + 𝛽1 𝑥1 + 𝛽2 𝑥𝑖
2
+ 𝜀𝑖
※ ただし、完全に入力が互換というわ
けではない。

18. おわり
@足利フラワーパーク