Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

自然科学の統計学2.2 slideshare

310 views

Published on

輪講の担当分です。テキストは東京大学教養学部統計学教室編(1992)「自然科学の統計学」東京大学出版会

Published in: Education
  • Be the first to comment

  • Be the first to like this

自然科学の統計学2.2 slideshare

  1. 1. 自然科学の統計学 2.2節 最小二乗法 輪講 2016.05.14 担当 和田
  2. 2. 2.2.1 最小二乗法の原理 線形モデル 𝒚 = 𝑿𝜽 + 𝜺 (2.9) 𝒚 : y1, … , 𝑦𝑛 ⊤ 観測地のベクトル 𝜽 : 𝜃1, … , 𝜃 𝑝 ⊤ 未知母数のベクトル 𝑿 : 既知係数行列/ 計画行列 design matrix 2/16
  3. 3. 線形推定量 未知母数 𝜽 の任意の係数 𝒍 = (𝑙1, … , 𝑙 𝑝) によ る線形結合 𝒍⊤ 𝜽 = 𝑙1 𝜃1 + 𝑙2 𝜃2 + ⋯ + 𝑙 𝑝 𝜃 𝑝 の線形推定量 例1) 多項式モデル(2.8)の母数𝛽0, 𝛽1, 𝛽2 例2) 説明変数𝑥の値についての予測値 𝛽0 + 𝛽1 𝑥 + 𝛽2 𝑥2 3/16 𝒍 の選び方により様々なモデルになる
  4. 4. 最小二乗法の原理 データ 𝒚 とその期待値の二乗和 𝑆 𝜽 = 𝒚 − 𝑿𝜽 𝟐 = 𝒚 − 𝑿𝜽 ⊤ 𝒚 − 𝑿𝜽 (2.15) を最小にする解 𝜽 = 𝜽 を求め、単に 𝒍⊤ 𝜽 とする 例1) 繰り返し測定モデル yi = 𝜇 + 𝜀𝑖 : 𝑆 𝜽 = ∑ 𝑦𝑖 − 𝜇 2 例2) 一元配置モデル yij = 𝜇 + 𝛼𝑖 + 𝜀𝑖𝑗 : 𝑆 𝜽 = ∑∑ 𝑦𝑖𝑗 − 𝜇 − 𝑎𝑖 2 例3) 多項式モデル yi = 𝛽0 + 𝛽1 𝑥𝑖 + 𝛽2 𝑥𝑖 2 + 𝜀𝑖 𝑆 𝜽 = ∑ 𝑦𝑖 − 𝛽0 − 𝛽1 𝑥𝑖 − 𝛽2 𝑥𝑖 2 2 4/16 ガウス・マルコフの定理 2.1.4節で紹介したものよりも簡単なBLUEの求め方
  5. 5. 2.2.2 正規方程式 線形モデル 𝒚 = 𝑿𝜽 + 𝜺 についての正規方程式 𝑿⊤ 𝑿𝜽 = 𝑿⊤ 𝒚 これを満たす 𝜽 = 𝜽 は、偏差二乗和 𝑆 𝜽 を最小にする。 𝑆 𝜽 = 𝒚 − 𝑿 𝜽 + 𝑿 𝜽 − 𝜽 ⊤ 𝒚 − 𝑿 𝜽 + 𝑿 𝜽 − 𝜽 = 𝒚 − 𝑿 𝜽 ⊤ 𝒚 − 𝑿 𝜽 + 𝑿 𝜽 − 𝑿𝜽 ⊤ 𝑿 𝜽 − 𝑿𝜽 ≥ 𝑆 𝜽 例2.3 多項式モデル: 曇り点データ 5/16 Sθ 𝑆 𝜽
  6. 6. 例2.3 多項式モデル: 曇り点データ x <- c(0,1,2,3,4,5,6,7,8,0,2,4,6,8,10,0,3,6,9) y <- c(22.1, 24.5, 26, 26.8, 28.2, 28.9, 30, 30.4, 31.4, 21.9, 26.1, 28.5, 30.3, 31.5, 33.1, 22.8, 27.3, 29.8, 31.8) X <- cbind(rep(1, length(x)), x, diag(x %*% t(x))) solve(t(X) %*% X) # x # 0.253355906 -0.097147349 0.0079029365 #x -0.097147349 0.063003809 -0.0062664006 # 0.007902936 -0.006266401 0.0006840397 solve(t(X) %*% X) %*% t(X) %*% y # [,1] # 22.56123063 #x 1.66802044 # -0.06795836 6/16
  7. 7. 推定可能関数 𝑿𝜽 の各要素とその線形結合全体 ※ ただし、一元配置モデルの 𝜇 + 𝛼𝑖 や 𝛼𝑖 − 𝛼𝑗 は推定可能であるが、𝜇 と 𝛼𝑖 は単 独で推定可能ではない。 7/16
  8. 8. 2.2.3 ガウス-マルコフの定理 線形モデル 𝒚 = 𝑿𝜽 + 𝜺 の任意の推定関数 𝒍⊤ 𝜽 について、𝒍⊤ 𝜽 が一意にBLUE。 ここで、𝜽 = 𝜽 は、正規方程式 𝑿⊤ 𝑿 𝜽 = 𝑿⊤ 𝒚 を満たす任意の最小二乗解。 Xがフルランクの場合、任意の線形関数 も 𝜽 自体も推定可能で、正規方程式も一意 な最小二乗解 𝜽 = 𝑿⊤ 𝑿 −𝟏 𝑿⊤ 𝒚 を持つ。 8/16
  9. 9. 証明(1) 任意の線形式 𝒍⊤ 𝜽 に対し、 𝒍⊤ 𝜽 = 𝒍⊤ 𝑿⊤ 𝑿 −𝟏 𝑿⊤ 𝒚 𝐸 𝒍⊤ 𝜽 = 𝒍⊤ 𝑿⊤ 𝑿 −𝟏 𝑿⊤ 𝐸 𝒚 = 𝒍⊤ 𝑿⊤ 𝑿 −𝟏 𝑿⊤ 𝑿𝜽 = 𝒍⊤ 𝜽 次に、 𝒍⊤ 𝜽 とは別の線形不偏推定量 𝑡 𝒚 = 𝑳⊤ 𝒚 との差 を次のように定義する。 𝒍⊤ 𝜽 − 𝑳⊤ 𝒚 = 𝒍⊤ 𝑿⊤ 𝑿 −𝟏 𝑿⊤ − 𝑳⊤ 𝒚 ≡ 𝒃⊤ 𝒚 このとき、不偏性から、全ての 𝜽 について 𝐸 𝑳⊤ 𝒚 = 𝒍⊤ 𝜽 となるべきで、 𝐸 𝒃⊤ 𝒚 = 𝒃⊤ 𝑿𝜽 = 0 が任意の 𝜽 で成り立つので、 𝒃⊤ 𝑿 = 0. 9/16 <= 不偏
  10. 10. 証明(2) 10/16 二つの確率変数X, Yに対して 𝑉 𝑋 + 𝑌 = 𝑉 𝑋 + 2Cov 𝑋, 𝑌 + 𝑉 𝑌 (2.26) であるから、 𝑳⊤ 𝒚 の分散は、 V 𝑳⊤ 𝒚 = V 𝒍⊤ 𝜽 − 𝒃⊤ 𝒚 = V 𝒍⊤ 𝜽 − 2Cov 𝒍⊤ 𝑿⊤ 𝑿 −𝟏 𝑿⊤ 𝒚, 𝒃⊤ 𝒚 + V 𝒃⊤ 𝒚 . 一方、誤差 ε が無相関で等分散の仮定(2.14)を満たせば、2つの確 率変数 𝒂⊤ 𝒚 = ∑𝑎𝑖 𝑦𝑖, 𝒃⊤ 𝒚 = ∑𝑏𝑖 𝑦𝑖 の共分散は、 Cov 𝒂⊤ 𝒚, 𝒃⊤ 𝒚 = Cov 𝒂⊤ 𝜺, 𝒃⊤ 𝜺 = ∑𝑎𝑖 𝑏𝑖 𝜎2 = (𝒂⊤ 𝒃)𝜎2 Cov 𝒍⊤ 𝑿⊤ 𝑿 −𝟏 𝑿⊤ 𝒚, 𝒃⊤ 𝒚 = 𝒍⊤ 𝑿⊤ 𝑿 −𝟏 𝑿⊤ 𝒃𝜎2 = 0 よって、 V 𝑳⊤ 𝒚 = V 𝒍⊤ 𝜽 + 𝑽(𝒃⊤ 𝒚) ゆえに、 V 𝑳⊤ 𝒚 ≥ V 𝒍⊤ 𝜽 𝑳⊤ 𝒚は任意の線形不偏推定量なので、 𝒍⊤ 𝜽 はBLUE 0
  11. 11. Xがランク落ちするときの計算方法 ① 正規方程式 𝑿⊤ 𝑿 𝜽 = 𝑿⊤ 𝒚 の不定解を 𝜽 = 𝑿⊤ 𝑿 − 𝑿⊤ 𝒚 のように表し、 𝑿⊤ 𝑿 − の代 数的な性質を使って証明する ② データを直交変換により扱いやすい標準 形に変換して証明する 11/16
  12. 12. 例2.5 繰り返し測定のモデル: 飲料製品中のエキス含有量[表2.1] p.33 y <- c(37.55, 37.74, 37.69, 37.71, 37.73, 37.81, 37.53, 37.58, 37.74) j <- rep(1, length(y)) solve(t(j) %*% j) %*% t(j) %*% y # 37.67556 <- 𝜇 1/length(y) * sum(y) # 37.67556 12/16
  13. 13. 例2.6’ 単回帰データ: コンクリートの養生の温 度条件と圧縮強度の関係[表2.4]p.45 x <- c(2.62, 2.75, 2.85, 2.92, 2.92, 3.05, 3.14, 3.15, 3.23, 3.26, 3.36, 3.44, 3.66, 3.74, 4.04) y <- c(209, 237, 273, 316, 283, 317, 321, 356, 404, 368, 405, 429, 413, 440, 439) X <- cbind(rep(1, length(x)), x) (t1 <- as.vector(solve(t(X) %*% X) %*% t(X) %*% y)) # [1] -217.9524 176.1747 plot(x, y); abline(as.vector(t1), col="red") 13/16
  14. 14. 例2.7 一元配置モデル: 脂肪の種類に対す る吸収量[表2.2]p.34 theta <- c(64, 72, 68, 77, 56, 95, 78, 91, 97, 82, 85, 77, 75, 93, 78, 71, 63, 76, 55, 66, 49, 64, 70, 68) (X <- matrix(c(rep(1, length(theta)), rep(1, 6), rep(0, 24), rep(1, 6), rep(0, 24), rep(1, 6), rep(0, 24), rep(1, 6)), nc=5)) (t1 <- as.vector(solve(t(X) %*% X) %*% t(X) %*% theta)) # 以下にエラー solve.default(t(X) %*% X) : # Lapack routine dgesv: システムは正確に特異です: U[5,5] = 0 require(MASS) # for ginv() (t1 <- as.vector(ginv(t(X) %*% X) %*% t(X) %*% theta)) # [1] 59 13 26 17 3 # mu=59, α1=13, α2=26, α3=17, α4=3. 14/16
  15. 15. 2.2.4最小二乗法と制約式 ★ 例2.7に、mu=0という制約をつけて解いてみる (X2 <- matrix(c(rep(1, 6), rep(0, 24), rep(1, 6), rep(0, 24), rep(1, 6), rep(0, 24), rep(1, 6)), nc=4)) (t2 <- as.vector(solve(t(X2) %*% X2) %*% t(X2) %*% theta)) #[1] 72 85 76 62 ★ 例2.7に、𝜶 𝟏 = 𝟎 という制約をつけてみる require(MASS) # for ginv() (X3 <- matrix(c(rep(1, length(theta)), rep(0, 6), rep(0, 24), rep(1, 6), rep(0, 24), rep(1, 6), rep(0, 24), rep(1, 6)), nc=5)) (t3 <- as.vector(ginv(t(X3) %*% X3) %*% t(X3) %*% theta)) # [1] 7.200000e+01 -3.478067e-15 1.300000e+01 4.000000e+00 -1.000000e+01 15/16
  16. 16. ★ 例2.7に、∑𝜶𝒊 = 𝟎 という制約をつける theta <- c(64, 72, 68, 77, 56, 95, 78, 91, 97, 82, 85, 77, 75, 93, 78, 71, 63, 76, 55, 66, 49, 64, 70, 68) (X4 <- matrix(c(rep(1, length(theta)), rep(1, 6), rep(0, 24), rep(1, 6), rep(0, 24), rep(1, 6), rep(0, 24), rep(1, 6)), nc=5)) # 通常の計画行列 X4[19:24,] <- c(rep(1, 6), rep(-1, 18), rep(0, 6)) X4 (t4 <- as.vector(ginv(t(X4) %*% X4) %*% t(X4) %*% theta)) # [1] 73.75 -1.75 11.25 2.25 0.00 # mu= 73.75, α1= -1.75, α2=11.25, α3= 2.25, # α4=-(α1 + α2+ α3 )=-11.75 # -sum(t4[2:4]) 16/16
  17. 17. おまけ MS Officeの数式エディタは、TeXのよう な入力が可能 例) y_i = beta_0 + beta_1 x_i + beta_2 x_i^2 + varepsilon_i 𝑦𝑖 = 𝛽0 + 𝛽1 𝑥1 + 𝛽2 𝑥𝑖 2 + 𝜀𝑖 ※ ただし、完全に入力が互換というわ けではない。
  18. 18. おわり @足利フラワーパーク

×