More Related Content
What's hot
What's hot (20)
Similar to 猫でも分かりたい線形回帰の自由度
Similar to 猫でも分かりたい線形回帰の自由度 (20)
猫でも分かりたい線形回帰の自由度
- 2. 自己紹介と本スライドの目的 ↑この猫はフリーイラスト ・神戸 之法 ・京大院 → 保険等の金融機関 → 医療系のデータ分析(予定) ・統計学が好き(得意とは言っていない） 自己紹介 ・数学、物理が好き(得意とは言っていない） スライドの目的 ・そろそろ線形回帰の自由度って何なのかちゃんと勉強しようと思って作成 （間違いがあったら教えてください。。直します） ・想定読者は、幾何学的に線形回帰における最小二乗法を理解したい人 線形回帰ってなんだろうって人 ご意見先：kambeyu2019@gmail.com ・途中の数式は読み飛ばしてもOK ・今回が初投稿
- 3. 実数値をとるn個の観測データ𝑦𝑖を縦に並べたベクトル𝒚を考えると、 自由度とは（１） 𝒚 = 𝑦1 𝑦2 ⋮ 𝑦 𝑛 = 𝑦1 𝒆 𝟏 + 𝑦2 𝒆 𝟐 + ⋯ + 𝑦 𝑛 𝒆 𝒏 = 1 ⋯ 0 ⋮ ⋱ ⋮ 0 ⋯ 1 𝑦1 𝑦2 ⋮ 𝑦 𝑛 = 𝑰 𝒏 𝒚 𝒆 𝟏 = 1 0 ⋮ 0 𝒆𝒊は単位ベクトル n個の観測データ𝒚は、𝑹 𝒏のn個の標準基底の和で表現できるので、𝒚 ∈ 𝑹 𝒏 言い換えると、n個の観測データは、n次元ベクトル空間の１要素である このベクトル空間の次元nを自由度と呼ぶ
- 4. 自由度とは（２） 例）コイントス 表：1, 裏：0 としたとき、コインを３回投げたとき取りえる事象は、 0 0 0 , 0 1 0 , 0 0 1 , 0 1 1 , 1 0 0 , 1 1 0 , 1 0 1 , 1 1 1 となり、23 = 8個の事象が考えられる。 0,1 = 𝑩とすると、コイントスの 事象𝒚は、𝒚 ∈ 𝑩 𝟑 である 幾何学的に考えると、立方体の頂点の一つが取りえる事象である
- 5. 線形回帰の残差の自由度（１） n個の観測データ𝒚が、別の観測データ𝒙の線形和で表されるとき、 𝒚の残差の自由度はどうなるのだろうか？ 【問題】 𝑦1 𝑦2 ⋮ 𝑦 𝑛 = 1 1 ⋮ 1 𝑥11 𝑥12 ⋮ 𝑥1𝑛 𝑥21 𝑥22 ⋮ 𝑥2𝑛 𝛽0 𝛽1 𝛽2 + 𝜖1 𝜖2 ⋮ 𝜖 𝑛 𝑦𝑖 = 𝛽0 + 𝛽1 𝑥1𝑖 + 𝛽2 𝑥2𝑖 + 𝜖𝑖 𝒚 = 𝑿𝜷 + 𝝐 自由度n 自由度はいくつ？ 𝑿：説明変数がp個（上の例は2個）のとき、n×(p+1)行列 直観的には、n×(p+1)行列 𝑿 は、線形写像 𝑓: 𝑹 𝒏 → 𝑹 𝒑+𝟏 であることを考えれば、 残りの誤差は、n-(p+1)の次元を持ちそうである 本当？ （線形回帰の色々な表現）
- 6. 線形回帰の残差の自由度（２） 𝑦1 𝑦2 ⋮ 𝑦 𝑛 = 1 1 ⋮ 1 𝑥11 𝑥12 ⋮ 𝑥1𝑛 𝑥21 𝑥22 ⋮ 𝑥2𝑛 𝛽0 𝛽1 𝛽2 + 𝜖1 𝜖2 ⋮ 𝜖 𝑛 直観的には、n×(p+1)行列 𝑿 は、線形写像 𝑓: 𝑹 𝒏 → 𝑹 𝒑+𝟏 であることを考えれば、 残りの𝝐は、n-(p+1)の次元を持ちそうである 残差の自由度は 𝜷に依存しそう しかし、𝛽0 = 𝛽1 = 𝛽2 = 0の時を考えると、そうでもない気もする 𝜷は、どのように決めるのであったか？ 最小二乗法 仮に、観測値𝒚に依存せず、𝜷が既に決まっている(定数)とすると、𝝐の自由度 は𝒚の自由度と同じnになりそう 𝑬 𝝐 = 𝟎, 𝑽 𝝐 = 𝜎2 𝑰 𝒏
- 7. 線形回帰の残差の自由度（３） 𝒚 = 𝑿𝜷 + 𝝐 のとき、偏差平方和𝑄(𝜷) 𝜖𝑖 = 𝑦𝑖 − 𝛽0 − 𝛽1 𝑥1 − 𝛽2 𝑥2を偏差と呼ぶ 最小二乗法 𝑄 𝜷 = 𝒊 𝜖𝑖 2 = 𝝐 𝑻 𝝐 = 𝒚 − 𝑿𝜷 𝑻 𝒚 − 𝑿𝜷 = 𝒚 − 𝑿𝜷 𝟐 を最小とする𝜷を求める（最小二乗推定量 𝜷 ） 𝜕𝑄 𝜷 𝜕𝜷 = −2𝑿 𝑻 𝒚 − 𝑿𝜷 = −2 𝑿 𝑻 𝒚 − 𝑿 𝑻 𝑿𝜷 ＝𝟎 𝜷 = 𝜷 = 𝑿 𝑻 𝑿 −𝟏 𝑿 𝑻 𝒚 𝒚 = 𝑿𝜷 + 𝒆 = 𝑿 𝑿 𝑻 𝑿 −𝟏 𝑿 𝑻 𝒚 + 𝒆 = 𝑯𝒚 + 𝑰 − 𝑯 𝒚 よって、 𝒆 = 𝒚 − 𝑿𝜷とすれば、 ここで、𝑯 = 𝑿 𝑿 𝑻 𝑿 −𝟏 𝑿 𝑻 とし、これをハット行列と呼ぶ また、𝒆 = 𝑰 − 𝑯 𝒚 となる 問題は、残差𝒆の自由度を求めることだった
- 8. 線形回帰の残差の自由度（４） ハット行列の性質 𝑯 = 𝑿 𝑿 𝑻 𝑿 −𝟏 𝑿 𝑻 は、以下の性質を満たす 𝑯2 = 𝑯 より、𝑯は射影行列 𝑰 − 𝑯 𝟐 = 𝑰 − 𝑯 より、 𝑰 − 𝑯も射影行列 𝑯 𝑰 − 𝑯 = 𝑯 − 𝑯 𝟐 = 𝑯 − 𝑯 = 𝑶より、 𝑰 − 𝑯 𝒚は 𝑯𝒚と直交する 𝑯𝑿 = 𝑿 𝑿 𝑻 𝑿 −𝟏 𝑿 𝑻 𝑿 = 𝑿 𝒚 = 𝑯𝒚 + 𝑰 − 𝑯 𝒚 𝑯𝒚は、𝑿で張られる空間への𝒚の射影である 残差 𝒆 = 𝑰 − 𝑯 𝒚 の次元を知るには、行列𝑯のrankが分かれば良い 𝐹：𝒚 ↦ 𝑯𝒚 rank𝑯 =dim(ImF) 残差𝒆の自由度 = 𝑛 − rank𝑯 𝑛 = rank𝑯 + rank(𝑰 − 𝑯)
- 9. 線形回帰の残差の自由度（５） 𝒚 = 𝑯𝒚 + 𝑰 − 𝑯 𝒚 rank𝑯 =rank 𝑸−𝟏 𝑯𝑸 = rank diag 1,1, … , 1,0, … , 0 = 𝑟 𝑯𝒖𝒊 = 𝜆𝑖 𝒖𝒊 のとき、 射影行列の固有値は、1または0である 𝑯𝒖𝒊 𝑻 𝑯𝒖𝒊 = 𝜆𝑖 2 𝒖𝒊 𝑻 𝒖𝒊 𝑯𝒖𝒊 𝑻 𝑯𝒖𝒊 = 𝒖𝒊 𝑻 𝑯 𝑻 𝑯𝒖𝒊 = 𝒖𝒊 𝑯 𝟐 𝒖𝒊 = 𝒖𝒊 𝑯𝒖𝒊 = 𝜆𝑖 𝒖𝒊 𝑻 𝒖𝒊 よって、𝜆𝑖 2 = 𝜆𝑖 より、射影行列の固有値は、1または0である 𝑸−𝟏 𝑯𝑸 = diag{1,1, … , 1,0, … , 0} よって、射影行列𝑯は、正則行列𝑸により以下のように変換できる いま、𝑯のrankを𝑟とすると、 tr𝑯 =tr 𝑯𝑸𝑸−𝟏 =tr 𝑸−𝟏 𝑯𝑸 = tr diag 1,1, … , 1,0, … , 0 = 𝑟 rank𝑯 = tr𝑯 = tr 𝑿 𝑿 𝑻 𝑿 −𝟏 𝑿 𝑻 = tr 𝑿 𝑻 𝑿 𝑿 𝑻 𝑿 −𝟏 = tr𝑰 𝒑+𝟏 = 𝑝 + 1 よって、 以上より、𝒆 = 𝑰 − 𝑯 𝒚の自由度は、𝑛 − 𝑝 − 1 残差𝒆の自由度
- 10. 𝑹 𝒏 𝑿𝜷 = 𝑯𝒚 𝒆 = 𝑰 − 𝑯 𝒚 𝒚 𝟎 𝑿の列が張る空間 （p+1次元） 線形回帰の残差の自由度（６） 𝒚 = 𝑯𝒚 + 𝑰 − 𝑯 𝒚 ここまでのまとめ 𝒚 = 𝑿𝜷 + 𝒆 = 𝑿𝜷 + 𝝐 自由度n 自由度p+1 自由度n-p-1 𝑸−𝟏 𝒚 = 𝑸−𝟏 𝑯𝑸𝑸−𝟏 𝒚 + 𝑸−𝟏 𝑰 − 𝑯 𝑸𝑸−𝟏 𝒚 𝑸−𝟏 𝒚 = 𝑰 𝒑+𝟏 𝑶 𝑶 𝑶 𝑸−𝟏 𝒚 + 𝑶 𝑶 𝑶 𝑰 𝒏−𝒑−𝟏 𝑸−𝟏 𝒚 𝒛 = 𝑸−𝟏 𝒚とおくと、 𝒛 = 𝑧1 ⋮ 𝑧 𝑝+1 0 ⋮ 0 + 0 ⋮ 0 𝑧 𝑝+2 ⋮ 𝑧 𝑛 𝒚 = 𝑯𝒚 + 𝑰 − 𝑯 𝒚より、 自由度n 真の回帰係数 𝒚の観測によらない 例えば 𝒚の母平均𝜇も既知としている
- 11. 線形回帰の残差の自由度（７） 分散𝜎2の不偏推定量 𝑬 𝒆 𝑻 𝒆 = 𝑬 𝑰 − 𝑯 𝒚 𝑻 𝑰 − 𝑯 𝒚 = 𝑬 𝑰 − 𝑯 𝒚 𝑻 𝑰 − 𝑯 𝑿𝜷 + 𝝐 = 𝑬 𝑰 − 𝑯 𝝐 𝑻 𝑰 − 𝑯 𝝐 𝒚 = 𝑿𝜷 + 𝒆 = 𝑿𝜷 + 𝝐 自由度n 自由度p+1 自由度n-p-1 自由度n 真の回帰係数 𝑰 − 𝑯 𝑿 = 𝑶より、 = 𝑬 𝝐 𝑻 𝑰 − 𝑯 𝑻 𝑰 − 𝑯 𝝐 = 𝑬 𝝐 𝑻 𝑰 − 𝑯 𝝐 = 𝑬 tr 𝝐 𝑻 𝑰 − 𝑯 𝝐 = 𝑬 tr 𝑰 − 𝑯 𝝐 𝑻 𝝐 = tr 𝑰 − 𝑯 𝑬 𝝐 𝑻 𝝐 = tr 𝑰 − 𝑯 𝜎2 = 𝑛 − 𝑝 − 1 𝜎2 最小二乗推定量 よって、分散𝜎2 の不偏推定量は、 ො𝜎2 = 𝒆 𝑻 𝒆 𝑛 − 𝑝 − 1 = 1 𝑛 − 𝑝 − 1 𝑖 𝑦𝑖 − ො𝑦𝑖 2 ෝ𝒚 = 𝑿𝜷 いま、𝑬 ・ の中身は、スカラー(1×1行列)なので、 𝑬 ・ ＝𝑬 tr(・) tr 𝑰 − 𝑯 = rank 𝑰 − 𝑯 = 𝑛 − 𝑝 − 1であるから、残差平方和を残差𝒆の自由度で割ったものになっている
- 12. 線形回帰の残差の自由度（８） 例）標本分散 𝒙 = 1 1 ⋮ 1 𝛽 + 𝒆 とおくと、𝒆の自由度は n-1 𝛽 = 𝑿 𝑻 𝑿 −𝟏 𝑿 𝑻 𝒙 = 1 𝑛 𝑖 𝑥𝑖 = ҧ𝑥 𝒆 = 𝒙 − ෝ𝒙 = 𝑥1 − ҧ𝑥 𝑥2 − ҧ𝑥 ⋮ 𝑥 𝑛 − ҧ𝑥 よって、分散𝜎2 の不偏推定量は、 ො𝜎2 = 𝒆 𝑻 𝒆 𝑛 − 𝑝 − 1 = 1 𝑛 − 1 𝑖 𝑥𝑖 − ҧ𝑥 2 ෝ𝒙 = 1 1 ⋮ 1 𝛽 = ҧ𝑥 ҧ𝑥 ⋮ ҧ𝑥 = ഥ𝒙 偏差平方和を𝒆の自由度n-1で割ったものになる rank𝑿 = 1 𝑆2 = 1 𝑛 𝑖 𝑥𝑖 − ҧ𝑥 2 = 𝑛 − 1 𝑛 ො𝜎2 以上より標本分散は、
- 13. 線形回帰の残差の自由度（９） 例）最小二乗法の最も簡単な具体例(アリの体長) 𝒙 = 2 4 = 1 1 መ𝛽 + 𝒆 無作為に抽出したアリの体長が、2cmと4cmだった アリの体長の分散の不偏推定量を最小二乗法により求めよ መ𝛽 = 1 1 1 1 −𝟏 1 1 2 4 = 1 2 2 + 4 = 3 = ҧ𝑥 最小二乗法より、 𝒆 = 2 4 − 3 3 = −1 1 2個の観測は、2次元ベクトル空間の要素なので、 ො𝜎2 = 𝒆 𝑻 𝒆 𝑛 − 𝑝 − 1 = 2 1 = 2 𝑿𝜷 ∙ 𝒆 = 3 3 −1 1 = 0 1匹目のアリの体長 観測 𝒙 𝑿𝜷 = 1 1 መ𝛽 = 3 3 残差 𝒆 = −1 1 2 4 【ベクトル𝑿𝜷と𝒆の直交性の確認】 ちなみにハット行列𝑯 = 1 2 1 1 1 1 より、𝑰 − 𝑯 = 1 2 1 −1 −1 1 𝒆 = 𝑰 − 𝑯 𝒙 = −1 1 と残差を求めることもできる より、直交している 2次元ベクトル空間上で、 𝑿𝜷と直交するベクトルは、1方向しかない つまり、残差の自由度が2から1に減少していることが分かる。 2匹目のアリの体長
- 14. まとめと参考文献 ・線形回帰における最小二乗法は、直角三角形（n次元ベクトル空間における） をつくること！ ・線形回帰における最小二乗法 ⇔ 残差ベクトルの長さを最も短くする ⇔ 説明変数の張る空間と残差の張る空間が直交 ⇔ 説明変数の張る空間の次元がp+1で、残差の張る空間の次元がn-p-1 参考文献 まとめ