Submit Search
Upload
一般線形モデル
•
Download as PPTX, PDF
•
1 like
•
2,132 views
M
MatsuiRyo
Follow
一般化線形モデル 導出からその特徴まで
Read less
Read more
Data & Analytics
Report
Share
Report
Share
1 of 30
Download now
Recommended
みどりぼん3章前半
みどりぼん3章前半
Akifumi Eguchi
みどりぼん3章の前半スライドです。 6月11日再アップロードしました。 文字化け等修正してます。
一般化線形混合モデル入門の入門
一般化線形混合モデル入門の入門
Yu Tamura
2014.12.6. Nagoya.R #12 外国語教育研究の仮想データを用いてRのlme4パッケージやlmerTestパッケージを使ってみるというような主旨の発表です。 slideshare上から無料でダウンロードできなくなってしまったので,speakerdeckにも同じ資料をあげました。ダウンロードされたい方,広告がうっとおしいという方は下記のURLからどうぞ。 https://speakerdeck.com/tam07pb915/an-introduction-to-lme
社会心理学とGlmm
社会心理学とGlmm
Hiroshi Shimizu
日本社会心理学会第2回春の方法論セミナー 「GLMMが切り開く新たな統計の世界」で発表したスライドです。 一部,発表時から修正したスライドがあります。
2 3.GLMの基礎
2 3.GLMの基礎
logics-of-blue
2013年8月10~11日にかけて北大函館キャンパス内で行われた統計勉強会の投影資料です。 2日目 2-3.GLMの基礎 一般化線形モデルの構成要素や、計算の方法について解説します。 サイト作ってます http://logics-of-blue.com/
ようやく分かった!最尤推定とベイズ推定
ようやく分かった!最尤推定とベイズ推定
Akira Masuda
最尤推定やベイズ推定の基本がようやく理解できたため,かみ砕いて説明したプレゼンを作りました.
階層ベイズとWAIC
階層ベイズとWAIC
Hiroshi Shimizu
HijiyamaR#3で発表しました。 階層ベイズを使った場合に,最尤法のAICと結果が大きく異なります。その問題についてどのように考えたらいいかについて発表しました。
Sliced Wasserstein距離と生成モデル
Sliced Wasserstein距離と生成モデル
ohken
1/24 パンハウスゼミ
5分でわかるかもしれないglmnet
5分でわかるかもしれないglmnet
Nagi Teramo
Recommended
みどりぼん3章前半
みどりぼん3章前半
Akifumi Eguchi
みどりぼん3章の前半スライドです。 6月11日再アップロードしました。 文字化け等修正してます。
一般化線形混合モデル入門の入門
一般化線形混合モデル入門の入門
Yu Tamura
2014.12.6. Nagoya.R #12 外国語教育研究の仮想データを用いてRのlme4パッケージやlmerTestパッケージを使ってみるというような主旨の発表です。 slideshare上から無料でダウンロードできなくなってしまったので,speakerdeckにも同じ資料をあげました。ダウンロードされたい方,広告がうっとおしいという方は下記のURLからどうぞ。 https://speakerdeck.com/tam07pb915/an-introduction-to-lme
社会心理学とGlmm
社会心理学とGlmm
Hiroshi Shimizu
日本社会心理学会第2回春の方法論セミナー 「GLMMが切り開く新たな統計の世界」で発表したスライドです。 一部,発表時から修正したスライドがあります。
2 3.GLMの基礎
2 3.GLMの基礎
logics-of-blue
2013年8月10~11日にかけて北大函館キャンパス内で行われた統計勉強会の投影資料です。 2日目 2-3.GLMの基礎 一般化線形モデルの構成要素や、計算の方法について解説します。 サイト作ってます http://logics-of-blue.com/
ようやく分かった!最尤推定とベイズ推定
ようやく分かった!最尤推定とベイズ推定
Akira Masuda
最尤推定やベイズ推定の基本がようやく理解できたため,かみ砕いて説明したプレゼンを作りました.
階層ベイズとWAIC
階層ベイズとWAIC
Hiroshi Shimizu
HijiyamaR#3で発表しました。 階層ベイズを使った場合に,最尤法のAICと結果が大きく異なります。その問題についてどのように考えたらいいかについて発表しました。
Sliced Wasserstein距離と生成モデル
Sliced Wasserstein距離と生成モデル
ohken
1/24 パンハウスゼミ
5分でわかるかもしれないglmnet
5分でわかるかもしれないglmnet
Nagi Teramo
Sparse estimation tutorial 2014
Sparse estimation tutorial 2014
Taiji Suzuki
スパース推定チュートリアル
20180118 一般化線形モデル(glm)
20180118 一般化線形モデル(glm)
Masakazu Shinoda
一般化線形モデル(glm)
PRML 6.1章 カーネル法と双対表現
PRML 6.1章 カーネル法と双対表現
hagino 3000
PRML復々習レーン #9の発表資料
心理学者のためのGlmm・階層ベイズ
心理学者のためのGlmm・階層ベイズ
Hiroshi Shimizu
北海道大学で講演した,GLM,HLM,GLMM,階層ベイズについてのスライド後半です。 前半のスライドはこちら http://www.slideshare.net/simizu706/ss-58585233
因果推論の基礎
因果推論の基礎
Hatsuru Morita
法社会学会関東支部で,2014年12月13日に報告。 『実証分析入門――データから因果関係を読み解く作法』の後半で展開されている,因果推論を説明
重回帰分析で交互作用効果
重回帰分析で交互作用効果
Makoto Hirakawa
2014.11.29 Hijiyama.R #1 での発表資料です。
グラフィカルモデル入門
グラフィカルモデル入門
Kawamoto_Kazuhiko
[DL輪読会]Scalable Training of Inference Networks for Gaussian-Process Models
[DL輪読会]Scalable Training of Inference Networks for Gaussian-Process Models
Deep Learning JP
2019/09/06 Deep Learning JP: http://deeplearning.jp/seminar-2/
Dimensionality reduction with t-SNE(Rtsne) and UMAP(uwot) using R packages.
Dimensionality reduction with t-SNE(Rtsne) and UMAP(uwot) using R packages.
Satoshi Kato
All sample codes are available at: https://github.com/katokohaku/tSNE_and_UMAP_using_R_packages
一般化線形モデル
一般化線形モデル
MatsuiRyo
一般化線形モデルの特徴と利用
多重代入法の書き方 公開用
多重代入法の書き方 公開用
Koichiro Gibo
GEE(一般化推定方程式)の理論
GEE(一般化推定方程式)の理論
Koichiro Gibo
日本語での理論的な資料があまりにも少ないので一応作ってみました。大きなミスはないと思いますが、厳密な議論は飛ばしたりしています。 11/6 リバイズしました
幾何を使った統計のはなし
幾何を使った統計のはなし
Toru Imai
zansa Sep/27th/2012
マルチレベルモデル講習会 理論編
マルチレベルモデル講習会 理論編
Hiroshi Shimizu
東洋大学で行われたマルチレベル講習会の資料の理論編です。
階層モデルの分散パラメータの事前分布について
階層モデルの分散パラメータの事前分布について
hoxo_m
基礎からのベイズ統計学入門 輪読会#4 LT資料 http://stats-study.connpass.com/event/27129/
因果探索: 基本から最近の発展までを概説
因果探索: 基本から最近の発展までを概説
Shiga University, RIKEN
第23回情報論的学習理論と機械学習研究会 (IBISML)
変分推論法(変分ベイズ法)(PRML第10章)
変分推論法(変分ベイズ法)(PRML第10章)
Takao Yamanaka
ベイズ統計学の概論的紹介
ベイズ統計学の概論的紹介
Naoki Hayashi
ベイズ統計学の基礎概念からW理論まで概論的に紹介するスライドです.数理・計算科学チュートリアル実践のチュートリアル資料です.引用しているipynbは * http://nhayashi.main.jp/codes/BayesStatAbstIntro.zip * https://github.com/chijan-nh/BayesStatAbstIntro を参照ください. 以下,エラッタ. * 52 of 80:KL(q||p)≠KL(q||p)ではなくKL(q||p)≠KL(p||q). * 67 of 80:2ν=E[V_n]ではなくE[V_n] → 2ν (n→∞). * 70 of 80:AICの第2項は d/2n ではなく d/n. * 76 of 80:βH(w)ではなくβ log P(X^n|w) + log φ(w). - レプリカ交換MCと異なり、逆温度を尤度にのみ乗することはWBIC導出では本質的な仮定となる.
最適輸送入門
最適輸送入門
joisino
IBIS 2021 https://ibisml.org/ibis2021/ における最適輸送についてのチュートリアルスライドです。 『最適輸送の理論とアルゴリズム』好評発売中! https://www.amazon.co.jp/dp/4065305144 Speakerdeck にもアップロードしました: https://speakerdeck.com/joisino/zui-shi-shu-song-ru-men
PCAの最終形態GPLVMの解説
PCAの最終形態GPLVMの解説
弘毅 露崎
WACODE 3rdの資料
自然科学の統計学2.2 slideshare
自然科学の統計学2.2 slideshare
wada, kazumi
輪講の担当分です。テキストは東京大学教養学部統計学教室編(1992)「自然科学の統計学」東京大学出版会
人生を豊かにする線形代数学
人生を豊かにする線形代数学
Fumiya Watanabe
東工大ロボット技術研究会第二回rogyゼミで発表した内容です。 線形代数は学んで損はないのでぜひやりましょう。
More Related Content
What's hot
Sparse estimation tutorial 2014
Sparse estimation tutorial 2014
Taiji Suzuki
スパース推定チュートリアル
20180118 一般化線形モデル(glm)
20180118 一般化線形モデル(glm)
Masakazu Shinoda
一般化線形モデル(glm)
PRML 6.1章 カーネル法と双対表現
PRML 6.1章 カーネル法と双対表現
hagino 3000
PRML復々習レーン #9の発表資料
心理学者のためのGlmm・階層ベイズ
心理学者のためのGlmm・階層ベイズ
Hiroshi Shimizu
北海道大学で講演した,GLM,HLM,GLMM,階層ベイズについてのスライド後半です。 前半のスライドはこちら http://www.slideshare.net/simizu706/ss-58585233
因果推論の基礎
因果推論の基礎
Hatsuru Morita
法社会学会関東支部で,2014年12月13日に報告。 『実証分析入門――データから因果関係を読み解く作法』の後半で展開されている,因果推論を説明
重回帰分析で交互作用効果
重回帰分析で交互作用効果
Makoto Hirakawa
2014.11.29 Hijiyama.R #1 での発表資料です。
グラフィカルモデル入門
グラフィカルモデル入門
Kawamoto_Kazuhiko
[DL輪読会]Scalable Training of Inference Networks for Gaussian-Process Models
[DL輪読会]Scalable Training of Inference Networks for Gaussian-Process Models
Deep Learning JP
2019/09/06 Deep Learning JP: http://deeplearning.jp/seminar-2/
Dimensionality reduction with t-SNE(Rtsne) and UMAP(uwot) using R packages.
Dimensionality reduction with t-SNE(Rtsne) and UMAP(uwot) using R packages.
Satoshi Kato
All sample codes are available at: https://github.com/katokohaku/tSNE_and_UMAP_using_R_packages
一般化線形モデル
一般化線形モデル
MatsuiRyo
一般化線形モデルの特徴と利用
多重代入法の書き方 公開用
多重代入法の書き方 公開用
Koichiro Gibo
GEE(一般化推定方程式)の理論
GEE(一般化推定方程式)の理論
Koichiro Gibo
日本語での理論的な資料があまりにも少ないので一応作ってみました。大きなミスはないと思いますが、厳密な議論は飛ばしたりしています。 11/6 リバイズしました
幾何を使った統計のはなし
幾何を使った統計のはなし
Toru Imai
zansa Sep/27th/2012
マルチレベルモデル講習会 理論編
マルチレベルモデル講習会 理論編
Hiroshi Shimizu
東洋大学で行われたマルチレベル講習会の資料の理論編です。
階層モデルの分散パラメータの事前分布について
階層モデルの分散パラメータの事前分布について
hoxo_m
基礎からのベイズ統計学入門 輪読会#4 LT資料 http://stats-study.connpass.com/event/27129/
因果探索: 基本から最近の発展までを概説
因果探索: 基本から最近の発展までを概説
Shiga University, RIKEN
第23回情報論的学習理論と機械学習研究会 (IBISML)
変分推論法(変分ベイズ法)(PRML第10章)
変分推論法(変分ベイズ法)(PRML第10章)
Takao Yamanaka
ベイズ統計学の概論的紹介
ベイズ統計学の概論的紹介
Naoki Hayashi
ベイズ統計学の基礎概念からW理論まで概論的に紹介するスライドです.数理・計算科学チュートリアル実践のチュートリアル資料です.引用しているipynbは * http://nhayashi.main.jp/codes/BayesStatAbstIntro.zip * https://github.com/chijan-nh/BayesStatAbstIntro を参照ください. 以下,エラッタ. * 52 of 80:KL(q||p)≠KL(q||p)ではなくKL(q||p)≠KL(p||q). * 67 of 80:2ν=E[V_n]ではなくE[V_n] → 2ν (n→∞). * 70 of 80:AICの第2項は d/2n ではなく d/n. * 76 of 80:βH(w)ではなくβ log P(X^n|w) + log φ(w). - レプリカ交換MCと異なり、逆温度を尤度にのみ乗することはWBIC導出では本質的な仮定となる.
最適輸送入門
最適輸送入門
joisino
IBIS 2021 https://ibisml.org/ibis2021/ における最適輸送についてのチュートリアルスライドです。 『最適輸送の理論とアルゴリズム』好評発売中! https://www.amazon.co.jp/dp/4065305144 Speakerdeck にもアップロードしました: https://speakerdeck.com/joisino/zui-shi-shu-song-ru-men
PCAの最終形態GPLVMの解説
PCAの最終形態GPLVMの解説
弘毅 露崎
WACODE 3rdの資料
What's hot
(20)
Sparse estimation tutorial 2014
Sparse estimation tutorial 2014
20180118 一般化線形モデル(glm)
20180118 一般化線形モデル(glm)
PRML 6.1章 カーネル法と双対表現
PRML 6.1章 カーネル法と双対表現
心理学者のためのGlmm・階層ベイズ
心理学者のためのGlmm・階層ベイズ
因果推論の基礎
因果推論の基礎
重回帰分析で交互作用効果
重回帰分析で交互作用効果
グラフィカルモデル入門
グラフィカルモデル入門
[DL輪読会]Scalable Training of Inference Networks for Gaussian-Process Models
[DL輪読会]Scalable Training of Inference Networks for Gaussian-Process Models
Dimensionality reduction with t-SNE(Rtsne) and UMAP(uwot) using R packages.
Dimensionality reduction with t-SNE(Rtsne) and UMAP(uwot) using R packages.
一般化線形モデル
一般化線形モデル
多重代入法の書き方 公開用
多重代入法の書き方 公開用
GEE(一般化推定方程式)の理論
GEE(一般化推定方程式)の理論
幾何を使った統計のはなし
幾何を使った統計のはなし
マルチレベルモデル講習会 理論編
マルチレベルモデル講習会 理論編
階層モデルの分散パラメータの事前分布について
階層モデルの分散パラメータの事前分布について
因果探索: 基本から最近の発展までを概説
因果探索: 基本から最近の発展までを概説
変分推論法(変分ベイズ法)(PRML第10章)
変分推論法(変分ベイズ法)(PRML第10章)
ベイズ統計学の概論的紹介
ベイズ統計学の概論的紹介
最適輸送入門
最適輸送入門
PCAの最終形態GPLVMの解説
PCAの最終形態GPLVMの解説
Similar to 一般線形モデル
自然科学の統計学2.2 slideshare
自然科学の統計学2.2 slideshare
wada, kazumi
輪講の担当分です。テキストは東京大学教養学部統計学教室編(1992)「自然科学の統計学」東京大学出版会
人生を豊かにする線形代数学
人生を豊かにする線形代数学
Fumiya Watanabe
東工大ロボット技術研究会第二回rogyゼミで発表した内容です。 線形代数は学んで損はないのでぜひやりましょう。
Variational autoencoder
Variational autoencoder
Mikio Shiga
Variational Autoencoderの解説(AIMS 2019/11/09 発表資料)
C03
C03
anonymousouj
554522
ラビットチャレンジレポート 機械学習
ラビットチャレンジレポート 機械学習
ssuserf4860b
ラビットチャレンジレポート 機械学習
回帰
回帰
Shin Asakawa
第2回 TensorFlowと機械学習に必要な数学を基礎から学ぶ会資料 回帰編
PRML復々習レーン#11
PRML復々習レーン#11
Takuya Fukagai
2013/06/23 PRML (Pattern Recognition and Machine Learning) 復々習レーン #11 の 担当箇所スライド ( section 8. Graphical Modelの始めのほう )
ディジタル信号処理の課題解説 その3
ディジタル信号処理の課題解説 その3
noname409
統計的学習の基礎 5章前半(~5.6)
統計的学習の基礎 5章前半(~5.6)
Kota Mori
統計的学習の基礎 勉強会資料 (8月23日)
prml_titech_9.0-9.2
prml_titech_9.0-9.2
Taikai Takeda
PRML 9.0-9.2 混合ガウス分布とEMアルゴリズムの資料
PRML Chapter 11 (11.0-11.2)
PRML Chapter 11 (11.0-11.2)
Shogo Nakamura
PRML, Pattern Recognition and Machine Learning chapter 11
ラビットチャレンジレポート 応用数学
ラビットチャレンジレポート 応用数学
ssuserf4860b
ラビットチャレンジレポート 応用数学
PRML 2.3節
PRML 2.3節
Rei Takami
研究室で行なった"パターン認識と機械学習"の輪読会での発表資料です
PRML 8.4-8.4.3
PRML 8.4-8.4.3
KunihiroTakeoka
間違いなどありましたら、 https://twitter.com/_kuni88 までご連絡ください。
PRML セミナー
PRML セミナー
sakaguchi050403
セミナー資料
東京都市大学 データ解析入門 2 行列分解 1
東京都市大学 データ解析入門 2 行列分解 1
hirokazutanaka
特異値分解(Singular value decomposition) 行列近似(Matrix approximation) Eckart-Youngの行列近似定理 応用例:画像圧縮(Image compression) 線形方程式系:優決定系と劣決定系 擬逆行列、最小二乗、回帰問題 講師: 東京都市大学 田中宏和 講義ビデオ: https://www.youtube.com/playlist?list=PLXAfiwJfs0jGOvZnwUdAykZvSdRFd7K2p
【解説】 一般逆行列
【解説】 一般逆行列
Kenjiro Sugimoto
学生向けの解説
ベイズ推論による機械学習入門 第4章
ベイズ推論による機械学習入門 第4章
YosukeAkasaka
勉強会で使用した、ベイズ推論による機械学習入門 第4章のスライドです。 どういうわけか一部表記が乱れていますがご容赦ください。(元のファイルはそうなっていない)
Prml1.2.4
Prml1.2.4
Tomoyuki Hioki
パターン認識と機械学習 (ベイズ理論による統計的予測) 1.2.4 Pattern Recognition and Machine Learning (PRML)
C06
C06
anonymousouj
1554522
Similar to 一般線形モデル
(20)
自然科学の統計学2.2 slideshare
自然科学の統計学2.2 slideshare
人生を豊かにする線形代数学
人生を豊かにする線形代数学
Variational autoencoder
Variational autoencoder
C03
C03
ラビットチャレンジレポート 機械学習
ラビットチャレンジレポート 機械学習
回帰
回帰
PRML復々習レーン#11
PRML復々習レーン#11
ディジタル信号処理の課題解説 その3
ディジタル信号処理の課題解説 その3
統計的学習の基礎 5章前半(~5.6)
統計的学習の基礎 5章前半(~5.6)
prml_titech_9.0-9.2
prml_titech_9.0-9.2
PRML Chapter 11 (11.0-11.2)
PRML Chapter 11 (11.0-11.2)
ラビットチャレンジレポート 応用数学
ラビットチャレンジレポート 応用数学
PRML 2.3節
PRML 2.3節
PRML 8.4-8.4.3
PRML 8.4-8.4.3
PRML セミナー
PRML セミナー
東京都市大学 データ解析入門 2 行列分解 1
東京都市大学 データ解析入門 2 行列分解 1
【解説】 一般逆行列
【解説】 一般逆行列
ベイズ推論による機械学習入門 第4章
ベイズ推論による機械学習入門 第4章
Prml1.2.4
Prml1.2.4
C06
C06
More from MatsuiRyo
ベイズ最適化
ベイズ最適化
MatsuiRyo
ベイズ最適化の説明資料
多目的遺伝的アルゴリズム
多目的遺伝的アルゴリズム
MatsuiRyo
多目的遺伝的アルゴリズムの紹介
最尤推定法(NNでの応用)
最尤推定法(NNでの応用)
MatsuiRyo
最尤推定法の概要とNNでの応用例
MCMC法
MCMC法
MatsuiRyo
MCMC法の概要と利用
統計と機械学習
統計と機械学習
MatsuiRyo
統計モデルと機械学習モデルの違いについて
Warshall froyd
Warshall froyd
MatsuiRyo
ワーシャルフロイド法概要・実装
遺伝的アルゴリズム・遺伝的プログラミング
遺伝的アルゴリズム・遺伝的プログラミング
MatsuiRyo
遺伝的アルゴリズムおよび遺伝的プログラミングの説明資料
More from MatsuiRyo
(7)
ベイズ最適化
ベイズ最適化
多目的遺伝的アルゴリズム
多目的遺伝的アルゴリズム
最尤推定法(NNでの応用)
最尤推定法(NNでの応用)
MCMC法
MCMC法
統計と機械学習
統計と機械学習
Warshall froyd
Warshall froyd
遺伝的アルゴリズム・遺伝的プログラミング
遺伝的アルゴリズム・遺伝的プログラミング
一般線形モデル
1.
一般化線形モデル-GLM 2018/12/10 東京工業大学 工学院 経営工学系
3年 松井諒生 1
2.
2
3.
一般線形モデル 正規分布とは • 𝑝 𝑦
𝜇, 𝜎 = 1 2𝜋𝜎 exp(− 𝑦−𝜇 2 𝜎2 ) (平均μ標準偏差σの時、yとなる確率) • データが連続値 • yの下限、上限ともにない。 3
4.
一般線形モデル 一般線形モデルとは • 目的変数yは正規分布に従う • 説明変数群xによらず、yの分布の標準偏差σが一定 •
説明変数群xによって、yの分布のμが変化する と仮定したもとで、あるxが決められたときのパラメー タμおよび目的変数yを予測する回帰モデル。 4
5.
一般線形モデル 導出 ~単回帰~ 5
6.
一般線形モデル 導出 ~単回帰~ 𝑝𝑖
𝑦𝑖 𝜇, 𝜎 = 1 2𝜋𝜎 exp(− 𝑦𝑖 − 𝜇 2 𝜎2 ) ⋯ ⋯ (1) 𝐿 𝛼, 𝛽 = 𝑖 𝑛 1 2𝜋𝜎 exp(− 𝑦𝑖 − 𝜇 2 𝜎2 ) ⋯ ⋯ (2) log 𝐿 𝛼, 𝛽 = 𝑛 log 1 2𝜋𝜎 − 𝑖 𝑛 𝑦𝑖 − 𝛼 + 𝛽𝑥𝑖 2 𝜎2 𝑚𝑖𝑛𝑖𝑚𝑖𝑧𝑒 𝑖 𝑛 𝑦𝑖 − (𝛼 + 𝛽𝑥𝑖) 2 ⋯ ⋯ (3) 実現値𝑦𝑖 が発生する確率𝑝𝑖 𝜇 = 𝛼 + 𝛽𝑥𝑖として 尤度関数Lを出す。 最小化項を得る 計算しやすいよう に対数をとる 6
7.
一般線形モデル 導出 ~単回帰~ 𝑦1 𝑦2 ⋮ 𝑦𝑛 = 1
𝑥1 1 𝑥2 ⋮ 1 𝑥 𝑛 𝛼 𝛽 + 𝜀1 𝜀2 ⋮ 𝜀 𝑛 ⋯ ⋯ (1′) 𝜀1 𝜀2 ⋮ 𝜀 𝑛 = 𝑦1 𝑦2 ⋮ 𝑦𝑛 − 1 𝑥1 1 𝑥2 ⋮ 1 𝑥 𝑛 𝛼 𝛽 ⋯ ⋯ (2′) 𝐸 = 𝜀1 𝜀2 ⋮ 𝜀 𝑛 = 𝑖 𝑛 𝑦𝑖 − (𝛼 + 𝛽𝑥𝑖) 2 ⋯ ⋯ (3′) もう一方の方法。 まず、モデル式に 当てはめる。 誤差を左辺に移項 最小化項を得る (最尤推定と同じ 結果) 7
8.
𝜕𝐸 𝜕𝛼 = −2 𝑖 𝑛 𝑦𝑖 −
𝛼 + 𝛽𝑥𝑖 = 0 ⋯ ⋯ (4) 𝛼 = 𝑦 − 𝛽 𝑥 ⋯ ⋯ (6) 一般線形モデル 導出 ~単回帰~ αの一階条件を得る (3)のEをαで偏微分 (4)をx, yの平均を 𝑥, 𝑦として整理する 𝑛 𝑦 − 𝑛 𝛼 + 𝛽 𝑥 = 0 8
9.
𝜕𝐸 𝜕𝛽 = −2 𝑖 𝑛 𝑥𝑖 𝑦𝑖
− 𝛼 + 𝛽𝑥𝑖 = 0 ⋯ ⋯ (7) 𝑖 𝑛 𝑥𝑖 𝑦𝑖 − 𝑦 − 𝛽 𝑥 + 𝛽𝑥𝑖 = 0 ⋯ ⋯ (8) 𝑖 𝑛 𝑥𝑖 𝑦𝑖 − 𝑦 − 𝛽(𝑥𝑖 − 𝑥) = 0 ⋯ ⋯ (6) 一般線形モデル 導出 ~単回帰~ (8)を変形 (3)のEをβで偏微分 (6)式を代入 9
10.
𝑖 𝑛 (𝑥𝑖− 𝑥) 𝑦𝑖
− 𝑦 − 𝛽 𝑖 𝑛 (𝑥𝑖− 𝑥) 𝑥𝑖 − 𝑥 = 0 ⋯ ⋯ (10) 𝑆 𝑥𝑦 − 𝛽𝑆 𝑥𝑥 = 0 ⋯ ⋯ (11) 𝛽 = 𝑆 𝑥𝑦 𝑆 𝑥𝑥 ⋯ ⋯ (12) 一般線形モデル 導出 ~単回帰~ βの一階条件を得る さらに変形 xの分散を𝑆 𝑥𝑥, xとyの共分散を𝑆 𝑥𝑦 として代入 10
11.
𝑦 = 𝛼
+ 𝛽𝑥 = 𝑦 − 𝑆 𝑥𝑦 𝑆 𝑥𝑥 ( 𝑥 − 𝑥) ⋯ ⋯ (13) 一般線形モデル 導出 ~単回帰~ (6)と(12)をモデル 式に代入して完成 同じように重回帰についても計算できる。 11
12.
一般線形モデル 導出 ~重回帰~ 12
13.
一般線形モデル 導出 ~重回帰~ 𝑦1 𝑦2 ⋮ 𝑦𝑛 = 1
𝑥11 … 𝑥1𝑚 1 𝑥21 … 𝑥2𝑚 ⋮ 1 𝑥 𝑛1 … 𝑥 𝑛𝑚 𝛼 𝛽1 ⋮ 𝛽 𝑚 + 𝜀1 𝜀2 ⋮ 𝜀 𝑛 ⋯ ⋯ (14) 𝒙𝒊 = 𝑥𝑖1 𝑥𝑖2 ⋮ 𝑥𝑖𝑚 , 𝜷 = 𝛽1 𝛽2 ⋮ 𝛽 𝑚 𝐸 = 𝜀1 𝜀2 ⋮ 𝜀 𝑛 = 𝑖 𝑛 𝑦𝑖 − (𝛼 + 𝒙𝒊 𝑻 𝜷) 2 ⋯ ⋯ (15) データを得る (3)と同様に 最小化項を得る 便宜上、 次を定義 13
14.
𝛼 = 𝑦
− 𝑥1 𝑥2 ⋮ 𝑥 𝑚 𝑇 𝜷 ⋯ ⋯ (16) 𝜕𝐸 𝜕𝛽𝑗 = −2 𝑖 𝑛 𝑥𝑖𝑗 𝑦𝑖 − 𝛼 + 𝒙𝒊 𝑇 𝜷 = 0 ⋯ ⋯ (17) 𝑖 𝑛 (𝑥𝑖− 𝑥) 𝑦𝑖 − 𝑦 − 𝑖 𝑛 𝑥𝑖𝑗 𝑥𝑖1 − 𝑥1 𝑥𝑖2 − 𝑥2 ⋮ 𝑥𝑖𝑚 − 𝑥 𝑚 𝑇 ∙ 𝜷 = 0 ⋯ ⋯ (18) 一般線形モデル 導出 ~重回帰~ αの条件は (6)とほぼ同様 Eを𝛽𝑗で微分 さらに(10)と同 様に変形する 14
15.
𝑛𝑆1𝑦− 𝑖 𝑛 (𝑥𝑖1− 𝑥1) 𝑥𝑖1 −
𝑥1 𝑥𝑖2 − 𝑥2 ⋮ 𝑥𝑖𝑚 − 𝑥 𝑚 𝑇 ∙ 𝜷 = 0 𝑛𝑆2𝑦− 𝑖 𝑛 (𝑥𝑖2− 𝑥2) 𝑥𝑖1 − 𝑥1 𝑥𝑖2 − 𝑥2 ⋮ 𝑥𝑖𝑚 − 𝑥 𝑚 𝑇 ∙ 𝜷 = 0 ⋮ 𝑛𝑆 𝑚𝑦− 𝑖 𝑛 (𝑥𝑖𝑚− 𝑥 𝑚) 𝑥𝑖1 − 𝑥1 𝑥𝑖2 − 𝑥2 ⋮ 𝑥𝑖𝑚 − 𝑥 𝑚 𝑇 ∙ 𝜷 = 0 一般線形モデル 導出 ~重回帰~ jを1~mで動か していくとm個 の式が得られる 15
16.
𝑛 𝑆1𝑦 𝑆2𝑦 ⋮ 𝑆 𝑚𝑦 − 𝑖 𝑛 𝑥𝑖1
− 𝑥1 𝑥𝑖2 − 𝑥2 ⋮ 𝑥𝑖𝑚 − 𝑥 𝑚 𝑥𝑖1 − 𝑥1 𝑥𝑖2 − 𝑥2 ⋮ 𝑥𝑖𝑚 − 𝑥 𝑚 𝑇 ∙ 𝜷 = 0 𝑛 𝑆1𝑦 𝑆2𝑦 ⋮ 𝑆 𝑚𝑦 − 𝑖 𝑛 𝑥𝑖1 − 𝑥1 2 … 𝑥𝑖1 − 𝑥1 𝑥𝑖𝑚 − 𝑥 𝑚 ⋮ ⋱ ⋮ 𝑥𝑖𝑚 − 𝑥 𝑚 𝑥𝑖1 − 𝑥1 … 𝑥𝑖𝑚 − 𝑥 𝑚 2 𝜷 = 0 𝑛 𝑆1𝑦 𝑆2𝑦 ⋮ 𝑆 𝑚𝑦 − 𝑖 𝑥𝑖1 − 𝑥1 2 … 𝑖 𝑥𝑖1 − 𝑥1 𝑥𝑖𝑚 − 𝑥 𝑚 ⋮ ⋱ ⋮ 𝑖 𝑥𝑖𝑚 − 𝑥 𝑚 𝑥𝑖1 − 𝑥1 … 𝑖 𝑥𝑖𝑚 − 𝑥 𝑚 2 𝜷 = 0 𝑆1𝑦 𝑆2𝑦 ⋮ 𝑆 𝑚𝑦 − 𝑆11 … 𝑆1𝑚 ⋮ ⋱ ⋮ 𝑆 𝑚1 … 𝑆 𝑚𝑚 𝜷 = 0 ⋯ ⋯ (19) 一般線形モデル 導出 ~重回帰~ 行列表示して整理し ていくと、各々の分 散であらわされた式 が得られる。 16
17.
𝜷 = 𝑆11 …
𝑆1𝑚 ⋮ ⋱ ⋮ 𝑆 𝑚1 … 𝑆 𝑚𝑚 −1 𝑆1𝑦 𝑆2𝑦 ⋮ 𝑆 𝑚𝑦 ⋯ ⋯ (20) 𝑦 = 𝛼 + 𝜷𝒙 ⋯ ⋯ (21) 一般線形モデル 導出 ~重回帰~ (19)をβについ て解けば終了。 モデル式(21)に (16)と(20)を代入 すれば予測がで きる。 17
18.
一般線形モデル 導出 ~重回帰(行列表記)~ 18
19.
一般線形モデル 導出 ~重回帰(行列表記)
~ Eを定義 Eを𝛽で微分 (計算省略) 式を整える。 (ただし逆行列 の存在を仮定) 𝐸 = (𝑌 − 𝛽X)′(Y − βX) 𝑑𝐸 𝑑𝛽 = −2 𝑋′ 𝑌 − 𝑋′ 𝑋𝛽 = 𝟎 𝛽 = (𝑋′ 𝑋)−1 𝑋′ 𝑌 19
20.
導出おわり 20
21.
一般線形モデル 仮定との関係 • 目的変数yは正規分布に従う ➡αβの条件が任意の実数であることは暗黙的に設定されている。 xも実数であるからyも同様に、-∞~∞の実数でなくてはならない •
説明変数群xによらず、yの分布の標準偏差σが一定 ➡xによってσが変化すると、xの取り方によって誤差の評価が変わってきて しまう。 • 説明変数群xによって、yの分布のμが変化する ➡σ一定の下でμを予測して正規分布を特定し、最も確率の高いμをyの予 測値として用いる。 21
22.
一般化線形モデル •正規分布でない確率分布に従うデータに対して 回帰を行う方法 •一般線形モデルで得られる実数パラメータを用 いて予測する値を、リンク関数、線形予測子を つかって変換し、得られたデータの確率分布に 従わせる回帰モデル。 22
23.
一般化線形モデル 確率分布(パラメータがλの時yになる確率) : p(y|λ) リンク関数:f 線形予測子:α+βx と設定したとき、 式:𝑓
𝜆 = 𝛼 + 𝛽𝑥 (𝑓−1 𝛼 + 𝛽𝑥 = 𝜆 とも表せる) とすると、 𝑝 = (𝑦|𝛼, 𝛽)となるから、これで最尤推定をしてαβを求めることで、x を定めた時のλが予測でき、これによってyの値も予測できる。 23
24.
ポアソン回帰 ポアソン分布とは ⇒来客数などのカウントデータを主に扱う。 • 𝑝 𝑦
𝜆 = 𝜆 𝑦 𝑒−𝜆 𝑦! (平均λの時、yとなる確率) • 平均=分散=λ • データyが非負整数 • yの下限はあるがの上限がない 24
25.
ポアソン回帰 ポアソン回帰とは • 目的変数yはポアソン分布に従う • 説明変数群xによって、yの分布のパラメータλが変化する と仮定した一般化線形モデル 25
26.
ポアソン回帰 • 一般的にポアソン回帰では、以下のように設定する。 リンク関数:𝑓 𝜆
= 𝑙𝑜𝑔(𝜆) 線形予測子:α+β・x (βxはともに説明変数分の長さを持つベクトル) 確率分布:𝑝 𝑦 𝜆 = 𝑝 𝑦 𝛼, 𝜷 式:log 𝜆 = 𝛼 + 𝜷 ∙ 𝒙 ⇔ 𝜆 = 𝑒 𝛼+𝜷𝑥 ➡尤度関数:𝐿 𝛼, 𝜷 = 𝒊 𝑝(𝑦𝑖| 𝛼, 𝜷) 最尤推定法: 𝑚𝑖𝑛𝑖𝑚𝑖𝑧𝑒 𝑙𝑜𝑔(𝐿 𝛼, 𝜷 ) = 𝑖 𝑙𝑜𝑔(𝑝(𝑦𝑖|𝛼, 𝜷)) 26
27.
ロジスティック回帰 二項分布とは ⇒成功回数をカウントしたデータを扱う • 𝑝 𝑦
𝑞 = 𝑛 𝑦 𝑞 𝑦 (1 − 𝑞)(𝑛−𝑦) • データyは非負整数 • yは下限上限ともにある。 27
28.
ロジスティック回帰 ロジスティック回帰とは • 目的変数yは二項分布に従う • 説明変数群xによって、yの分布のパラメータqが変化する と仮定した一般化線形モデル 28
29.
ロジスティック回帰 • 一般的にポアソン回帰では、以下のように設定する。 リンク関数:𝑓 𝑞
= log 𝑞 1−𝑞 線形予測子:α+β・x (βxはともに説明変数分の長さを持つベクトル) 確率分布:𝑝 𝑦 𝑞 = 𝑝 𝑦 𝛼, 𝜷 式:log 𝑞 1−𝑞 = 𝛼 + 𝜷 ∙ 𝒙 ⇔ 𝑞 = 𝑙𝑜𝑔𝑖𝑠𝑡𝑖𝑐 𝑧 = 1 1+exp(−𝛼−𝜷𝒙) ➡尤度関数:𝐿 𝛼, 𝜷 = 𝒊 𝑝(𝑦𝑖| 𝛼, 𝜷) 最尤推定法: 𝑚𝑖𝑛𝑖𝑚𝑖𝑧𝑒 𝑙𝑜𝑔(𝐿 𝛼, 𝜷 ) = 𝑖 𝑙𝑜𝑔(𝑝(𝑦𝑖|𝛼, 𝜷)) 29
30.
参考文献 データ解析のための統計モデリング入門: 一般化線形モデル・階層ベイ ズモデル・MCMC • 著者:
久保拓弥 • 出版社: 岩波書店, シリーズ「確率と情報の科学」 • 編集: 甘利俊一,麻生英樹,伊庭幸人 30
Download now