Submit Search
Upload
1 3.分散分析 anova
•
23 likes
•
65,595 views
L
logics-of-blue
Follow
2013年8月10~11日にかけて北大函館キャンパス内で行われた統計勉強会の投影資料です。 1-3分散分析(ANOVA) 分散分析の基礎
Read less
Read more
Technology
Report
Share
Report
Share
1 of 33
Recommended
1 4.回帰分析と分散分析
1 4.回帰分析と分散分析
logics-of-blue
これからの仮説検証・モデル評価
これからの仮説検証・モデル評価
daiki hojo
比例ハザードモデルはとってもtricky!
比例ハザードモデルはとってもtricky!
takehikoihayashi
Stanの便利な事後処理関数
Stanの便利な事後処理関数
daiki hojo
1 5.パラメトリックブートストラップ検定と確率分布
1 5.パラメトリックブートストラップ検定と確率分布
logics-of-blue
2 4.devianceと尤度比検定
2 4.devianceと尤度比検定
logics-of-blue
Stanコードの書き方 中級編
Stanコードの書き方 中級編
Hiroshi Shimizu
1 2.t検定
1 2.t検定
logics-of-blue
Recommended
1 4.回帰分析と分散分析
1 4.回帰分析と分散分析
logics-of-blue
これからの仮説検証・モデル評価
これからの仮説検証・モデル評価
daiki hojo
比例ハザードモデルはとってもtricky!
比例ハザードモデルはとってもtricky!
takehikoihayashi
Stanの便利な事後処理関数
Stanの便利な事後処理関数
daiki hojo
1 5.パラメトリックブートストラップ検定と確率分布
1 5.パラメトリックブートストラップ検定と確率分布
logics-of-blue
2 4.devianceと尤度比検定
2 4.devianceと尤度比検定
logics-of-blue
Stanコードの書き方 中級編
Stanコードの書き方 中級編
Hiroshi Shimizu
1 2.t検定
1 2.t検定
logics-of-blue
分割時系列解析(ITS)の入門
分割時系列解析(ITS)の入門
Koichiro Gibo
ベイズファクターとモデル選択
ベイズファクターとモデル選択
kazutantan
Rによるやさしい統計学第20章「検定力分析によるサンプルサイズの決定」
Rによるやさしい統計学第20章「検定力分析によるサンプルサイズの決定」
Takashi J OZAKI
【博士論文発表会】パラメータ制約付き特異モデルの統計的学習理論
【博士論文発表会】パラメータ制約付き特異モデルの統計的学習理論
Naoki Hayashi
StanとRでベイズ統計モデリングに関する読書会(Osaka.stan) 第四章
StanとRでベイズ統計モデリングに関する読書会(Osaka.stan) 第四章
nocchi_airport
質的変数の相関・因子分析
質的変数の相関・因子分析
Mitsuo Shimohata
負の二項分布について
負の二項分布について
Hiroshi Shimizu
StanとRでベイズ統計モデリング読書会(Osaka.stan) 第6章
StanとRでベイズ統計モデリング読書会(Osaka.stan) 第6章
Shushi Namba
ベイズ統計入門
ベイズ統計入門
Miyoshi Yuya
一般化線形モデル (GLM) & 一般化加法モデル(GAM)
一般化線形モデル (GLM) & 一般化加法モデル(GAM)
Deep Learning Lab(ディープラーニング・ラボ)
相関と因果について考える:統計的因果推論、その(不)可能性の中心
相関と因果について考える:統計的因果推論、その(不)可能性の中心
takehikoihayashi
ベルヌーイ分布からベータ分布までを関係づける
ベルヌーイ分布からベータ分布までを関係づける
itoyan110
階層ベイズとWAIC
階層ベイズとWAIC
Hiroshi Shimizu
GEE(一般化推定方程式)の理論
GEE(一般化推定方程式)の理論
Koichiro Gibo
2 3.GLMの基礎
2 3.GLMの基礎
logics-of-blue
変分推論と Normalizing Flow
変分推論と Normalizing Flow
Akihiro Nitta
Stan超初心者入門
Stan超初心者入門
Hiroshi Shimizu
StanとRでベイズ統計モデリング読書会 導入編(1章~3章)
StanとRでベイズ統計モデリング読書会 導入編(1章~3章)
Hiroshi Shimizu
ベイズ統計学の概論的紹介
ベイズ統計学の概論的紹介
Naoki Hayashi
心理学におけるベイズ統計の流行を整理する
心理学におけるベイズ統計の流行を整理する
Hiroshi Shimizu
1 7.Type II ANOVA
1 7.Type II ANOVA
logics-of-blue
1 1.はじめに
1 1.はじめに
logics-of-blue
More Related Content
What's hot
分割時系列解析(ITS)の入門
分割時系列解析(ITS)の入門
Koichiro Gibo
ベイズファクターとモデル選択
ベイズファクターとモデル選択
kazutantan
Rによるやさしい統計学第20章「検定力分析によるサンプルサイズの決定」
Rによるやさしい統計学第20章「検定力分析によるサンプルサイズの決定」
Takashi J OZAKI
【博士論文発表会】パラメータ制約付き特異モデルの統計的学習理論
【博士論文発表会】パラメータ制約付き特異モデルの統計的学習理論
Naoki Hayashi
StanとRでベイズ統計モデリングに関する読書会(Osaka.stan) 第四章
StanとRでベイズ統計モデリングに関する読書会(Osaka.stan) 第四章
nocchi_airport
質的変数の相関・因子分析
質的変数の相関・因子分析
Mitsuo Shimohata
負の二項分布について
負の二項分布について
Hiroshi Shimizu
StanとRでベイズ統計モデリング読書会(Osaka.stan) 第6章
StanとRでベイズ統計モデリング読書会(Osaka.stan) 第6章
Shushi Namba
ベイズ統計入門
ベイズ統計入門
Miyoshi Yuya
一般化線形モデル (GLM) & 一般化加法モデル(GAM)
一般化線形モデル (GLM) & 一般化加法モデル(GAM)
Deep Learning Lab(ディープラーニング・ラボ)
相関と因果について考える:統計的因果推論、その(不)可能性の中心
相関と因果について考える:統計的因果推論、その(不)可能性の中心
takehikoihayashi
ベルヌーイ分布からベータ分布までを関係づける
ベルヌーイ分布からベータ分布までを関係づける
itoyan110
階層ベイズとWAIC
階層ベイズとWAIC
Hiroshi Shimizu
GEE(一般化推定方程式)の理論
GEE(一般化推定方程式)の理論
Koichiro Gibo
2 3.GLMの基礎
2 3.GLMの基礎
logics-of-blue
変分推論と Normalizing Flow
変分推論と Normalizing Flow
Akihiro Nitta
Stan超初心者入門
Stan超初心者入門
Hiroshi Shimizu
StanとRでベイズ統計モデリング読書会 導入編(1章~3章)
StanとRでベイズ統計モデリング読書会 導入編(1章~3章)
Hiroshi Shimizu
ベイズ統計学の概論的紹介
ベイズ統計学の概論的紹介
Naoki Hayashi
心理学におけるベイズ統計の流行を整理する
心理学におけるベイズ統計の流行を整理する
Hiroshi Shimizu
What's hot
(20)
分割時系列解析(ITS)の入門
分割時系列解析(ITS)の入門
ベイズファクターとモデル選択
ベイズファクターとモデル選択
Rによるやさしい統計学第20章「検定力分析によるサンプルサイズの決定」
Rによるやさしい統計学第20章「検定力分析によるサンプルサイズの決定」
【博士論文発表会】パラメータ制約付き特異モデルの統計的学習理論
【博士論文発表会】パラメータ制約付き特異モデルの統計的学習理論
StanとRでベイズ統計モデリングに関する読書会(Osaka.stan) 第四章
StanとRでベイズ統計モデリングに関する読書会(Osaka.stan) 第四章
質的変数の相関・因子分析
質的変数の相関・因子分析
負の二項分布について
負の二項分布について
StanとRでベイズ統計モデリング読書会(Osaka.stan) 第6章
StanとRでベイズ統計モデリング読書会(Osaka.stan) 第6章
ベイズ統計入門
ベイズ統計入門
一般化線形モデル (GLM) & 一般化加法モデル(GAM)
一般化線形モデル (GLM) & 一般化加法モデル(GAM)
相関と因果について考える:統計的因果推論、その(不)可能性の中心
相関と因果について考える:統計的因果推論、その(不)可能性の中心
ベルヌーイ分布からベータ分布までを関係づける
ベルヌーイ分布からベータ分布までを関係づける
階層ベイズとWAIC
階層ベイズとWAIC
GEE(一般化推定方程式)の理論
GEE(一般化推定方程式)の理論
2 3.GLMの基礎
2 3.GLMの基礎
変分推論と Normalizing Flow
変分推論と Normalizing Flow
Stan超初心者入門
Stan超初心者入門
StanとRでベイズ統計モデリング読書会 導入編(1章~3章)
StanとRでベイズ統計モデリング読書会 導入編(1章~3章)
ベイズ統計学の概論的紹介
ベイズ統計学の概論的紹介
心理学におけるベイズ統計の流行を整理する
心理学におけるベイズ統計の流行を整理する
Viewers also liked
1 7.Type II ANOVA
1 7.Type II ANOVA
logics-of-blue
1 1.はじめに
1 1.はじめに
logics-of-blue
2 2.尤度と最尤法
2 2.尤度と最尤法
logics-of-blue
1 8.交互作用
1 8.交互作用
logics-of-blue
1 6.変数選択とAIC
1 6.変数選択とAIC
logics-of-blue
2 5 1.一般化線形モデル色々_CPUE標準化
2 5 1.一般化線形モデル色々_CPUE標準化
logics-of-blue
2 5 2.一般化線形モデル色々_ロジスティック回帰
2 5 2.一般化線形モデル色々_ロジスティック回帰
logics-of-blue
2 1.予測と確率分布
2 1.予測と確率分布
logics-of-blue
2 5 3.一般化線形モデル色々_Gamma回帰と対数線形モデル
2 5 3.一般化線形モデル色々_Gamma回帰と対数線形モデル
logics-of-blue
2 7.一般化線形混合モデル
2 7.一般化線形混合モデル
logics-of-blue
2 6.ゼロ切断・過剰モデル
2 6.ゼロ切断・過剰モデル
logics-of-blue
エクセル統計の使い方(分散分析編)
エクセル統計の使い方(分散分析編)
Social Survey Research Information Co., Ltd.
ベイズ主義による研究の報告方法
ベイズ主義による研究の報告方法
Masaru Tokuoka
予測理論とpredictability
予測理論とpredictability
logics-of-blue
El naixement d'una llengua
El naixement d'una llengua
gerard vilanova
エクセルで統計分析 統計プログラムHADについて
エクセルで統計分析 統計プログラムHADについて
Hiroshi Shimizu
Viewers also liked
(16)
1 7.Type II ANOVA
1 7.Type II ANOVA
1 1.はじめに
1 1.はじめに
2 2.尤度と最尤法
2 2.尤度と最尤法
1 8.交互作用
1 8.交互作用
1 6.変数選択とAIC
1 6.変数選択とAIC
2 5 1.一般化線形モデル色々_CPUE標準化
2 5 1.一般化線形モデル色々_CPUE標準化
2 5 2.一般化線形モデル色々_ロジスティック回帰
2 5 2.一般化線形モデル色々_ロジスティック回帰
2 1.予測と確率分布
2 1.予測と確率分布
2 5 3.一般化線形モデル色々_Gamma回帰と対数線形モデル
2 5 3.一般化線形モデル色々_Gamma回帰と対数線形モデル
2 7.一般化線形混合モデル
2 7.一般化線形混合モデル
2 6.ゼロ切断・過剰モデル
2 6.ゼロ切断・過剰モデル
エクセル統計の使い方(分散分析編)
エクセル統計の使い方(分散分析編)
ベイズ主義による研究の報告方法
ベイズ主義による研究の報告方法
予測理論とpredictability
予測理論とpredictability
El naixement d'una llengua
El naixement d'una llengua
エクセルで統計分析 統計プログラムHADについて
エクセルで統計分析 統計プログラムHADについて
Recently uploaded
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
CRI Japan, Inc.
新人研修 後半 2024/04/26の勉強会で発表されたものです。
新人研修 後半 2024/04/26の勉強会で発表されたものです。
iPride Co., Ltd.
Utilizing Ballerina for Cloud Native Integrations
Utilizing Ballerina for Cloud Native Integrations
WSO2
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
atsushi061452
知識ゼロの営業マンでもできた!超速で初心者を脱する、悪魔的学習ステップ3選.pptx
知識ゼロの営業マンでもできた!超速で初心者を脱する、悪魔的学習ステップ3選.pptx
sn679259
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
Toru Tamaki
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
CRI Japan, Inc.
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
Toru Tamaki
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
iPride Co., Ltd.
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
iPride Co., Ltd.
Recently uploaded
(10)
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
新人研修 後半 2024/04/26の勉強会で発表されたものです。
新人研修 後半 2024/04/26の勉強会で発表されたものです。
Utilizing Ballerina for Cloud Native Integrations
Utilizing Ballerina for Cloud Native Integrations
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
知識ゼロの営業マンでもできた!超速で初心者を脱する、悪魔的学習ステップ3選.pptx
知識ゼロの営業マンでもできた!超速で初心者を脱する、悪魔的学習ステップ3選.pptx
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
1 3.分散分析 anova
1.
分散分析 ANOVA 1 1日目-第3講 名前:馬場真哉 所属:北大水産 修士課程2年 Webサイト:
logics of blue で検索
2.
2 正規線形モデルの理解のために 統計の基本とt検定 分散分析(ANOVA) 回帰分析と分散分析 PB検定と確率分布 モデル選択とAIC 出来れば Type II ANOVA、交互作用
3.
3 分散分析とは 分散分析(ANOVA) “選択肢”を変えることによって • 結果は“有意に”変化するといえるか? • 変化するとしたらどれくらい変わるか?
4.
4 “選択肢”を変えることによって • 結果は“有意に”変化するといえるか? • 変化するとしたらどれくらい変わるか? 分散分析の例 例) 薬A,
B, Cによって魚の体長は変わるか? 体長変化モデル|体長~薬 施策によって、売上高は変わるか? 売り上げ予測モデル|売上~施策
5.
5 今回の流れ 1.Rを用いて分散分析する →分散分析の予測のメカニズムの理解 2.統計モデルにおける検定方法の理解 3.Rを使って検定する
6.
6 実演
7.
7 分散分析モデル 施策によって、売上高は変わるか? 売り上げ予測モデル|売上~施策 →施策ごとに売り上げの期待値をとって予測 選択肢ごとの期待値を予測値とする統計モデル
8.
8 分散分析な検定 統計モデルにおける「検定」とは? 1.パラメタが0かどうかを検定 →t検定、Wald検定(明日) 2.予測値が変化するかを検定 →F検定、尤度比検定(明日)
9.
9 統計モデルな検定 予測 という言葉に敏感になってください 統計モデルをやる人は
10.
10 予測と検定 分散分析 選択肢ごとに予測値が有意に変わるかの検定 期待値が0と有意に異なるかのt検定 あるデータへの予測値は0とみなせるかの検定 検定は「予測」で表せる
11.
11 おまけ 予測値は選択肢ごとの期待値に等しい 分散分析 選択肢ごとに予測値が有意に変わるかの検定 期待値の差の検定と呼ばれることもある
12.
12 有意に予測値が変化すると言うための要件 予測値の変化が大きい 予測値が比較に使える(予測残差小) サンプルサイズが大きい 期待値の差が大きい 期待値が比較に使える(分散小さい) サンプルサイズが大きい t検定の場合
13.
13 有意に予測値が変化すると言うための要件 予測値の変化が大きい ナイーブな予測とどれだけ異なるか?
14.
14 ナイーブな予測 ナイーブな予測 予測値一定 → 予測値は総平均 二つの予測モデルの 予測の違いを検定している! 予測値変化モデル 選択肢毎に異なる
→ 予測値は個別の平均
15.
15 まとめ 分散分析 選択肢ごとの期待値を予測値とする統計モデル 選択肢ごとに予測値が有意に変わるかを検定 予測値の変化が大きい 予測値が比較に使える(予測残差小) サンプルサイズが大きい ナイーブ予測との比較ともみなせる 質問どうぞ!
16.
16 分散分析の計算方法 に分ける データ =平均 + 予測効果
+ 残差
17.
17 A B C 1
4 7 2 5 8 3 6 9 4 7 10 5 8 11 データの分割 予測値 3 6 9 総平均 6 予測効果 -3 0 +3 選択肢により 結果はどう “補正” されたか? データ =平均 + 予測効果 + 残差
18.
18 予測効果 A B C -3
0 3 -3 0 3 -3 0 3 -3 0 3 -3 0 3 データの分割 データ =平均 + 予測効果 + 残差 Option:A →並み(6)を3下方修正 Option:B →並み(6)のまま Option:C →並み(6)を3上方修正
19.
19 予測残差 A B C -2
-2 -2 -1 -1 -1 0 0 0 1 1 1 2 2 2 データ =平均 + 予測効果 + 残差 データの分割 残差 =データ - 平均 - 予測効果 =データ -予測値
20.
20 データ A B C 1
4 7 2 5 8 3 6 9 4 7 10 5 8 11 予測効果 A B C -3 0 3 -3 0 3 -3 0 3 -3 0 3 -3 0 3 予測残差 A B C -2 -2 -2 -1 -1 -1 0 0 0 1 1 1 2 2 2 総平均=6 データ=平均(6)+予測効果+誤差
21.
21 統計量 F比 = 予測効果の大きさ(分散) 予測残差の大きさ(分散) • 予測効果が大きい(予測の変化が大きい) •
予測残差が小さい(予測結果を信用できる) F比が大きければ有意差あり
22.
22 統計量 F比 = 予測効果の大きさ(分散) 予測残差の大きさ(分散) • 予測効果が大きい •
予測残差が小さい 大きさ=分散?
23.
23 3 4 5 4 1 7 分散 1 3 3 − 4
2 + 4 − 4 2 + 5 − 4 2 1 3 1 − 4 2 + 4 − 4 2 + 7 − 4 2 分散 = 2 3 = 18 3 = 6小 大 予測値の差が小さい 予測値の差が大きい Aの予測値Aの予測値 Bの予測値Bの予測値 Cの予測値Cの予測値
24.
24 3 4 5 4 1 7 差が小さい 差が大きい 分散と差の大きさ 分散が大きい 予測値のばらつきが大きい 予測値の変化が大きい
25.
25 統計量 サンプルサイズは「分散」 の計算の時に入ってくる F比 = 予測効果の大きさ(分散) 予測残差の大きさ(分散) = 期待値の差の大きさ 分散 サンプルサイズ t値 参考 •
予測効果が大きい • 予測残差が小さい F比大なら有意
26.
26 ナイーブ予測との比較 ナイーブな予測 データ = 平均
+ 残差 予測値変化モデル データ = 平均 + 予測効果 + 残差 残差 = データ - 平均 残差 = データ - 平均 - 予測効果
27.
27 ナイーブ予測との比較 ナイーブな予測の残差 残差 = データ
- 平均 予測値変化モデルの残差 残差 = データ - 平均 - 予測効果 ナイーブな予測の残差 - 予測値変化モデルの残差 =予測効果
28.
28 統計量 = ナイーブ予測の予測残差 ー 予測値変化モデルの残差 予測値変化モデルの予測残差の大きさ F比 = 予測効果の大きさ(分散) 予測残差の大きさ(分散) ナイーブ予測と比べて、 どれだけ予測残差が減ったのか? 分散分析とは 予測残差の比較である
29.
29 まとめ 分散分析 選択肢ごとの期待値を予測値とする統計モデル 選択肢ごとに予測値が有意に変わるかを検定 質問どうぞ! =ナイーブ予測と比べてどれだけ予測残差が減ったか F比 分散分析とは「予測残差の比較」である
30.
30 分散の計算方法 分散を計算するときに • Optionの数 • サンプルサイズの影響 を入れたい = 偏差平方和 自由度 分散= データ
− 期待値 2 の合計 自由度
31.
31 予測効果の分散 自由度 予測効果 A B
C -3 0 3 -3 0 3 -3 0 3 -3 0 3 -3 0 3 数字は3種類しかない ↓ 予測効果の合計は0 ↓ A, B, C のうち一つ固定 3 - 1 = 2
32.
残差 A B C -2
-2 -2 -1 -1 -1 0 0 0 1 1 1 2 2 2 32 予測効果の分散 自由度 数字はたくさん。 15データあるとみなしてよい。 ↓ 各列の予測誤差の合計は0 ↓ A, B, C の一つずつ固定 15 - 3 = 12
33.
33 実演