Download free for 30 days
Sign in
Upload
Language (EN)
Support
Business
Mobile
Social Media
Marketing
Technology
Art & Photos
Career
Design
Education
Presentations & Public Speaking
Government & Nonprofit
Healthcare
Internet
Law
Leadership & Management
Automotive
Engineering
Software
Recruiting & HR
Retail
Sales
Services
Science
Small Business & Entrepreneurship
Food
Environment
Economy & Finance
Data & Analytics
Investor Relations
Sports
Spiritual
News & Politics
Travel
Self Improvement
Real Estate
Entertainment & Humor
Health & Medicine
Devices & Hardware
Lifestyle
Change Language
Language
English
Español
Português
Français
Deutsche
Cancel
Save
Submit search
EN
Uploaded by
logics-of-blue
29,940 views
1 6.変数選択とAIC
2013年8月10~11日にかけて北大函館キャンパス内で行われた統計勉強会の投影資料です。 1-6.変数選択とAIC 検定とAICを用いて変数選択する方法について説明します。
Technology
◦
Read more
8
Save
Share
Embed
Embed presentation
1
/ 25
2
/ 25
3
/ 25
4
/ 25
5
/ 25
6
/ 25
7
/ 25
8
/ 25
9
/ 25
10
/ 25
11
/ 25
12
/ 25
13
/ 25
14
/ 25
15
/ 25
16
/ 25
17
/ 25
18
/ 25
19
/ 25
20
/ 25
21
/ 25
22
/ 25
23
/ 25
24
/ 25
25
/ 25
More Related Content
PDF
2 3.GLMの基礎
by
logics-of-blue
PDF
グラフィカル Lasso を用いた異常検知
by
Yuya Takashina
PDF
Stanコードの書き方 中級編
by
Hiroshi Shimizu
PDF
最適輸送の解き方
by
joisino
PDF
MICの解説
by
logics-of-blue
PDF
階層モデルの分散パラメータの事前分布について
by
hoxo_m
PPTX
[DL輪読会]Grokking: Generalization Beyond Overfitting on Small Algorithmic Datasets
by
Deep Learning JP
PDF
Active Learning 入門
by
Shuyo Nakatani
2 3.GLMの基礎
by
logics-of-blue
グラフィカル Lasso を用いた異常検知
by
Yuya Takashina
Stanコードの書き方 中級編
by
Hiroshi Shimizu
最適輸送の解き方
by
joisino
MICの解説
by
logics-of-blue
階層モデルの分散パラメータの事前分布について
by
hoxo_m
[DL輪読会]Grokking: Generalization Beyond Overfitting on Small Algorithmic Datasets
by
Deep Learning JP
Active Learning 入門
by
Shuyo Nakatani
What's hot
PDF
一般化線形モデル (GLM) & 一般化加法モデル(GAM)
by
Deep Learning Lab(ディープラーニング・ラボ)
PPTX
ベイズファクターとモデル選択
by
kazutantan
PPTX
ようやく分かった!最尤推定とベイズ推定
by
Akira Masuda
PDF
深層学習による自然言語処理入門: word2vecからBERT, GPT-3まで
by
Yahoo!デベロッパーネットワーク
PPTX
社会心理学者のための時系列分析入門_小森
by
Masashi Komori
PPTX
心理学者のためのGlmm・階層ベイズ
by
Hiroshi Shimizu
PPTX
(実験心理学徒だけど)一般化線形混合モデルを使ってみた
by
Takashi Yamane
PDF
階層ベイズによるワンToワンマーケティング入門
by
shima o
PDF
2 1.予測と確率分布
by
logics-of-blue
PDF
1 5.パラメトリックブートストラップ検定と確率分布
by
logics-of-blue
PDF
PRMLの線形回帰モデル(線形基底関数モデル)
by
Yasunori Ozaki
PDF
数式からみるWord2Vec
by
Okamoto Laboratory, The University of Electro-Communications
PDF
トピックモデルの評価指標 Perplexity とは何なのか?
by
hoxo_m
PDF
マーク付き点過程
by
Yoshiaki Sakakura
PPTX
重回帰分析で交互作用効果
by
Makoto Hirakawa
PDF
「統計的学習理論」第1章
by
Kota Matsui
PPTX
Curriculum Learning (関東CV勉強会)
by
Yoshitaka Ushiku
PDF
強化学習その1
by
nishio
PDF
【DL輪読会】マルチエージェント強化学習における近年の 協調的方策学習アルゴリズムの発展
by
Deep Learning JP
PDF
グラフニューラルネットワークとグラフ組合せ問題
by
joisino
一般化線形モデル (GLM) & 一般化加法モデル(GAM)
by
Deep Learning Lab(ディープラーニング・ラボ)
ベイズファクターとモデル選択
by
kazutantan
ようやく分かった!最尤推定とベイズ推定
by
Akira Masuda
深層学習による自然言語処理入門: word2vecからBERT, GPT-3まで
by
Yahoo!デベロッパーネットワーク
社会心理学者のための時系列分析入門_小森
by
Masashi Komori
心理学者のためのGlmm・階層ベイズ
by
Hiroshi Shimizu
(実験心理学徒だけど)一般化線形混合モデルを使ってみた
by
Takashi Yamane
階層ベイズによるワンToワンマーケティング入門
by
shima o
2 1.予測と確率分布
by
logics-of-blue
1 5.パラメトリックブートストラップ検定と確率分布
by
logics-of-blue
PRMLの線形回帰モデル(線形基底関数モデル)
by
Yasunori Ozaki
数式からみるWord2Vec
by
Okamoto Laboratory, The University of Electro-Communications
トピックモデルの評価指標 Perplexity とは何なのか?
by
hoxo_m
マーク付き点過程
by
Yoshiaki Sakakura
重回帰分析で交互作用効果
by
Makoto Hirakawa
「統計的学習理論」第1章
by
Kota Matsui
Curriculum Learning (関東CV勉強会)
by
Yoshitaka Ushiku
強化学習その1
by
nishio
【DL輪読会】マルチエージェント強化学習における近年の 協調的方策学習アルゴリズムの発展
by
Deep Learning JP
グラフニューラルネットワークとグラフ組合せ問題
by
joisino
Viewers also liked
PDF
2 4.devianceと尤度比検定
by
logics-of-blue
PDF
2 6.ゼロ切断・過剰モデル
by
logics-of-blue
PDF
幾何を使った統計のはなし
by
Toru Imai
PDF
1 3.分散分析 anova
by
logics-of-blue
PDF
1 4.回帰分析と分散分析
by
logics-of-blue
PDF
1 2.t検定
by
logics-of-blue
PDF
2 2.尤度と最尤法
by
logics-of-blue
PDF
1 7.Type II ANOVA
by
logics-of-blue
PDF
1 8.交互作用
by
logics-of-blue
PDF
2 7.一般化線形混合モデル
by
logics-of-blue
PDF
1 1.はじめに
by
logics-of-blue
PDF
2 5 1.一般化線形モデル色々_CPUE標準化
by
logics-of-blue
PDF
2 5 2.一般化線形モデル色々_ロジスティック回帰
by
logics-of-blue
PDF
2 5 3.一般化線形モデル色々_Gamma回帰と対数線形モデル
by
logics-of-blue
PPTX
時系列データ分析とPython
by
Hirofumi Tsuruta
PPTX
「予測にいかす統計モデリングの基本」勉強会 第一章
by
Takahiro Yoshinaga
PPT
変数選択におけるAICの利用:理論と実装
by
sstat3
PPTX
データ解析のための統計モデリング入門4章
by
Hirofumi Tsuruta
PDF
Kobe.R #18: 本の紹介: 通称「緑本」
by
tnoda
PDF
みどりぼん読書会 第4章
by
Masanori Takano
2 4.devianceと尤度比検定
by
logics-of-blue
2 6.ゼロ切断・過剰モデル
by
logics-of-blue
幾何を使った統計のはなし
by
Toru Imai
1 3.分散分析 anova
by
logics-of-blue
1 4.回帰分析と分散分析
by
logics-of-blue
1 2.t検定
by
logics-of-blue
2 2.尤度と最尤法
by
logics-of-blue
1 7.Type II ANOVA
by
logics-of-blue
1 8.交互作用
by
logics-of-blue
2 7.一般化線形混合モデル
by
logics-of-blue
1 1.はじめに
by
logics-of-blue
2 5 1.一般化線形モデル色々_CPUE標準化
by
logics-of-blue
2 5 2.一般化線形モデル色々_ロジスティック回帰
by
logics-of-blue
2 5 3.一般化線形モデル色々_Gamma回帰と対数線形モデル
by
logics-of-blue
時系列データ分析とPython
by
Hirofumi Tsuruta
「予測にいかす統計モデリングの基本」勉強会 第一章
by
Takahiro Yoshinaga
変数選択におけるAICの利用:理論と実装
by
sstat3
データ解析のための統計モデリング入門4章
by
Hirofumi Tsuruta
Kobe.R #18: 本の紹介: 通称「緑本」
by
tnoda
みどりぼん読書会 第4章
by
Masanori Takano
Similar to 1 6.変数選択とAIC
PDF
東京都市大学 データ解析入門 7 回帰分析とモデル選択 2
by
hirokazutanaka
PPTX
第五回統計学勉強会@東大駒場
by
Daisuke Yoneoka
PPTX
統計的学習の基礎_3章
by
Shoichi Taguchi
PDF
確率統計-機械学習その前に v2.0
by
Hidekatsu Izuno
PDF
効果測定入門 Rによる傾向スコア解析
by
aa_aa_aa
PDF
Rで学ぶロバスト推定
by
Shintaro Fukushima
PDF
PRML第3章_3.3-3.4
by
Takashi Tamura
PDF
Introduction to statistics
by
Kohta Ishikawa
PPTX
model selection and information criteria part 1
by
Masafumi Enomoto
PDF
ベイズ入門
by
Zansa
PDF
2013.12.26 prml勉強会 線形回帰モデル3.2~3.4
by
Takeshi Sakaki
PPT
AICはモデルに無相関な説明変数を1個追加しても15.73%の確率で選択してしまうことのR言語による数値実験的実証最大化対数尤度の増分がカイ2乗分布に従う...
by
Toshiyuki Shimono
PDF
20140514_水曜セミナー発表資料_中村知繁
by
Tomoshige Nakamura
PPT
130502 discrete choiceseminar_no.3
by
隆浩 安
PDF
統計的因果推論の理論と実践 ch9 交互作用項のある共分散分析
by
YasutoTerasawa
PDF
ma99992010id512
by
matsushimalab
PDF
岩波データサイエンス_Vol.5_勉強会資料01
by
goony0101
PDF
Prml3 4
by
K5_sem
PDF
Prml3 4
by
K5_sem
PPT
130425 discrete choiceseminar_no.2
by
隆浩 安
東京都市大学 データ解析入門 7 回帰分析とモデル選択 2
by
hirokazutanaka
第五回統計学勉強会@東大駒場
by
Daisuke Yoneoka
統計的学習の基礎_3章
by
Shoichi Taguchi
確率統計-機械学習その前に v2.0
by
Hidekatsu Izuno
効果測定入門 Rによる傾向スコア解析
by
aa_aa_aa
Rで学ぶロバスト推定
by
Shintaro Fukushima
PRML第3章_3.3-3.4
by
Takashi Tamura
Introduction to statistics
by
Kohta Ishikawa
model selection and information criteria part 1
by
Masafumi Enomoto
ベイズ入門
by
Zansa
2013.12.26 prml勉強会 線形回帰モデル3.2~3.4
by
Takeshi Sakaki
AICはモデルに無相関な説明変数を1個追加しても15.73%の確率で選択してしまうことのR言語による数値実験的実証最大化対数尤度の増分がカイ2乗分布に従う...
by
Toshiyuki Shimono
20140514_水曜セミナー発表資料_中村知繁
by
Tomoshige Nakamura
130502 discrete choiceseminar_no.3
by
隆浩 安
統計的因果推論の理論と実践 ch9 交互作用項のある共分散分析
by
YasutoTerasawa
ma99992010id512
by
matsushimalab
岩波データサイエンス_Vol.5_勉強会資料01
by
goony0101
Prml3 4
by
K5_sem
Prml3 4
by
K5_sem
130425 discrete choiceseminar_no.2
by
隆浩 安
Recently uploaded
PDF
エンジニアが選ぶべきAIエディタ & Antigravity 活用例@ウェビナー「触ってみてどうだった?Google Antigravity 既存IDEと...
by
NorihiroSunada
PPTX
楽々ナレッジベース「楽ナレ」3種比較 - Dify / AWS S3 Vector / Google File Search Tool
by
Kiyohide Yamaguchi
PDF
Machine Tests Benchmark Suite. Explain github.com/alexziskind1/machine_tests #2
by
Tasuku Takahashi
PDF
Machine Tests Benchmark Suite. Explain github.com/alexziskind1/machine_tests #1
by
Tasuku Takahashi
PDF
流行りに乗っかるClaris FileMaker 〜AI関連機能の紹介〜 by 合同会社イボルブ
by
Evolve LLC.
PDF
20251210_MultiDevinForEnterprise on Devin 1st Anniv Meetup
by
Masaki Yamakawa
エンジニアが選ぶべきAIエディタ & Antigravity 活用例@ウェビナー「触ってみてどうだった?Google Antigravity 既存IDEと...
by
NorihiroSunada
楽々ナレッジベース「楽ナレ」3種比較 - Dify / AWS S3 Vector / Google File Search Tool
by
Kiyohide Yamaguchi
Machine Tests Benchmark Suite. Explain github.com/alexziskind1/machine_tests #2
by
Tasuku Takahashi
Machine Tests Benchmark Suite. Explain github.com/alexziskind1/machine_tests #1
by
Tasuku Takahashi
流行りに乗っかるClaris FileMaker 〜AI関連機能の紹介〜 by 合同会社イボルブ
by
Evolve LLC.
20251210_MultiDevinForEnterprise on Devin 1st Anniv Meetup
by
Masaki Yamakawa
1 6.変数選択とAIC
1.
変数選択とAIC 1 1日目-第6講 名前:馬場真哉 所属:北大水産 修士課程2年 Webサイト: logics
of blue で検索
2.
2 正規線形モデルの理解のために 統計の基本とt検定 分散分析(ANOVA) 回帰分析と分散分析 PB検定と確率分布 変数選択とAIC 是非 Type II ANOVA、交互作用
3.
3 変数選択って? 変数選択とは、モデルに入る変数を選ぶ作業です
4.
4 変数選択 漁獲量 天気 漁獲量 天気
5.
5 ネコ 漁獲量 天気 ネコのデータはいらない
6.
6 ネコのデータの是非 ネコ 漁獲量 天気 変数を増やすと、決定係数は増える →モデルの当てはまりは(微量ながら)よくなる
7.
7 変数選択のご利益 1.実世界に対する理解が深まる 現象の見える化 →漁獲量に効く要因は何? →売り上げに効く要因は何? 2.実世界の模倣ができる 予測ができる
8.
8 今回の内容 1.変数選択の方法論(検定&AIC)の理解 2.Rを使って変数選択する
9.
9 検定を使って変数選択 = ナイーブ予測の予測残差 ー 予測値変化モデルの残差 予測値変化モデルの予測残差の大きさ F比 普通の分散分析(回帰分析) 検定とは「予測誤差の比較」である =ナイーブ予測と比べてどれだけ予測残差が減ったか
10.
10 = モデル①の予測残差 ー モデル②の予測残差 モデル②の予測残差の大きさ F比 検定を使って変数選択 モデル①
変数が少ないモデル モデル② 変数が多いモデル 変数を増やすと残差は“有意に”減った?
11.
11 ネコのデータの是非 ネコ 漁獲量 天気 変数を増やすと、決定係数は増える →モデルの当てはまりは(微量ながら)よくなる この当てはまりの向上は 誤差の範囲内だと示す
12.
12 = モデル①の予測残差 ー モデル②の予測残差 モデル②の予測残差の大きさ F比 検定まとめ モデル①
変数が少ないモデル モデル② 変数が多いモデル 変数を入れても残差が“有意” に減らないなら その変数はいらない 変数を増やすと残差は“有意に”減った? 質問どうぞ!
13.
13 検定結果の解釈 モデル|Y ~ X1
+ X2 + Option1 + Option2 モデル|Y ~ X1 ナイーブ予測 モデル|Y ~ X1 + X2 モデル|Y ~ X1 + X2 + Option1 モデル|Y ~ X1 + X2 + Option1 + Option2 予測残差は“有意に”減ったか? 検定 比較・検定 比較・検定
14.
14 検定結果の解釈 この2種類の検定は意味が違う モデル|Y ~ X1
+ X2 + Option1 モデル|Y ~ X1 + X2 + Option1 + Option2 モデル|Y ~ X1 + X2 モデル|Y ~ X1 + X2 + Option2 検定タイプA 検定タイプB
15.
15 情報量規準の世界 モデルに「良さの指標」があればいい 「良さの指標」がBestなモデルを選べば楽ちん AIC [Akaike’s Information Criterion]
16.
16 AICとは 未知のデータへの予測誤差が 小さくなるモデルが良いモデル AIC 細かい理屈は明日説明します!! 今日は使い方だけ!!
17.
17 ネコ 漁獲量 天気 2000年問題 西暦2000年我が家の猫がダイエットしたら サンマの漁獲量が減ってしまった!
18.
18 ネコ 2000年問題 西暦2000年我が家の猫がダイエットしたら サンマの漁獲量が減ってしまった! でも、ほかの年ではこの関係は続かないだろう
19.
19 ネコのデータの是非 ネコ 漁獲量 天気 変数を増やすと、決定係数は増える →モデルの当てはまりは(微量ながら)よくなる しかし、 未知データへの当てはまりは 良くならないはず
20.
20 検定とAIC 検定(当てはまりの向上の有意性の検定) 要因の見える化ができる →必要な要因を用いて将来予測ができる AIC(未知データへの当てはまりの最適化) (未知の)将来予測ができる →予測に必要な変数の見える化ができる 質問どうぞ!
21.
21 実演
22.
22 検定とAIC 検定 色々な手法があります →分散分析、t検定、Wald検定、スコア検定 情報量規準 いろいろあります →AIC, AICc, BIC,
TIC
23.
ある研究者の日常 この魚の成長には水温が効いているに違いない! AICを使ったらモデルに水温が入ってこなかった 分散分析でもダメだった t検定したが、惜しくもダメ BICを使ったらうまくいった。やったね!!!
24.
ある研究者の日常 この魚の成長には水温が効いているに違いない! AICを使ったらモデルに水温が入ってこなかった 分散分析でもダメだった t検定したが、惜しくもダメ BICを使ったらうまくいった。やったね!!!
25.
25 さいごに マナーを守って 楽しく明るく統計モデリング 質問どうぞ!