Download free for 30 days
Sign in
Upload
Language (EN)
Support
Business
Mobile
Social Media
Marketing
Technology
Art & Photos
Career
Design
Education
Presentations & Public Speaking
Government & Nonprofit
Healthcare
Internet
Law
Leadership & Management
Automotive
Engineering
Software
Recruiting & HR
Retail
Sales
Services
Science
Small Business & Entrepreneurship
Food
Environment
Economy & Finance
Data & Analytics
Investor Relations
Sports
Spiritual
News & Politics
Travel
Self Improvement
Real Estate
Entertainment & Humor
Health & Medicine
Devices & Hardware
Lifestyle
Change Language
Language
English
Español
Português
Français
Deutsche
Cancel
Save
Submit search
EN
Uploaded by
nishio
1,686 views
調査観察データの統計科学1
勉強メモ
Education
◦
Read more
6
Save
Share
Embed
Embed presentation
Download
Downloaded 11 times
1
/ 27
2
/ 27
3
/ 27
4
/ 27
5
/ 27
6
/ 27
7
/ 27
8
/ 27
9
/ 27
10
/ 27
11
/ 27
12
/ 27
13
/ 27
14
/ 27
15
/ 27
16
/ 27
17
/ 27
18
/ 27
19
/ 27
20
/ 27
21
/ 27
22
/ 27
23
/ 27
24
/ 27
25
/ 27
26
/ 27
27
/ 27
More Related Content
PDF
カイ2乗分布について
by
nishio
PDF
コミュニティによる生産性向上のすすめ
by
nishio
PDF
Wifiで位置推定
by
nishio
PDF
読む技術
by
nishio
PDF
創造的人材のための知財LT
by
nishio
PDF
非参加者オリエンテーション
by
nishio
PDF
首都大学東京「情報通信特別講義」2016年西尾担当分
by
nishio
PDF
言語の設計判断
by
nishio
カイ2乗分布について
by
nishio
コミュニティによる生産性向上のすすめ
by
nishio
Wifiで位置推定
by
nishio
読む技術
by
nishio
創造的人材のための知財LT
by
nishio
非参加者オリエンテーション
by
nishio
首都大学東京「情報通信特別講義」2016年西尾担当分
by
nishio
言語の設計判断
by
nishio
Viewers also liked
PDF
実践多クラス分類 Kaggle Ottoから学んだこと
by
nishio
PDF
強化学習その2
by
nishio
PDF
強化学習その3
by
nishio
PDF
線形?非線形?
by
nishio
PDF
強化学習その4
by
nishio
PDF
強化学習その1
by
nishio
PDF
2017年3月版データマエショリスト入門
by
Yuya Matsumura
PDF
ESP8266EXで位置推定
by
nishio
PDF
Wifiにつながるデバイス(ESP8266EX, ESP-WROOM-02, ESPr Developerなど)
by
nishio
PDF
マイコンのIOピンはなぜ入出力の両方に使えるのか?
by
nishio
PDF
ルールベースから機械学習への道 公開用
by
nishio
PPTX
勾配降下法の最適化アルゴリズム
by
nishio
PDF
Raspberry PiでWifiルータを作る
by
nishio
PPTX
エンジニアのための学ぶ技術
by
nishio
実践多クラス分類 Kaggle Ottoから学んだこと
by
nishio
強化学習その2
by
nishio
強化学習その3
by
nishio
線形?非線形?
by
nishio
強化学習その4
by
nishio
強化学習その1
by
nishio
2017年3月版データマエショリスト入門
by
Yuya Matsumura
ESP8266EXで位置推定
by
nishio
Wifiにつながるデバイス(ESP8266EX, ESP-WROOM-02, ESPr Developerなど)
by
nishio
マイコンのIOピンはなぜ入出力の両方に使えるのか?
by
nishio
ルールベースから機械学習への道 公開用
by
nishio
勾配降下法の最適化アルゴリズム
by
nishio
Raspberry PiでWifiルータを作る
by
nishio
エンジニアのための学ぶ技術
by
nishio
Similar to 調査観察データの統計科学1
PDF
基礎からのベイズ統計学 輪読会資料 第1章 確率に関するベイズの定理
by
Ken'ichi Matsui
PDF
パターン認識 05 ロジスティック回帰
by
sleipnir002
PDF
星野「調査観察データの統計科学」第3章
by
Shuyo Nakatani
PDF
星野「調査観察データの統計科学」第1&2章
by
Shuyo Nakatani
PDF
R-study-tokyo02
by
Yohei Sato
PDF
Introduction to statistics
by
Kohta Ishikawa
PPTX
Introduction to Statistical Estimation (統計的推定入門)
by
Taro Tezuka
PDF
2値分類・多クラス分類
by
t dev
PDF
データ解析4 確率の復習
by
Hirotaka Hachiya
PDF
2 4.devianceと尤度比検定
by
logics-of-blue
PDF
演習II.第1章 ベイズ推論の考え方 Part 1.講義ノート
by
Wataru Shito
PDF
Stan で欠測データの相関係数を推定してみた
by
hoxo_m
PDF
Probability theory basic JP
by
RIKEN Center for Integrative Medical Science Center (IMS-RCAI)
PDF
統計勉強会 分割表とカイ二乗検定
by
Satoshi Nagayasu
PDF
理科教育学研究のための統計分析入門
by
Hiroshi Unzai
PDF
Osaka.Stan #3 Chapter 5-2
by
Takayuki Goto
PDF
chapter2.pdf
by
YasutoTerasawa
PPTX
第四回統計学勉強会@東大駒場
by
Daisuke Yoneoka
PDF
How to study stat for freshmans
by
Ak Ok
PDF
みどりぼん読書会 第4章
by
Masanori Takano
基礎からのベイズ統計学 輪読会資料 第1章 確率に関するベイズの定理
by
Ken'ichi Matsui
パターン認識 05 ロジスティック回帰
by
sleipnir002
星野「調査観察データの統計科学」第3章
by
Shuyo Nakatani
星野「調査観察データの統計科学」第1&2章
by
Shuyo Nakatani
R-study-tokyo02
by
Yohei Sato
Introduction to statistics
by
Kohta Ishikawa
Introduction to Statistical Estimation (統計的推定入門)
by
Taro Tezuka
2値分類・多クラス分類
by
t dev
データ解析4 確率の復習
by
Hirotaka Hachiya
2 4.devianceと尤度比検定
by
logics-of-blue
演習II.第1章 ベイズ推論の考え方 Part 1.講義ノート
by
Wataru Shito
Stan で欠測データの相関係数を推定してみた
by
hoxo_m
Probability theory basic JP
by
RIKEN Center for Integrative Medical Science Center (IMS-RCAI)
統計勉強会 分割表とカイ二乗検定
by
Satoshi Nagayasu
理科教育学研究のための統計分析入門
by
Hiroshi Unzai
Osaka.Stan #3 Chapter 5-2
by
Takayuki Goto
chapter2.pdf
by
YasutoTerasawa
第四回統計学勉強会@東大駒場
by
Daisuke Yoneoka
How to study stat for freshmans
by
Ak Ok
みどりぼん読書会 第4章
by
Masanori Takano
More from nishio
PDF
量子アニーリングマシンのプログラミング
by
nishio
PDF
If文から機械学習への道
by
nishio
PDF
機械学習キャンバス0.1
by
nishio
PDF
ITと経営
by
nishio
PDF
部分観測モンテカルロ計画法を用いたガイスターAI
by
nishio
PDF
交渉力について
by
nishio
PDF
強化学習その5
by
nishio
PDF
良いアイデアを出すための方法
by
nishio
PDF
2017首都大学東京情報通信特別講義
by
nishio
PDF
夏プロ報告
by
nishio
PDF
組織横断型研究室構想
by
nishio
PDF
未踏社団でのkintoneの活用
by
nishio
PDF
「ネットワークを作る」ってどういうこと?
by
nishio
PDF
「ネットワークを作ることでイノベーションを加速」ってどういうこと?
by
nishio
量子アニーリングマシンのプログラミング
by
nishio
If文から機械学習への道
by
nishio
機械学習キャンバス0.1
by
nishio
ITと経営
by
nishio
部分観測モンテカルロ計画法を用いたガイスターAI
by
nishio
交渉力について
by
nishio
強化学習その5
by
nishio
良いアイデアを出すための方法
by
nishio
2017首都大学東京情報通信特別講義
by
nishio
夏プロ報告
by
nishio
組織横断型研究室構想
by
nishio
未踏社団でのkintoneの活用
by
nishio
「ネットワークを作る」ってどういうこと?
by
nishio
「ネットワークを作ることでイノベーションを加速」ってどういうこと?
by
nishio
調査観察データの統計科学1
1.
調査観察データの統計科学 勉強記1 西尾泰和
2.
今回の目的 •2章の「入試選抜による選択バイアス」問題を、 実際に類似の問題に出会った時に解くことが
できるレベルまで理解する •…ためにまずはこの問題を実際に解く
3.
問題の定義 •得たいもの:「入試の点数と、入学後の点数 の関係を知りたい!」
4.
入試の点数푦1 入学後の試験の点数푦2
5.
こうなってほしい 真のモデルは푁푦1,푦250,50,(100,70,70,100))
6.
データがない •入試で落ちた人の「入学後の点数」は不明 不明
7.
合格者のデータから推定… 全然ダメだ! モデルは二次元ガウス分布と仮定して合格者のデータからパラメータを最尤推定
8.
何ができる? •不合格者のデータも使おう!
9.
不合格者のy2の値は実際には存在しないが、 あえて「実際には存在しているけどたまたま欠測しただけ」と考える 反実仮想アプローチ
12.
尤度の定義 「mが푦표푏푠だけで決まる」条件下での尤度 この尤度を最大にするθが知りたい!
→argmax휃 푝(푦표푏푠|휃) を計算すれば良い
17.
Lを最小化する2つのアプローチ •Lをパラメータθの各変数について偏微分して 0と起き、連立方程式を解いたら極値を取るθ
がわかるよね、という解析的アプローチ (人間が頑張って数式を計算する) •LをそのまんまPythonで実装して、 scipy.optimizeで最小値を求めるアプローチ (CPUが頑張って数値計算する)
18.
2次元ガウス分布の負の対数尤度 毎回データを舐めるなんて遅そう?でもとりあえずやってみる 式をそのまんまコードにしてる:
19.
1次元ガウス分布の負の対数尤度
20.
観測データに対する負の対数尤度 足すだけ
21.
Scipyに投げる 適当な初期値(平均0、分散1)から探索スタート
22.
できた!
23.
before
24.
after
25.
正解とのズレ
26.
所要時間 •N=300: 0.67sec
•N=900: 1.68sec •N=2700: 4.83sec •N=8100: 15.24sec 意外と速くていろんな応用に使えそう。 速度が問題になるケースでは両群について十分統 計量Σ푦1,Σ푦2,Σ푦12,Σ푦1푦2,Σ푦22を計算することで尤 度関数からループを追い出せるはず。 指摘:今回パラメータが5個で、それが変わった時の速度の変化を調べてない 指摘:微分を計算してoptimizeに与えることで高速化って手も
27.
まとめ •対数尤度関数を適当に実装してscipyに突っ 込んだけど意外と速かった
•意外と簡単に応用できることがわかったので 実際に解いてみるアプローチはよさげ •次回はp.72「小学校での英語教育の有無で 国語の成績に有意差があるけど実は家庭環 境の差が原因」問題を解く?
Download