Your SlideShare is downloading. ×
0
【DBDA 勉強会 2013 夏】Chapter 12: Bayesian Approaches to Testing a Point (‘‘Null’’) Hypothesis
【DBDA 勉強会 2013 夏】Chapter 12: Bayesian Approaches to Testing a Point (‘‘Null’’) Hypothesis
【DBDA 勉強会 2013 夏】Chapter 12: Bayesian Approaches to Testing a Point (‘‘Null’’) Hypothesis
【DBDA 勉強会 2013 夏】Chapter 12: Bayesian Approaches to Testing a Point (‘‘Null’’) Hypothesis
【DBDA 勉強会 2013 夏】Chapter 12: Bayesian Approaches to Testing a Point (‘‘Null’’) Hypothesis
【DBDA 勉強会 2013 夏】Chapter 12: Bayesian Approaches to Testing a Point (‘‘Null’’) Hypothesis
【DBDA 勉強会 2013 夏】Chapter 12: Bayesian Approaches to Testing a Point (‘‘Null’’) Hypothesis
【DBDA 勉強会 2013 夏】Chapter 12: Bayesian Approaches to Testing a Point (‘‘Null’’) Hypothesis
【DBDA 勉強会 2013 夏】Chapter 12: Bayesian Approaches to Testing a Point (‘‘Null’’) Hypothesis
【DBDA 勉強会 2013 夏】Chapter 12: Bayesian Approaches to Testing a Point (‘‘Null’’) Hypothesis
【DBDA 勉強会 2013 夏】Chapter 12: Bayesian Approaches to Testing a Point (‘‘Null’’) Hypothesis
【DBDA 勉強会 2013 夏】Chapter 12: Bayesian Approaches to Testing a Point (‘‘Null’’) Hypothesis
【DBDA 勉強会 2013 夏】Chapter 12: Bayesian Approaches to Testing a Point (‘‘Null’’) Hypothesis
【DBDA 勉強会 2013 夏】Chapter 12: Bayesian Approaches to Testing a Point (‘‘Null’’) Hypothesis
【DBDA 勉強会 2013 夏】Chapter 12: Bayesian Approaches to Testing a Point (‘‘Null’’) Hypothesis
【DBDA 勉強会 2013 夏】Chapter 12: Bayesian Approaches to Testing a Point (‘‘Null’’) Hypothesis
【DBDA 勉強会 2013 夏】Chapter 12: Bayesian Approaches to Testing a Point (‘‘Null’’) Hypothesis
Upcoming SlideShare
Loading in...5
×

Thanks for flagging this SlideShare!

Oops! An error has occurred.

×
Saving this for later? Get the SlideShare app to save on your phone or tablet. Read anywhere, anytime – even offline.
Text the download link to your phone
Standard text messaging rates apply

【DBDA 勉強会 2013 夏】Chapter 12: Bayesian Approaches to Testing a Point (‘‘Null’’) Hypothesis

1,070

Published on

東京大学にて行われている Doing Bayesian Data Analysis 勉強会での発表資料です。

東京大学にて行われている Doing Bayesian Data Analysis 勉強会での発表資料です。

Published in: Education
0 Comments
1 Like
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total Views
1,070
On Slideshare
0
From Embeds
0
Number of Embeds
3
Actions
Shares
0
Downloads
3
Comments
0
Likes
1
Embeds 0
No embeds

Report content
Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
No notes for slide

Transcript

  • 1. Doing Bayesian Data Analysis Chapter 12: Bayesian Approaches to Testing a Point (‘‘Null’’) Hypothesis 東京大学 松尾研究室 修士2年 飯塚修平@tushuhei 2013/08/25 1
  • 2. この章の内容 1.  パラメタ評価アプローチ (estimation) –  ひとつの事前確率 –  その値は信頼出来る? 2.  モデル比較アプローチ (model comparison) –  ふたつの事前確率 –  どちらのモデルが信頼出来る? 3.  それぞれのアプローチの注意点 2013/08/25 2 仮説検定についてベイジアンの立場から考えよう   彼ってどんな性格なの? どうしようもなく駄目なひとなのか、 とても潔癖で近づきがたいひとなのか、 それとも、その間のどこかなのかな。
  • 3. 導入 •  こういう悩みはつきない –  これからコイントスで先行を決めるんだけど、このコインで大丈夫なのかな? –  この新規開発した薬って本当に効くのかな?プラセボじゃないよね? –  その他諸々の「A と B どっちがいいかな。」 à ベイジアン風に言うと「偏り θ = 0.5」という帰無仮説は棄却されるのか、それ とも採用されるのか? •  ベイジアンだと、伝統的統計学より進んだ考え方で検定することが できる –  棄却 or 採用よりも 95% HDI を得られる方が情報量が多い –  事後確率分布を得ることで、パラメタと信頼度の関係を眺めることができる •  今回取り上げる方法は 2 つ –  パラメタ評価アプローチ 事後確率の 95% HDI の中に帰無値(null value, 仮説検定したい値)が入るか –  モデル比較アプローチ 「帰無値しか許さないモデル」 vs 「それ以外の値も広く許すモデル」 2013/08/25 3
  • 4. パラメタ評価アプローチ •  基本的な考え方 –  もし帰無値が事後確率の 95% HDI の外にあれば、その帰無値は信頼できる値で はない。 –  もし帰無値が事後確率の 95% HDI の中にあれば、その帰無値は信頼できる値の ひとつだと言える。 •  つまり、ひとつの事前確率から事後確率を算出し、帰無値の信頼性 を評価する。 •  実際の例 –  キーボードゲーム(パラメタの値を評価する例) –  ホットハンド・ジンクス(パラメタの値の差を評価する例) 2013/08/25 4
  • 5. 【例】キーボードゲーム •  被験者に以下のようなゲームをプレイしてもらう。 •  被験者はディスプレイに表示された単語に対して適切なキーを叩く。 •  正解すると、報酬を得ることができる。ルールは図の通り。 2013/08/25 5 “radio”   “ocean” ディスプレイ “radio”   “mountain” キーボード F J F J 報酬 報酬
  • 6. 【例】キーボードゲーム •  その後被験者に対して、これまでの学習からは正解がわからないテ ストを与える –  ディスプレイに “radio” とのみ表示する –  ディスプレイに ”ocean” と “mountain” の両方を表示する •  それぞれのテストについて被験者の叩くキーが偏るか? 2013/08/25 6 [Prior] θ = (F が叩かれる回数 / J が叩かれる回数) とし、一様 分布と仮定する。 [Likelihood] テストの結果 得られた尤度。片方のキー に偏っている。 [Posterior] 事後確率の 95% HDI に θ = 0.5 が 含まれなかった。すなわち、被験者は 50:50 でキーを選択するのではなく、いずれかに偏っ ていた。
  • 7. 【例】ホットハンド・ジンクス •  バスケットボールのジンクス: シュートに成功した後の方が、失敗した後よりもシュートが決まり やすくなる。à すなわち θ_AfterSuccess と θ_AfterFailure で違い があるのか? •  θ_AfterSuccess - θ_AfterFailure = 0 が 95% HDI 内に入っている。 à ジンクスなんてなかった 2013/08/25 7
  • 8. 相関するパラメタの場合 •  それぞれの場合のθの分布に着目しても、パラメタ間の関係は見えない。 •  相関の正負は、パラメタの差(この場合 θ1 - θ2)の分布の幅に現れる。 –  正の相関à近似直線(line of equality)の幅が狭い à 0 を 95% HDI に含まず、θ1 と θ2 が異なることを示している。 –  負の相関à近似直線の幅が広い 2013/08/25 8 θ1 とθ2 が相関する場合 θ1 とθ2 が逆相関する場合 95% HDI 0.0279 < (θ1 – θ2) < 0.206 狭い; 0 を HDI に含まない 95% HDI -0.26 < (θ1 – θ2) < 0.494 広い; 0 を HDI に含む
  • 9. ROPE の導入 •  Region of Practical Equivalence •  ROPE を導入することで、実用的な範囲内で帰無値が信頼できるか 否かを判断できるようになる。 –  幅を持たせることで、実用上十分なのに棄却してしまう可能性を減らす。 •  基本的な考え方 –  ROPE 全体が事後確率の 95% HDI の外にあれば、その帰無値は用いることが出 来ない [1] –  ROPE が事後確率の 95% HDI 全体を完全に含んでいれば、その帰無値は採用で きる [2] 2013/08/25 9 ROPE 95% HDI 95% HDIROPE [1] [2]
  • 10. 【例】コインは偏ってるか? •  理想的なコイン: 表が出る確率 θ = 0.5 ß 帰無値 •  ROPE: θ = [0.45, 0.55] •  10,000 回コインを投げて 5,200 回表が出た。 •  à 95% HDI = [0.51, 0.53] •  帰無値は HDI に含まれないが、HDI は十分 ROPE 内に収まっている。 •  実用上、θ = 0.5 として扱って OK 2013/08/25 10 0.45 0.55ROPE 0.51 0.53 95% HDI 0.50 帰無値
  • 11. モデル比較アプローチ •  次に、モデル比較として帰無値の信頼性を考える。 •  帰無モデル (null model): M_null –  帰無値のみを許すモデル •  対立モデル (alternative model): M_alt –  パラメタを広い範囲で許すモデル •  この2つのモデルの比較として、仮説検定問題を捉え直す。 2013/08/25 11
  • 12. M_null (θ1=θ2) M_alt (一様) 【例】ふたつのコインは同じ? •  ふたつのコインの表が出る確 率はそれぞれ θ1, θ2 •  M_null: θ1 = θ2 (ふたつのコ インは同じという帰無仮説) •  M_alt: 一様分布 •  コイントスの回数 N = 7 •  表が出た回数 z1 = 5, z2 = 2 •  p(D|M_null) = 1.94*10^(-5) •  p(D|M_alt) = 3.54*10^(-5) •  p(M_null) = p(M_alt) = 0.5 2013/08/25 12 M_alt がわずかながら勝利 だが、Bayer s Factor の 値は小さい →棄却は難しい
  • 13. 【例】記憶力を高める BGM は? •  被験者にある BGM がかかっている部屋の中で 20 個の単語を暗記 してもらう。 •  θ_ij: 被験者 i が BGM j の元で単語を暗記できる割合 –  思い出せる or 思い出せない(二値)なので、ベータ関数で表すことが可能 θ_ij = beta(θ_ij|μ_j, κ_j, (1-μ_j)κ_i) •  BGM の種類 (平均値) 1.  ヘビメタ (11.85) 2.  バッハ (9.85) 3.  ベートーベン (9.50) 4.  モーツァルト (9.60) à  何かを覚える時はクラシックよりもヘビメタ! à  では、この4つのグループに差があると言えるのか? 「差がある」という帰無仮説は棄却されるのか? 2013/08/25 13
  • 14. 【例】記憶力を高める BGM は? •  まずはパラメタ評価アプローチに戻って、それぞれのグループ間の パラメタに差があるか仮説検定を行う。 –  ホットハンド・ジンクスの例を参照 •  パラメタ μ_j の差をとって比較すると、各グループを [[1], [2, 3, 4]] と分けることができる。特にグループ 1 と 3, 4 の間の差が大きい。 2013/08/25 14
  • 15. 【例】記憶力を高める BGM は? •  モデル比較アプローチでは、以下2つのモデルの比較として問題を 捉え直す。 –  SameMu: 4つのグループ間で差がないとするモデル(帰無モデル) –  DiffMu: 4つのグループ間で差があるとするモデル(対立モデル) •  MCMC で見てみると、SameMu の方が勝っている。 à 4つのグループには差がない?? 2013/08/25 15
  • 16. 【例】記憶力を高める BGM は? •  結局、4つのグループは同じなの?違うの? •  【モデル比較アプローチ】 4つのパラメタをすべてのグループが共有するモデルと、それぞれ のグループが異なるパラメタを持つモデルの比較では、前者の方が 良かった。が、ベストではない。 •  【パラメタ評価アプローチ】 4つのモデルで異なるパラメタを持たせて比較した結果、[[1], [2, 3, 4]] とグルーピングできた。 •  à グループ 1 と グループ 2, 3, 4 でパラメタを分ける 2-パラメタモ デルが実は最も優秀である (Ex 12.1 で確認すべし) 2013/08/25 16 彼ってどんな性格なの? どうしようもなく駄目なひとなのか、 とても潔癖で近づきがたいひとなのか、 それとも、その間のどこかなのかな。
  • 17. 注意点 パラメタ評価アプローチ •  ROPE と HDI の幅の比は、帰無値が正しい確率を表しているのではない。 パラメタが帰無値に等しい確率を表しているのだ。 •  十分に比が大きい時のみ、この値は意味を持つ。何故なら、データが十分 でないとき、HDI の幅が大きくなってこの比が小さくなる可能性があるか らだ。 モデル比較アプローチ •  あくまで帰無モデルの信頼性は相対的なもの。 –  記憶と BGM の例を参照。 •  そのため、対立モデルは十分に吟味された、うまくいきそうなモデルを採 用すべきである。 –  慣習だからといって、何も考えずに一様分布モデルを採用するのは危険。 –  ベストなモデルがその過程で見過ごされてしまう可能性がある。 •  そのためには、事前知識を駆使して妥当なモデルを考えること。 2013/08/25 17

×