Recommended
More Related Content
What's hot
What's hot (20)
Viewers also liked
Viewers also liked (15)
Similar to StanとRでベイズ統計モデリング読書会（Osaka.stan） 第6章
Similar to StanとRでベイズ統計モデリング読書会（Osaka.stan） 第6章 (20)
More from Shushi Namba
StanとRでベイズ統計モデリング読書会（Osaka.stan） 第6章
- 1. 統計モデリングの視点 から確率分布の紹介 Osaka.Stan #3 広島大学 難波修史 StanとRで ベイズ統計モデリング読書会
- 2. 自己紹介 • 難波修史 @Nsushi • 広島大学教育学研究科心理学専攻D生 • 専門：顔、感情、ド文系 • 興味：ベイズ • 使用言語：Python, R • R歴：初心者
- 6. これまでの (心理) 統計 • 因子分析の前提＝データが正規分布して いること (松尾・中村、2002) • 分散分析の前提＝データが正規分布して いること（村山先生のHP 我々＝すでに正規分布のフレンズ
- 9. 正規分布以外の分布を 使う必要性？ •応答変数が明らかに正規分布しない 例：出席率 (5-2等)、履修登録 (5-4) •データが少ない場合に推定がうまく いかない → 事前分布による調整が 必要な場合も 例：コーシー分布や t 分布 (10章等)
- 10. 他の分布の理解は必要不可欠 •ベイズ統計モデリングでは、事前分 布を選択する時にも確率分布に関す る最低限の理解が必要 • 色んな分布と適用例を詳しく 知りたい人は豊田 (2015, 2017) を読もう→
- 12. ま だ
- 13. 分布の紹介時の注意① • 本資料では松浦本と同様、数学的に扱い やすい分散でなく標準偏差を記載します。 • 理由1．平均と標準偏差は同じ単位で比 較しやすく、モデリングを考察しやすい • 理由2．正規分布を指定する関数では引 数として、標準偏差をとるため
- 15. 分布勉強におすすめのアプリ • http://statdist.ksmzn.com/ • @ksmzn様が作成したShinyで確率分布 を動かして遊べるページがあります。 • 6章を読みながらパラメータをいじって いろんな確率分布とフレンドになりま しょう！！ • 右図＝Interface 「確率分布いろいろ」でググる！
- 16. 分布勉強におすすめの…
- 17. 一様分布
- 19. 6.1 一様分布 • 確率密度関数（確率変数を記述する関数 • Uniform (y | a,b) 1 𝑏−𝑎 (a ≦ x ≦ b) 0 上記以外
- 20. 一様分布 • パラメータ：実数a, b (a < b) • 範囲：y＝[a, b]の範囲の実数 • 平均：(a+b) / 2 • 標準偏差：(b-a) / √12
- 21. 一様分布の例 a = -2, b = 1
- 24. 例：model4-5.stan • 右図では各パラメータ で明示的な事前分布が 設定されてない a ~ uniform(-∞, ∞) b ~ uniform(-∞, ∞) sigma ~ uniform(0, ∞) ← 下限設定のため modelブロックには以下 が非明示的に設定される
- 25. ベルヌーイ分布
- 27. 6.2 ベルヌーイ分布 • 確率質量関数（離散だと密度ではなく質量 • Bernoulli (y | θ) θ y = 1の場合 1 − θ y＝0の場合 ※θ 𝑦 1 − θ 1 − 𝑦
- 28. ベルヌーイ分布 • パラメータ： θ [0,1] の範囲の実数 • 範囲：y＝0か1のいずれかの整数値 • 平均： θ • 標準偏差：√θ(1 − θ)
- 31. 例②：出席率 •パラメータθ＝ [0, 1] の範囲の実数 •出席率 (欠席＝0、出席＝1) のような 応答変数に対して、ロジスティック 関数と組み合わせて用いることが多 い (具体例など詳しくは5-3)。
- 32. 二項分布
- 34. 6.3 二項分布 • 確率質量関数 • Binomial (y | N, θ) N! 𝑦! 𝑁 −𝑦 ! θ 𝑦 1 − θ 𝑁 − 𝑦
- 35. 二項分布 • パラメータ： N＝正の整数、θ＝[0,1] の範囲の実数 • 範囲：y＝0,1, … N のいずれかの整数値 • 平均： Nθ (1いれるとベルヌーイ分布と一致 • 標準偏差：√Nθ(1 − θ)
- 36. 二項分布の例 N = 10 θ＝0.2 × 10
- 37. 二項分布の再生性 • Nの異なる同じパラメータθの二項分布か ら確率変数y1とy2が生成される → y1 + y2 はBinomial (N1 + N2, θ) に従う コイン表が出るパラメータ＝多分0.5 × 10 × 6 ＝ × 16 Binom (10, 0.5) Binom (6, 0.5) Binom (16, 0.5) ＋
- 39. ベータ分布
- 41. 6.4 ベータ分布 • 確率密度関数 • Beta (θ| α, β) 1 𝐵 α,β θα − 1 1 − θ β − 1
- 42. ベータ分布 • パラメータ： α、β＝正の実数 • 範囲：θ＝[0,1]の範囲の実数 • 平均： α α+β • 標準偏差： √αβ α+β √α+β+1 • 範囲 0-1 の連続型分布＝確率θ生成分布 → 尤度がベルヌーイ・二項分布時に利用可能 ＋その他の [0, 1] の範囲の変数にも適用可能
- 43. ベータ分布の挙動① α＝1, β＝1 → 標準一様分布と等価 α固定、β変化 → β小さくなる → 平均が1へ
- 44. ベータ分布の挙動② α＝0.5, β＝0.5 → 逆正弦分布と等価 ?逆正弦分布： http://physnotes.jp/stat/asin_d/ β固定、α変化 → α大きくなる → 平均が1へ
- 47. 書籍内での例：故障率 • 見たいパラメータ＝故障率 • M個中Y個故障×N品目 イメージ図 [N = 1：アンパン] モデル式 θ ~ Beta(α、β) #故障率パラメータ Y ~ Binomial (M, θ) ジャムおじさん のパン工場 3つのアンパンと １つのこげパン
- 48. ジャムおじさん (データ生成源) に関する事前情報を設定可能 • 書籍ではN品目間の違いから弱情報事前 分布をイメージ＋設定 あのおじさん ムラがはんぱ ないよね。 → α、βにちょっ とした情報を載 せた解析も可能 まぁ、基本的には我々が科学的な用途で 用いる場合、無情報を設定しましょう。 かばおくん リアルな ジャムおじさん
- 52. カテゴリカル分布
- 53. カテゴリカル分布とは •kの目が出る確率 (生起確 率) が𝜃 𝐾であるようなK面 を持つサイコロの分布
- 54. 6.5 カテゴリカル分布 • 確率質量関数 • Categorigal (y = 𝑘|θ) = θk ※Categorigal (y = 2|θ) ≠ Bernoulli (θ) ※ 𝑘=1 K θ 𝑘 𝑦𝑘
- 55. カテゴリカル分布 • パラメータ： K＝2以上の正の整数 θ＝長さKのベクトル、各要素は[0,1]の 範囲の実数で合計すると1になる。 • 範囲：y＝1,2, … Kのいずれかの整数 • 平均： I[y = k] の平均=θ 𝑘 • 分散共分散：I[y = k] の分散＝θ 𝑘 (1 − θ 𝑘) I[y = k] とI[y = k’] の共分散 (k ≠ k’)＝−θ 𝑘θ 𝑘‘ I[y = k] は y = k となる場合に1を返し、それ以外は0を返す関数
- 56. カテゴリカル分布の例 • 右図：K=5, 𝜃＝(0.1, 0.2, 0.25,0.35, 0.1)T • 確率なので合計は1
- 57. 使用例：ソフトマックス回帰 • 店Aに3つの商品 (チョコ、飴、グミ) があると する (K = 3)。 • その選択に関わりそうな説明変数＝性別のみと する。 すると以下のモデル式が提案可能。 • μ[n] = a + b*Sex[n] n = 個人 • θ[n] = softmax (μ[n]) = ベクトル • Y[n] ~ Categorical(θ[n]) 長さKのベクトル＝3商品 の選択に関する線形結合 ※softmax関数＝expを用いて [-∞, ∞] をとりう る値を正の値にしてから、合計が1になる (カテ ゴリカル分布にあう) ように規格化するもの
- 58. 多項分布
- 59. 多項分布とは •kの目が出る確率が𝜃 𝐾であるようなK 面を持つ (カテゴリカル分布に従う) サイコロ投げをN回行ったときの、 各目の出る確率を示す分布 •イメージ：二項分布の拡張 (ただし K=2の多項分布＝y1, y2をカウント ⇔二項分布＝生起回数のみカウン ト)
- 60. 6.6 多項分布 • 確率質量関数 • Multinomial (y|𝑁, θ) = N! Π 𝑘=1 𝐾 𝑦 𝑘 𝑘=1 K θ 𝑘 𝑦𝑘
- 61. 多項分布 • パラメータ： K＝2以上の正の整数、 N＝正の整数 θ＝長さKのベクトル、各要素は [0,1] の 範囲の実数で合計すると1になる。 • 範囲：y＝長さKのベクトル。各要素は0,1, … Nのいずれかの整数で合計するとNになる • 平均： yk の平均=Nθ 𝑘 • 分散共分散：yk の分散＝Nθ 𝑘 (1 − θ 𝑘) yk と yk’ の共分散 (k ≠ k’)＝−Nθ 𝑘θ 𝑘‘
- 62. 多項分布の例 N=3, 𝜃＝(0.3, 0.3, 0.4)T (参照 http://www.biwako.shiga- u.ac.jp/sensei/mnaka/ut/statdist.html
- 63. 使用例 •Nが与えられたカテゴリカル分 布、でOK ⇔ 試行回数1の多項 分布＝カテゴリカル分布 • 実際、平均や分散などもカテゴリカル分布 のやつにNがかけられてるだけ（本参照） （ベルヌーイ・二項分布も同じ関係
- 65. ディリクレ分布
- 67. 6.7 ディリクレ分布 • 確率密度関数 • Dirichlet (θ|α) = 1 B(α) 𝑘=1 K θ 𝑘 α 𝑘−1 正規化定数 カーネル Q. 正規化定数？カーネル？ A. 前者は積分を1にするための定数 (定義は本家) 後者は確率分布の本質的な部分
- 68. ディリクレ分布 • パラメータ： K＝2以上の正の整数、 α＝各要素は正の実数。 • 範囲：θ＝長さKのベクトル。各要素は (0,1) の範囲の実数で合計すると1になる • 平均： θk の平均=α 𝑘/αsum • 分散共分散： θk の分散＝α 𝑘 αsum − α 𝑘 / α 𝑠𝑢𝑚 2 (α 𝑠𝑢𝑚+1) θk と θk’ の共分散 (k ≠ k’)＝−α 𝑘α 𝑘‘/(α 𝑠𝑢𝑚 2 (α 𝑠𝑢𝑚+1)) ※ 𝑘=1 𝐾 α 𝑘 = α 𝑠𝑢𝑚とする
- 69. 視覚化①(参照：http://y-mattu.hatenablog.com/entry/2016/03/03/143451 • 我々にぎりぎり可視化できる3次元の図 αが高い ＝確実性 が高い
- 72. 具体例 • 店Aの例 (3商品：チョコ、飴、グミ) で いうとグミだけ選ばれやすいαの事前分 布の例は以下。 • θ = Dirichlet (α1 = 1, α2 = 1, α3 = 8) • Y ~ Categorical(θ) チョコ 飴 グミ
- 73. 指数分布
- 74. 指数分布とは •事象の生起間隔 (ある事象が起こって 次にまた発生するまでの間隔) の確率 • ランダムなイベントの発生間隔を表す分布
- 75. 6.8 指数分布 • 確率密度関数 • Exponential (y|λ) = λexp(−λ𝑦) 超参照(指数分布とポアソン分布のいけない関係)： http://www.slideshare.net/teramonagi/ss-11296227 ※ 本家ではλではなくβですが、後でポアソン分布との関係をわ かりやすくするためあえてλとしています。 ※λ𝑒 − λ𝑦
- 76. 指数分布 • パラメータ： λ(rate)＝正の実数 • 範囲：y ＝ y≧0の実数 • 平均： 1/λ • 標準偏差：1/λ ただ一つのパラメータ だけで特徴づけられる パラメータはいつも一つ ＋コナン君
- 77. 指数分布の例
- 78. 指数分布の無記憶性 • 無記憶性を持つ連続型の確率分布 • Pr(y > s+t | y > t) = P(y > s) • 次に事象が発生するまでの時間 は今まで待った時間と関係ない 指数分布の擬人化 記憶なくす人
- 79. 無記憶性の例 Pr(y > s+t | y > t) = P(y > s) 例: 指数分布に従うワイングラス が壊れるまでの時間 → 3年 (t) 使っても壊れない → その先1年 (s+t) で壊れる確率 ＝ 使い始め1年 (s) で壊れる確率 ２日連続で 記憶失う人
- 80. データ・使用例 • パラメータλの解釈＝ある時間中におけ る事象の平均生起回数 → 事故・地震の発生間隔など • 正の実数を持つパラメータを生成する分 布として使うことも（10章参照
- 81. 計算してみる • 1時間に平均5人が訪れるWebサイト → 次の訪問者が来るまでの間隔が12分 である確率を求めよ • λ＝5, y = 12 / 60を公式に代入 • 確率“密度”＝1を超える tera-monagi様の資料より参照：http://www.slideshare.net/teramonagi/ss-11296227
- 82. ポアソン分布
- 83. ポアソン分布とは •単位時間 (1時間・1秒間など) 当た りのある事象の生起確率 •単位時間あたり平均λ回起こるラン ダムな事象が単位時間中にy回起こ る確率＝ 1 𝑦! λ 𝑦 exp(−λ)
- 84. 6.9 ポアソン分布 • 確率密度関数 • Poisson (y|λ) = 1 𝑦! λ 𝑦 exp(−λ) 参照＝tera-monagi様の「指数分布とポアソン分布のいけない 関係」：http://www.slideshare.net/teramonagi/ss-11296227
- 85. ポアソン分布 • パラメータ： λ＝正の実数 • 範囲：y＝0,1,2…のいずれかの整数値 • 平均： λ • 標準偏差：√λ ただ一つのパラメーター だけで特徴づけられる パラメータ＝平均なので 「パラメータλのポアソン分布」 or「平均λのポアソン分布」 呼び方
- 86. ポアソン分布の例 λ＝2.5
- 87. ポアソン分布の再生性 • 同じパラメータλのポアソン分布から確率 変数y1とy2が生成される → y1 + y2 はPoisson (λ1 + λ2) に従う とあるアカウントがつぶやくパラメータ＝1時間当たり2.5 y1 y2 y1+y2+ = 2時間に5回 4時間に10回 6時間に15回
- 88. 指数分布とポアソンの関係① • 単位時間あたり平均 λ 回起こるような ランダムなイベントに対して、 1．一単位時間にイベントが起きる 回数は平均 λ のポアソン分布に従う。 2．イベントの発生間隔は平均 1 / λ の指数分布に従う。
- 89. 指数分布とポアソンの関係② 同一のある“事象”に対して • ポアソン分布＝単位時間当たり平均 λ 回 → 回数に注目 • 指数分布＝平均 1/λ 単位時間に一回 → 時間に注目！ シミュレーションはtera-monagi様の資料を参照（指数分布とポアソン分布 のいけない関係)：http://www.slideshare.net/teramonagi/ss-11296227
- 92. データ例① • 1日の間に観測される動物の個体数、1 時間の間に届くメールの数 (指数分布の 解説も含むよい例が以下のサイトに (http://www.ntrand.com/jp/poisson-distribution/) )、これら は背後に指数分布に従うイベントが考え られる。 例は「馬に蹴られてポアソン分布」でググ れば一番上にでてきます (2017.2月現在)。
- 95. ガンマ分布
- 96. ガンマ分布とは？ • 流れ星の例で考える • 流れ星がα個観測されるまでの時間 → ガンマ分布 ＝母数βの指数分布に従う事象がα回 生じるまでの時間の分布 お笑い芸人の 流れ星のプロ フィール画像
- 97. 6.10 ガンマ分布 • 確率密度関数 • Gamma(y|α, β) = βα Γ(α) 𝑦α−1 exp(−β𝑦) 正規化定数 カーネル 正規化定数の定義は本家を参照
- 98. ガンマ分布 • パラメータ：α (shape), β (rate)＝正の実数 • 範囲：y＝正の実数 • 平均： α/β • 標準偏差：√α/β
- 100. まとめ ポアソン分布＝回数、 指数・ガンマ分布＝時間に注目 ただし、指数分布の場合は最初の観 測まで。ガンマ分布はα回数観測ま での時間、ゆえにαが1の場合は指数 分布と定義式が一致する（本書参照
- 102. ガンマ分布の再生性 • (一部の分布同様), 同じパラメータβのガンマ 分布から確率変数y1とy2が生成される それの和 → Gamma(α1 + α2, β) に従う 具 体 例 を 説 明 で き な い ベ ジ ー タ 思い浮か ばなかっ ただけ。
- 105. 正規分布
- 107. 6.11 (みんな大好き) 正規分布 • 確率密度関数 • Normal(y|μ, σ) = 1 √2πσ exp(− 1 2 y−μ σ 2)
- 108. 正規分布 • パラメータ：μ＝実数、σ＝正の実数 • 範囲：y＝実数 • 平均： μ • 標準偏差：σ 親の顔よりも 見慣れた景色
- 109. 正規分布の再生性 • 確率変数y1 ~ Normal(μ1, σ1) と y2 ~ Normal(μ2, σ2) が独立で生成される → その和＝Normal(μ1＋ μ2, √ σ1 ＋ σ2) に従う • 例：子供の身長＋タケノコ μ1＝100 μ2＝30 + = μ1 + μ2＝130
- 112. 使用例 • 5-1の重回帰 • グループ差や個人差が正規分布に従うと 仮定する階層モデルを8章で扱う。 • また、y≧0の部分だけを取り出して正規 化する半正規分布はパラメータの弱情報 事前分布として用いる場合が多い (10章
- 114. 対数正規分布
- 117. 6.12 対数正規分布 • 確率密度関数 • LogNormal(y|μ, σ) = 1 √2πσ 1 𝑦 exp(− 1 2 𝑙𝑜𝑔y−μ σ 2)
- 118. 対数正規分布 • パラメータ：μ＝実数、σ＝正の実数 • 範囲：y＝実数 • 平均： exp(μ + σ2 / 2) • 標準偏差：exp(μ + σ2/2) √(eσ2-1)
- 119. 対数正規分布の例
- 121. 多変量正規分布
- 122. 多変量正規分布とは •正定値対称行列である分散共分散行 列を含む、2つ以上 (m次元) の正規 分布の同時密度関数である (多分)。 2変量の 場合の例
- 123. 6.13 多変量正規分布 • 確率密度関数 • MultiNormal(y|μ, Σ) = 1 2π K/2 1 √|Σ| exp(− 1 2 y − μ T Σ−1 y − μ )
- 124. 多変量正規分布 • パラメータ：K＝正の整数、 μ＝長さKのベクトルで各要素は実数、 Σ＝K×Kの対称な正定値行列 (分散共分散行列 • 範囲：y＝長さKのベクトルで各要素は実数 • 平均：ykの平均＝μk • 分散共分散：ykの分散＝Σk,k ykとyk’の共分散 (k ≠ k’) ＝Σk,k’ 正定値行列＝すべての固有値が正の実数であること、らしい。 ここがキモ！
- 127. すごいぞ！多変量正規分布！ • 多変量正規分布に従う確率変数を線形結合 → 多変量正規分布に従う • 周辺化する → 多変量正規分布 • 各変数の条件付き分布 → 多変量正規分布 驚いてる犬
- 128. 余談 Q. 周辺化？ A. 同時確率を足し合わせて特定の確率変 数を消すこと。 Q. 条件付き確率？ A. ある事象Yが起こるという条件の下で別 の事象Xが起きる確率：P(X|Y) 黄線のx1 の分布 p124の例
- 130. コーシー分布
- 132. 6.14 コーシー分布 • 確率密度関数 • Cauchy(y|μ, σ) = 1 πσ 1 1+ 𝑦−μ σ 2
- 133. コーシー分布 • パラメータ：μ＝実数、σ＝正の実数 • 範囲：y＝実数 • 平均：存在しない（正確には定義されない • 標準偏差：存在しない
- 134. コーシー分布の例 μ＝0, σ＝1 ⇒ 標準コーシー分布（自由度1のt分布）
- 135. 使用例 • 分散パラメタの事前分布として Cauchy (0, 2.5), Cauchy (0, 5)など • 外れ値を含むモデルとして ごくまれに出現する外れ値を許容するモデル y[n] ~ cauchy (a + b * X[n], σ) Cf. y[n] ~ normal(a + b * X[n], σ) 広島大学平川先生の資料より拝借 (Hirodai.stan発表非公開資料 7.9節へ
- 136. Student の t 分布
- 138. 6.15 Studentのｔ分布 • 確率密度関数 • Studen_t(y|ν, μ, σ) = Γ ν+1 2 Γ ν 2 𝜋𝜈𝜎 (1 + 1 ν 𝑦−μ σ )−(ν+1)/2
- 139. Studentのｔ分布 • パラメータ：ν＝正の実数（自由度 μ＝実数、σ＝正の実数 • 範囲：y＝実数 • 平均：ν > 1の場合はμ、それ以外は存在 しない • 標準偏差：ν > 2の場合はσ√ν/(ν-2). 1 < ν ≦2の場合は∞、それ以外の場合は 存在しない。
- 142. 二重指数分布 （ラプラス分布）
- 144. 6.16 二重指数分布 (ラプラス 分布) • 確率密度関数 • DoubleExponential(y|μ, σ) = 1 2σ 𝑒𝑥𝑝 − 𝑦−μ σ • 指数分布を二つ貼り合わせた ような分布＝二重指数分布 ← p75
- 145. ラプラス分布 • パラメータ：μ＝実数、σ＝正の実数 • 範囲：y＝実数 • 平均：μ • 標準偏差：√2σ
- 151. おわりに • 以上で6章で紹介された分布の解説を終 わります。 • 関数同士の関係、累積分布関数、算出過 程などの詳細は本家と同様に省いていま す。各自色々な資料を参照してください。 • 以下では個別学習に役立つと個人的に感 じているものをさらに2つ紹介します。
- 152. 1．確率分布の包括的理解に • Lawrence et al. (2008: title=Univariate Distribution Relationships) • http://www.math.wm.edu/~leemis/chart/U DR/UDR.html 分布同士の関係 が見れたり、分 布の詳細を見れ たり出来るゾ！
- 154. Enjoy R & Stan ! And… Bayesian Modeling!!
- 155. 参考文献① • 当然アヒル本 • 各ページに記載されてるURLや資料 • 各分布のWiki • ややこしい離散分布に関するまとめ http://machine- learning.hatenablog.com/entry/2016/03/26/21110 6 • 多項分布とディリクレ分布のまとめと可視化 http://y- mattu.hatenablog.com/entry/2016/03/03/143451
- 156. 参考文献② • 松尾太加志・中村知靖（2002） 誰も教えてく れなかった因子分析－数式が 絶対に出てこな い因子分析入門－ 北大路書房 • 村山先生によるANOVAに関する解説 http://koumurayama.com/koujapanese/anova.h tm • 様々な確率分布probability distributions - 数理 的思考 - 中川雅央 【知と情報の科学】 http://www.biwako.shiga- u.ac.jp/sensei/mnaka/ut/statdist.html