StanとRでベイズ統計モデリング読書会（Osaka.stan）第6章

1. 統計モデリングの視点から確率分布の紹介 Osaka.Stan #3 広島大学難波修史 StanとRでベイズ統計モデリング読書会

2. 自己紹介 • 難波修史 @Nsushi • 広島大学教育学研究科心理学専攻D生 • 専門：顔、感情、ド文系 • 興味：ベイズ • 使用言語：Python, R • R歴：初心者

3. 過去の発表日本最大級のRのイベントで「にっこにっこにー」というアニメの決め台詞を口にし、ダダ滑りした人

4. 本発表の対象者 •「数式に苦手意識あり」、「統計モデリング初学者」、「でも勉強しとかないとやばい気がする」という方々をメインにしています。 •僕も上記の対象者に含まれます。

5. これまでのOsaka.Stan (＝本書で扱われてきたモデル応答変数が正規分布に従う、という仮定上図＝Wikiより参照： https://ja.wikipedia.org/wiki/%E 6%AD%A3%E8%A6%8F%E5 %88%86%E5%B8%83 俗にいう「線形モデル」を扱ってきました！

6. これまでの (心理) 統計 • 因子分析の前提＝データが正規分布していること (松尾・中村、2002) • 分散分析の前提＝データが正規分布していること（村山先生のHP 我々＝すでに正規分布のフレンズ

7. 感想正規分布 ©なんJ

8. 今後の話線形モデル (正規分布がメイン一般化線形モデル (Chapter 5も含む正規分布以外の確率分布を扱いたい。このための準備 (正規分布以外の確率分布の知識) が必要！！

9. 正規分布以外の分布を使う必要性？ •応答変数が明らかに正規分布しない例：出席率 (5-2等)、履修登録 (5-4) •データが少ない場合に推定がうまくいかない → 事前分布による調整が必要な場合も例：コーシー分布や t 分布 (10章等)

10. 他の分布の理解は必要不可欠 •ベイズ統計モデリングでは、事前分布を選択する時にも確率分布に関する最低限の理解が必要 • 色んな分布と適用例を詳しく知りたい人は豊田 (2015, 2017) を読もう→

11. この章の目的 •この本の読者＝統計モデリングがしたい！ •基本的な道具を知っておかないと！（よく使われる）確率分布をまずは知りましょう！！

12. まだ

13. 分布の紹介時の注意① • 本資料では松浦本と同様、数学的に扱いやすい分散でなく標準偏差を記載します。 • 理由1．平均と標準偏差は同じ単位で比較しやすく、モデリングを考察しやすい • 理由2．正規分布を指定する関数では引数として、標準偏差をとるため

14. 分布の紹介時の注意② 関数や平均などの情報も一応記載していますが、基本的にはイメージをつかむことを優先して淡々と作成した資料です。過度な期待はしないでください。 (また、誤りがあれば適宜ご指摘ください

15. 分布勉強におすすめのアプリ • http://statdist.ksmzn.com/ • @ksmzn様が作成したShinyで確率分布を動かして遊べるページがあります。 • 6章を読みながらパラメータをいじっていろんな確率分布とフレンドになりましょう！！ • 右図＝Interface 「確率分布いろいろ」でググる！

16. 分布勉強におすすめの…

17. 一様分布

18. 一様分布とは •特定区間の確率が等しい分布

19. 6.1 一様分布 • 確率密度関数（確率変数を記述する関数 • Uniform (y | a,b) 1 𝑏−𝑎 (a ≦ x ≦ b) 0 上記以外

20. 一様分布 • パラメータ：実数a, b (a < b) • 範囲：y＝[a, b]の範囲の実数 • 平均：(a+b) / 2 • 標準偏差：(b-a) / √12

21. 一様分布の例 a = -2, b = 1

22. 使用例：無情報事前分布 • 無情報事前分布＝事後分布を求める際に、影響を与えないような分布一様分布＝特定区間の確率が等しい分布

23. Stanでは？ •Stan：パラメータの事前分布を明示的にmodelブロックで設定しない → とりうる範囲で一様な事前分布が設定される！

24. 例：model4-5.stan • 右図では各パラメータで明示的な事前分布が設定されてない a ~ uniform(-∞, ∞) b ~ uniform(-∞, ∞) sigma ~ uniform(0, ∞) ← 下限設定のため modelブロックには以下が非明示的に設定される

25. ベルヌーイ分布

26. ベルヌーイ分布とは •表裏があるコインの表が出る確率の分布

27. 6.2 ベルヌーイ分布 • 確率質量関数（離散だと密度ではなく質量 • Bernoulli (y | θ) θ y = 1の場合 1 − θ y＝0の場合 ※θ 𝑦 1 − θ 1 − 𝑦

28. ベルヌーイ分布 • パラメータ： θ [0,1] の範囲の実数 • 範囲：y＝0か1のいずれかの整数値 • 平均： θ • 標準偏差：√θ(1 − θ)

29. ベルヌーイ分布の例 θ=0.2 （例：けん玉側面にのせる成功確率

30. 例①：コイン • コインの表・裏のような2値を表現する際に用いる (他には薬が効く、効かないなど)。

31. 例②：出席率 •パラメータθ＝ [0, 1] の範囲の実数 •出席率 (欠席＝0、出席＝1) のような応答変数に対して、ロジスティック関数と組み合わせて用いることが多い (具体例など詳しくは5-3)。

32. 二項分布

33. 二項分布とは •ベルヌーイ分布に従う試行をN回行った結果の確率に関する分布

34. 6.3 二項分布 • 確率質量関数 • Binomial (y | N, θ) N! 𝑦! 𝑁 −𝑦 ! θ 𝑦 1 − θ 𝑁 − 𝑦

35. 二項分布 • パラメータ： N＝正の整数、θ＝[0,1] の範囲の実数 • 範囲：y＝0,1, … N のいずれかの整数値 • 平均： Nθ (1いれるとベルヌーイ分布と一致 • 標準偏差：√Nθ(1 − θ)

36. 二項分布の例 N = 10 θ＝0.2 × 10

37. 二項分布の再生性 • Nの異なる同じパラメータθの二項分布から確率変数y1とy2が生成される → y1 + y2 はBinomial (N1 + N2, θ) に従うコイン表が出るパラメータ＝多分0.5 × 10 × 6 ＝ × 16 Binom (10, 0.5) Binom (6, 0.5) Binom (16, 0.5) ＋

38. 例 • Nが与えられた場合のベルヌーイと同様 • 具体的な例は5-2

39. ベータ分布

40. ベータ分布とは •ベルヌーイ・二項分布と共役な関係 (事後分布算出に都合のいい性質) を持つ分布

41. 6.4 ベータ分布 • 確率密度関数 • Beta (θ| α, β) 1 𝐵 α,β θα − 1 1 − θ β − 1

42. ベータ分布 • パラメータ： α、β＝正の実数 • 範囲：θ＝[0,1]の範囲の実数 • 平均： α α+β • 標準偏差： √αβ α+β √α+β+1 • 範囲 0-1 の連続型分布＝確率θ生成分布 → 尤度がベルヌーイ・二項分布時に利用可能＋その他の [0, 1] の範囲の変数にも適用可能

43. ベータ分布の挙動① α＝1, β＝1 → 標準一様分布と等価 α固定、β変化 → β小さくなる → 平均が1へ

44. ベータ分布の挙動② α＝0.5, β＝0.5 → 逆正弦分布と等価 ?逆正弦分布： http://physnotes.jp/stat/asin_d/ β固定、α変化 → α大きくなる → 平均が1へ

45. ベータ分布の挙動③ 極めて多様な分布形状をとることができるのが特徴参照： http://www.ntrand.com/jp /beta-distribution/

46. 使用例：広島大学平川先生の資料より拝借(ベータ分布とは： http://www.slideshare.net/makotohirakawa3/nituite) ベルヌーイ・二項分布におけるパラメータの場合が多い

47. 書籍内での例：故障率 • 見たいパラメータ＝故障率 • M個中Y個故障×N品目イメージ図 [N = 1：アンパン] モデル式 θ ~ Beta(α、β) #故障率パラメータ Y ~ Binomial (M, θ) ジャムおじさんのパン工場 3つのアンパンと１つのこげパン

48. ジャムおじさん (データ生成源) に関する事前情報を設定可能 • 書籍ではN品目間の違いから弱情報事前分布をイメージ＋設定あのおじさんムラがはんぱないよね。 → α、βにちょっとした情報を載せた解析も可能まぁ、基本的には我々が科学的な用途で用いる場合、無情報を設定しましょう。かばおくんリアルなジャムおじさん

49. カテゴリカル分布、多項分布、ディリクレ分布

50. 基本的に… カテゴリカル分布・多項分布・ディリクレ分布これらの分布はベルヌーイ分布・二項分布・ベータ分布を拡張したものです。これらが分かっていれば理解は比較的簡単…なはず！！

51. 分布間の関係参考：http://machine- learning.hatenablog.com/ent ry/2016/03/26/211106 ？共役＝尤度関数 (データ) と掛けて事後分布を求めると関数系が同じになるやつ

52. カテゴリカル分布

53. カテゴリカル分布とは •kの目が出る確率 (生起確率) が𝜃 𝐾であるようなK面を持つサイコロの分布

54. 6.5 カテゴリカル分布 • 確率質量関数 • Categorigal (y = 𝑘|θ) = θk ※Categorigal (y = 2|θ) ≠ Bernoulli (θ) ※ 𝑘=1 K θ 𝑘 𝑦𝑘

55. カテゴリカル分布 • パラメータ： K＝2以上の正の整数 θ＝長さKのベクトル、各要素は[0,1]の範囲の実数で合計すると1になる。 • 範囲：y＝1,2, … Kのいずれかの整数 • 平均： I[y = k] の平均=θ 𝑘 • 分散共分散：I[y = k] の分散＝θ 𝑘 (1 − θ 𝑘) I[y = k] とI[y = k’] の共分散 (k ≠ k’)＝−θ 𝑘θ 𝑘‘ I[y = k] は y = k となる場合に1を返し、それ以外は0を返す関数

56. カテゴリカル分布の例 • 右図：K=5, 𝜃＝(0.1, 0.2, 0.25,0.35, 0.1)T • 確率なので合計は1

57. 使用例：ソフトマックス回帰 • 店Aに3つの商品 (チョコ、飴、グミ) があるとする (K = 3)。 • その選択に関わりそうな説明変数＝性別のみとする。すると以下のモデル式が提案可能。 • μ[n] = a + b*Sex[n] n = 個人 • θ[n] = softmax (μ[n]) = ベクトル • Y[n] ~ Categorical(θ[n]) 長さKのベクトル＝3商品の選択に関する線形結合 ※softmax関数＝expを用いて [-∞, ∞] をとりうる値を正の値にしてから、合計が1になる (カテゴリカル分布にあう) ように規格化するもの

58. 多項分布

59. 多項分布とは •kの目が出る確率が𝜃 𝐾であるようなK 面を持つ (カテゴリカル分布に従う) サイコロ投げをN回行ったときの、各目の出る確率を示す分布 •イメージ：二項分布の拡張 (ただし K=2の多項分布＝y1, y2をカウント ⇔二項分布＝生起回数のみカウント)

60. 6.6 多項分布 • 確率質量関数 • Multinomial (y|𝑁, θ) = N! Π 𝑘=1 𝐾 𝑦 𝑘 𝑘=1 K θ 𝑘 𝑦𝑘

61. 多項分布 • パラメータ： K＝2以上の正の整数、 N＝正の整数 θ＝長さKのベクトル、各要素は [0,1] の範囲の実数で合計すると1になる。 • 範囲：y＝長さKのベクトル。各要素は0,1, … Nのいずれかの整数で合計するとNになる • 平均： yk の平均=Nθ 𝑘 • 分散共分散：yk の分散＝Nθ 𝑘 (1 − θ 𝑘) yk と yk’ の共分散 (k ≠ k’)＝−Nθ 𝑘θ 𝑘‘

62. 多項分布の例 N=3, 𝜃＝(0.3, 0.3, 0.4)T (参照 http://www.biwako.shiga- u.ac.jp/sensei/mnaka/ut/statdist.html

63. 使用例 •Nが与えられたカテゴリカル分布、でOK ⇔ 試行回数1の多項分布＝カテゴリカル分布 • 実際、平均や分散などもカテゴリカル分布のやつにNがかけられてるだけ（本参照）（ベルヌーイ・二項分布も同じ関係

64. 式的な差異 • カテゴリカル分布 • 多項分布試行回数の要素中身はほぼ一緒

65. ディリクレ分布

66. ディリクレ分布とは＝ベータ分布の多変量版。多項・カテゴリカル分布の共役事前分布＝「合計すると1になる確率のベクトル𝜽」を生成する分布。ゆえに重要！

67. 6.7 ディリクレ分布 • 確率密度関数 • Dirichlet (θ|α) = 1 B(α) 𝑘=1 K θ 𝑘 α 𝑘−1 正規化定数カーネル Q. 正規化定数？カーネル？ A. 前者は積分を1にするための定数 (定義は本家) 後者は確率分布の本質的な部分

68. ディリクレ分布 • パラメータ： K＝2以上の正の整数、 α＝各要素は正の実数。 • 範囲：θ＝長さKのベクトル。各要素は (0,1) の範囲の実数で合計すると1になる • 平均： θk の平均=α 𝑘/αsum • 分散共分散： θk の分散＝α 𝑘 αsum − α 𝑘 / α 𝑠𝑢𝑚 2 (α 𝑠𝑢𝑚+1) θk と θk’ の共分散 (k ≠ k’)＝−α 𝑘α 𝑘‘/(α 𝑠𝑢𝑚 2 (α 𝑠𝑢𝑚+1)) ※ 𝑘=1 𝐾 α 𝑘 = α 𝑠𝑢𝑚とする

69. 視覚化①(参照：http://y-mattu.hatenablog.com/entry/2016/03/03/143451 • 我々にぎりぎり可視化できる3次元の図 αが高い＝確実性が高い

70. 視覚化② • 歪んだパラメータ平均をとると、(0.09, 0.23,0.68) ＝わー！確率になります！！

71. 使用例：多項・カテ分布のパラメータθベクトル生成 • θをデータから推定する。αは固定値を与えることもあれば、データから推定することもある。 • ディリクレ分布＝どんな形のサイコロを生成しやすいかを決める分布ともいえる。

72. 具体例 • 店Aの例 (3商品：チョコ、飴、グミ) でいうとグミだけ選ばれやすいαの事前分布の例は以下。 • θ = Dirichlet (α1 = 1, α2 = 1, α3 = 8) • Y ~ Categorical(θ) チョコ飴グミ

73. 指数分布

74. 指数分布とは •事象の生起間隔 (ある事象が起こって次にまた発生するまでの間隔) の確率 • ランダムなイベントの発生間隔を表す分布

75. 6.8 指数分布 • 確率密度関数 • Exponential (y|λ) = λexp(−λ𝑦) 超参照(指数分布とポアソン分布のいけない関係)： http://www.slideshare.net/teramonagi/ss-11296227 ※ 本家ではλではなくβですが、後でポアソン分布との関係をわかりやすくするためあえてλとしています。 ※λ𝑒 − λ𝑦

76. 指数分布 • パラメータ： λ(rate)＝正の実数 • 範囲：y ＝ y≧0の実数 • 平均： 1/λ • 標準偏差：1/λ ただ一つのパラメータだけで特徴づけられるパラメータはいつも一つ＋コナン君

77. 指数分布の例

78. 指数分布の無記憶性 • 無記憶性を持つ連続型の確率分布 • Pr(y > s+t | y > t) = P(y > s) • 次に事象が発生するまでの時間は今まで待った時間と関係ない指数分布の擬人化記憶なくす人

79. 無記憶性の例 Pr(y > s+t | y > t) = P(y > s) 例: 指数分布に従うワイングラスが壊れるまでの時間 → 3年 (t) 使っても壊れない → その先1年 (s+t) で壊れる確率＝使い始め1年 (s) で壊れる確率２日連続で記憶失う人

80. データ・使用例 • パラメータλの解釈＝ある時間中における事象の平均生起回数 → 事故・地震の発生間隔など • 正の実数を持つパラメータを生成する分布として使うことも（10章参照

81. 計算してみる • 1時間に平均5人が訪れるWebサイト → 次の訪問者が来るまでの間隔が12分である確率を求めよ • λ＝5, y = 12 / 60を公式に代入 • 確率“密度”＝1を超える tera-monagi様の資料より参照：http://www.slideshare.net/teramonagi/ss-11296227

82. ポアソン分布

83. ポアソン分布とは •単位時間 (1時間・1秒間など) 当たりのある事象の生起確率 •単位時間あたり平均λ回起こるランダムな事象が単位時間中にy回起こる確率＝ 1 𝑦! λ 𝑦 exp(−λ)

84. 6.9 ポアソン分布 • 確率密度関数 • Poisson (y|λ) = 1 𝑦! λ 𝑦 exp(−λ) 参照＝tera-monagi様の「指数分布とポアソン分布のいけない関係」：http://www.slideshare.net/teramonagi/ss-11296227

85. ポアソン分布 • パラメータ： λ＝正の実数 • 範囲：y＝0,1,2…のいずれかの整数値 • 平均： λ • 標準偏差：√λ ただ一つのパラメーターだけで特徴づけられるパラメータ＝平均なので「パラメータλのポアソン分布」 or「平均λのポアソン分布」呼び方

86. ポアソン分布の例 λ＝2.5

87. ポアソン分布の再生性 • 同じパラメータλのポアソン分布から確率変数y1とy2が生成される → y1 + y2 はPoisson (λ1 + λ2) に従うとあるアカウントがつぶやくパラメータ＝1時間当たり2.5 y1 y2 y1+y2+ = 2時間に5回 4時間に10回 6時間に15回

88. 指数分布とポアソンの関係① • 単位時間あたり平均 λ 回起こるようなランダムなイベントに対して、 1．一単位時間にイベントが起きる回数は平均 λ のポアソン分布に従う。 2．イベントの発生間隔は平均 1 / λ の指数分布に従う。

89. 指数分布とポアソンの関係② 同一のある“事象”に対して • ポアソン分布＝単位時間当たり平均 λ 回 → 回数に注目 • 指数分布＝平均 1/λ 単位時間に一回 → 時間に注目！シミュレーションはtera-monagi様の資料を参照（指数分布とポアソン分布のいけない関係)：http://www.slideshare.net/teramonagi/ss-11296227

90. 二項分布とポアソンの関係 •Nが大きく、θが小さい二項分布 → ポアソン分布に近似！！証明の仕方は各自ググるなり、以下のスライドを参照するなりしてください（itoyan110様の「ベルヌーイ分布からベータ分布までを関係づける」http://www.slideshare.net/itoyan110/ss-69491897 すごーいって言ってるサーバルちゃん

91. 正規分布とポアソンの関係 •λが大きいポアソン分布 → 正規分布に近似！！証明の仕方は各自ググるなりしてくださいすごーいって言ってるサーバルちゃん

92. データ例① • 1日の間に観測される動物の個体数、1 時間の間に届くメールの数 (指数分布の解説も含むよい例が以下のサイトに (http://www.ntrand.com/jp/poisson-distribution/) )、これらは背後に指数分布に従うイベントが考えられる。例は「馬に蹴られてポアソン分布」でググれば一番上にでてきます (2017.2月現在)。

93. データ例② • マンボウが卵を生んで、成魚になる数、これは背後に二項分布があって、 Nが大きくθが小さいと考えられる。

94. 使用例 • カウントデータに対して使う場合が多い • 具体的な例は5-4

95. ガンマ分布

96. ガンマ分布とは？ • 流れ星の例で考える • 流れ星がα個観測されるまでの時間 → ガンマ分布＝母数βの指数分布に従う事象がα回生じるまでの時間の分布お笑い芸人の流れ星のプロフィール画像

97. 6.10 ガンマ分布 • 確率密度関数 • Gamma(y|α, β) = βα Γ(α) 𝑦α−1 exp(−β𝑦) 正規化定数カーネル正規化定数の定義は本家を参照

98. ガンマ分布 • パラメータ：α (shape), β (rate)＝正の実数 • 範囲：y＝正の実数 • 平均： α/β • 標準偏差：√α/β

99. 他の分布との関連 •おなじく流れ星の例 •単位時間あたりに流れる流れ星の数 → ポアソン分布 •流れ星が初めて観測されるまでの時間 → 指数分布

100. まとめポアソン分布＝回数、指数・ガンマ分布＝時間に注目ただし、指数分布の場合は最初の観測まで。ガンマ分布はα回数観測までの時間、ゆえにαが1の場合は指数分布と定義式が一致する（本書参照

101. ガンマ分布の例 α固定でβ大きく → 平均が小さく

102. ガンマ分布の再生性 • (一部の分布同様), 同じパラメータβのガンマ分布から確率変数y1とy2が生成されるそれの和 → Gamma(α1 + α2, β) に従う具体例を説明できないベジータ思い浮かばなかっただけ。

103. データ例：広島大学山根先生の資料より拝借(ガンマ分布：http://tyamane1969.net/?p=97)

104. 使用例：引き続き同資料より抜粋 • 正の実数を持つパラメータを生成する分布として使うことが多い。具体例は10章を参照。

105. 正規分布

106. 正規分布とは •平均値μから正負の両方向に均等に広がる分布 • 色んな現象がN増やしたら概ね正規分布に近似する (中心極限定理)、様々な分布と関連するなど、とにかく人気の分布・統計学における金字塔（多分

107. 6.11 (みんな大好き) 正規分布 • 確率密度関数 • Normal(y|μ, σ) = 1 √2πσ exp(− 1 2 y−μ σ 2)

108. 正規分布 • パラメータ：μ＝実数、σ＝正の実数 • 範囲：y＝実数 • 平均： μ • 標準偏差：σ 親の顔よりも見慣れた景色

109. 正規分布の再生性 • 確率変数y1 ~ Normal(μ1, σ1) と y2 ~ Normal(μ2, σ2) が独立で生成される → その和＝Normal(μ1＋ μ2, √ σ1 ＋ σ2) に従う • 例：子供の身長＋タケノコ μ1＝100 μ2＝30 + = μ1 + μ2＝130

110. データ例 •色々。生成メカニズムがよくわかんなくてもとりあえず正規分布をあてはめることが多い。優秀すぎる。 •モデリングでは個人差や潜在変数なども正規分布を仮定する。

111. 正規分布の特徴 •±2σを超えたあたりから、確率密度関数の値が小さくなる（＝裾が短い） → 外れ値に弱い → 後述するコーシー・t分布を使うここら辺ここら辺

112. 使用例 • 5-1の重回帰 • グループ差や個人差が正規分布に従うと仮定する階層モデルを8章で扱う。 • また、y≧0の部分だけを取り出して正規化する半正規分布はパラメータの弱情報事前分布として用いる場合が多い (10章

113. こういう教材もあります。 ※キモオタ以外のご視聴はお勧めしておりません。 • ニコニコ動画より「月読アイの理系なお話『神様が愛した正規分布[前編]』」

114. 対数正規分布

115. 対数正規分布とは： • 対数正規分布の名前＝“ある確率変数が対数正規分布に従うとき、その対数をとった確率変数は正規分布になる“という性質に由来する広島大学山根先生の資料より拝借(Hirodai.stan発表非公開資料「どういうことだってばよ？」って言ってる忍者

116. つまり •「低い値に分布が集中するが、まれに高い値も生じる」データ ⇒ 対数正規分布

117. 6.12 対数正規分布 • 確率密度関数 • LogNormal(y|μ, σ) = 1 √2πσ 1 𝑦 exp(− 1 2 𝑙𝑜𝑔y−μ σ 2)

118. 対数正規分布 • パラメータ：μ＝実数、σ＝正の実数 • 範囲：y＝実数 • 平均： exp(μ + σ2 / 2) • 標準偏差：exp(μ + σ2/2) √(eσ2-1)

119. 対数正規分布の例

120. データ例・使用例 • 人間の体重、年収の金額など •上記のデータのほか、正の実数値をとるパラメータの弱情報事前分布として利用（10章参照

121. 多変量正規分布

122. 多変量正規分布とは •正定値対称行列である分散共分散行列を含む、2つ以上 (m次元) の正規分布の同時密度関数である (多分)。 2変量の場合の例

123. 6.13 多変量正規分布 • 確率密度関数 • MultiNormal(y|μ, Σ) = 1 2π K/2 1 √|Σ| exp(− 1 2 y − μ T Σ−1 y − μ )

124. 多変量正規分布 • パラメータ：K＝正の整数、 μ＝長さKのベクトルで各要素は実数、 Σ＝K×Kの対称な正定値行列 (分散共分散行列 • 範囲：y＝長さKのベクトルで各要素は実数 • 平均：ykの平均＝μk • 分散共分散：ykの分散＝Σk,k ykとyk’の共分散 (k ≠ k’) ＝Σk,k’ 正定値行列＝すべての固有値が正の実数であること、らしい。ここがキモ！

125. 分散共分散行列：二変量の例 x1＝横軸：一次元目の正規分布 x2＝縦軸：二次元目の正規分布 ※多変量正規分布はm次元正規分布

126. 他にもいろんな特徴が •再生性あり腕が生えてるピッコロさん

127. すごいぞ！多変量正規分布！ • 多変量正規分布に従う確率変数を線形結合 → 多変量正規分布に従う • 周辺化する → 多変量正規分布 • 各変数の条件付き分布 → 多変量正規分布驚いてる犬

128. 余談 Q. 周辺化？ A. 同時確率を足し合わせて特定の確率変数を消すこと。 Q. 条件付き確率？ A. ある事象Yが起こるという条件の下で別の事象Xが起きる確率：P(X|Y) 黄線のx1 の分布 p124の例

129. データ・使用例 •相関しそうなデータ •例：小学生の50m走のタイムと走り幅跳びで飛んだ距離を並べたベクトルの分布 •本書では9.3.1項から扱っていく。

130. コーシー分布

131. コーシー分布とは •時々とんでもない外れ値を出すことがある裾が重い分布 (シミュレーション例：山口大学小杉先生の「Cauchy分布について」参照 http://www.slideshare.net/KojiKosugi/cauc hy20150726) ⇒ この性質がモデリングに重宝

132. 6.14 コーシー分布 • 確率密度関数 • Cauchy(y|μ, σ) = 1 πσ 1 1+ 𝑦−μ σ 2

133. コーシー分布 • パラメータ：μ＝実数、σ＝正の実数 • 範囲：y＝実数 • 平均：存在しない（正確には定義されない • 標準偏差：存在しない

134. コーシー分布の例 μ＝0, σ＝1 ⇒ 標準コーシー分布（自由度1のt分布）

135. 使用例 • 分散パラメタの事前分布として Cauchy (0, 2.5), Cauchy (0, 5)など • 外れ値を含むモデルとしてごくまれに出現する外れ値を許容するモデル y[n] ~ cauchy (a + b * X[n], σ) Cf. y[n] ~ normal(a + b * X[n], σ) 広島大学平川先生の資料より拝借 (Hirodai.stan発表非公開資料 7.9節へ

136. Student の t 分布

137. Studentのｔ分布とは •正規分布する母集団の平均と分散が未知で標本サイズが小さい場合に平均を推定する問題に利用される分布 •自由度によって裾の長さは大きく変化する。 ⇒ この性質がモデリングに重宝

138. 6.15 Studentのｔ分布 • 確率密度関数 • Studen_t(y|ν, μ, σ) = Γ ν+1 2 Γ ν 2 𝜋𝜈𝜎 (1 + 1 ν 𝑦−μ σ )−(ν+1)/2

139. Studentのｔ分布 • パラメータ：ν＝正の実数（自由度 μ＝実数、σ＝正の実数 • 範囲：y＝実数 • 平均：ν > 1の場合はμ、それ以外は存在しない • 標準偏差：ν > 2の場合はσ√ν/(ν-2). 1 < ν ≦2の場合は∞、それ以外の場合は存在しない。

140. Studentのｔ分布の例自由度 (ν) によって裾が変化！！

141. 使用例 •コーシー分布ほどではないが、裾の重い分布を使いたいときに自由度 2~8程度のt分布が重宝される。 •(コーシー同様)外れ値を含むモデルや、回帰係数の弱情報事前分布として使う場合も。7，10，12章参照

142. 二重指数分布（ラプラス分布）

143. ラプラス分布とは •正規分布と比べると裾が長め＋μを中心とした鋭いピークを持つ分布

144. 6.16 二重指数分布 (ラプラス分布) • 確率密度関数 • DoubleExponential(y|μ, σ) = 1 2σ 𝑒𝑥𝑝 − 𝑦−μ σ • 指数分布を二つ貼り合わせたような分布＝二重指数分布 ← p75

145. ラプラス分布 • パラメータ：μ＝実数、σ＝正の実数 • 範囲：y＝実数 • 平均：μ • 標準偏差：√2σ

146. ラプラス分布の例ラプラス分布のデータ例：下図鼻が尖ってる人

147. 使用例 •鋭いピーク → 回帰係数の事前分布に設定 → 変数選択に適用可能具体例は7章にて。

148. Rでの作り方： http://cse.naro.affrc.go.jp/ta kezawa/r-tips/r/60.html

149. このパッケージも推奨逆ガンマ分布など本章にない確率分布も rIGAMMA(n, mu, sigma) などで簡単に求まります。

150. まだまだあるぞ！モデリングで用いる分布！！＝ウィッシャート君： p, n, Σをパラメータとして持つ分布の分布を表すモデル (wiki)

151. おわりに • 以上で6章で紹介された分布の解説を終わります。 • 関数同士の関係、累積分布関数、算出過程などの詳細は本家と同様に省いています。各自色々な資料を参照してください。 • 以下では個別学習に役立つと個人的に感じているものをさらに2つ紹介します。

152. 1．確率分布の包括的理解に • Lawrence et al. (2008: title=Univariate Distribution Relationships) • http://www.math.wm.edu/~leemis/chart/U DR/UDR.html 分布同士の関係が見れたり、分布の詳細を見れたり出来るゾ！

153. 2．物足りないあなたへ • 世界最大級のオンライン学習プラットフォームUdemyでTamaki先生が「ベイズ推定とグラフィカルモデル」というガチ講義を開講されています。 • 分布の知識から、コンピュータ科学への応用までお話ししてくれて興奮します。本資料の一部もこれを参考にしてます！

154. Enjoy R & Stan ! And… Bayesian Modeling!!

155. 参考文献① • 当然アヒル本 • 各ページに記載されてるURLや資料 • 各分布のWiki • ややこしい離散分布に関するまとめ http://machine- learning.hatenablog.com/entry/2016/03/26/21110 6 • 多項分布とディリクレ分布のまとめと可視化 http://y- mattu.hatenablog.com/entry/2016/03/03/143451

156. 参考文献② • 松尾太加志・中村知靖（2002）誰も教えてくれなかった因子分析－数式が絶対に出てこない因子分析入門－北大路書房 • 村山先生によるANOVAに関する解説 http://koumurayama.com/koujapanese/anova.h tm • 様々な確率分布probability distributions - 数理的思考 - 中川雅央【知と情報の科学】 http://www.biwako.shiga- u.ac.jp/sensei/mnaka/ut/statdist.html

StanとRでベイズ統計モデリング読書会（Osaka.stan）第6章

You are reading a preview.

StanとRでベイズ統計モデリング読書会（Osaka.stan）第6章

More Related Content

Viewers also liked

More from Shushi Namba

Featured

Related Books

Related Audiobooks