Doing Baysian Data Analysis
Chap 3. What Is This Stuff Called
Probability?
Yoshifumi Seki
2013/08/03
@Matsuo Lab. Summer Seminar
3.1 The set of all possible events
• 確率を考えるために起こりうるすべての結果を考えよう
• コインを投げるとき
– 表がでるのか
– 裏がでるのか
– 横になるのか
• 事象は2つ
– コインが均一に作られていれば表がでる確率: θ=0.5
• p(θ)を考える
– コインが均一に作られている確率はいくらか
– p(θ=0.5) = 0.99
– p(θ=0.1) = 0.0001
• 「どのような結果がでるか」も「その結果がどれぐらい信頼
できるか」も両方確率である.
3.1.1 Coin Flips: Why You Should Care?
• なんでそんなにコインを投げることにこだわる
の????
• コインの表裏なんて人生に関係無いじゃん?
– でも薬が効くか効かないかとかだったら重要だよね?
– コインの表裏も薬の効果も本質的にはいっしょなんだよ!
– だからみんながんばろうね!
3.2 Probability: outside or inside the
head
• 確率の事象には outsideなものとinside the headなもの
がある
– outside
• この世で起こっている誰もが観察できる事象
• コインの投げるとか、サイコロを振るとか
• 一定数の試行によって一律に収束する
– inside the head
• 主観的な確率 ( subjective belief )
• ギャンブルの話
– 1月1日の大雪で道路が通行止めになると$100,コインが表
だと$100もらえるのいずれか
» コインのほうを選ぶよね
– 明日雨が振ると$100もらえる,サイコロが1をでると$100もら
える
» これだとどうだろうー
» 雨を降る確率が50%はないだろうけど,10% ~ 20%ぐらい
あるかもなーって思ってる感じ
• こういった結果にたいする信頼性の度合いも確率で表現できる
3.3 Probability Distributions
• コインを投げるとか,サイコロを振るとかっていう話
– 離散的な数値
– 1が1/6で出るとか
• 1日に成人男性が消費するカロリー
– 連続値
– ex: 平均2000カロリー
– あるときは2345.223かもしれない,あるときは1734.2かもしれ
ない
• 確率的な話だけど離散値みたいには表現できない
– 区間に区切ってみよう
• 1500未満, 1500以上2000未満, 2000以上2500未満, 2500以上
• これなら確率として表現できるね!
probability density
• ボードゲームなどで使われる”spin”で針がど
こを指すかを考える
• SpinがFairであれば
– 均等に2分割した時それぞれの領域が選ばれる確
率は0.5
– 均等にN分割したときそれぞれの領域が選ばれる
確率は1/N
– Nを大きくしていくと確率はどんどん小さくなっ
ていく
• 人間にとってわかりにくい・計算しにくい
• Spinの針が指す確率を考える代わりに幅を考
えることにしよう
– これを確率密度という
– 1/Nのsectorに止まる確率は1/N => (1/N)/(1/N) = 1
– そのsectorにおけるprobabilitu massを表す
– FairなSpinにおいては確率密度はすべて1
probability density
• scaleを0から0.5にする
– 0から0.1を考える
• probability : 0.2
• width : 0.1
• density : 0.2/0.1 = 2
– 一般化
• width: w
• probabilty : 2w
• density : 2
• scaleを1.0から100に,進
み方を対数にする
– 図のような形になる
3.3 Probability Distributions
p([x,y]): xからyの確率
p(x) : 確率密度
3.3.3 Mean and Variance of a
Distribution
• Mean
– 期待値
– サイコロ
• 1/6 * 1 + 1/6 * 2 + … + 1/6 * 6 = 3.5
– 連続値でどのように扱うか?
• Variance
– 分散
– 期待値からどれだけ分布が離れているか?
• Mean Squared Deviation (MSD)
3.3.3 Mean and Variance of a
Distribution
3.3.2.2 The Normal Probability Density
Function
• 一番有名な分布
– ガウス分布・正規分布
– E[p(x)] = μ
– Var[p(x)] = σ^2
Variance as Uncertainty in Beliefs
• p(θ) : θの信頼出来る程度を示
す
• Variance
– どれだけ分布が広がっているか
• Varが大きいと正規分布だとよ
こにでかくなる
• Varが小さい=> certainである
– ある領域に定まる
• Highest Density Interval(HDI)
– 分布のW%がどの範囲に収まる
か?
3.4 Two-Way Distribution
• 同時確率分布
– コインを3こ同時になげたときにどうやって確率を表現する
か?
• 表が何回でるか?
• 何回結果が変わるか?
同時分布と周辺確率
• 同時確率
– P( S, H )
• S回入れ替わった時にH回表がでる確率
– S = 0, H = 0 : P(S, H) = 0.0 ( 裏裏裏 )
– S = 1. H = 1 : P(S, H) = 0.25 (裏裏表, 表裏裏)
• 周辺確率 ( marginal )
– P(S), P(H)
• P(S=0) = 2/8
3.4.1 Marginal Probability
• 離散値
• 連続値
3.4.2 Conditional Probability
• 条件付き確率
• コインを3回投げるとき
– 表が2回でる時に,何回表裏が入れ替わるのか?
• 表が2回でる事象
– 表表裏: S=1 , 表裏表 : S=2, 裏表表: S=1
» P(S=1| H=2) = 2/3
» P(S=2| H=2) = 1/3
– P(H=2,S=1) = 2/8 , P(H=2) = 3/8
– P(S=1|H=2) = 2/3
3.4.3 Independence of Attributes
• 事象が独立であるときに,条件付き確率はどのようにな
るか?
– サイコロを2こふったとき、1こ目が1だった時に2個めいく
つがでるか
• まぁ関係ないよね!
– なので以下のようになる

Dbda03

  • 1.
    Doing Baysian DataAnalysis Chap 3. What Is This Stuff Called Probability? Yoshifumi Seki 2013/08/03 @Matsuo Lab. Summer Seminar
  • 2.
    3.1 The setof all possible events • 確率を考えるために起こりうるすべての結果を考えよう • コインを投げるとき – 表がでるのか – 裏がでるのか – 横になるのか • 事象は2つ – コインが均一に作られていれば表がでる確率: θ=0.5 • p(θ)を考える – コインが均一に作られている確率はいくらか – p(θ=0.5) = 0.99 – p(θ=0.1) = 0.0001 • 「どのような結果がでるか」も「その結果がどれぐらい信頼 できるか」も両方確率である.
  • 3.
    3.1.1 Coin Flips:Why You Should Care? • なんでそんなにコインを投げることにこだわる の???? • コインの表裏なんて人生に関係無いじゃん? – でも薬が効くか効かないかとかだったら重要だよね? – コインの表裏も薬の効果も本質的にはいっしょなんだよ! – だからみんながんばろうね!
  • 4.
    3.2 Probability: outsideor inside the head • 確率の事象には outsideなものとinside the headなもの がある – outside • この世で起こっている誰もが観察できる事象 • コインの投げるとか、サイコロを振るとか • 一定数の試行によって一律に収束する – inside the head • 主観的な確率 ( subjective belief ) • ギャンブルの話 – 1月1日の大雪で道路が通行止めになると$100,コインが表 だと$100もらえるのいずれか » コインのほうを選ぶよね – 明日雨が振ると$100もらえる,サイコロが1をでると$100もら える » これだとどうだろうー » 雨を降る確率が50%はないだろうけど,10% ~ 20%ぐらい あるかもなーって思ってる感じ • こういった結果にたいする信頼性の度合いも確率で表現できる
  • 5.
    3.3 Probability Distributions •コインを投げるとか,サイコロを振るとかっていう話 – 離散的な数値 – 1が1/6で出るとか • 1日に成人男性が消費するカロリー – 連続値 – ex: 平均2000カロリー – あるときは2345.223かもしれない,あるときは1734.2かもしれ ない • 確率的な話だけど離散値みたいには表現できない – 区間に区切ってみよう • 1500未満, 1500以上2000未満, 2000以上2500未満, 2500以上 • これなら確率として表現できるね!
  • 6.
    probability density • ボードゲームなどで使われる”spin”で針がど こを指すかを考える •SpinがFairであれば – 均等に2分割した時それぞれの領域が選ばれる確 率は0.5 – 均等にN分割したときそれぞれの領域が選ばれる 確率は1/N – Nを大きくしていくと確率はどんどん小さくなっ ていく • 人間にとってわかりにくい・計算しにくい • Spinの針が指す確率を考える代わりに幅を考 えることにしよう – これを確率密度という – 1/Nのsectorに止まる確率は1/N => (1/N)/(1/N) = 1 – そのsectorにおけるprobabilitu massを表す – FairなSpinにおいては確率密度はすべて1
  • 7.
    probability density • scaleを0から0.5にする –0から0.1を考える • probability : 0.2 • width : 0.1 • density : 0.2/0.1 = 2 – 一般化 • width: w • probabilty : 2w • density : 2 • scaleを1.0から100に,進 み方を対数にする – 図のような形になる
  • 8.
    3.3 Probability Distributions p([x,y]):xからyの確率 p(x) : 確率密度
  • 9.
    3.3.3 Mean andVariance of a Distribution • Mean – 期待値 – サイコロ • 1/6 * 1 + 1/6 * 2 + … + 1/6 * 6 = 3.5 – 連続値でどのように扱うか?
  • 10.
    • Variance – 分散 –期待値からどれだけ分布が離れているか? • Mean Squared Deviation (MSD) 3.3.3 Mean and Variance of a Distribution
  • 11.
    3.3.2.2 The NormalProbability Density Function • 一番有名な分布 – ガウス分布・正規分布 – E[p(x)] = μ – Var[p(x)] = σ^2
  • 12.
    Variance as Uncertaintyin Beliefs • p(θ) : θの信頼出来る程度を示 す • Variance – どれだけ分布が広がっているか • Varが大きいと正規分布だとよ こにでかくなる • Varが小さい=> certainである – ある領域に定まる • Highest Density Interval(HDI) – 分布のW%がどの範囲に収まる か?
  • 13.
    3.4 Two-Way Distribution •同時確率分布 – コインを3こ同時になげたときにどうやって確率を表現する か? • 表が何回でるか? • 何回結果が変わるか?
  • 14.
    同時分布と周辺確率 • 同時確率 – P(S, H ) • S回入れ替わった時にH回表がでる確率 – S = 0, H = 0 : P(S, H) = 0.0 ( 裏裏裏 ) – S = 1. H = 1 : P(S, H) = 0.25 (裏裏表, 表裏裏) • 周辺確率 ( marginal ) – P(S), P(H) • P(S=0) = 2/8
  • 15.
    3.4.1 Marginal Probability •離散値 • 連続値
  • 16.
    3.4.2 Conditional Probability •条件付き確率 • コインを3回投げるとき – 表が2回でる時に,何回表裏が入れ替わるのか? • 表が2回でる事象 – 表表裏: S=1 , 表裏表 : S=2, 裏表表: S=1 » P(S=1| H=2) = 2/3 » P(S=2| H=2) = 1/3 – P(H=2,S=1) = 2/8 , P(H=2) = 3/8 – P(S=1|H=2) = 2/3
  • 17.
    3.4.3 Independence ofAttributes • 事象が独立であるときに,条件付き確率はどのようにな るか? – サイコロを2こふったとき、1こ目が1だった時に2個めいく つがでるか • まぁ関係ないよね! – なので以下のようになる