Downloaded 10 times
「予測にいかす統計モデリングの基本」勉強会 第二章
- 1. 「予測にいかす統計モデリングの基本」 第二章 確率による記述： 基礎体力をつける Takahiro Yoshinaga(Univ. of Tokyo) 状態空間モデル勉強会 Based on 「予測にいかす統計モデリングの基本」, 樋口知之, 講談社, 2011 2015年2月24日 @UT
- 2. 第二章の概要 2 「必要な確率論の知識を学ぶ」 あとでよく使う道具の定義（2.1節） 確率の乗法定理 ベイズの定理 最適化 ⇔ 事後分布の推定 最適化問題から統計モデルへ（2.2節）
- 3. 2.1 確率の基礎 3 例題：100人の買い物データ 30人がコーヒーを買った（70人は買わなかった） A ＝ 1：コーヒーを買った, A = 0：買わない 60人が牛乳を買った B ＝ 1：牛乳を買った, B = 0：買わない 10人がコーヒーと牛乳の両方を買った A B 20 10 50 30 60 20
- 4. 2.1 確率の基礎 4 例題：100人の買い物データ AB 20 10 50 30 60 20 ある事象の確率：事象が起きた回数と全試行の回数の比 コーヒーを買う確率 P(A=1) = 30/100, 牛乳を買う確率 P(B = 1) = 60/100 重なり部分は同時確率(AとBが同時に起きる確率) コーヒーと牛乳の両方を買う確率 P(A = 1, B = 1) = 10/100 P(A) (P(B)) はB (A) についての足しあわせ：周辺確率 P(A = 1) = P(A = 1, B = 0) + P(A = 1, B = 1) = 10/100 + 20/100 = 30/100 P(B = 1) = P(A = 0, B = 1) + P(A = 0, B = 1) = 10/100 + 50/100 = 60/100
- 5. 2.1 確率の基礎 5 例題：100人の買い物データ AB 20 10 50 30 60 20 条件付き確率 コーヒーを買った人の中で牛乳を買う確率 P(B=1|A=1) = 10/30 = 1/3 ベン図的には、共通部分 P(A=1, B=1)を全施行 P(A=1)で割る： P(B=1|A=1) = P(A=1, B=1)/P(A=1) = (10/100)/(30/100) = 10/30 牛乳を買った人の中でコーヒーを買わない確率： P(A=0|B=1) = P(A=0, B=1)/P(A=1) = 50/60
- 6. 2.1 確率の基礎 6 Notation ：確率変数A上で定義された確率分布 Aが離散値：ヒストグラム、Aが連続値：Aの連続関数 ：Bが所与のもとでのAの条件付き確率 ：A,Bの同時確率 和をとると1 (確率なので) 和の取り方に注意 規格化条件をかえたらちゃんと規格化されないよ
- 7. 2.1 確率の基礎 7 周辺化(2つ前のスライド参照) 確率の乗法定理(1つ前のスライド参照) ベイズの定理(乗法定理と周辺化の逆を使う) Bの条件付き確率⇒Aの条件付き確率 例題：100人の買い物データ 大事な性質
- 8. 2.2 最適化問題から統計モデルへ 8 データの確率を予測確率で表現 (乗法定理) (さらに乗法定理) 同時確率の分解公式 データの確率＝予測確率の積(*2) (*2)…１時刻前までのデータが得られたもとでの現時刻のデータの確率：予測確率 (*1)
- 9. 2.2 最適化問題から統計モデルへ 9 データの確率を予測確率で表現 (yに関して乗法定理) 同時確率の分解公式（多変数） (xに関して乗法定理) yt: 観測データ、xt：観測できない潜在変数(*)とすると 同時確率＝データと潜在変数の予測確率の積 (*) 本勉強会ではこのような場合を興味の対象にする、公式は一般の系列に関して成立
- 10. 2.2 最適化問題から統計モデルへ 10 最適化関数を確率分布関数で表現 最適化関数を適切に係数をかけて指数化してみる 平均μt、分散σ2の正規分布 平均2μt-1-μt-2、分散σ2α2の正規分布
- 11. 2.2 最適化問題から統計モデルへ 11 最適化関数を確率分布関数で表現 指数化した量の解釈 ytを確率変数と したときの分布 μtを確率変数と したときの分布 μ1:Tとy1:Tの同時確率
- 12. 2.2 最適化問題から統計モデルへ 12 最適化は事後確率を最大化する解の探索 指数化した量の解釈 ベイズの定理より より Eを最小化⇔同時確率を最大化 Eを最小化⇔事後分布を最大化 （最適化問題を確率統計の言葉で議論できるようになった！）
- 13. 第二章のまとめ 13 「ベイジアンで統計モデリングの準備」 あとでよく使う道具の定義（2.1節） 確率の乗法定理 ベイズの定理 最適化 ⇔ 事後分布の推定 最適化問題から統計モデルへ（2.2節）