「予測にいかす統計モデリングの基本」勉強会 第二章、2月24日

1. 「予測にいかす統計モデリングの基本」
第二章 確率による記述：
基礎体力をつける
Takahiro Yoshinaga (Univ. of Tokyo)
状態空間モデル勉強会
Based on
「予測にいかす統計モデリングの基本」, 樋口知之, 講談社, 2011
2015年2月24日 @UT

2. 第二章の概要 2
「必要な確率論の知識を学ぶ」
あとでよく使う道具の定義（2.1節）
 確率の乗法定理
 ベイズの定理
 最適化 ⇔ 事後分布の推定
最適化問題から統計モデルへ（2.2節）

3. 2.1 確率の基礎 3
例題：100人の買い物データ
 30人がコーヒーを買った（70人は買わなかった）
A ＝ 1：コーヒーを買った, A = 0：買わない
 60人が牛乳を買った
B ＝ 1：牛乳を買った, B = 0：買わない
 10人がコーヒーと牛乳の両方を買った
A B
20 10 50
30 60
20

4. 2.1 確率の基礎 4
例題：100人の買い物データ
A B
20 10 50
30 60
20
 ある事象の確率：事象が起きた回数と全試行の回数の比
コーヒーを買う確率 P(A=1) = 30/100, 牛乳を買う確率 P(B = 1) = 60/100
 重なり部分は同時確率(AとBが同時に起きる確率)
コーヒーと牛乳の両方を買う確率 P(A = 1, B = 1) = 10/100
 P(A) (P(B)) はB (A) についての足しあわせ：周辺確率
P(A = 1) = P(A = 1, B = 0) + P(A = 1, B = 1) = 10/100 + 20/100 = 30/100
P(B = 1) = P(A = 0, B = 1) + P(A = 0, B = 1) = 10/100 + 50/100 = 60/100

5. 2.1 確率の基礎 5
例題：100人の買い物データ
A B
20 10 50
30 60
20
 条件付き確率
コーヒーを買った人の中で牛乳を買う確率 P(B=1|A=1) = 10/30 = 1/3
ベン図的には、共通部分 P(A=1, B=1)を全施行 P(A=1)で割る：
P(B=1|A=1) = P(A=1, B=1)/P(A=1) = (10/100)/(30/100) = 10/30
牛乳を買った人の中でコーヒーを買わない確率：
P(A=0|B=1) = P(A=0, B=1)/P(A=1) = 50/60

6. 2.1 確率の基礎 6
Notation
：確率変数A上で定義された確率分布
Aが離散値：ヒストグラム、Aが連続値：Aの連続関数
：Bが所与のもとでのAの条件付き確率
：A, Bの同時確率
 和をとると1 (確率なので)
 和の取り方に注意
規格化条件をかえたらちゃんと規格化されないよ

7. 2.1 確率の基礎 7
 周辺化(2つ前のスライド参照)
 確率の乗法定理(1つ前のスライド参照)
 ベイズの定理(乗法定理と周辺化の逆を使う)
Bの条件付き確率⇒Aの条件付き確率
例題：100人の買い物データ
大事な性質

8. 2.2 最適化問題から統計モデルへ 8
データの確率を予測確率で表現
(乗法定理)
(さらに乗法定理)
同時確率の分解公式
データの確率＝予測確率の積(*2)
(*2) …１時刻前までのデータが得られたもとでの現時刻のデータの確率：予測確率
(*1)

9. 2.2 最適化問題から統計モデルへ 9
データの確率を予測確率で表現
(yに関して乗法定理)
同時確率の分解公式（多変数）
(xに関して乗法定理)
yt : 観測データ、xt：観測できない潜在変数(*)とすると
同時確率＝データと潜在変数の予測確率の積
(*) 本勉強会ではこのような場合を興味の対象にする、公式は一般の系列に関して成立

10. 2.2 最適化問題から統計モデルへ 10
最適化関数を確率分布関数で表現
 最適化関数を適切に係数をかけて指数化してみる
平均μt、分散σ2の正規分布 平均2μt-1-μt-2、分散σ2α2の正規分布

11. 2.2 最適化問題から統計モデルへ 11
最適化関数を確率分布関数で表現
 指数化した量の解釈
ytを確率変数と
したときの分布
μtを確率変数と
したときの分布
μ1:Tとy1:Tの同時確率

12. 2.2 最適化問題から統計モデルへ 12
最適化は事後確率を最大化する解の探索
 指数化した量の解釈
 ベイズの定理より
より
Eを最小化⇔同時確率を最大化
Eを最小化⇔事後分布を最大化
（最適化問題を確率統計の言葉で議論できるようになった！）

13. 第二章のまとめ 13
「ベイジアンで統計モデリングの準備」
あとでよく使う道具の定義（2.1節）
 確率の乗法定理
 ベイズの定理
 最適化 ⇔ 事後分布の推定
最適化問題から統計モデルへ（2.2節）