輪講で作成した資料です

1. 1.2.3 ベイズ確率

2. アブストラクト
・確率を「ランダムな繰り返し試行の頻度」とみなす, 頻度主
義的な確率解釈を復習する. その後, この解釈を利用した
統計推論の手法である, ブートストラップ法を説明する.
・ベイズ的な確率解釈を導入する. この解釈では, 確率を不
確実性の度合いを与えるものとみなす.
・ベイズ的な手法を利用するために役に立つ, サンプリング
法やその代替的手法を紹介する.

3. ベイズ的な確率解釈の例
南極の氷が今世紀末には消えるか 繰り返し観測が出来ない！
一般に極地の氷が解ける速さ
①事前評価
②事後評価
衛星が集めた新たな南極の氷の形
温室ガスの放出を減らす努力をどの程度行うか
③行動決定

4. 不確実性を確率で表現する
( ) ( , )
Y
p X p X Y 
( , ) ( | ) ( )p X Y p Y X p X
確率の加法定理
確率の乗法定理
( | ) ( | )
( | ) ( | ) ( | )
B
w A C w AB C
w AB C w A C w B AC



A, B : 命題の信頼性
C : 関連する情報
w : 0～1の範囲に移動させる関数
A|C : Cの条件の下でAを満たす信頼
性の程度

5. 不確実性を確率で表現する例
( | ) ( | ) ( | )w AB C w A C w B AC
A : ゲームが好きである信頼性
B : 音楽が好きである信頼性
C : 20歳である
AC : 20歳であり, ある信頼性で
ゲームが好き
w : 0～1の範囲に移動させる関数
A|C : 20歳であるとき, ゲームが好
きであるかの信頼性の程度
Cの下でAもBも満
たす信頼性の程度
Cの下でAを
満たす信頼
性の程度
ACの下でBを
満たす信頼
性の程度
( | ) ( | )
B
w A C w AB C 
( | ) ( | )
B
w A C w B AC 
an associative binary operation

6. ベイズ的確率解釈の有用性
モデルパラメータの適切な選び方に関する不確実性
・モデルパラメータ
⇒ベイズ主義○、頻度主義◎
・モデルそのものの選択（多項式曲線フィッティングにおける次数）
⇒ベイズ主義◎、頻度主義○
モデルそのものの選択といった、不
確かな事象には、ベイズ主義の方
が向いている！

7. ( | ) ( )
( ) =
( )
p D p
p D
p D
w w
w |
ベイズの定理
1{ , , }ND t t
w
K観測データ：
モデルパラメータ：
ベイズの定理
事後確率
事前確率
観測データにより再評価
尤度関数
尤度関数：w を固定した場合の, 観測されたデータ集合の起こりや
すさ. w の確率分布ではないので, w に関する積分は１にならない.
多項式曲線フィッティングでの例
( ) ( | ) ( )dp D p D p  w w w

8. 尤度関数への２つのアプローチ
w は固定したパラメータで, 推定量として定められる. 推
定の誤差範囲はデータ集合Ｄの分布により得られる.
データ集合Ｄは固定で, パラメータに関する不確実性は
w の確率分布として表される.
ベイズ的な設定
頻度主義的な設定

9. 頻度主義による推定
データが何度も得られることを想定しているが,
一度しか得られない場合もある.
データを増やす！
1{ , , }NX x xK
ランダムにＮ点をＬ回抽出する
B1 1 1 3 1
BL 1 2 2
{ , , , , }
{ , , , , }
N
N


X x x x x
X x x x x
K
M
K
ブートストラップ法

10. 最尤推定
観測されたデータ集合の確率を最大にする（尤
度関数 を最大にする）よう w を選ぶ.( | )p D w
誤差関数：
誤差の最小化が尤度の最大化と等価.
log( ( | ))p D w

11. ブートストラップ法
1{ , , }NX x xK
ランダムにＮ点を重複を許して
抽出する操作を, Ｌ回繰り返す
B1 1 1 3 1
BL 1 2 2
{ , , , , }
{ , , , , }
N
N


X x x x x
X x x x x
K
M
K
ブートストラップ法：頻度主義で誤差範囲を決めるアプローチの一つ

12. ブートストラップ法の具体例
1, 2, 3, 5, 3, 4, 4, 7, 8, 10,{ 1}X
11点を2000
回抽出
観測データ
引用：基礎統計学＠ウィキ ブートストラップ法
1
2000
1, 3, 3, 5, 3, 4, 4, 7, 8, 10, 1
2 3 3, 5, 3, 4, 4, 7, 8
{
, 10, 1
}
{ }
B
B


X
X
M
, ,
ブートストラップ標本 平均を
とる

13. ベイズ主義の利点
観測データ：コインを三回投げた結果が表
・最尤推定
⇒表が出る確率が１となる
・ベイズ的アプローチ
⇒事前分布によっては, 表が出る確率は１とならない
推定方法
推定

14. ベイズ主義への批判
・事前分布が数学的な便宜によって選ばれやすい.
・事前分布の選び方によって結果が変わる.
対策：無情報事前分布 ⇒ 異なるモデル（多項式曲線での次
数など）の比較に不向き
悪い事前分布を選ぶと, 悪い結果が得られる！
対策：交差確認

15. ベイズ的な手法の実用化
ベイズ的な手法が考案される. 全パラメータ空間で
の周辺化を必要とするため, 実用例は限られていた.
周辺化が容易になり実用化.
⇒サンプリング法（マルコフ連鎖モンテカルロ法など）の開発.
⇒計算機の速度やメモリ量の大幅な進歩.
⇒変分ベイズ法やＥＰ法などの能率的な, サンプリング法の
代替的手法の開発.
現在
１８世紀