bayesian inference

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

ベイズ推定入門
モデル選択からベイズ的最適化まで
2018/3/31 あさこ

本日おもちかえりいただくもの
 ベイズ推定の基本の概念（集合のイメージ）
 モデルの選択（本当に初歩的な考え方）
 想像できるようになるために基礎を学ぶこと
が必要
→グループワークでイメージをつかむ

あじぇんだ
1.いきなり相互自己紹介タイム（20分）
2. 頻度論とベイズ論の違い、確率統計（30分）
3.ベイズ推定入門1（20分）
4.グループワーク1（ベイズ推定パターンを考える）（50分）
<<休憩>>
5.ベイズ推定入門2（10分）
...

1.いきなり相互自己紹介タイム

1.いきなり相互自己紹介タイム
 自己紹介（業種とかやってる内容とか）
 今日の参加動機
なぜ、ベイズ推定を学びたいのでしょう？
 ここは今日ぜひしりたいな～と思っていると
ころ

勉強会を開いた動機
 ベイズ統計学の考え方はすごく好きで、オオカミ少年の例を勉強したとき
に魅了されました。
 ベイズ統計の中に、カルマンフィルタというものがあり、これを品質管理
で適用しようと今がんばっています。
 すごく汎用性の高いも...

2.頻度論とベイズ論の違い、確率統計
ベイズと頻度統計のちがい、統計学の基礎を軽くご紹介

頻度論とベイズ論の違い
 ベイズ統計・・・・仮定が多い
 普通の統計学・・・頻度主義の統計学
岩波データサイエンスvol1より

頻度主義の統計学母集団と標本
母集団
• 調査の対象となる全体
標本
• 母集団の中から選んだもの

頻度主義の統計学母集団と標本の関係
母集団
𝑥 標本
X
母集団
X
𝑥1 𝑥2
𝑥3
…毎回、標本の値は異なる
母集団（対象となる全体）から一つの標本を抽出する。
これは母集団の正規分布に従う確率変数 𝑿 が 𝒙 という
値をとることに相当...

頻度主義の統計学統計学の目的
母集団
𝑥 標本
X
母集団
X
𝑥1 𝑥2
𝑥3
…
毎回、標本の値は異なる
標本から母集団を規定する母平均や母分散を推定すること
＝＞サンプリングした標本の中で測定された
ものから、全体を推定する

頻度主義の統計学平均・分散・標準偏差
平均
• 𝑛 回試行したときの値の合計を試行回
数 𝑛で割ったもの
• ҧ𝑥 =
1
𝑛
σ𝑖=1
𝑛
𝑥𝑖
分散 (標準偏差の二乗)
標準偏差：平均からのズレ
•確率変数 𝑋1 − ത𝑋, 𝑋2 − ത...

3.「ベイズ推定入門」1
まえがき、第１章こんなところにベイズ推定

まえがき部分
 ベイズ推定とは？
目の前に現れる事実と、これまでの流れ・経験を組
み合わせた推定方法のこと
 モデル選択
事前情報をどのように取り込んだらよいのか、経験
を取り込むにはどのようにしたらよいのか？
⇒赤池情報量規準など（第２...

第１章こんなところにベイズ推定
 ベイズ推定が活躍する舞台は、データの数が少ないときに、
人の経験やこれまでの実績などを加味することで、次に起
こることがどれくらいありそうかという予言をします
 事前分布事前情報に基づいて、そうなりそう...

第１章こんなところにベイズ推定
 最尤推定事前情報に頼らず、実際に調べた結果
のみに基づいてどうだ、と結論づける方法
例：Excelのソルバー機能
 ベイズ推定・・・経験と最尤推定の結果との違和
感を埋める役割を果たす。

 尤度
 N個のデータ：x1,x2,....,xNx1,x2,....,xN
を観測した時，それぞれの値が生じる確率をp(x)とすると，
尤度は，
p(x1)p(x2)....p(xN)p(x1)p(x2)....p(xN)
で表されます．...

第１章こんなところにベイズ推定
 尤度関数と事前分布を組み合わせたものを事後確
率分布という
本書例：部屋に宝石がありそうな度合い
（見つかる可能性）
 事前分布に基づいて推定し、その推定した結果
（事後確率分布）を利用して再度推定をす...

第１章こんなところにベイズ推定
ベイズの定理
わからない数値があって、それにまつわる手掛かりとし
て別の数値を教えてもらう。それを逆に解いてわからな
い数値を知るというもの。
逆の条件付き確率 P(X|Y)
Yの結果からXを原因とする確率

第１章こんなところにベイズ推定

4.グループワーク1（ベイズ推定パターンを考え
る）
自分が普段の生活の中で疑問に抱いたり考えたりしている事例でベイズ推定
パターンを考えてみよう

4.グループワーク1（ベイズ推定パ
ターンを考える）
ひごろ、どんなことを考えますか？
たとえば・・・
－世間の常識って、いったいどのくらいの中の確率なの？
－星占いは統計の結果だというけれど、ほかにも条件つけ
るとどういう占い結果になるかな
...

4.グループワーク1（ベイズ推定パ
ターンを考える）
ということで、やってみよう！
・3人1グループになる
・グループの中で考えてきたパターンを紹介しあ
う（5分）
・ひとつ選び、便図で表現してみる（10分）
・各グループ発表してください（1グ...

4.グループワーク1（ベイズ推定パ
ターンを考える）
考えるもの
・母集団 (H)
・母集団を二分する事象（X,ഥX)
・前提となる事象（Y,ഥY）
P(X|Y) = P(Y|X) × P(X)

4.グループワーク1（ベイズ推定パ
ターンを考える）
ベイズ推定パターン
・全体：自分が馬券があたった ABCはあたったか
推定：自分が誰を信じてかうか？
・全体：秋葉原に来る
クレープ屋さんに来るお客さんの男女比
推定：クレープ屋さんにくる男...

５.「ベイズ推定入門」2
第１章こんなところにベイズ推定～ベイズ更新～

第１章こんなところにベイズ推定～ベイズ更新～
 オオカミ少年の例

 オオカミ少年の例
第１章こんなところにベイズ推定～ベイズ更新～

▪ オオカミ少年の例
第１章こんなところにベイズ推定～ベイズ更新～

 次にオオカミが来た時の確率を求めたい場合、1
回目の「オオカミ少年の例で出した確率」を「事
前確率」として、再度計算をする。
⇒ベイズ更新
 シミュレーションするとこんなグラフになります。
▪ オオカミ少年の例
第１章こんなところにベイ...

▪ オオカミ少年の例
第１章こんなところにベイズ推定～ベイズ更新～

6.グループワーク2（ベイズ更新を考える）
グループワーク１で考えたパターンでベイズ更新をかんがえてみよう。

6.グループワーク2（ベイズ更新を考
える）
おさらい
事前分布に、得た情報を付け加えて更新を行うことをベ
イズ更新といいます。
グループワーク１で考えたパターンでベイズ更新をか
んがえてみよう。
事前分布P(X)を更新します。
P(X...

6.グループワーク2（ベイズ更新を考
える）
 一番最初の事前確率などを決めて、更新させるまで２
０分
 もとめたいのは P(Y|X)
 P(Y)
 P(X)
 P(X|Y)
 条件付確率の公式からも導けます
 発表各グループ３...

7.「ベイズ推定入門」3
第２章確率分布とベイズ推定、第３章機械学習とベイズ推定

第２章確率分布とベイズ推定
 ガウス分布
※ 画像引用元：wikipedia
σ が既知の場合
σ は標準偏差
σ2 は分散

第２章確率分布とベイズ推定
 ガウス分布・・・条件付確率と考えることができる。
 本書例：イノシシのすみかと足跡の所在
 イノシシのすみかがここにあると、足跡はバラバラとここ
いあるよ
 ベイズ推定・・・上記の逆
 本書例：足跡の様...

第２章確率分布とベイズ推定
 モデル選択
 推定した結果、予測をする、など
 赤池情報量規準（AIC）・・・
[(－2)×{(最大対数尤度)－(パラメーターの個数)}]
パラメータの数は少なめに
複雑なモデルであればあるほど、目の前...

第２章確率分布とベイズ推定
 周辺尤度関数（エビデンス）を活用
 この値が大きくなるようなハイパーパラメータを採用する
 ハイパーパラメータ・・・事前分布の形を決めているパラ
メータのこと
 「調整」する
 ベイズ情報量規準・・・
...

第３章機械学習とベイズ推定
 「事前情報」で値がどうなるかの前提条件を入れる
 経験とモデルのあてはめをするのが尤度関数
 直線の関係が基本なのだけれど、ばらつきも考慮してモデルを考える
 直線が期待値で、ばらつき度合いが分散となるガ...

第３章機械学習とベイズ推定
 事前分布を利用した正則化
正則化・・・機械学習で過学習を防いだりするために、追
加の項を導入する手法
データに合わせすぎないようにすることで予測精度を保つ
外れ値を判断
 内挿と外挿
 内挿：得られて...

8.おわりに

8.終わりに
数式がほとんど出てこない勉強会は、ふ
わふわとしたイメージだけでしかない
イメージができれば、実際にやったとき
に正しいかどうかを少しは判断できます。
（事前分布ｗ）
4章以降は、ベイズを使いこなすように
なってから

本日おもちかえりいただけましたか？
 ベイズ推定の基本の概念（集合のイメージ）
 モデルの選択（本当に初歩的な考え方）
 想像できるようになるために基礎を学ぶこと
が必要
→グループワークでイメージをつかむ

8.おわりに
感想
－
－
－
－
－

参考文献
 「ベイズ推定入門モデル選択からベ
イズ的最適化まで」大関真之著
 「統計学入門 (基礎統計学Ⅰ) 」
東京大学教養学部統計学教
室
 データ指向のソフトウェア品質マネ
ジメント―メトリクス分析による
「事実にもとづく管...

参考文献
 集合・位相入門松坂和夫著
 データ解析のための統計モデリング入門
――
一般化線形モデル・階層ベイズモデル・
MCMC (確率と情報の科学)
久保拓弥著
 岩波データサイエンス Vol.1
ベイズ推論とMCMCのフリーソ...

ありがとうございました！

Share Slideshare

LinkedIn
Facebook
Twitter

Embed

Size (px)

Show related Slideshows at end

WordPress Shortcode

Link

Share
Email

2024 Trend Updates: What Really Wor... by Search Engine Jou... 1039840 views
Storytelling For The Web: Integrate... by Chiara Aliotta 952098 views
Artificial Intelligence, Data and C... by OECD Directorate ... 876077 views
How to Leverage AI to Boost Employe... by SocialHRCamp 368477 views
2024 State of Marketing Report – by... by Marius Sescu 209319 views
Everything You Need To Know About C... by Expeed Software 229161 views

View on Slideshare

1 of 48 Ad

View on Slideshare

1 of 48 Ad