More Related Content
bayesian inference
- 2. 本日おもちかえりいただくもの ベイズ推定の基本の概念（集合のイメージ） モデルの選択（本当に初歩的な考え方） 想像できるようになるために基礎を学ぶこと が必要 →グループワークでイメージをつかむ
- 5. 1.いきなり相互自己紹介タイム 自己紹介（業種とかやってる内容とか） 今日の参加動機 なぜ、ベイズ推定を学びたいのでしょう？ ここは今日ぜひしりたいな～と思っていると ころ
- 6. 勉強会を開いた動機 ベイズ統計学の考え方はすごく好きで、オオカミ少年の例を勉強したとき に魅了されました。 ベイズ統計の中に、カルマンフィルタというものがあり、これを品質管理 で適用しようと今がんばっています。 すごく汎用性の高いものなので、自分の初学者レベルなので、みんなと一 緒に勉強をしたい！と思いました。 間違っている部分もあるかもしれないので、ご指摘・アドバイス大歓迎で す！
- 9. 頻度主義の統計学 母集団と標本 母集団 • 調査の対象となる全体 標本 • 母集団の中から選んだもの
- 10. 頻度主義の統計学 母集団と標本の関係 母集団 𝑥 標本 X 母集団 X 𝑥1 𝑥2 𝑥3 …毎回、標本の値は異なる 母集団（対象となる全体）から一つの標本を抽出する。 これは母集団の正規分布に従う確率変数 𝑿 が 𝒙 という 値をとることに相当 𝑥 サンプリング
- 11. 頻度主義の統計学 統計学の目的 母集団 𝑥 標本 X 母集団 X 𝑥1 𝑥2 𝑥3 … 毎回、標本の値は異なる 標本から母集団を規定する母平均や母分散を推定すること ＝＞サンプリングした標本の中で測定された ものから、全体を推定する
- 12. 頻度主義の統計学 平均・分散・標準偏差 平均 • 𝑛 回試行したときの値の合計を試行回 数 𝑛で割ったもの • ҧ𝑥 = 1 𝑛 σ𝑖=1 𝑛 𝑥𝑖 分散 (標準偏差の二乗) 標準偏差：平均からのズレ •確率変数 𝑋1 − ത𝑋, 𝑋2 − ത𝑋, ⋯ , 𝑋 𝑛 − ത𝑋 に対しては，恒等式 𝑋1 − ത𝑋 + 𝑋2 − ത𝑋 + ⋯ + 𝑋 𝑛 − ത𝑋 ≡ 0が成り立つ ため，変数 𝑋𝑖 − ത𝑋 の自由度は 𝑛 から 𝑛 − 1 に減少する．したがって，分散は 𝑛 − 1 で割って • 𝑆2 = 1 𝑛−1 σ𝑖=1 𝑛 𝑋𝑖 − ത𝑋 2
- 14. まえがき部分 ベイズ推定とは？ 目の前に現れる事実と、これまでの流れ・経験を組 み合わせた推定方法のこと モデル選択 事前情報をどのように取り込んだらよいのか、経験 を取り込むにはどのようにしたらよいのか？ ⇒赤池情報量規準 など（第２章ででてきます）
- 15. 第１章 こんなところにベイズ推定 ベイズ推定が活躍する舞台は、データの数が少ないときに、 人の経験やこれまでの実績などを加味することで、次に起 こることがどれくらいありそうかという予言をします 事前分布 事前情報に基づいて、そうなりそうな度合いを 場合ごとに示したもの 本書例：宝石がありそうな度合いの分布 尤度関数 事実に戻づいて状況を把握する 「もっともらしさ」 本書例：宝石がこの部屋にありそうかなさそうか
- 16. 第１章 こんなところにベイズ推定 最尤推定 事前情報に頼らず、実際に調べた結果 のみに基づいてどうだ、と結論づける方法 例：Excelのソルバー機能 ベイズ推定・・・経験と最尤推定の結果との違和 感を埋める役割を果たす。
- 17. 尤度 N個のデータ：x1,x2,....,xNx1,x2,....,xN を観測した時，それぞれの値が生じる確率をp(x)とすると， 尤度は， p(x1)p(x2)....p(xN)p(x1)p(x2)....p(xN) で表されます． 最尤推定法 p(x)を決めるためのモデル(基本はガウス分布)の パラメータ(ガウス分布の場合は平均と分散)を決めるために， この尤度が最大になるようなパラメータを選ぶ 第１章 こんなところにベイズ推定 おまけ
- 18. 第１章 こんなところにベイズ推定 尤度関数と事前分布を組み合わせたものを事後確 率分布という 本書例：部屋に宝石がありそうな度合い （見つかる可能性） 事前分布に基づいて推定し、その推定した結果 （事後確率分布）を利用して再度推定をする。こ れを、ベイズ更新という。
- 20. 第１章 こんなところにベイズ推定
- 24. 4.グループワーク1（ベイズ推定パ ターンを考える） 考えるもの ・母集団 (H) ・母集団を二分する事象 （X,ഥX) ・前提となる事象 （Y,ഥY） P(X|Y) = P(Y|X) × P(X)
- 27. 第１章 こんなところにベイズ推定 ～ベイズ更新～ オオカミ少年の例
- 28. オオカミ少年の例 第１章 こんなところにベイズ推定 ～ベイズ更新～
- 29. ▪ オオカミ少年の例 第１章 こんなところにベイズ推定 ～ベイズ更新～
- 30. 次にオオカミが来た時の確率を求めたい場合、1 回目の「オオカミ少年の例で出した確率」を「事 前確率」として、再度計算をする。 ⇒ベイズ更新 シミュレーションするとこんなグラフになります。 ▪ オオカミ少年の例 第１章 こんなところにベイズ推定 ～ベイズ更新～
- 31. ▪ オオカミ少年の例 第１章 こんなところにベイズ推定 ～ベイズ更新～
- 33. 6.グループワーク2（ベイズ更新を考 える） おさらい 事前分布に、得た情報を付け加えて更新を行うことをベ イズ更新といいます。 グループワーク１で考えたパターンでベイズ更新をか んがえてみよう。 事前分布P(X)を更新します。 P(X|Y) = P(Y|X) × P(X) それぞれの確率は、グループで決めてOKです。
- 34. 6.グループワーク2（ベイズ更新を考 える） 一番最初の事前確率などを決めて、更新させるまで２ ０分 もとめたいのは P(Y|X) P(Y) P(X) P(X|Y) 条件付確率の公式からも導けます 発表 各グループ３分 感想 各自２分程度
- 36. 第２章 確率分布とベイズ推定 ガウス分布 ※ 画像引用元：wikipedia σ が既知の場合 σ は標準偏差 σ2 は分散
- 37. 第２章 確率分布とベイズ推定 ガウス分布・・・条件付確率と考えることができる。 本書例：イノシシのすみかと足跡の所在 イノシシのすみかがここにあると、足跡はバラバラとここ いあるよ ベイズ推定・・・上記の逆 本書例：足跡の様子からイノシシのすみかを探る
- 38. 第２章 確率分布とベイズ推定 モデル選択 推定した結果、予測をする、など 赤池情報量規準（AIC）・・・ [(－2)×{(最大対数尤度)－(パラメーターの個数)}] パラメータの数は少なめに 複雑なモデルであればあるほど、目の前にあるものに合わ せやすい。でもそれは目の前で起こったことを再現するこ とに集中しすぎていて、未だ知らないこれからのことを予 測することには注力で規定ない・・・過適合 オッカムのカミソリ（ニュートンの第3法則など）
- 39. 第２章 確率分布とベイズ推定 周辺尤度関数（エビデンス）を活用 この値が大きくなるようなハイパーパラメータを採用する ハイパーパラメータ・・・事前分布の形を決めているパラ メータのこと 「調整」する ベイズ情報量規準・・・ 自分たちが用意したモデルが真のモデルに合致している かどうかという一致性に注目したもの
- 40. 第３章 機械学習とベイズ推定 「事前情報」で値がどうなるかの前提条件を入れる 経験とモデルのあてはめをするのが尤度関数 直線の関係が基本なのだけれど、ばらつきも考慮してモデルを考える 直線が期待値で、ばらつき度合いが分散となるガウス分布がモデル の候補となる 正則なモデル 特異なモデル 活性化関数 単位ステップ関数・・・一気にレバーをぐいっと！ シグモイド関数・・・レバーを少しずつ変える
- 41. 第３章 機械学習とベイズ推定 事前分布を利用した正則化 正則化・・・機械学習で過学習を防いだりするために、追 加の項を導入する手法 データに合わせすぎないようにすることで予測精度を保つ 外れ値を判断 内挿と外挿 内挿：得られているデータのｘ軸範囲内で作成したモデルの中 の点を埋めるのが内挿 外挿：得られているデータのｘ軸範囲外にモデル曲線を延長し た値を「予測して」追加するのが外挿
- 42. 8.おわりに
- 44. 本日おもちかえりいただけましたか？ ベイズ推定の基本の概念（集合のイメージ） モデルの選択（本当に初歩的な考え方） 想像できるようになるために基礎を学ぶこと が必要 →グループワークでイメージをつかむ
- 46. 参考文献 「ベイズ推定入門 モデル選択からベ イズ的最適化まで」 大関 真之 著 「統計学入門 (基礎統計学Ⅰ) 」 東京大学教養学部統計学教 室 データ指向のソフトウェア品質マネ ジメント―メトリクス分析による 「事実にもとづく管理」の実践 野 中 誠 (著), 小池 利和 (著), 小室 睦 (著)
- 47. 参考文献 集合・位相入門 松坂 和夫著 データ解析のための統計モデリング入門 ―― 一般化線形モデル・階層ベイズモデル・ MCMC (確率と情報の科学) 久保 拓弥著 岩波データサイエンス Vol.1 ベイズ推論とMCMCのフリーソフト 岩 波データサイエンス
- 48. ありがとうございました！