Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

bayesian inference

390 views

Published on

「ベイズ推定入門」を教科書に学ぶ

Published in: Data & Analytics
  • Be the first to comment

  • Be the first to like this

bayesian inference

  1. 1. ベイズ推定入門 モデル選択からベイズ的最適化まで 2018/3/31 あさこ
  2. 2. 本日おもちかえりいただくもの  ベイズ推定の基本の概念(集合のイメージ)  モデルの選択(本当に初歩的な考え方)  想像できるようになるために基礎を学ぶこと が必要 →グループワークでイメージをつかむ
  3. 3. あじぇんだ 1.いきなり相互自己紹介タイム(20分) 2. 頻度論とベイズ論の違い、確率統計(30分) 3.ベイズ推定入門1(20分) 4.グループワーク1(ベイズ推定パターンを考える)(50分) <<休憩>> 5.ベイズ推定入門2(10分) 6.グループワーク2(ベイズ更新を考える)(30分) 7.ベイズ推定入門3(10分) 8.終わりに (5分)
  4. 4. 1.いきなり相互自己紹介タイム
  5. 5. 1.いきなり相互自己紹介タイム  自己紹介(業種とかやってる内容とか)  今日の参加動機 なぜ、ベイズ推定を学びたいのでしょう?  ここは今日ぜひしりたいな~と思っていると ころ
  6. 6. 勉強会を開いた動機  ベイズ統計学の考え方はすごく好きで、オオカミ少年の例を勉強したとき に魅了されました。  ベイズ統計の中に、カルマンフィルタというものがあり、これを品質管理 で適用しようと今がんばっています。  すごく汎用性の高いものなので、自分の初学者レベルなので、みんなと一 緒に勉強をしたい!と思いました。  間違っている部分もあるかもしれないので、ご指摘・アドバイス大歓迎で す!
  7. 7. 2.頻度論とベイズ論の違い、確率統計 ベイズと頻度統計のちがい、統計学の基礎を軽くご紹介
  8. 8. 頻度論とベイズ論の違い  ベイズ統計・・・・仮定が多い  普通の統計学・・・頻度主義の統計学 岩波データサイエンスvol1より
  9. 9. 頻度主義の統計学 母集団と標本 母集団 • 調査の対象となる全体 標本 • 母集団の中から選んだもの
  10. 10. 頻度主義の統計学 母集団と標本の関係 母集団 𝑥 標本 X 母集団 X 𝑥1 𝑥2 𝑥3 …毎回、標本の値は異なる 母集団(対象となる全体)から一つの標本を抽出する。 これは母集団の正規分布に従う確率変数 𝑿 が 𝒙 という 値をとることに相当 𝑥 サンプリング
  11. 11. 頻度主義の統計学 統計学の目的 母集団 𝑥 標本 X 母集団 X 𝑥1 𝑥2 𝑥3 … 毎回、標本の値は異なる 標本から母集団を規定する母平均や母分散を推定すること =>サンプリングした標本の中で測定された ものから、全体を推定する
  12. 12. 頻度主義の統計学 平均・分散・標準偏差 平均 • 𝑛 回試行したときの値の合計を試行回 数 𝑛で割ったもの • ҧ𝑥 = 1 𝑛 σ𝑖=1 𝑛 𝑥𝑖 分散 (標準偏差の二乗) 標準偏差:平均からのズレ •確率変数 𝑋1 − ത𝑋, 𝑋2 − ത𝑋, ⋯ , 𝑋 𝑛 − ത𝑋 に対しては,恒等式 𝑋1 − ത𝑋 + 𝑋2 − ത𝑋 + ⋯ + 𝑋 𝑛 − ത𝑋 ≡ 0が成り立つ ため,変数 𝑋𝑖 − ത𝑋 の自由度は 𝑛 から 𝑛 − 1 に減少する.したがって,分散は 𝑛 − 1 で割って • 𝑆2 = 1 𝑛−1 σ𝑖=1 𝑛 𝑋𝑖 − ത𝑋 2
  13. 13. 3.「ベイズ推定入門」1 まえがき、第1章 こんなところにベイズ推定
  14. 14. まえがき部分  ベイズ推定とは? 目の前に現れる事実と、これまでの流れ・経験を組 み合わせた推定方法のこと  モデル選択 事前情報をどのように取り込んだらよいのか、経験 を取り込むにはどのようにしたらよいのか? ⇒赤池情報量規準 など(第2章ででてきます)
  15. 15. 第1章 こんなところにベイズ推定  ベイズ推定が活躍する舞台は、データの数が少ないときに、 人の経験やこれまでの実績などを加味することで、次に起 こることがどれくらいありそうかという予言をします  事前分布 事前情報に基づいて、そうなりそうな度合いを 場合ごとに示したもの  本書例:宝石がありそうな度合いの分布  尤度関数 事実に戻づいて状況を把握する 「もっともらしさ」  本書例:宝石がこの部屋にありそうかなさそうか
  16. 16. 第1章 こんなところにベイズ推定  最尤推定 事前情報に頼らず、実際に調べた結果 のみに基づいてどうだ、と結論づける方法 例:Excelのソルバー機能  ベイズ推定・・・経験と最尤推定の結果との違和 感を埋める役割を果たす。
  17. 17.  尤度  N個のデータ:x1,x2,....,xNx1,x2,....,xN を観測した時,それぞれの値が生じる確率をp(x)とすると, 尤度は, p(x1)p(x2)....p(xN)p(x1)p(x2)....p(xN) で表されます.  最尤推定法  p(x)を決めるためのモデル(基本はガウス分布)の パラメータ(ガウス分布の場合は平均と分散)を決めるために, この尤度が最大になるようなパラメータを選ぶ 第1章 こんなところにベイズ推定 おまけ
  18. 18. 第1章 こんなところにベイズ推定  尤度関数と事前分布を組み合わせたものを事後確 率分布という 本書例:部屋に宝石がありそうな度合い (見つかる可能性)  事前分布に基づいて推定し、その推定した結果 (事後確率分布)を利用して再度推定をする。こ れを、ベイズ更新という。
  19. 19. 第1章 こんなところにベイズ推定 ベイズの定理 わからない数値があって、それにまつわる手掛かりとし て別の数値を教えてもらう。それを逆に解いてわからな い数値を知るというもの。 逆の条件付き確率 P(X|Y) Yの結果からXを原因とする確率
  20. 20. 第1章 こんなところにベイズ推定
  21. 21. 4.グループワーク1(ベイズ推定パターンを考え る) 自分が普段の生活の中で疑問に抱いたり考えたりしている事例でベイズ推定 パターンを考えてみよう
  22. 22. 4.グループワーク1(ベイズ推定パ ターンを考える) ひごろ、どんなことを考えますか? たとえば・・・ -世間の常識って、いったいどのくらいの中の確率なの? -星占いは統計の結果だというけれど、ほかにも条件つけ るとどういう占い結果になるかな ーオオカミ少年が正直である確率 ーコナン少年の推理 などなど
  23. 23. 4.グループワーク1(ベイズ推定パ ターンを考える) ということで、やってみよう! ・3人1グループになる ・グループの中で考えてきたパターンを紹介しあ う(5分) ・ひとつ選び、便図で表現してみる(10分) ・各グループ発表してください(1グループ2分程 度)
  24. 24. 4.グループワーク1(ベイズ推定パ ターンを考える) 考えるもの ・母集団 (H) ・母集団を二分する事象 (X,ഥX) ・前提となる事象 (Y,ഥY) P(X|Y) = P(Y|X) × P(X)
  25. 25. 4.グループワーク1(ベイズ推定パ ターンを考える) ベイズ推定パターン ・全体:自分が馬券があたった ABCはあたったか 推定:自分が誰を信じてかうか? ・全体:秋葉原に来る クレープ屋さんに来るお客さんの男女比 推定:クレープ屋さんにくる男性の確率 ・全体:サラリーマン 残業時間が月200時間をこえたか 推定:うつになるかどうか
  26. 26. 5.「ベイズ推定入門」2 第1章 こんなところにベイズ推定 ~ベイズ更新~
  27. 27. 第1章 こんなところにベイズ推定 ~ベイズ更新~  オオカミ少年の例
  28. 28.  オオカミ少年の例 第1章 こんなところにベイズ推定 ~ベイズ更新~
  29. 29. ▪ オオカミ少年の例 第1章 こんなところにベイズ推定 ~ベイズ更新~
  30. 30.  次にオオカミが来た時の確率を求めたい場合、1 回目の「オオカミ少年の例で出した確率」を「事 前確率」として、再度計算をする。 ⇒ベイズ更新  シミュレーションするとこんなグラフになります。 ▪ オオカミ少年の例 第1章 こんなところにベイズ推定 ~ベイズ更新~
  31. 31. ▪ オオカミ少年の例 第1章 こんなところにベイズ推定 ~ベイズ更新~
  32. 32. 6.グループワーク2(ベイズ更新を考える) グループワーク1で考えたパターンでベイズ更新をかんがえてみよう。
  33. 33. 6.グループワーク2(ベイズ更新を考 える) おさらい 事前分布に、得た情報を付け加えて更新を行うことをベ イズ更新といいます。 グループワーク1で考えたパターンでベイズ更新をか んがえてみよう。 事前分布P(X)を更新します。 P(X|Y) = P(Y|X) × P(X) それぞれの確率は、グループで決めてOKです。
  34. 34. 6.グループワーク2(ベイズ更新を考 える)  一番最初の事前確率などを決めて、更新させるまで2 0分  もとめたいのは P(Y|X)  P(Y)  P(X)  P(X|Y)  条件付確率の公式からも導けます  発表 各グループ3分  感想 各自2分程度
  35. 35. 7.「ベイズ推定入門」3 第2章 確率分布とベイズ推定、第3章 機械学習とベイズ推定
  36. 36. 第2章 確率分布とベイズ推定  ガウス分布 ※ 画像引用元:wikipedia σ が既知の場合 σ は標準偏差 σ2 は分散
  37. 37. 第2章 確率分布とベイズ推定  ガウス分布・・・条件付確率と考えることができる。  本書例:イノシシのすみかと足跡の所在  イノシシのすみかがここにあると、足跡はバラバラとここ いあるよ  ベイズ推定・・・上記の逆  本書例:足跡の様子からイノシシのすみかを探る
  38. 38. 第2章 確率分布とベイズ推定  モデル選択  推定した結果、予測をする、など  赤池情報量規準(AIC)・・・ [(-2)×{(最大対数尤度)-(パラメーターの個数)}] パラメータの数は少なめに 複雑なモデルであればあるほど、目の前にあるものに合わ せやすい。でもそれは目の前で起こったことを再現するこ とに集中しすぎていて、未だ知らないこれからのことを予 測することには注力で規定ない・・・過適合 オッカムのカミソリ(ニュートンの第3法則など)
  39. 39. 第2章 確率分布とベイズ推定  周辺尤度関数(エビデンス)を活用  この値が大きくなるようなハイパーパラメータを採用する  ハイパーパラメータ・・・事前分布の形を決めているパラ メータのこと  「調整」する  ベイズ情報量規準・・・ 自分たちが用意したモデルが真のモデルに合致している かどうかという一致性に注目したもの
  40. 40. 第3章 機械学習とベイズ推定  「事前情報」で値がどうなるかの前提条件を入れる  経験とモデルのあてはめをするのが尤度関数  直線の関係が基本なのだけれど、ばらつきも考慮してモデルを考える  直線が期待値で、ばらつき度合いが分散となるガウス分布がモデル の候補となる  正則なモデル  特異なモデル  活性化関数 単位ステップ関数・・・一気にレバーをぐいっと! シグモイド関数・・・レバーを少しずつ変える
  41. 41. 第3章 機械学習とベイズ推定  事前分布を利用した正則化 正則化・・・機械学習で過学習を防いだりするために、追 加の項を導入する手法 データに合わせすぎないようにすることで予測精度を保つ 外れ値を判断  内挿と外挿  内挿:得られているデータのx軸範囲内で作成したモデルの中 の点を埋めるのが内挿  外挿:得られているデータのx軸範囲外にモデル曲線を延長し た値を「予測して」追加するのが外挿
  42. 42. 8.おわりに
  43. 43. 8.終わりに 数式がほとんど出てこない勉強会は、ふ わふわとしたイメージだけでしかない イメージができれば、実際にやったとき に正しいかどうかを少しは判断できます。 (事前分布w) 4章以降は、ベイズを使いこなすように なってから
  44. 44. 本日おもちかえりいただけましたか?  ベイズ推定の基本の概念(集合のイメージ)  モデルの選択(本当に初歩的な考え方)  想像できるようになるために基礎を学ぶこと が必要 →グループワークでイメージをつかむ
  45. 45. 8.おわりに 感想 - - - - -
  46. 46. 参考文献  「ベイズ推定入門 モデル選択からベ イズ的最適化まで」 大関 真之 著  「統計学入門 (基礎統計学Ⅰ) 」 東京大学教養学部統計学教 室  データ指向のソフトウェア品質マネ ジメント―メトリクス分析による 「事実にもとづく管理」の実践 野 中 誠 (著), 小池 利和 (著), 小室 睦 (著)
  47. 47. 参考文献  集合・位相入門 松坂 和夫著  データ解析のための統計モデリング入門 ―― 一般化線形モデル・階層ベイズモデル・ MCMC (確率と情報の科学) 久保 拓弥著  岩波データサイエンス Vol.1 ベイズ推論とMCMCのフリーソフト 岩 波データサイエンス
  48. 48. ありがとうございました!

×