SlideShare a Scribd company logo
1 of 33
Download to read offline
ノンパラベイズ入門の入門

  2012/11/09 MLxPGstudy
中谷 秀洋 (@shuyo, id:n_shuyo)
     サイボウズ・ラボ
資料について
• やること
 – ベイズって何が嬉しいの?
 – ノンパラベイズって何が嬉しいの?
• やらないこと              えー数式のほうが
                      わかりやすいのに!
 – どうやって学習するの?
 – プログラミング
 – 数式
             数式ないって
             よかった~
パラメータの推定
- 最尤推定とベイジアン -
さて問題です。
問題 1
 • たかしくんがコインを 5 回投げたら、そ
   のうち 3 回表が出ました。このコインの
   表が出る確率を求めなさい。

つ、つっこまないぞ……
              では投げます!
                            3
                        解答:
                            5
問題 2
• たかしくんがコインを 5000 回投げたら、
  そのうち 3000 回表が出ました。このコ
  インの表が出る確率を求めなさい。



              3000       3
          解答:        =
              5000       5
どっちも同じ答えでいいの?
コインの確率は?
• 確率 1/2 のコインかも
 – たまたま「5回中、3回表」だっただけ
• 確率 1/5 のコインかも
 – たまたま「5回中、3回表」だっただけ
• 5000回なら「めっちゃ 3/5」っぽい
 – 何回以上なら 3/5 だって言ってもいい?
• これは「コイン投げ」のパラメータを求める
  問題
最尤推定
• お手本(訓練データ)の確率が最大になるよ
  うにパラメータを定める
 – 実際に起きていることが一番起きやすい!
• 「表表表裏裏」の確率が最大になるのは
  表の確率が 3/5 のとき
 – ラグランジュ未定乗数法とか使うと示せる
ベイジアン
             めっちゃ3/5!     • コインの確率は 3/5?
                            1/2? 1/5?
                              – それぞれの可能性を確
                                率で表す
                          • 答えが確率分布で求まる
                              – 青: 3表/5回
                              – 赤: 3000表/5000回
3/5 の可能性高め                • 情報量が多い
でも自信はない!!                     – 最尤推定だとどちらも
                                3/5 で区別できない



                     1つのチャートに収めるため、2つの縦の縮尺は異なっています
                 事前分布によってグラフの形は大きく変わります(図は Beta(1,1) の場合)
最尤推定 vs ベイジアン
• どっちがいいの?
 – どっちがいいとかそういうことではなく
 – 解き方はまだまだ他にもあるし
• 結局、問題やモデル次第
 – 最尤推定が適した問題なら最尤推定
 – ベイジアンが(ry
• ただし、この発表の中ではベイジアン推し
 – ノンパラベイスの話だからね!
具体例:言語モデル
言語モデル
• 文章のもっともらしさを数値化
  – もっともらしい文章に良い数値を返す
  – 確率的言語モデル:もっともらしさを確率で
• 簡単なモデルからスタートして、ノンパラベイズに
  たどり着くのを見ていきましょう


「もっともらしさ」           さりげに難しいこと
     って何?           聞いてくるねえ
ユニグラム(1-gram)
• 最も簡単な言語モデル
 – 文書の内の単語の確率を掛け算
 – お手本文書(コーパス)での各単語の割合が
   そのまま単語の確率に
  • 最尤推定!
                               この文章の確率
                              (もっともらしさ)

     I am a pen
   0.011×0.005×0.025×0.001 =1.375 × 10-9
ユニグラム(1-gram)

                     コーパスから作った単語分布

矢印は
文書の単語がこの単語分布に
従っているってこと




        アニメ     政治      IT




• 全ての文書に共通の単語分布を使う
  – 単語「マンガ」の確率はどの文書でも同じ
性能を上げたい!
文書ごとに単語分布を作ったら……




• 1つの単語分布を作るのに使えるデータが少ない
 – 共通の単語もいっぱいあるのに……
 – 機械学習の大原則「データが増えるほどよい」!
文書グループごとに単語分布を……




 アニメ       政治        IT
• 文書を「正しく」グループ分けするのは大変!!
 – 複数のグループに属するような文書はどうする?
 – 「ナイーブベイズモデル」は こっち方向
LSI (Latent Semantic Indexing)




     0.5   0.3   0.2




• 単語分布の個数 K は適当に決める(図は K=3)
 – 各文章の単語分布は K 個の単語分布を適当に混ぜる
 – 単語分布と混合比を同時に最尤推定(EMアルゴリズム)
もっと性能を上げたい!
LSI をベイズ化
• 最尤推定でパラメータを決定的に推定
 – 「それってたまたまじゃあないの?」問題
  • 他にもゼロ頻度問題とか(今はやらないけど)

• ベイズ化してみよう!
 – LSI のパラメータは単語分布と混合比
 – それらの可能性を分布として表現
ディリクレ分布
      (0,1,0)




                      (0.5,0.3,0.2)
                    (0,0,1)



          (0,0,1)                     (1,0,0)

• 足して1になる値の確率分布
 – 3次元の場合、三角形の上の分布と見なせる
 – 高次元でも同じ三角形イメージで
LDA (Latent Dirichlet Allocation)
                                    (0,
(0,       (0,                       0,1
0,1       0,1                        )
 )         )




• LSI の単語分布と混合比にディリクレ分布を入れる
      – ゼロ頻度対策しつつ、混合により多い情報を反映
• 言語モデルとして性能向上!
もっともっと性能を上げたい!
LDA をさらにベイズ化!?

                         (0
                         ,0
                         ,1
      (0   (0
                          )
      ,0   ,0
      ,1   ,1
       )    )




• 単語分布の個数 K と混合比のディリクレ分布のパラメータを
  適切に選ぶと、LDA の性能が上がる
• パラメータをベイズ化したら、学習時に自動的に決まる!
 – ……って、やりたいところだけど単純にはできない……
ベイズ化に都合のいい分布
         (共役事前分布)

• なんでもベイズ化できるわけではない
 – 推論に必要な積分が計算できないとツライ
• 「共役事前分布」
 – 推論に出てくる積分を計算しなくていい分布
 – 実はディリクレ分布は多項分布の共役事前分布
• ディリクレ分布に共役事前分布ある?
 – 一応あるけど、その分布自体すでに計算できない
ものすごく都合のいい分布
• ディリクレ分布の代わりに使えて、
• パラメータに分布を入れても計算できて、
• ついでに単語分布数 K も勝手に決めてく
  れる分布



そんな都合良すぎる分布
あるわけないよなあ……
ノンパラメトリックベイズ
ディリクレ過程 (Dirichlet Process)
                  乱暴にいうと、次数が可変のディリクレ分布




• 重み付きの空間(図の黒太線)から可変個の点を取っ
  て、それぞれに確率を与える分布
 – 縦線の本数が K に対応
 – 縦線の長さがそれぞれの点の確率に対応
• 可変個 → 「ノンパラメトリック」な分布
 – パラメータがないわけではない
階層ディリクレ過程 (HDP)
     • ディリクレ過程のパラメータに
       ディリクレ過程を入れる
      – 積分は出来ないが、これを解く
        方法がある(中華フランチャイズ
        過程など)




        やめてー
LSI をノンパラベイズ化!
                (HDP-LDA)

                            (0,
                            0,1
                   K         )




                                  …
• LSIの単語分布をベイズ化、混合比をHDPでノンパラベイズ化
  – 混合比分布のパラメータと単語分布の個数 K が自動的に決まる!
• 本質的には LDA と大きく変わるわけではない
  – 最適なパラメータを選択した LDA と同じ精度になる
ノンパラベイズの応用
• 階層化
 – パラメータの自動決定
   • チューニングに血道を上げなくても性能が出る
 – 複雑で高度なモデルの構築
   • sequence memoizer (最高性能の言語モデル)
   • 教師無し分かち書き
• 次数の自動決定
 – クラスタ数を事前に仮定したくないモデル
 – 物体認識, 音源推定, etc
• 実応用にはあともうちょっと?
 – 高速なオンライン&近似推論の決定版待望
まとめ
• ノンパラベイズはパラメトリックモデルの
  「究極進化形」(ポケモン的な意味で)
 – 「ノンパラメトリック」より「ウルトラパラメトリック」
   とか呼びたいかも (解空間がデータによらないし)
 – ホントのノンパラメトリックなベイズと区別しないの?
• 次に読むなら山本さん/持橋さんの資料がおすすめ
 – Topicに基づく統計的言語モデルの最前線 - PLSIからHDPまで-
 – http://chasen.org/~daiti-m/paper/topic2006.pdf
• 入門編(数式バリバリ)は Tokyo.ML(仮称)で!?
 – 開催時期の予定は未定


 ありがとうございました

More Related Content

What's hot

勾配ブースティングの基礎と最新の動向 (MIRU2020 Tutorial)
勾配ブースティングの基礎と最新の動向 (MIRU2020 Tutorial)勾配ブースティングの基礎と最新の動向 (MIRU2020 Tutorial)
勾配ブースティングの基礎と最新の動向 (MIRU2020 Tutorial)RyuichiKanoh
 
【解説】 一般逆行列
【解説】 一般逆行列【解説】 一般逆行列
【解説】 一般逆行列Kenjiro Sugimoto
 
変分推論法(変分ベイズ法)(PRML第10章)
変分推論法(変分ベイズ法)(PRML第10章)変分推論法(変分ベイズ法)(PRML第10章)
変分推論法(変分ベイズ法)(PRML第10章)Takao Yamanaka
 
最適化超入門
最適化超入門最適化超入門
最適化超入門Takami Sato
 
ベイズファクターとモデル選択
ベイズファクターとモデル選択ベイズファクターとモデル選択
ベイズファクターとモデル選択kazutantan
 
パターン認識と機械学習 §6.2 カーネル関数の構成
パターン認識と機械学習 §6.2 カーネル関数の構成パターン認識と機械学習 §6.2 カーネル関数の構成
パターン認識と機械学習 §6.2 カーネル関数の構成Prunus 1350
 
スパースモデリング、スパースコーディングとその数理(第11回WBA若手の会)
スパースモデリング、スパースコーディングとその数理(第11回WBA若手の会)スパースモデリング、スパースコーディングとその数理(第11回WBA若手の会)
スパースモデリング、スパースコーディングとその数理(第11回WBA若手の会)narumikanno0918
 
深層学習の数理
深層学習の数理深層学習の数理
深層学習の数理Taiji Suzuki
 
生成モデルの Deep Learning
生成モデルの Deep Learning生成モデルの Deep Learning
生成モデルの Deep LearningSeiya Tokui
 
2014 3 13(テンソル分解の基礎)
2014 3 13(テンソル分解の基礎)2014 3 13(テンソル分解の基礎)
2014 3 13(テンソル分解の基礎)Tatsuya Yokota
 
cvpaper.challenge 研究効率化 Tips
cvpaper.challenge 研究効率化 Tipscvpaper.challenge 研究効率化 Tips
cvpaper.challenge 研究効率化 Tipscvpaper. challenge
 
[DL輪読会]Deep Learning 第15章 表現学習
[DL輪読会]Deep Learning 第15章 表現学習[DL輪読会]Deep Learning 第15章 表現学習
[DL輪読会]Deep Learning 第15章 表現学習Deep Learning JP
 
PRML学習者から入る深層生成モデル入門
PRML学習者から入る深層生成モデル入門PRML学習者から入る深層生成モデル入門
PRML学習者から入る深層生成モデル入門tmtm otm
 
凸最適化 〜 双対定理とソルバーCVXPYの紹介 〜
凸最適化 〜 双対定理とソルバーCVXPYの紹介 〜凸最適化 〜 双対定理とソルバーCVXPYの紹介 〜
凸最適化 〜 双対定理とソルバーCVXPYの紹介 〜Tomoki Yoshida
 
マルコフ連鎖モンテカルロ法 (2/3はベイズ推定の話)
マルコフ連鎖モンテカルロ法 (2/3はベイズ推定の話)マルコフ連鎖モンテカルロ法 (2/3はベイズ推定の話)
マルコフ連鎖モンテカルロ法 (2/3はベイズ推定の話)Yoshitake Takebayashi
 
機械学習の理論と実践
機械学習の理論と実践機械学習の理論と実践
機械学習の理論と実践Preferred Networks
 
組合せ最適化入門:線形計画から整数計画まで
組合せ最適化入門:線形計画から整数計画まで組合せ最適化入門:線形計画から整数計画まで
組合せ最適化入門:線形計画から整数計画までShunji Umetani
 

What's hot (20)

勾配ブースティングの基礎と最新の動向 (MIRU2020 Tutorial)
勾配ブースティングの基礎と最新の動向 (MIRU2020 Tutorial)勾配ブースティングの基礎と最新の動向 (MIRU2020 Tutorial)
勾配ブースティングの基礎と最新の動向 (MIRU2020 Tutorial)
 
【解説】 一般逆行列
【解説】 一般逆行列【解説】 一般逆行列
【解説】 一般逆行列
 
変分推論法(変分ベイズ法)(PRML第10章)
変分推論法(変分ベイズ法)(PRML第10章)変分推論法(変分ベイズ法)(PRML第10章)
変分推論法(変分ベイズ法)(PRML第10章)
 
ELBO型VAEのダメなところ
ELBO型VAEのダメなところELBO型VAEのダメなところ
ELBO型VAEのダメなところ
 
最適化超入門
最適化超入門最適化超入門
最適化超入門
 
ベイズファクターとモデル選択
ベイズファクターとモデル選択ベイズファクターとモデル選択
ベイズファクターとモデル選択
 
パターン認識と機械学習 §6.2 カーネル関数の構成
パターン認識と機械学習 §6.2 カーネル関数の構成パターン認識と機械学習 §6.2 カーネル関数の構成
パターン認識と機械学習 §6.2 カーネル関数の構成
 
スパースモデリング、スパースコーディングとその数理(第11回WBA若手の会)
スパースモデリング、スパースコーディングとその数理(第11回WBA若手の会)スパースモデリング、スパースコーディングとその数理(第11回WBA若手の会)
スパースモデリング、スパースコーディングとその数理(第11回WBA若手の会)
 
MICの解説
MICの解説MICの解説
MICの解説
 
深層学習の数理
深層学習の数理深層学習の数理
深層学習の数理
 
生成モデルの Deep Learning
生成モデルの Deep Learning生成モデルの Deep Learning
生成モデルの Deep Learning
 
2014 3 13(テンソル分解の基礎)
2014 3 13(テンソル分解の基礎)2014 3 13(テンソル分解の基礎)
2014 3 13(テンソル分解の基礎)
 
cvpaper.challenge 研究効率化 Tips
cvpaper.challenge 研究効率化 Tipscvpaper.challenge 研究効率化 Tips
cvpaper.challenge 研究効率化 Tips
 
[DL輪読会]Deep Learning 第15章 表現学習
[DL輪読会]Deep Learning 第15章 表現学習[DL輪読会]Deep Learning 第15章 表現学習
[DL輪読会]Deep Learning 第15章 表現学習
 
PRML学習者から入る深層生成モデル入門
PRML学習者から入る深層生成モデル入門PRML学習者から入る深層生成モデル入門
PRML学習者から入る深層生成モデル入門
 
凸最適化 〜 双対定理とソルバーCVXPYの紹介 〜
凸最適化 〜 双対定理とソルバーCVXPYの紹介 〜凸最適化 〜 双対定理とソルバーCVXPYの紹介 〜
凸最適化 〜 双対定理とソルバーCVXPYの紹介 〜
 
マルコフ連鎖モンテカルロ法 (2/3はベイズ推定の話)
マルコフ連鎖モンテカルロ法 (2/3はベイズ推定の話)マルコフ連鎖モンテカルロ法 (2/3はベイズ推定の話)
マルコフ連鎖モンテカルロ法 (2/3はベイズ推定の話)
 
機械学習の理論と実践
機械学習の理論と実践機械学習の理論と実践
機械学習の理論と実践
 
組合せ最適化入門:線形計画から整数計画まで
組合せ最適化入門:線形計画から整数計画まで組合せ最適化入門:線形計画から整数計画まで
組合せ最適化入門:線形計画から整数計画まで
 
2 3.GLMの基礎
2 3.GLMの基礎2 3.GLMの基礎
2 3.GLMの基礎
 

Similar to ノンパラベイズ入門の入門

Deep learningbook chap7
Deep learningbook chap7Deep learningbook chap7
Deep learningbook chap7Shinsaku Kono
 
Approximate Scalable Bounded Space Sketch for Large Data NLP
Approximate Scalable Bounded Space Sketch for Large Data NLPApproximate Scalable Bounded Space Sketch for Large Data NLP
Approximate Scalable Bounded Space Sketch for Large Data NLPKoji Matsuda
 
岩波データサイエンス_Vol.5_勉強会資料01
岩波データサイエンス_Vol.5_勉強会資料01岩波データサイエンス_Vol.5_勉強会資料01
岩波データサイエンス_Vol.5_勉強会資料01goony0101
 
Mahoutにパッチを送ってみた
Mahoutにパッチを送ってみたMahoutにパッチを送ってみた
Mahoutにパッチを送ってみたissaymk2
 
Active Learning 入門
Active Learning 入門Active Learning 入門
Active Learning 入門Shuyo Nakatani
 
第五回統計学勉強会@東大駒場
第五回統計学勉強会@東大駒場第五回統計学勉強会@東大駒場
第五回統計学勉強会@東大駒場Daisuke Yoneoka
 
StanとRでベイズ統計モデリングに関する読書会(Osaka.stan) 第四章
StanとRでベイズ統計モデリングに関する読書会(Osaka.stan) 第四章StanとRでベイズ統計モデリングに関する読書会(Osaka.stan) 第四章
StanとRでベイズ統計モデリングに関する読書会(Osaka.stan) 第四章nocchi_airport
 
Santa fe trail 入門のお話
Santa fe trail 入門のお話Santa fe trail 入門のお話
Santa fe trail 入門のお話Takamasa Saichi
 
順序データでもベイズモデリング
順序データでもベイズモデリング順序データでもベイズモデリング
順序データでもベイズモデリング. .
 
質問応答システム入門
質問応答システム入門質問応答システム入門
質問応答システム入門Hiroyoshi Komatsu
 
Introduction to statistics
Introduction to statisticsIntroduction to statistics
Introduction to statisticsKohta Ishikawa
 
データサイエンス概論第一=4-2 確率と確率分布
データサイエンス概論第一=4-2 確率と確率分布データサイエンス概論第一=4-2 確率と確率分布
データサイエンス概論第一=4-2 確率と確率分布Seiichi Uchida
 
これは楽しい数学マジック(その1)
これは楽しい数学マジック(その1)これは楽しい数学マジック(その1)
これは楽しい数学マジック(その1)神戸大学
 
深層学習(岡本孝之 著) - Deep Learning chap.3_1
深層学習(岡本孝之 著) - Deep Learning chap.3_1深層学習(岡本孝之 著) - Deep Learning chap.3_1
深層学習(岡本孝之 著) - Deep Learning chap.3_1Masayoshi Kondo
 
Rm20150513 4key
Rm20150513 4keyRm20150513 4key
Rm20150513 4keyyouwatari
 
プログラミングコンテストでの乱択アルゴリズム
プログラミングコンテストでの乱択アルゴリズムプログラミングコンテストでの乱択アルゴリズム
プログラミングコンテストでの乱択アルゴリズムTakuya Akiba
 
AtCoder Regular Contest 017
AtCoder Regular Contest 017AtCoder Regular Contest 017
AtCoder Regular Contest 017AtCoder Inc.
 
A scalable probablistic classifier for language modeling: ACL 2011 読み会
A scalable probablistic classifier for language modeling: ACL 2011 読み会A scalable probablistic classifier for language modeling: ACL 2011 読み会
A scalable probablistic classifier for language modeling: ACL 2011 読み会正志 坪坂
 

Similar to ノンパラベイズ入門の入門 (20)

Deep learningbook chap7
Deep learningbook chap7Deep learningbook chap7
Deep learningbook chap7
 
Approximate Scalable Bounded Space Sketch for Large Data NLP
Approximate Scalable Bounded Space Sketch for Large Data NLPApproximate Scalable Bounded Space Sketch for Large Data NLP
Approximate Scalable Bounded Space Sketch for Large Data NLP
 
岩波データサイエンス_Vol.5_勉強会資料01
岩波データサイエンス_Vol.5_勉強会資料01岩波データサイエンス_Vol.5_勉強会資料01
岩波データサイエンス_Vol.5_勉強会資料01
 
Mahoutにパッチを送ってみた
Mahoutにパッチを送ってみたMahoutにパッチを送ってみた
Mahoutにパッチを送ってみた
 
Active Learning 入門
Active Learning 入門Active Learning 入門
Active Learning 入門
 
機械学習
機械学習機械学習
機械学習
 
第五回統計学勉強会@東大駒場
第五回統計学勉強会@東大駒場第五回統計学勉強会@東大駒場
第五回統計学勉強会@東大駒場
 
StanとRでベイズ統計モデリングに関する読書会(Osaka.stan) 第四章
StanとRでベイズ統計モデリングに関する読書会(Osaka.stan) 第四章StanとRでベイズ統計モデリングに関する読書会(Osaka.stan) 第四章
StanとRでベイズ統計モデリングに関する読書会(Osaka.stan) 第四章
 
Santa fe trail 入門のお話
Santa fe trail 入門のお話Santa fe trail 入門のお話
Santa fe trail 入門のお話
 
順序データでもベイズモデリング
順序データでもベイズモデリング順序データでもベイズモデリング
順序データでもベイズモデリング
 
Maeshori missing
Maeshori missingMaeshori missing
Maeshori missing
 
質問応答システム入門
質問応答システム入門質問応答システム入門
質問応答システム入門
 
Introduction to statistics
Introduction to statisticsIntroduction to statistics
Introduction to statistics
 
データサイエンス概論第一=4-2 確率と確率分布
データサイエンス概論第一=4-2 確率と確率分布データサイエンス概論第一=4-2 確率と確率分布
データサイエンス概論第一=4-2 確率と確率分布
 
これは楽しい数学マジック(その1)
これは楽しい数学マジック(その1)これは楽しい数学マジック(その1)
これは楽しい数学マジック(その1)
 
深層学習(岡本孝之 著) - Deep Learning chap.3_1
深層学習(岡本孝之 著) - Deep Learning chap.3_1深層学習(岡本孝之 著) - Deep Learning chap.3_1
深層学習(岡本孝之 著) - Deep Learning chap.3_1
 
Rm20150513 4key
Rm20150513 4keyRm20150513 4key
Rm20150513 4key
 
プログラミングコンテストでの乱択アルゴリズム
プログラミングコンテストでの乱択アルゴリズムプログラミングコンテストでの乱択アルゴリズム
プログラミングコンテストでの乱択アルゴリズム
 
AtCoder Regular Contest 017
AtCoder Regular Contest 017AtCoder Regular Contest 017
AtCoder Regular Contest 017
 
A scalable probablistic classifier for language modeling: ACL 2011 読み会
A scalable probablistic classifier for language modeling: ACL 2011 読み会A scalable probablistic classifier for language modeling: ACL 2011 読み会
A scalable probablistic classifier for language modeling: ACL 2011 読み会
 

More from Shuyo Nakatani

画像をテキストで検索したい!(OpenAI CLIP) - VRC-LT #15
画像をテキストで検索したい!(OpenAI CLIP) - VRC-LT #15画像をテキストで検索したい!(OpenAI CLIP) - VRC-LT #15
画像をテキストで検索したい!(OpenAI CLIP) - VRC-LT #15Shuyo Nakatani
 
Generative adversarial networks
Generative adversarial networksGenerative adversarial networks
Generative adversarial networksShuyo Nakatani
 
無限関係モデル (続・わかりやすいパターン認識 13章)
無限関係モデル (続・わかりやすいパターン認識 13章)無限関係モデル (続・わかりやすいパターン認識 13章)
無限関係モデル (続・わかりやすいパターン認識 13章)Shuyo Nakatani
 
Memory Networks (End-to-End Memory Networks の Chainer 実装)
Memory Networks (End-to-End Memory Networks の Chainer 実装)Memory Networks (End-to-End Memory Networks の Chainer 実装)
Memory Networks (End-to-End Memory Networks の Chainer 実装)Shuyo Nakatani
 
人工知能と機械学習の違いって?
人工知能と機械学習の違いって?人工知能と機械学習の違いって?
人工知能と機械学習の違いって?Shuyo Nakatani
 
RとStanでクラウドセットアップ時間を分析してみたら #TokyoR
RとStanでクラウドセットアップ時間を分析してみたら #TokyoRRとStanでクラウドセットアップ時間を分析してみたら #TokyoR
RとStanでクラウドセットアップ時間を分析してみたら #TokyoRShuyo Nakatani
 
ドラえもんでわかる統計的因果推論 #TokyoR
ドラえもんでわかる統計的因果推論 #TokyoRドラえもんでわかる統計的因果推論 #TokyoR
ドラえもんでわかる統計的因果推論 #TokyoRShuyo Nakatani
 
[Yang, Downey and Boyd-Graber 2015] Efficient Methods for Incorporating Knowl...
[Yang, Downey and Boyd-Graber 2015] Efficient Methods for Incorporating Knowl...[Yang, Downey and Boyd-Graber 2015] Efficient Methods for Incorporating Knowl...
[Yang, Downey and Boyd-Graber 2015] Efficient Methods for Incorporating Knowl...Shuyo Nakatani
 
星野「調査観察データの統計科学」第3章
星野「調査観察データの統計科学」第3章星野「調査観察データの統計科学」第3章
星野「調査観察データの統計科学」第3章Shuyo Nakatani
 
星野「調査観察データの統計科学」第1&2章
星野「調査観察データの統計科学」第1&2章星野「調査観察データの統計科学」第1&2章
星野「調査観察データの統計科学」第1&2章Shuyo Nakatani
 
言語処理するのに Python でいいの? #PyDataTokyo
言語処理するのに Python でいいの? #PyDataTokyo言語処理するのに Python でいいの? #PyDataTokyo
言語処理するのに Python でいいの? #PyDataTokyoShuyo Nakatani
 
Zipf? (ジップ則のひみつ?) #DSIRNLP
Zipf? (ジップ則のひみつ?) #DSIRNLPZipf? (ジップ則のひみつ?) #DSIRNLP
Zipf? (ジップ則のひみつ?) #DSIRNLPShuyo Nakatani
 
ACL2014 Reading: [Zhang+] "Kneser-Ney Smoothing on Expected Count" and [Pickh...
ACL2014 Reading: [Zhang+] "Kneser-Ney Smoothing on Expected Count" and [Pickh...ACL2014 Reading: [Zhang+] "Kneser-Ney Smoothing on Expected Count" and [Pickh...
ACL2014 Reading: [Zhang+] "Kneser-Ney Smoothing on Expected Count" and [Pickh...Shuyo Nakatani
 
ソーシャルメディアの多言語判定 #SoC2014
ソーシャルメディアの多言語判定 #SoC2014ソーシャルメディアの多言語判定 #SoC2014
ソーシャルメディアの多言語判定 #SoC2014Shuyo Nakatani
 
猫に教えてもらうルベーグ可測
猫に教えてもらうルベーグ可測猫に教えてもらうルベーグ可測
猫に教えてもらうルベーグ可測Shuyo Nakatani
 
アラビア語とペルシャ語の見分け方 #DSIRNLP 5
アラビア語とペルシャ語の見分け方 #DSIRNLP 5アラビア語とペルシャ語の見分け方 #DSIRNLP 5
アラビア語とペルシャ語の見分け方 #DSIRNLP 5Shuyo Nakatani
 
どの言語でつぶやかれたのか、機械が知る方法 #WebDBf2013
どの言語でつぶやかれたのか、機械が知る方法 #WebDBf2013どの言語でつぶやかれたのか、機械が知る方法 #WebDBf2013
どの言語でつぶやかれたのか、機械が知る方法 #WebDBf2013Shuyo Nakatani
 
数式を綺麗にプログラミングするコツ #spro2013
数式を綺麗にプログラミングするコツ #spro2013数式を綺麗にプログラミングするコツ #spro2013
数式を綺麗にプログラミングするコツ #spro2013Shuyo Nakatani
 
[Kim+ ICML2012] Dirichlet Process with Mixed Random Measures : A Nonparametri...
[Kim+ ICML2012] Dirichlet Process with Mixed Random Measures : A Nonparametri...[Kim+ ICML2012] Dirichlet Process with Mixed Random Measures : A Nonparametri...
[Kim+ ICML2012] Dirichlet Process with Mixed Random Measures : A Nonparametri...Shuyo Nakatani
 
Short Text Language Detection with Infinity-Gram
Short Text Language Detection with Infinity-GramShort Text Language Detection with Infinity-Gram
Short Text Language Detection with Infinity-GramShuyo Nakatani
 

More from Shuyo Nakatani (20)

画像をテキストで検索したい!(OpenAI CLIP) - VRC-LT #15
画像をテキストで検索したい!(OpenAI CLIP) - VRC-LT #15画像をテキストで検索したい!(OpenAI CLIP) - VRC-LT #15
画像をテキストで検索したい!(OpenAI CLIP) - VRC-LT #15
 
Generative adversarial networks
Generative adversarial networksGenerative adversarial networks
Generative adversarial networks
 
無限関係モデル (続・わかりやすいパターン認識 13章)
無限関係モデル (続・わかりやすいパターン認識 13章)無限関係モデル (続・わかりやすいパターン認識 13章)
無限関係モデル (続・わかりやすいパターン認識 13章)
 
Memory Networks (End-to-End Memory Networks の Chainer 実装)
Memory Networks (End-to-End Memory Networks の Chainer 実装)Memory Networks (End-to-End Memory Networks の Chainer 実装)
Memory Networks (End-to-End Memory Networks の Chainer 実装)
 
人工知能と機械学習の違いって?
人工知能と機械学習の違いって?人工知能と機械学習の違いって?
人工知能と機械学習の違いって?
 
RとStanでクラウドセットアップ時間を分析してみたら #TokyoR
RとStanでクラウドセットアップ時間を分析してみたら #TokyoRRとStanでクラウドセットアップ時間を分析してみたら #TokyoR
RとStanでクラウドセットアップ時間を分析してみたら #TokyoR
 
ドラえもんでわかる統計的因果推論 #TokyoR
ドラえもんでわかる統計的因果推論 #TokyoRドラえもんでわかる統計的因果推論 #TokyoR
ドラえもんでわかる統計的因果推論 #TokyoR
 
[Yang, Downey and Boyd-Graber 2015] Efficient Methods for Incorporating Knowl...
[Yang, Downey and Boyd-Graber 2015] Efficient Methods for Incorporating Knowl...[Yang, Downey and Boyd-Graber 2015] Efficient Methods for Incorporating Knowl...
[Yang, Downey and Boyd-Graber 2015] Efficient Methods for Incorporating Knowl...
 
星野「調査観察データの統計科学」第3章
星野「調査観察データの統計科学」第3章星野「調査観察データの統計科学」第3章
星野「調査観察データの統計科学」第3章
 
星野「調査観察データの統計科学」第1&2章
星野「調査観察データの統計科学」第1&2章星野「調査観察データの統計科学」第1&2章
星野「調査観察データの統計科学」第1&2章
 
言語処理するのに Python でいいの? #PyDataTokyo
言語処理するのに Python でいいの? #PyDataTokyo言語処理するのに Python でいいの? #PyDataTokyo
言語処理するのに Python でいいの? #PyDataTokyo
 
Zipf? (ジップ則のひみつ?) #DSIRNLP
Zipf? (ジップ則のひみつ?) #DSIRNLPZipf? (ジップ則のひみつ?) #DSIRNLP
Zipf? (ジップ則のひみつ?) #DSIRNLP
 
ACL2014 Reading: [Zhang+] "Kneser-Ney Smoothing on Expected Count" and [Pickh...
ACL2014 Reading: [Zhang+] "Kneser-Ney Smoothing on Expected Count" and [Pickh...ACL2014 Reading: [Zhang+] "Kneser-Ney Smoothing on Expected Count" and [Pickh...
ACL2014 Reading: [Zhang+] "Kneser-Ney Smoothing on Expected Count" and [Pickh...
 
ソーシャルメディアの多言語判定 #SoC2014
ソーシャルメディアの多言語判定 #SoC2014ソーシャルメディアの多言語判定 #SoC2014
ソーシャルメディアの多言語判定 #SoC2014
 
猫に教えてもらうルベーグ可測
猫に教えてもらうルベーグ可測猫に教えてもらうルベーグ可測
猫に教えてもらうルベーグ可測
 
アラビア語とペルシャ語の見分け方 #DSIRNLP 5
アラビア語とペルシャ語の見分け方 #DSIRNLP 5アラビア語とペルシャ語の見分け方 #DSIRNLP 5
アラビア語とペルシャ語の見分け方 #DSIRNLP 5
 
どの言語でつぶやかれたのか、機械が知る方法 #WebDBf2013
どの言語でつぶやかれたのか、機械が知る方法 #WebDBf2013どの言語でつぶやかれたのか、機械が知る方法 #WebDBf2013
どの言語でつぶやかれたのか、機械が知る方法 #WebDBf2013
 
数式を綺麗にプログラミングするコツ #spro2013
数式を綺麗にプログラミングするコツ #spro2013数式を綺麗にプログラミングするコツ #spro2013
数式を綺麗にプログラミングするコツ #spro2013
 
[Kim+ ICML2012] Dirichlet Process with Mixed Random Measures : A Nonparametri...
[Kim+ ICML2012] Dirichlet Process with Mixed Random Measures : A Nonparametri...[Kim+ ICML2012] Dirichlet Process with Mixed Random Measures : A Nonparametri...
[Kim+ ICML2012] Dirichlet Process with Mixed Random Measures : A Nonparametri...
 
Short Text Language Detection with Infinity-Gram
Short Text Language Detection with Infinity-GramShort Text Language Detection with Infinity-Gram
Short Text Language Detection with Infinity-Gram
 

Recently uploaded

2024 01 Virtual_Counselor
2024 01 Virtual_Counselor 2024 01 Virtual_Counselor
2024 01 Virtual_Counselor arts yokohama
 
IFIP IP3での資格制度を対象とする国際認定(IPSJ86全国大会シンポジウム)
IFIP IP3での資格制度を対象とする国際認定(IPSJ86全国大会シンポジウム)IFIP IP3での資格制度を対象とする国際認定(IPSJ86全国大会シンポジウム)
IFIP IP3での資格制度を対象とする国際認定(IPSJ86全国大会シンポジウム)ssuser539845
 
持続可能なDrupal Meetupのコツ - Drupal Meetup Tokyoの知見
持続可能なDrupal Meetupのコツ - Drupal Meetup Tokyoの知見持続可能なDrupal Meetupのコツ - Drupal Meetup Tokyoの知見
持続可能なDrupal Meetupのコツ - Drupal Meetup Tokyoの知見Shumpei Kishi
 
2024 02 Nihon-Tanken ~Towards a More Inclusive Japan~
2024 02 Nihon-Tanken ~Towards a More Inclusive Japan~2024 02 Nihon-Tanken ~Towards a More Inclusive Japan~
2024 02 Nihon-Tanken ~Towards a More Inclusive Japan~arts yokohama
 
「今からでも間に合う」GPTsによる 活用LT会 - 人とAIが協調するHumani-in-the-Loopへ
「今からでも間に合う」GPTsによる 活用LT会 - 人とAIが協調するHumani-in-the-Loopへ「今からでも間に合う」GPTsによる 活用LT会 - 人とAIが協調するHumani-in-the-Loopへ
「今からでも間に合う」GPTsによる 活用LT会 - 人とAIが協調するHumani-in-the-LoopへTetsuya Nihonmatsu
 
20240326_IoTLT_vol109_kitazaki_v1___.pdf
20240326_IoTLT_vol109_kitazaki_v1___.pdf20240326_IoTLT_vol109_kitazaki_v1___.pdf
20240326_IoTLT_vol109_kitazaki_v1___.pdfAyachika Kitazaki
 
TaketoFujikawa_台本中の動作表現に基づくアニメーション原画システムの提案_SIGEC71.pdf
TaketoFujikawa_台本中の動作表現に基づくアニメーション原画システムの提案_SIGEC71.pdfTaketoFujikawa_台本中の動作表現に基づくアニメーション原画システムの提案_SIGEC71.pdf
TaketoFujikawa_台本中の動作表現に基づくアニメーション原画システムの提案_SIGEC71.pdfMatsushita Laboratory
 
情報処理学会86回全国大会_Generic OAMをDeep Learning技術によって実現するための課題と解決方法
情報処理学会86回全国大会_Generic OAMをDeep Learning技術によって実現するための課題と解決方法情報処理学会86回全国大会_Generic OAMをDeep Learning技術によって実現するための課題と解決方法
情報処理学会86回全国大会_Generic OAMをDeep Learning技術によって実現するための課題と解決方法ssuser370dd7
 

Recently uploaded (11)

2024 01 Virtual_Counselor
2024 01 Virtual_Counselor 2024 01 Virtual_Counselor
2024 01 Virtual_Counselor
 
IFIP IP3での資格制度を対象とする国際認定(IPSJ86全国大会シンポジウム)
IFIP IP3での資格制度を対象とする国際認定(IPSJ86全国大会シンポジウム)IFIP IP3での資格制度を対象とする国際認定(IPSJ86全国大会シンポジウム)
IFIP IP3での資格制度を対象とする国際認定(IPSJ86全国大会シンポジウム)
 
持続可能なDrupal Meetupのコツ - Drupal Meetup Tokyoの知見
持続可能なDrupal Meetupのコツ - Drupal Meetup Tokyoの知見持続可能なDrupal Meetupのコツ - Drupal Meetup Tokyoの知見
持続可能なDrupal Meetupのコツ - Drupal Meetup Tokyoの知見
 
2024 03 CTEA
2024 03 CTEA2024 03 CTEA
2024 03 CTEA
 
2024 02 Nihon-Tanken ~Towards a More Inclusive Japan~
2024 02 Nihon-Tanken ~Towards a More Inclusive Japan~2024 02 Nihon-Tanken ~Towards a More Inclusive Japan~
2024 02 Nihon-Tanken ~Towards a More Inclusive Japan~
 
「今からでも間に合う」GPTsによる 活用LT会 - 人とAIが協調するHumani-in-the-Loopへ
「今からでも間に合う」GPTsによる 活用LT会 - 人とAIが協調するHumani-in-the-Loopへ「今からでも間に合う」GPTsによる 活用LT会 - 人とAIが協調するHumani-in-the-Loopへ
「今からでも間に合う」GPTsによる 活用LT会 - 人とAIが協調するHumani-in-the-Loopへ
 
2024 04 minnanoito
2024 04 minnanoito2024 04 minnanoito
2024 04 minnanoito
 
20240326_IoTLT_vol109_kitazaki_v1___.pdf
20240326_IoTLT_vol109_kitazaki_v1___.pdf20240326_IoTLT_vol109_kitazaki_v1___.pdf
20240326_IoTLT_vol109_kitazaki_v1___.pdf
 
TaketoFujikawa_台本中の動作表現に基づくアニメーション原画システムの提案_SIGEC71.pdf
TaketoFujikawa_台本中の動作表現に基づくアニメーション原画システムの提案_SIGEC71.pdfTaketoFujikawa_台本中の動作表現に基づくアニメーション原画システムの提案_SIGEC71.pdf
TaketoFujikawa_台本中の動作表現に基づくアニメーション原画システムの提案_SIGEC71.pdf
 
情報処理学会86回全国大会_Generic OAMをDeep Learning技術によって実現するための課題と解決方法
情報処理学会86回全国大会_Generic OAMをDeep Learning技術によって実現するための課題と解決方法情報処理学会86回全国大会_Generic OAMをDeep Learning技術によって実現するための課題と解決方法
情報処理学会86回全国大会_Generic OAMをDeep Learning技術によって実現するための課題と解決方法
 
What is the world where you can make your own semiconductors?
What is the world where you can make your own semiconductors?What is the world where you can make your own semiconductors?
What is the world where you can make your own semiconductors?
 

ノンパラベイズ入門の入門

  • 1. ノンパラベイズ入門の入門 2012/11/09 MLxPGstudy 中谷 秀洋 (@shuyo, id:n_shuyo) サイボウズ・ラボ
  • 2. 資料について • やること – ベイズって何が嬉しいの? – ノンパラベイズって何が嬉しいの? • やらないこと えー数式のほうが わかりやすいのに! – どうやって学習するの? – プログラミング – 数式 数式ないって よかった~
  • 5. 問題 1 • たかしくんがコインを 5 回投げたら、そ のうち 3 回表が出ました。このコインの 表が出る確率を求めなさい。 つ、つっこまないぞ…… では投げます! 3 解答: 5
  • 6. 問題 2 • たかしくんがコインを 5000 回投げたら、 そのうち 3000 回表が出ました。このコ インの表が出る確率を求めなさい。 3000 3 解答: = 5000 5
  • 8. コインの確率は? • 確率 1/2 のコインかも – たまたま「5回中、3回表」だっただけ • 確率 1/5 のコインかも – たまたま「5回中、3回表」だっただけ • 5000回なら「めっちゃ 3/5」っぽい – 何回以上なら 3/5 だって言ってもいい? • これは「コイン投げ」のパラメータを求める 問題
  • 9. 最尤推定 • お手本(訓練データ)の確率が最大になるよ うにパラメータを定める – 実際に起きていることが一番起きやすい! • 「表表表裏裏」の確率が最大になるのは 表の確率が 3/5 のとき – ラグランジュ未定乗数法とか使うと示せる
  • 10. ベイジアン めっちゃ3/5! • コインの確率は 3/5? 1/2? 1/5? – それぞれの可能性を確 率で表す • 答えが確率分布で求まる – 青: 3表/5回 – 赤: 3000表/5000回 3/5 の可能性高め • 情報量が多い でも自信はない!! – 最尤推定だとどちらも 3/5 で区別できない 1つのチャートに収めるため、2つの縦の縮尺は異なっています 事前分布によってグラフの形は大きく変わります(図は Beta(1,1) の場合)
  • 11. 最尤推定 vs ベイジアン • どっちがいいの? – どっちがいいとかそういうことではなく – 解き方はまだまだ他にもあるし • 結局、問題やモデル次第 – 最尤推定が適した問題なら最尤推定 – ベイジアンが(ry • ただし、この発表の中ではベイジアン推し – ノンパラベイスの話だからね!
  • 13. 言語モデル • 文章のもっともらしさを数値化 – もっともらしい文章に良い数値を返す – 確率的言語モデル:もっともらしさを確率で • 簡単なモデルからスタートして、ノンパラベイズに たどり着くのを見ていきましょう 「もっともらしさ」 さりげに難しいこと って何? 聞いてくるねえ
  • 14. ユニグラム(1-gram) • 最も簡単な言語モデル – 文書の内の単語の確率を掛け算 – お手本文書(コーパス)での各単語の割合が そのまま単語の確率に • 最尤推定! この文章の確率 (もっともらしさ) I am a pen 0.011×0.005×0.025×0.001 =1.375 × 10-9
  • 15. ユニグラム(1-gram) コーパスから作った単語分布 矢印は 文書の単語がこの単語分布に 従っているってこと アニメ 政治 IT • 全ての文書に共通の単語分布を使う – 単語「マンガ」の確率はどの文書でも同じ
  • 17. 文書ごとに単語分布を作ったら…… • 1つの単語分布を作るのに使えるデータが少ない – 共通の単語もいっぱいあるのに…… – 機械学習の大原則「データが増えるほどよい」!
  • 18. 文書グループごとに単語分布を…… アニメ 政治 IT • 文書を「正しく」グループ分けするのは大変!! – 複数のグループに属するような文書はどうする? – 「ナイーブベイズモデル」は こっち方向
  • 19. LSI (Latent Semantic Indexing) 0.5 0.3 0.2 • 単語分布の個数 K は適当に決める(図は K=3) – 各文章の単語分布は K 個の単語分布を適当に混ぜる – 単語分布と混合比を同時に最尤推定(EMアルゴリズム)
  • 21. LSI をベイズ化 • 最尤推定でパラメータを決定的に推定 – 「それってたまたまじゃあないの?」問題 • 他にもゼロ頻度問題とか(今はやらないけど) • ベイズ化してみよう! – LSI のパラメータは単語分布と混合比 – それらの可能性を分布として表現
  • 22. ディリクレ分布 (0,1,0) (0.5,0.3,0.2) (0,0,1) (0,0,1) (1,0,0) • 足して1になる値の確率分布 – 3次元の場合、三角形の上の分布と見なせる – 高次元でも同じ三角形イメージで
  • 23. LDA (Latent Dirichlet Allocation) (0, (0, (0, 0,1 0,1 0,1 ) ) ) • LSI の単語分布と混合比にディリクレ分布を入れる – ゼロ頻度対策しつつ、混合により多い情報を反映 • 言語モデルとして性能向上!
  • 25. LDA をさらにベイズ化!? (0 ,0 ,1 (0 (0 ) ,0 ,0 ,1 ,1 ) ) • 単語分布の個数 K と混合比のディリクレ分布のパラメータを 適切に選ぶと、LDA の性能が上がる • パラメータをベイズ化したら、学習時に自動的に決まる! – ……って、やりたいところだけど単純にはできない……
  • 26. ベイズ化に都合のいい分布 (共役事前分布) • なんでもベイズ化できるわけではない – 推論に必要な積分が計算できないとツライ • 「共役事前分布」 – 推論に出てくる積分を計算しなくていい分布 – 実はディリクレ分布は多項分布の共役事前分布 • ディリクレ分布に共役事前分布ある? – 一応あるけど、その分布自体すでに計算できない
  • 27. ものすごく都合のいい分布 • ディリクレ分布の代わりに使えて、 • パラメータに分布を入れても計算できて、 • ついでに単語分布数 K も勝手に決めてく れる分布 そんな都合良すぎる分布 あるわけないよなあ……
  • 29. ディリクレ過程 (Dirichlet Process) 乱暴にいうと、次数が可変のディリクレ分布 • 重み付きの空間(図の黒太線)から可変個の点を取っ て、それぞれに確率を与える分布 – 縦線の本数が K に対応 – 縦線の長さがそれぞれの点の確率に対応 • 可変個 → 「ノンパラメトリック」な分布 – パラメータがないわけではない
  • 30. 階層ディリクレ過程 (HDP) • ディリクレ過程のパラメータに ディリクレ過程を入れる – 積分は出来ないが、これを解く 方法がある(中華フランチャイズ 過程など) やめてー
  • 31. LSI をノンパラベイズ化! (HDP-LDA) (0, 0,1 K ) … • LSIの単語分布をベイズ化、混合比をHDPでノンパラベイズ化 – 混合比分布のパラメータと単語分布の個数 K が自動的に決まる! • 本質的には LDA と大きく変わるわけではない – 最適なパラメータを選択した LDA と同じ精度になる
  • 32. ノンパラベイズの応用 • 階層化 – パラメータの自動決定 • チューニングに血道を上げなくても性能が出る – 複雑で高度なモデルの構築 • sequence memoizer (最高性能の言語モデル) • 教師無し分かち書き • 次数の自動決定 – クラスタ数を事前に仮定したくないモデル – 物体認識, 音源推定, etc • 実応用にはあともうちょっと? – 高速なオンライン&近似推論の決定版待望
  • 33. まとめ • ノンパラベイズはパラメトリックモデルの 「究極進化形」(ポケモン的な意味で) – 「ノンパラメトリック」より「ウルトラパラメトリック」 とか呼びたいかも (解空間がデータによらないし) – ホントのノンパラメトリックなベイズと区別しないの? • 次に読むなら山本さん/持橋さんの資料がおすすめ – Topicに基づく統計的言語モデルの最前線 - PLSIからHDPまで- – http://chasen.org/~daiti-m/paper/topic2006.pdf • 入門編(数式バリバリ)は Tokyo.ML(仮称)で!? – 開催時期の予定は未定 ありがとうございました