Submit Search
Upload
ノンパラベイズ入門の入門
•
121 likes
•
27,430 views
S
Shuyo Nakatani
Follow
機械学習×プログラミング勉強会 vol.2 での発表資料です。 ベイズの何が嬉しいか、ノンパラベイズの何が嬉しいかを数式を使わず語ります。
Read less
Read more
Technology
Report
Share
Report
Share
1 of 33
Download Now
Download to read offline
Recommended
グラフィカルモデル入門
グラフィカルモデル入門
Kawamoto_Kazuhiko
ベイズ統計学の概論的紹介
ベイズ統計学の概論的紹介
Naoki Hayashi
階層ベイズとWAIC
階層ベイズとWAIC
Hiroshi Shimizu
ようやく分かった!最尤推定とベイズ推定
ようやく分かった!最尤推定とベイズ推定
Akira Masuda
劣モジュラ最適化と機械学習1章
劣モジュラ最適化と機械学習1章
Hakky St
[研究室論文紹介用スライド] Adversarial Contrastive Estimation
[研究室論文紹介用スライド] Adversarial Contrastive Estimation
Makoto Takenaka
PCAの最終形態GPLVMの解説
PCAの最終形態GPLVMの解説
弘毅 露崎
深層生成モデルと世界モデル
深層生成モデルと世界モデル
Masahiro Suzuki
More Related Content
What's hot
勾配ブースティングの基礎と最新の動向 (MIRU2020 Tutorial)
勾配ブースティングの基礎と最新の動向 (MIRU2020 Tutorial)
RyuichiKanoh
【解説】 一般逆行列
【解説】 一般逆行列
Kenjiro Sugimoto
変分推論法(変分ベイズ法)(PRML第10章)
変分推論法(変分ベイズ法)(PRML第10章)
Takao Yamanaka
ELBO型VAEのダメなところ
ELBO型VAEのダメなところ
KCS Keio Computer Society
最適化超入門
最適化超入門
Takami Sato
ベイズファクターとモデル選択
ベイズファクターとモデル選択
kazutantan
パターン認識と機械学習 §6.2 カーネル関数の構成
パターン認識と機械学習 §6.2 カーネル関数の構成
Prunus 1350
スパースモデリング、スパースコーディングとその数理(第11回WBA若手の会)
スパースモデリング、スパースコーディングとその数理(第11回WBA若手の会)
narumikanno0918
MICの解説
MICの解説
logics-of-blue
深層学習の数理
深層学習の数理
Taiji Suzuki
生成モデルの Deep Learning
生成モデルの Deep Learning
Seiya Tokui
2014 3 13(テンソル分解の基礎)
2014 3 13(テンソル分解の基礎)
Tatsuya Yokota
cvpaper.challenge 研究効率化 Tips
cvpaper.challenge 研究効率化 Tips
cvpaper. challenge
[DL輪読会]Deep Learning 第15章 表現学習
[DL輪読会]Deep Learning 第15章 表現学習
Deep Learning JP
PRML学習者から入る深層生成モデル入門
PRML学習者から入る深層生成モデル入門
tmtm otm
凸最適化 〜 双対定理とソルバーCVXPYの紹介 〜
凸最適化 〜 双対定理とソルバーCVXPYの紹介 〜
Tomoki Yoshida
マルコフ連鎖モンテカルロ法 (2/3はベイズ推定の話)
マルコフ連鎖モンテカルロ法 (2/3はベイズ推定の話)
Yoshitake Takebayashi
機械学習の理論と実践
機械学習の理論と実践
Preferred Networks
組合せ最適化入門:線形計画から整数計画まで
組合せ最適化入門:線形計画から整数計画まで
Shunji Umetani
2 3.GLMの基礎
2 3.GLMの基礎
logics-of-blue
What's hot
(20)
勾配ブースティングの基礎と最新の動向 (MIRU2020 Tutorial)
勾配ブースティングの基礎と最新の動向 (MIRU2020 Tutorial)
【解説】 一般逆行列
【解説】 一般逆行列
変分推論法(変分ベイズ法)(PRML第10章)
変分推論法(変分ベイズ法)(PRML第10章)
ELBO型VAEのダメなところ
ELBO型VAEのダメなところ
最適化超入門
最適化超入門
ベイズファクターとモデル選択
ベイズファクターとモデル選択
パターン認識と機械学習 §6.2 カーネル関数の構成
パターン認識と機械学習 §6.2 カーネル関数の構成
スパースモデリング、スパースコーディングとその数理(第11回WBA若手の会)
スパースモデリング、スパースコーディングとその数理(第11回WBA若手の会)
MICの解説
MICの解説
深層学習の数理
深層学習の数理
生成モデルの Deep Learning
生成モデルの Deep Learning
2014 3 13(テンソル分解の基礎)
2014 3 13(テンソル分解の基礎)
cvpaper.challenge 研究効率化 Tips
cvpaper.challenge 研究効率化 Tips
[DL輪読会]Deep Learning 第15章 表現学習
[DL輪読会]Deep Learning 第15章 表現学習
PRML学習者から入る深層生成モデル入門
PRML学習者から入る深層生成モデル入門
凸最適化 〜 双対定理とソルバーCVXPYの紹介 〜
凸最適化 〜 双対定理とソルバーCVXPYの紹介 〜
マルコフ連鎖モンテカルロ法 (2/3はベイズ推定の話)
マルコフ連鎖モンテカルロ法 (2/3はベイズ推定の話)
機械学習の理論と実践
機械学習の理論と実践
組合せ最適化入門:線形計画から整数計画まで
組合せ最適化入門:線形計画から整数計画まで
2 3.GLMの基礎
2 3.GLMの基礎
Similar to ノンパラベイズ入門の入門
Deep learningbook chap7
Deep learningbook chap7
Shinsaku Kono
Approximate Scalable Bounded Space Sketch for Large Data NLP
Approximate Scalable Bounded Space Sketch for Large Data NLP
Koji Matsuda
岩波データサイエンス_Vol.5_勉強会資料01
岩波データサイエンス_Vol.5_勉強会資料01
goony0101
Mahoutにパッチを送ってみた
Mahoutにパッチを送ってみた
issaymk2
Active Learning 入門
Active Learning 入門
Shuyo Nakatani
機械学習
機械学習
Hikaru Takemura
第五回統計学勉強会@東大駒場
第五回統計学勉強会@東大駒場
Daisuke Yoneoka
StanとRでベイズ統計モデリングに関する読書会(Osaka.stan) 第四章
StanとRでベイズ統計モデリングに関する読書会(Osaka.stan) 第四章
nocchi_airport
Santa fe trail 入門のお話
Santa fe trail 入門のお話
Takamasa Saichi
順序データでもベイズモデリング
順序データでもベイズモデリング
. .
Maeshori missing
Maeshori missing
Daisuke Ichikawa
質問応答システム入門
質問応答システム入門
Hiroyoshi Komatsu
Introduction to statistics
Introduction to statistics
Kohta Ishikawa
データサイエンス概論第一=4-2 確率と確率分布
データサイエンス概論第一=4-2 確率と確率分布
Seiichi Uchida
これは楽しい数学マジック(その1)
これは楽しい数学マジック(その1)
神戸大学
深層学習(岡本孝之 著) - Deep Learning chap.3_1
深層学習(岡本孝之 著) - Deep Learning chap.3_1
Masayoshi Kondo
Rm20150513 4key
Rm20150513 4key
youwatari
プログラミングコンテストでの乱択アルゴリズム
プログラミングコンテストでの乱択アルゴリズム
Takuya Akiba
AtCoder Regular Contest 017
AtCoder Regular Contest 017
AtCoder Inc.
A scalable probablistic classifier for language modeling: ACL 2011 読み会
A scalable probablistic classifier for language modeling: ACL 2011 読み会
正志 坪坂
Similar to ノンパラベイズ入門の入門
(20)
Deep learningbook chap7
Deep learningbook chap7
Approximate Scalable Bounded Space Sketch for Large Data NLP
Approximate Scalable Bounded Space Sketch for Large Data NLP
岩波データサイエンス_Vol.5_勉強会資料01
岩波データサイエンス_Vol.5_勉強会資料01
Mahoutにパッチを送ってみた
Mahoutにパッチを送ってみた
Active Learning 入門
Active Learning 入門
機械学習
機械学習
第五回統計学勉強会@東大駒場
第五回統計学勉強会@東大駒場
StanとRでベイズ統計モデリングに関する読書会(Osaka.stan) 第四章
StanとRでベイズ統計モデリングに関する読書会(Osaka.stan) 第四章
Santa fe trail 入門のお話
Santa fe trail 入門のお話
順序データでもベイズモデリング
順序データでもベイズモデリング
Maeshori missing
Maeshori missing
質問応答システム入門
質問応答システム入門
Introduction to statistics
Introduction to statistics
データサイエンス概論第一=4-2 確率と確率分布
データサイエンス概論第一=4-2 確率と確率分布
これは楽しい数学マジック(その1)
これは楽しい数学マジック(その1)
深層学習(岡本孝之 著) - Deep Learning chap.3_1
深層学習(岡本孝之 著) - Deep Learning chap.3_1
Rm20150513 4key
Rm20150513 4key
プログラミングコンテストでの乱択アルゴリズム
プログラミングコンテストでの乱択アルゴリズム
AtCoder Regular Contest 017
AtCoder Regular Contest 017
A scalable probablistic classifier for language modeling: ACL 2011 読み会
A scalable probablistic classifier for language modeling: ACL 2011 読み会
More from Shuyo Nakatani
画像をテキストで検索したい!(OpenAI CLIP) - VRC-LT #15
画像をテキストで検索したい!(OpenAI CLIP) - VRC-LT #15
Shuyo Nakatani
Generative adversarial networks
Generative adversarial networks
Shuyo Nakatani
無限関係モデル (続・わかりやすいパターン認識 13章)
無限関係モデル (続・わかりやすいパターン認識 13章)
Shuyo Nakatani
Memory Networks (End-to-End Memory Networks の Chainer 実装)
Memory Networks (End-to-End Memory Networks の Chainer 実装)
Shuyo Nakatani
人工知能と機械学習の違いって?
人工知能と機械学習の違いって?
Shuyo Nakatani
RとStanでクラウドセットアップ時間を分析してみたら #TokyoR
RとStanでクラウドセットアップ時間を分析してみたら #TokyoR
Shuyo Nakatani
ドラえもんでわかる統計的因果推論 #TokyoR
ドラえもんでわかる統計的因果推論 #TokyoR
Shuyo Nakatani
[Yang, Downey and Boyd-Graber 2015] Efficient Methods for Incorporating Knowl...
[Yang, Downey and Boyd-Graber 2015] Efficient Methods for Incorporating Knowl...
Shuyo Nakatani
星野「調査観察データの統計科学」第3章
星野「調査観察データの統計科学」第3章
Shuyo Nakatani
星野「調査観察データの統計科学」第1&2章
星野「調査観察データの統計科学」第1&2章
Shuyo Nakatani
言語処理するのに Python でいいの? #PyDataTokyo
言語処理するのに Python でいいの? #PyDataTokyo
Shuyo Nakatani
Zipf? (ジップ則のひみつ?) #DSIRNLP
Zipf? (ジップ則のひみつ?) #DSIRNLP
Shuyo Nakatani
ACL2014 Reading: [Zhang+] "Kneser-Ney Smoothing on Expected Count" and [Pickh...
ACL2014 Reading: [Zhang+] "Kneser-Ney Smoothing on Expected Count" and [Pickh...
Shuyo Nakatani
ソーシャルメディアの多言語判定 #SoC2014
ソーシャルメディアの多言語判定 #SoC2014
Shuyo Nakatani
猫に教えてもらうルベーグ可測
猫に教えてもらうルベーグ可測
Shuyo Nakatani
アラビア語とペルシャ語の見分け方 #DSIRNLP 5
アラビア語とペルシャ語の見分け方 #DSIRNLP 5
Shuyo Nakatani
どの言語でつぶやかれたのか、機械が知る方法 #WebDBf2013
どの言語でつぶやかれたのか、機械が知る方法 #WebDBf2013
Shuyo Nakatani
数式を綺麗にプログラミングするコツ #spro2013
数式を綺麗にプログラミングするコツ #spro2013
Shuyo Nakatani
[Kim+ ICML2012] Dirichlet Process with Mixed Random Measures : A Nonparametri...
[Kim+ ICML2012] Dirichlet Process with Mixed Random Measures : A Nonparametri...
Shuyo Nakatani
Short Text Language Detection with Infinity-Gram
Short Text Language Detection with Infinity-Gram
Shuyo Nakatani
More from Shuyo Nakatani
(20)
画像をテキストで検索したい!(OpenAI CLIP) - VRC-LT #15
画像をテキストで検索したい!(OpenAI CLIP) - VRC-LT #15
Generative adversarial networks
Generative adversarial networks
無限関係モデル (続・わかりやすいパターン認識 13章)
無限関係モデル (続・わかりやすいパターン認識 13章)
Memory Networks (End-to-End Memory Networks の Chainer 実装)
Memory Networks (End-to-End Memory Networks の Chainer 実装)
人工知能と機械学習の違いって?
人工知能と機械学習の違いって?
RとStanでクラウドセットアップ時間を分析してみたら #TokyoR
RとStanでクラウドセットアップ時間を分析してみたら #TokyoR
ドラえもんでわかる統計的因果推論 #TokyoR
ドラえもんでわかる統計的因果推論 #TokyoR
[Yang, Downey and Boyd-Graber 2015] Efficient Methods for Incorporating Knowl...
[Yang, Downey and Boyd-Graber 2015] Efficient Methods for Incorporating Knowl...
星野「調査観察データの統計科学」第3章
星野「調査観察データの統計科学」第3章
星野「調査観察データの統計科学」第1&2章
星野「調査観察データの統計科学」第1&2章
言語処理するのに Python でいいの? #PyDataTokyo
言語処理するのに Python でいいの? #PyDataTokyo
Zipf? (ジップ則のひみつ?) #DSIRNLP
Zipf? (ジップ則のひみつ?) #DSIRNLP
ACL2014 Reading: [Zhang+] "Kneser-Ney Smoothing on Expected Count" and [Pickh...
ACL2014 Reading: [Zhang+] "Kneser-Ney Smoothing on Expected Count" and [Pickh...
ソーシャルメディアの多言語判定 #SoC2014
ソーシャルメディアの多言語判定 #SoC2014
猫に教えてもらうルベーグ可測
猫に教えてもらうルベーグ可測
アラビア語とペルシャ語の見分け方 #DSIRNLP 5
アラビア語とペルシャ語の見分け方 #DSIRNLP 5
どの言語でつぶやかれたのか、機械が知る方法 #WebDBf2013
どの言語でつぶやかれたのか、機械が知る方法 #WebDBf2013
数式を綺麗にプログラミングするコツ #spro2013
数式を綺麗にプログラミングするコツ #spro2013
[Kim+ ICML2012] Dirichlet Process with Mixed Random Measures : A Nonparametri...
[Kim+ ICML2012] Dirichlet Process with Mixed Random Measures : A Nonparametri...
Short Text Language Detection with Infinity-Gram
Short Text Language Detection with Infinity-Gram
Recently uploaded
2024 01 Virtual_Counselor
2024 01 Virtual_Counselor
arts yokohama
IFIP IP3での資格制度を対象とする国際認定(IPSJ86全国大会シンポジウム)
IFIP IP3での資格制度を対象とする国際認定(IPSJ86全国大会シンポジウム)
ssuser539845
持続可能なDrupal Meetupのコツ - Drupal Meetup Tokyoの知見
持続可能なDrupal Meetupのコツ - Drupal Meetup Tokyoの知見
Shumpei Kishi
2024 03 CTEA
2024 03 CTEA
arts yokohama
2024 02 Nihon-Tanken ~Towards a More Inclusive Japan~
2024 02 Nihon-Tanken ~Towards a More Inclusive Japan~
arts yokohama
「今からでも間に合う」GPTsによる 活用LT会 - 人とAIが協調するHumani-in-the-Loopへ
「今からでも間に合う」GPTsによる 活用LT会 - 人とAIが協調するHumani-in-the-Loopへ
Tetsuya Nihonmatsu
2024 04 minnanoito
2024 04 minnanoito
arts yokohama
20240326_IoTLT_vol109_kitazaki_v1___.pdf
20240326_IoTLT_vol109_kitazaki_v1___.pdf
Ayachika Kitazaki
TaketoFujikawa_台本中の動作表現に基づくアニメーション原画システムの提案_SIGEC71.pdf
TaketoFujikawa_台本中の動作表現に基づくアニメーション原画システムの提案_SIGEC71.pdf
Matsushita Laboratory
情報処理学会86回全国大会_Generic OAMをDeep Learning技術によって実現するための課題と解決方法
情報処理学会86回全国大会_Generic OAMをDeep Learning技術によって実現するための課題と解決方法
ssuser370dd7
What is the world where you can make your own semiconductors?
What is the world where you can make your own semiconductors?
Industrial Technology Research Institute (ITRI)(工業技術研究院, 工研院)
Recently uploaded
(11)
2024 01 Virtual_Counselor
2024 01 Virtual_Counselor
IFIP IP3での資格制度を対象とする国際認定(IPSJ86全国大会シンポジウム)
IFIP IP3での資格制度を対象とする国際認定(IPSJ86全国大会シンポジウム)
持続可能なDrupal Meetupのコツ - Drupal Meetup Tokyoの知見
持続可能なDrupal Meetupのコツ - Drupal Meetup Tokyoの知見
2024 03 CTEA
2024 03 CTEA
2024 02 Nihon-Tanken ~Towards a More Inclusive Japan~
2024 02 Nihon-Tanken ~Towards a More Inclusive Japan~
「今からでも間に合う」GPTsによる 活用LT会 - 人とAIが協調するHumani-in-the-Loopへ
「今からでも間に合う」GPTsによる 活用LT会 - 人とAIが協調するHumani-in-the-Loopへ
2024 04 minnanoito
2024 04 minnanoito
20240326_IoTLT_vol109_kitazaki_v1___.pdf
20240326_IoTLT_vol109_kitazaki_v1___.pdf
TaketoFujikawa_台本中の動作表現に基づくアニメーション原画システムの提案_SIGEC71.pdf
TaketoFujikawa_台本中の動作表現に基づくアニメーション原画システムの提案_SIGEC71.pdf
情報処理学会86回全国大会_Generic OAMをDeep Learning技術によって実現するための課題と解決方法
情報処理学会86回全国大会_Generic OAMをDeep Learning技術によって実現するための課題と解決方法
What is the world where you can make your own semiconductors?
What is the world where you can make your own semiconductors?
ノンパラベイズ入門の入門
1.
ノンパラベイズ入門の入門 2012/11/09
MLxPGstudy 中谷 秀洋 (@shuyo, id:n_shuyo) サイボウズ・ラボ
2.
資料について • やること –
ベイズって何が嬉しいの? – ノンパラベイズって何が嬉しいの? • やらないこと えー数式のほうが わかりやすいのに! – どうやって学習するの? – プログラミング – 数式 数式ないって よかった~
3.
パラメータの推定 - 最尤推定とベイジアン -
4.
さて問題です。
5.
問題 1 •
たかしくんがコインを 5 回投げたら、そ のうち 3 回表が出ました。このコインの 表が出る確率を求めなさい。 つ、つっこまないぞ…… では投げます! 3 解答: 5
6.
問題 2 • たかしくんがコインを
5000 回投げたら、 そのうち 3000 回表が出ました。このコ インの表が出る確率を求めなさい。 3000 3 解答: = 5000 5
7.
どっちも同じ答えでいいの?
8.
コインの確率は? • 確率 1/2
のコインかも – たまたま「5回中、3回表」だっただけ • 確率 1/5 のコインかも – たまたま「5回中、3回表」だっただけ • 5000回なら「めっちゃ 3/5」っぽい – 何回以上なら 3/5 だって言ってもいい? • これは「コイン投げ」のパラメータを求める 問題
9.
最尤推定 • お手本(訓練データ)の確率が最大になるよ
うにパラメータを定める – 実際に起きていることが一番起きやすい! • 「表表表裏裏」の確率が最大になるのは 表の確率が 3/5 のとき – ラグランジュ未定乗数法とか使うと示せる
10.
ベイジアン
めっちゃ3/5! • コインの確率は 3/5? 1/2? 1/5? – それぞれの可能性を確 率で表す • 答えが確率分布で求まる – 青: 3表/5回 – 赤: 3000表/5000回 3/5 の可能性高め • 情報量が多い でも自信はない!! – 最尤推定だとどちらも 3/5 で区別できない 1つのチャートに収めるため、2つの縦の縮尺は異なっています 事前分布によってグラフの形は大きく変わります(図は Beta(1,1) の場合)
11.
最尤推定 vs ベイジアン •
どっちがいいの? – どっちがいいとかそういうことではなく – 解き方はまだまだ他にもあるし • 結局、問題やモデル次第 – 最尤推定が適した問題なら最尤推定 – ベイジアンが(ry • ただし、この発表の中ではベイジアン推し – ノンパラベイスの話だからね!
12.
具体例:言語モデル
13.
言語モデル • 文章のもっともらしさを数値化
– もっともらしい文章に良い数値を返す – 確率的言語モデル:もっともらしさを確率で • 簡単なモデルからスタートして、ノンパラベイズに たどり着くのを見ていきましょう 「もっともらしさ」 さりげに難しいこと って何? 聞いてくるねえ
14.
ユニグラム(1-gram) • 最も簡単な言語モデル –
文書の内の単語の確率を掛け算 – お手本文書(コーパス)での各単語の割合が そのまま単語の確率に • 最尤推定! この文章の確率 (もっともらしさ) I am a pen 0.011×0.005×0.025×0.001 =1.375 × 10-9
15.
ユニグラム(1-gram)
コーパスから作った単語分布 矢印は 文書の単語がこの単語分布に 従っているってこと アニメ 政治 IT • 全ての文書に共通の単語分布を使う – 単語「マンガ」の確率はどの文書でも同じ
16.
性能を上げたい!
17.
文書ごとに単語分布を作ったら…… • 1つの単語分布を作るのに使えるデータが少ない –
共通の単語もいっぱいあるのに…… – 機械学習の大原則「データが増えるほどよい」!
18.
文書グループごとに単語分布を…… アニメ
政治 IT • 文書を「正しく」グループ分けするのは大変!! – 複数のグループに属するような文書はどうする? – 「ナイーブベイズモデル」は こっち方向
19.
LSI (Latent Semantic
Indexing) 0.5 0.3 0.2 • 単語分布の個数 K は適当に決める(図は K=3) – 各文章の単語分布は K 個の単語分布を適当に混ぜる – 単語分布と混合比を同時に最尤推定(EMアルゴリズム)
20.
もっと性能を上げたい!
21.
LSI をベイズ化 • 最尤推定でパラメータを決定的に推定
– 「それってたまたまじゃあないの?」問題 • 他にもゼロ頻度問題とか(今はやらないけど) • ベイズ化してみよう! – LSI のパラメータは単語分布と混合比 – それらの可能性を分布として表現
22.
ディリクレ分布
(0,1,0) (0.5,0.3,0.2) (0,0,1) (0,0,1) (1,0,0) • 足して1になる値の確率分布 – 3次元の場合、三角形の上の分布と見なせる – 高次元でも同じ三角形イメージで
23.
LDA (Latent Dirichlet
Allocation) (0, (0, (0, 0,1 0,1 0,1 ) ) ) • LSI の単語分布と混合比にディリクレ分布を入れる – ゼロ頻度対策しつつ、混合により多い情報を反映 • 言語モデルとして性能向上!
24.
もっともっと性能を上げたい!
25.
LDA をさらにベイズ化!?
(0 ,0 ,1 (0 (0 ) ,0 ,0 ,1 ,1 ) ) • 単語分布の個数 K と混合比のディリクレ分布のパラメータを 適切に選ぶと、LDA の性能が上がる • パラメータをベイズ化したら、学習時に自動的に決まる! – ……って、やりたいところだけど単純にはできない……
26.
ベイズ化に都合のいい分布
(共役事前分布) • なんでもベイズ化できるわけではない – 推論に必要な積分が計算できないとツライ • 「共役事前分布」 – 推論に出てくる積分を計算しなくていい分布 – 実はディリクレ分布は多項分布の共役事前分布 • ディリクレ分布に共役事前分布ある? – 一応あるけど、その分布自体すでに計算できない
27.
ものすごく都合のいい分布 • ディリクレ分布の代わりに使えて、 • パラメータに分布を入れても計算できて、 •
ついでに単語分布数 K も勝手に決めてく れる分布 そんな都合良すぎる分布 あるわけないよなあ……
28.
ノンパラメトリックベイズ
29.
ディリクレ過程 (Dirichlet Process)
乱暴にいうと、次数が可変のディリクレ分布 • 重み付きの空間(図の黒太線)から可変個の点を取っ て、それぞれに確率を与える分布 – 縦線の本数が K に対応 – 縦線の長さがそれぞれの点の確率に対応 • 可変個 → 「ノンパラメトリック」な分布 – パラメータがないわけではない
30.
階層ディリクレ過程 (HDP)
• ディリクレ過程のパラメータに ディリクレ過程を入れる – 積分は出来ないが、これを解く 方法がある(中華フランチャイズ 過程など) やめてー
31.
LSI をノンパラベイズ化!
(HDP-LDA) (0, 0,1 K ) … • LSIの単語分布をベイズ化、混合比をHDPでノンパラベイズ化 – 混合比分布のパラメータと単語分布の個数 K が自動的に決まる! • 本質的には LDA と大きく変わるわけではない – 最適なパラメータを選択した LDA と同じ精度になる
32.
ノンパラベイズの応用 • 階層化 –
パラメータの自動決定 • チューニングに血道を上げなくても性能が出る – 複雑で高度なモデルの構築 • sequence memoizer (最高性能の言語モデル) • 教師無し分かち書き • 次数の自動決定 – クラスタ数を事前に仮定したくないモデル – 物体認識, 音源推定, etc • 実応用にはあともうちょっと? – 高速なオンライン&近似推論の決定版待望
33.
まとめ • ノンパラベイズはパラメトリックモデルの
「究極進化形」(ポケモン的な意味で) – 「ノンパラメトリック」より「ウルトラパラメトリック」 とか呼びたいかも (解空間がデータによらないし) – ホントのノンパラメトリックなベイズと区別しないの? • 次に読むなら山本さん/持橋さんの資料がおすすめ – Topicに基づく統計的言語モデルの最前線 - PLSIからHDPまで- – http://chasen.org/~daiti-m/paper/topic2006.pdf • 入門編(数式バリバリ)は Tokyo.ML(仮称)で!? – 開催時期の予定は未定 ありがとうございました
Download Now