論文紹介Sparse Additive Generative Model for Text            icml 2011読み会               2011/7/16
論文の背景• 近年Dirichlet-multinomial分布を使った文章の生成モデルが  流行してる(e.g. LDA)• これらの分布を使った推論は比較的簡単であるという利点  がある• しかしながら、このような生成モデルには3つの問題点...
Inference cost• 評判情報やイデオロギーなど複数の側面を考慮した生成モ  デルを考えることがある(Mei + 2007 WWW, Ahmed & Xing  2010 EMNLP, Paul & Girju 2010 AAAI)•...
Overparametrization• “the”や”of”のような高頻度語に対してもトピックごとにトピッ  ク単語出現確率を学習してしまう  – 対策としてはストップワードの除去  – 高頻度語を考慮したモデルを考える(Chemudugun...
Lack of sparsity• 例えばDirichlet-multinomialに基づくNaive bayesモデルを考  えたとき、クラス中に単語が一回でも出てくるとその単語の  生成確率を考慮する必要がある
Sparse Additive GEnerative model (SAGE)• 上記の問題解決のためSAGEというモデルを導入する• このモデルではコーパスでの単語の対数頻度から文章ラベ  ルや潜在変数に応じた差分をモデル化する• このモデル...
SAGEのアイディア   • 従来のトピックモデル            word distribution                  switch topic a                    z topic b   • SA...
SAGEのアイディア   • 従来のトピックモデル                word distribution                      switch topic a                        z to...
単語の出現確率モデル• background distribution : ������ ∈ ������������• component vectors : *������������ ∈ ������������ +   – ここで添字�...
Prior of ������• ������の事前分布としては、なるべく疎になるようにLaplace 分布  を考える• Laplace分布は正規分布と指数分布の結合モデルとして表現  できる(Lange & Sinsheimer 1993,...
SAGEによるNBモデル• ラベル既知の文章における生成モデルは以下のように表さ  れる                 ������������,������ ∼ ���������������������������������������...
変分ベイズによる推定• パラメータ������に関しては事後分布������(������|������, ������, ������)をなるべく近似  するような変分分布������(������)を求める• これは以下の変分下限を最大化す...
inference of ������• 変分下限の������������ に関する項のみ抜き出すと       ������ ������������ =                 ������������ ������������ ...
inference of ������• ������(������������ )の勾配を求めると         ������������               = ������������ − ������������ ������...
inference of ������• Hessianの逆行列はSherman-Morrison公式を使って効率的  に計算でき、ニュートン方向は以下のようになる                            ������������...
inference of ������• まず変分分布が次のように書けることを仮定する      ������ ������������ =                 ������������������������ (���������...
inference of ������• ������(正確には������������������ だが簡単のため添字は省略)に関する項を抜  き出すと• ������に関するニュートン方向と������の解析解は
inference of ������• 前述の更新式では指数分布のパラメータである������を決定する  という問題が残る• このため������の事前分布として無情報事前分布であるinproper  Jeffery’s prior ���...
Application: 文章分類• 20 Newsgroups データセットを使って、評価を行った  – http://people.csail.mit.edu/jrennie/20Newsgroups/• ベースラインアルゴリズムとして、D...
Application: 文章分類• SAGEは常にDirichletよりも良い結果となっている  – 特にデータが尐ないときは10%以上の向上が見られる• またfull-data利用時、パラメータの約90%が0となった  – これはDiric...
Latent Variable Models   • LDAと同様に以下のような文章生成モデルを考える   • For each document ������        – ������������ ∼ �����������������...
Inference• 以下の変分下限を最適化する• ここで������に関しては• ������ ������, ������, ������ = ������ ������ ������ ������ ������(������)と分解できる...
Estimation of ������• ここで������の推定の時に������������������ = 0となったら< ������������������ >も動かなくな  るため、Mステップでは複数回反復を行わず、一回だけ更新 ...
Application 2: Sparse topic models•   ベンチマークデータとしてNIPSデータセットを利用する•   文章の20%をテストデータとする•   ストップワードの除去は行わない•   perplexityを比較す...
Application 2: Sparse topic models• 単語頻度ごとにトピック単語出現確率の平均からのずれを  みると、LDAでは頻度の低い単語においてもどこかのトピック  に集中して出現してることが分かるが、SAGEではそのよ...
Multifaceted generative models• 文章データは多くの場合単独で存在するわけではなく、レ  ビューであれば評判情報や政治系のブログであれば支持政  党などの情報が付随している• このような複数の側面(Multi fa...
Multifaceted generative models                         (������)• トピックに関する対数頻度ベクトルを������������ , 文章についている                (...
Application 3: Topic and ideology• 右派のブログと左派のブログがそれぞれ3つ存在する• ラベル未知の右派、左派のブログ2つを残りの4つを訓練  データとしてあてる
Application 4: Geolocation from Text• 文章および位置情報が与えられたときのトピックモデル – 隠れ変数として”region”があり、そこから文章と位置が生成される – 実験にはtwitterのテキストデータ...
Application 4: Geolocation from Text• SAGEの性能がこれまでの手法よりもよい
Conclusion• 離散データのためのSAGEという新しいモデルを提案した• SAGEをNB分類器、トピックモデルに適応することにより、より  尐数の単語により表現されるシンプルなモデルが学習できる  ことを示した• 複数の側面を持つ生成モ...
Upcoming SlideShare
Loading in …5
×

Icml2011 reading-sage

8,136 views

Published on

ICML 2011読む会(2011/7/16@PFI)発表資料

0 Comments
2 Likes
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total views
8,136
On SlideShare
0
From Embeds
0
Number of Embeds
3,875
Actions
Shares
0
Downloads
50
Comments
0
Likes
2
Embeds 0
No embeds

No notes for slide

Icml2011 reading-sage

  1. 1. 論文紹介Sparse Additive Generative Model for Text icml 2011読み会 2011/7/16
  2. 2. 論文の背景• 近年Dirichlet-multinomial分布を使った文章の生成モデルが 流行してる(e.g. LDA)• これらの分布を使った推論は比較的簡単であるという利点 がある• しかしながら、このような生成モデルには3つの問題点がある – Inference cost – Overparametrization – Lack of sparsity
  3. 3. Inference cost• 評判情報やイデオロギーなど複数の側面を考慮した生成モ デルを考えることがある(Mei + 2007 WWW, Ahmed & Xing 2010 EMNLP, Paul & Girju 2010 AAAI)• 多くの場合複数の側面の追加はトークンごとの潜在変数の 追加が必要となる – どの側面が有効かの”switch”に使われる• このため推論のコストが大きくなる Ahmed & Xing 2010(EMNLP)
  4. 4. Overparametrization• “the”や”of”のような高頻度語に対してもトピックごとにトピッ ク単語出現確率を学習してしまう – 対策としてはストップワードの除去 – 高頻度語を考慮したモデルを考える(Chemudugunta+ 2006, NIPS)
  5. 5. Lack of sparsity• 例えばDirichlet-multinomialに基づくNaive bayesモデルを考 えたとき、クラス中に単語が一回でも出てくるとその単語の 生成確率を考慮する必要がある
  6. 6. Sparse Additive GEnerative model (SAGE)• 上記の問題解決のためSAGEというモデルを導入する• このモデルではコーパスでの単語の対数頻度から文章ラベ ルや潜在変数に応じた差分をモデル化する• このモデルのメリットとして – 差分に関してsparseになるようなpriorを導入することにより、多くの単 語の差分を0とできる – 複数の側面があるときに各側面に関する差分を足し合わせるだけで 単語の生成確率が求まる• このモデルはDirichlet-mutlinomialなモデルを単純に置き換 えることができる、論文では以下の3つのモデルに関して SAGEの優位性を示している – Naive bayes分類 – トピックモデル(LDA) – イデオロギーや地理情報を加味した文章生成モデル
  7. 7. SAGEのアイディア • 従来のトピックモデル word distribution switch topic a z topic b • SAGE word distributionbackground add +difference
  8. 8. SAGEのアイディア • 従来のトピックモデル word distribution switch topic a z topic b • SAGE word distributionbackground add +difference sparse
  9. 9. 単語の出現確率モデル• background distribution : ������ ∈ ������������• component vectors : *������������ ∈ ������������ + – ここで添字������は文章のラベルに対応しているとする• 文章������における単語の出現確率を以下のようにモデル化する ������ ������ ������������ , ������, ������ ∝ exp(������ + ������������������ )• ラベルが既知のときはNaive Bayesモデルに対応し• 未知の時は混合unigramモデルに対応する
  10. 10. Prior of ������• ������の事前分布としては、なるべく疎になるようにLaplace 分布 を考える• Laplace分布は正規分布と指数分布の結合モデルとして表現 できる(Lange & Sinsheimer 1993, J. Comp. Graph. Stat)• すなわち、以下のようにすればLaplace分布に従って生成で きる ������~������������������ ������ ������~������ 0, ������ from wikipedia:Laplace_distribution
  11. 11. SAGEによるNBモデル• ラベル既知の文章における生成モデルは以下のように表さ れる ������������,������ ∼ ������������������������������������������(0, ������)と等価
  12. 12. 変分ベイズによる推定• パラメータ������に関しては事後分布������(������|������, ������, ������)をなるべく近似 するような変分分布������(������)を求める• これは以下の変分下限を最大化することによって得られる – ここで<・>は変分分布で期待値をとることを意味する• また������に関してはMAP推定により最適化する
  13. 13. inference of ������• 変分下限の������������ に関する項のみ抜き出すと ������ ������������ = ������������ ������������ − ������������ log ������ exp(������������������ + ������������ ) ������(������|������, ������)の部分 ������:������������ =������ ������ −������������ diag < ������−1 > ������������ /2 ������ ������ ������(������|������)の部分• ������������ : 文章dの単語頻度ベクトル• ������������ = ������ ������������������ : ������������ の要素の合計• ������������ = ������:������������ =������ ������������ : ラベル������が付いた文章ベクトルの和• ������������ = ������ ������������������ : ������������ の要素の合計
  14. 14. inference of ������• ������(������������ )の勾配を求めると ������������ = ������������ − ������������ ������������ − diag < ������−1 > ������������ ������ ������������������• 最適化にはNewton法を使うためHessianを計算すると ������2 ������ ������2 ������ 2 = ������������ ������������������ ������������������ − 1 −< ������������������ >, ������������ ������������ = ������������ ������������������ ������������������ ������������������������ ������������ ������������ ������(������������ ) = ������������ ������������ ������������ − diag ������������ ������������ +< ������−1 > ������ ������
  15. 15. inference of ������• Hessianの逆行列はSherman-Morrison公式を使って効率的 に計算でき、ニュートン方向は以下のようになる ������������ ������������ ������������ ������������ ������������ ������ ������−1 ������������ = ������������ − 1 + ������������ ������������ ������������ ������������ ������ −Δ������������ = ������−1 ������������ ������ ������������ ������������ ������������ ������������ = ������������ ������ ������������ − ������������ ������������ ������(������������ ) 1 + ������������ ������������ ������������ ������������ ������ ������ −1 ������������ = diag − ������������ ������������ +< ������−1 ������ > ������������ ������(������������ ) = ������������������
  16. 16. inference of ������• まず変分分布が次のように書けることを仮定する ������ ������������ = ������������������������ (������������������ ) ������• また������������������������ はガンマ分布に従うとする、すなわち ������ exp(− ) ������ ������ = ������ ������ ������, ������ = ������ ������−1 ������ Γ ������ ������ ������• 期待値の性質として −1 < ������ > = ������������, < ������ −1 > = ������ − 1 ������ , < log ������ > = ������ ������ + log ������
  17. 17. inference of ������• ������(正確には������������������ だが簡単のため添字は省略)に関する項を抜 き出すと• ������に関するニュートン方向と������の解析解は
  18. 18. inference of ������• 前述の更新式では指数分布のパラメータである������を決定する という問題が残る• このため������の事前分布として無情報事前分布であるinproper Jeffery’s prior ������ ∝ 1/������を採用する• この場合でもSparse性がある(Guan & Dy 2009, AISTATS)• このときの������に関するニュートン方向と������の解析解は −2• このとき、������の推論に必要な< ������ −1 >は< ������ −1 > = ������������������ となる
  19. 19. Application: 文章分類• 20 Newsgroups データセットを使って、評価を行った – http://people.csail.mit.edu/jrennie/20Newsgroups/• ベースラインアルゴリズムとして、Dirichlet事前分布をいれたNB分 類器を用いる (Diriclet分布のparameterはNewton法を使って最適 化する(Minka 2003) ) – 当然識別モデルなどを使ったほうが分類性能は高くなるが、ここでは Dirichlet-Multinomialな分布との比較が主眼であるため考慮しない• また、ストップワードの除去は行わず、語彙数は50000となる
  20. 20. Application: 文章分類• SAGEは常にDirichletよりも良い結果となっている – 特にデータが尐ないときは10%以上の向上が見られる• またfull-data利用時、パラメータの約90%が0となった – これはDirichletのときは50000 * 20 = 1Mのパラメータが必要なのに 対して、SAGEでは0.1Mで済むことを意味している
  21. 21. Latent Variable Models • LDAと同様に以下のような文章生成モデルを考える • For each document ������ – ������������ ∼ ������������������(������) (������) – For each ������������ (������) • sample topic ������������ ∼ ������������������������������(������������ ) (������) ������ • sample word ������������ ∼ ������(������������ |������, ������������ ������ ) (������ ������ ������, ������ ∝ exp(������ + ������) ) ������cf. LDA(Blei+ 2003)
  22. 22. Inference• 以下の変分下限を最適化する• ここで������に関しては• ������ ������, ������, ������ = ������ ������ ������ ������ ������(������)と分解できることを仮定する• ここで������ ������ , ������(������)の変分推定の式はLDAと同じになる、また ������(������)の推定は前述の導出と同じになる
  23. 23. Estimation of ������• ここで������の推定の時に������������������ = 0となったら< ������������������ >も動かなくな るため、Mステップでは複数回反復を行わず、一回だけ更新 を行う
  24. 24. Application 2: Sparse topic models• ベンチマークデータとしてNIPSデータセットを利用する• 文章の20%をテストデータとする• ストップワードの除去は行わない• perplexityを比較するとトピック数が多いときSAGEの方が小さくなる• またトピック数を10から50にしていったときパラメータの非ゼロ重みの数は 5%から1%へと減っている
  25. 25. Application 2: Sparse topic models• 単語頻度ごとにトピック単語出現確率の平均からのずれを みると、LDAでは頻度の低い単語においてもどこかのトピック に集中して出現してることが分かるが、SAGEではそのような 現象はなく単語の頻度に比例することがわかる
  26. 26. Multifaceted generative models• 文章データは多くの場合単独で存在するわけではなく、レ ビューであれば評判情報や政治系のブログであれば支持政 党などの情報が付随している• このような複数の側面(Multi faceted)をもつデータに対して SAGEは有効に働く
  27. 27. Multifaceted generative models (������)• トピックに関する対数頻度ベクトルを������������ , 文章についている (������) ラベルに関するベクトルを������������ , トピックとラベルの交互作用 (������) のベクトルを������������,������ とする• このとき単語生成確率は• 推論も前述と似た感じでできる
  28. 28. Application 3: Topic and ideology• 右派のブログと左派のブログがそれぞれ3つ存在する• ラベル未知の右派、左派のブログ2つを残りの4つを訓練 データとしてあてる
  29. 29. Application 4: Geolocation from Text• 文章および位置情報が与えられたときのトピックモデル – 隠れ変数として”region”があり、そこから文章と位置が生成される – 実験にはtwitterのテキストデータと位置情報を利用 [Eisenstein+ 2010, EMNLP]
  30. 30. Application 4: Geolocation from Text• SAGEの性能がこれまでの手法よりもよい
  31. 31. Conclusion• 離散データのためのSAGEという新しいモデルを提案した• SAGEをNB分類器、トピックモデルに適応することにより、より 尐数の単語により表現されるシンプルなモデルが学習できる ことを示した• 複数の側面を持つ生成モデルにも適応を行った• 今後はより複雑なモデルである階層トピックモデル, 混合効 果モデルなどへの適応を考えたい

×