トピックモデルの基礎と応用

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

トピックモデルの
基礎と応用
（基礎編）
長崎大学工学研究科正田備也（まさだ・ともなり）
masada@nagasaki-u.ac.jp
2019年3月23日（土） 1トピックモデルとその周辺

今日の話題
• 前半：トピックモデル入門
• トピックモデルの概要
• トピックモデルとは、前処理、どう使うか、既存の実装
• LDAの詳細
• どんな生成モデルか、事後分布の実現法（周辺化ギブスサンプリング、変分ベイズ法）
• トピックモデル...

トピックモデルの概要
• トピックモデルとは
• 前処理
• どう使うか
• 既存の実装
2019年3月23日（土）トピックモデルとその周辺 3

トピックモデルとは
• 参考書
• 佐藤一誠『トピックモデルによる統計的潜在意味解析』（自然言語処理シリーズ）コロナ社
• 岩田具治『トピックモデル』（機械学習プロフェッショナルシリーズ）講談社
• トピックモデルの特徴
• ベイズ的な確率モデ...

2019年3月23日（土）トピックモデルとその周辺 5
David M. Blei. Probabilistic Topic Models. Communications of the ACM, April 2012, vol. 55, no...

青空文庫全体にLDA[Blei+ 03]を適用
（トピック数100; 文書数 12K; 語彙数 63K）
2019年3月23日（土） 6トピックモデルとその周辺

2019年3月23日（土） 7トピックモデルとその周辺

2019年3月23日（土） 8トピックモデルとその周辺

2019年3月23日（土） 9トピックモデルとその周辺

2019年3月23日（土） 10トピックモデルとその周辺

宮沢賢治も萩原から強い影響を
受けた詩人の一人である。
(Wikipedia)
たった四行二連のですが、宮沢
賢治と七夕伝説をミックスした
ような味わいです。
(桜間中庸『お空の川』Amazon
レビュー)
2019年3月23日（土） 11トピ...

「このような福沢諭吉の著書
などは、初期の井上円了のも
のの見方・考え方に. 影響を
与えたのではないかと考えら
れる。」
（三浦節夫「井上円了の妖怪学 :
その提唱と展開」井上円了セン
ター年報, 2001年）
2019年3月23日（土） 1...

前処理：「文書」を決める
“You shall know a word by the company it keeps.”
(Firth 1957)
• トピックモデルでは同じ文書内での単語の共起情報が重要
• 単語列のモデリングではなく文書の...

前処理：形態素解析
• 「単語」に分割する
• 辞書は重要
• 複合語をどうするか？（例: UCI bag-of-words data set NYTimes news articlesのnamed entity）
• 品詞情報は単語の選別に使...

前処理：ストップワードの除去
• ありふれた単語やマイナーな単語の除去
• 頻度の閾値を適当に設定して削除 or 上位○○位以上は削除、など
• 特定の品詞をすべてストップワードとして除去する
• scikit-learnでは英語の標準的なスト...

トピックモデルをどう使うか
「文書がたくさんありすぎて・・・
どれを読めばいいか分からない！」
• 使いみち
• summarize 数十～数百の単語リストに要約（既述）
• visualize トピックを可視化
• explore 得られたト...

可視化
例）ひとつのワードクラウドで文書集合の頻出単語を可視化
• 疑問点：「たったひとつのワードクラウドで、話題の多様性を覆いつくせるのか？」
• そこでトピックモデルを使う
• 複数のワードクラウドを作成できる
• 単に複数であるだけではな...

2019年3月23日（土）トピックモデルとその周辺 18
国会会議録にLDAを適用（16台のPC上で1,000トピックCGS; D3.jsのbubble chartで可視化; 文書数 9M; 語彙数 381K）
http://dmlab.jp...

[Masada+ WAIM2014]

2019年3月23日（土）トピックモデルとその周辺 20
%matplotlib inline
import pyLDAvis
import pyLDAvis.gensim
vis = pyLDAvis.gensim.prepare(topi...

検索 [Ganguly+ SIGIR2013][Yi+ ECIR2009]
• 読むべき文書を見つける
• 検索語を考えて検索
• すでに読んだ文書と似ている文書を検索
• 疑問点
「検索語が自分の意図をうまく表しているのか？」
• そこでトピ...

良い基底を見つける手法としてのトピックモデリング
（cf. SVD, NMF, PLSI, etc）
・＝
係数
（トピック確率）
基底
（トピック＝単語確率）
文書
（観測データ）

利用上の問題点
• 適切なトピック数が分からない
• クラスタリングにおけるクラスタ数の決め方に似た問題
• 実行するたびに結果が変わる
• アルゴリズムがランダム性を含むため
• つまり…Stabilityの問題
• Yang+. Impro...

既存の実装：LDA in Python （持橋さんが公開しているツール）
http://chasen.org/~daiti-m/dist/lda-python/
• 周辺化ギブスサンプリングの実装
• 速い
• 下記の例で40 sec/iter...

その他の既存の実装
• 周辺化ギブスサンプリングの実装
• PythonのLDAモジュール
• pip install ldaでインストール可
• MALLET（言語はJava）のLDA
• https://programminghistori...

stm (structural topic model)
http://www.structuraltopicmodel.com/
• 社会科学分野の研究グループが開発
• R言語による実装
• LDAより高度なことができるらしい（試していませ...

トピックモデルを使うときに気をつけたほうがいいこと
• ハイパーパラメータのチューニングはしたほうがいいかも
• LDAのハイパーパラメータが何かは後で説明します
• perplexityができるだけ小さくなるようにする
• 正式には訓練データ...

LDA（潜在的ディリクレ配分法）の詳細
・どんな生成モデルか
・事後分布の実現法：周辺化（崩壊型）ギブスサンプリング
・事後分布の実現法：変分ベイズ法
2019年3月23日（土） 28トピックモデルとその周辺

生成モデルとしてのLDA [Blei+ 03]
• トピック数を𝐾、語彙サイズを𝑉とする
• トピック数は手動で指定する（ノンパラメトリック・ベイズについては今日は触れない）
• 2種類のサイコロを振ることで文書の集合を生成
• トピック・サイ...

LDAによる文書集合の生成
各文書について：
1. その文書用のトピック・サイコロをディリクレ分布から得る
2. 文書に表れる各単語トークンについて：
i. トピック・サイコロを振る
ii. 出た目（＝出たトピック）に対応する単語サイコロを振る...

ディリクレ分布
• 振ると{1,2,3,4,5,6}の自然数が出てくるのがサイコロなら…
• 振るとベクトルが出てくるのがディリクレ分布
• ただし成分がすべて非負で成分の総和が1であるベクトル
• 下図は3次元の場合
https://www....

知りたいのは・・・事後分布
• 観測データを𝑿 = {𝒙1, … , 𝒙 𝐷}，生成モデルのパラメータを𝚽とする
• 尤度 𝑝 𝑿 𝚽 …生成モデルによって決まる
• 𝑝 𝑿 𝚽 = 𝑑=1
𝐷
𝑝(𝒙 𝑑|𝚽) と書けるとする
• 事前分布 ...

ベイズ推定とは
• 事後分布から予測分布𝑝(𝒙0|𝑿)が得られる
𝑝 𝒙0 𝑿 = 𝑝 𝒙0 𝚽 𝑝 𝚽 𝑿 𝑑𝚽
• 真の分布は𝑝(𝒙0|𝑿)だろうと推定するのがベイズ推定
• 参考書：渡辺澄夫『ベイズ統計の理論と方法』コロナ社
• とにかく...

結合分布, 周辺尤度, 事後分布
• 結合分布 𝑝(𝑿, 𝚽)
𝑝(𝑿, 𝚽) = 𝑝 𝑿 𝚽 𝑝(𝚽) = 𝑝(𝚽)
𝑑=1
𝐷
𝑝(𝒙 𝑑|𝚽)
• 周辺尤度 𝑝 𝑿
𝑝 𝑿 = 𝑝(𝑿, 𝚽) 𝑑𝚽
• 事後分布 𝑝 𝚽 𝑿
𝑝 𝚽 𝑿 ...

トピックモデル向けに記号の準備
• 文書𝑑の𝑖番目のトークンとして表れている単語 𝑥 𝑑,𝑖 （例: 𝑥 𝑑,𝑖 = 2071）
• 𝒙 𝑑 = {𝑥 𝑑,1, … , 𝑥 𝑑,𝑛 𝑑
}
• 文書𝑑の𝑖番目のトークンが割り当てられたトピック ...

LDAによる文書集合の生成
各文書について：
1. その文書用のトピック・サイコロを事前分布から得る
2. 文書に表れる各単語トークンについて：
i. トピック・サイコロを振る
ii. 出たトピックに対応する単語サイコロを振る
2019年3月2...

LDAによる文書集合の生成
for 𝑑 = 1 to 𝐷 : #各文書について
1. draw 𝜽 𝑑~Dirichlet(𝛼)
2. for 𝑖 = 1 to 𝑛 𝑑 : #各単語トークンについて
i. draw 𝑧 𝑑,𝑖~Categori...

カテゴリカル分布
• アイテムが３種類以上ある場合のベルヌーイ分布
• ベルヌーイ分布ではアイテムは２種類
• ベルヌーイ分布に対して二項分布があるように…カテゴリカル分布に
対して多項分布がある
• 二項分布
• 「𝑁回コインを投げたら表と裏...

LDAのすべての変数の結合分布を書き下す
（確率モデルを扱うときに最初にすること）
• 各文書𝒙 𝑑の生成をそのまま式に書き下すと…
𝑝 𝒙 𝑑, 𝒛 𝑑, 𝜽 𝑑|𝛼, 𝜱 = 𝑝 𝜽 𝑑|𝛼 𝑝 𝒛 𝑑 𝜽 𝑑 𝑝(𝒙 𝑑|𝒛 𝑑, 𝜱)
...

事後分布の実現法
• 周辺化ギブスサンプリング
• 変分ベイズ法
2019年3月23日（土）トピックモデルとその周辺 40

周辺化ギブスサンプリング
(Collapsed Gibbs sampling; CGS)
2019年3月23日（土） 41トピックモデルとその周辺

LDAの周辺化ギブスサンプリング(CGS)
• カテゴリカル分布のパラメータを積分して消してしまう
• 隠れ変数としては𝒁 = {𝒛1, … , 𝒛 𝑑}が残る
• 個々の単語トークンがどのトピックに割り当てられるかを表わす隠れ変数
• 𝑧 𝑑...

Shanghai is the largest city in China,
located in her eastern coast at the
outlet of the Yangtze River. Originally a
fishi...

LDAのすべての変数の結合分布（再）
• 各文書𝒙 𝑑の生成をそのまま式に書き下すと…
𝑝 𝒙 𝑑, 𝒛 𝑑, 𝜽 𝑑|𝛼, 𝜱 = 𝑝 𝜽 𝑑|𝛼 𝑝 𝒛 𝑑 𝜽 𝑑 𝑝(𝒙 𝑑|𝒛 𝑑, 𝜱)
= 𝑝 𝜽 𝑑|𝛼
𝑖=1
𝑛 𝑑
𝑝 𝑧 𝑑...

LDAによる文書集合の生成
（単語カテゴリカル分布にもディリクレ事前分布を使う）
各トピックについて：
1. 単語サイコロをディリクレ事前分布から得る
各文書について：
1. その文書用のトピック・サイコロをディリクレ事前分布から得る
2. 文...

LDAによる文書集合の生成
（単語カテゴリカル分布にもディリクレ事前分布を使う）
For 𝑘 = 1 to 𝐾 :
1. 𝝋 𝑘~Dirichlet 𝛽
For 𝑑 = 1 to 𝐷 : （各々の文書について…）
1. 𝜽 𝑑~Dirichle...

LDAのすべての変数の結合分布
𝑝 𝑿, 𝒁, 𝜣, 𝜱|𝛼, 𝛽 =
𝑘=1
𝐾
𝑝(𝝋 𝑘|𝛽) ×
𝑑=1
𝐷
𝑝 𝒙 𝑑, 𝒛 𝑑, 𝜽 𝑑|𝛼, 𝜱
=
𝑘=1
𝐾
𝑝(𝝋 𝑘|𝛽) ×
𝑑=1
𝐷
𝑝 𝜽 𝑑|𝛼
𝑖=1
𝑛 𝑑
𝑝...

周辺化
• カテゴリカル分布のパラメータを積分消去（周辺化）
𝑝 𝑿, 𝒁|𝛼, 𝛽 = 𝑝 𝑿, 𝒁, 𝜣, 𝜱|𝛼, 𝛽 𝑑𝜣𝒅𝜱
=
𝑘=1
𝐾
𝑝(𝝋 𝑘|𝛽)
𝑑=1
𝐷
𝑖=1
𝑛 𝑑
𝑝 𝑥 𝑑,𝑖|𝑧 𝑑,𝑖, 𝜱 𝑑𝜱
×
𝑑...

LDAの周辺化ギブスサンプリング
• 全文書の各単語トークンについて𝑧 𝑑,𝑖の値をサンプリングしていく
• 他の全ての単語トークンについては 𝑧 𝑑,𝑖の値が与えられているとする
• 初期値はランダムに決める
• この状況のもとで 𝑧 𝑑,𝑖...

周辺化ギブスサンプリングの式導出(1/4)
𝑝 𝑧 𝑑,𝑖 = 𝑘|𝑥 𝑑,𝑖 = 𝑣, 𝑿∖𝑑,𝑖
, 𝒁∖𝑑,𝑖
, 𝛼, 𝛽 ∝ 𝑝 𝑧 𝑑,𝑖 = 𝑘, 𝑥 𝑑,𝑖 = 𝑣, 𝑿∖𝑑,𝑖
, 𝒁∖𝑑,𝑖
|𝛼, 𝛽
= 𝑝 𝑥 𝑑,𝑖 ...

周辺化ギブスサンプリングの式導出(2/4)
（𝜽 𝑑と𝝋 𝑘の分布を求める）
𝑝 𝜽 𝑑|𝒁∖𝑑,𝑖, 𝛼 =
𝛤(𝑛 𝑑
∖𝑑,𝑖
+ 𝐾𝛼)
𝑘=1
𝐾
𝛤(𝑛 𝑑,𝑘
∖𝑑,𝑖
+ 𝛼) 𝑘=1
𝐾
𝜃 𝑑,𝑘
𝑛 𝑑,𝑘
∖𝑑,𝑖
+𝛼...

補足：LDAの推定で使う二種類の統計量
• 以下の二種類の統計量がLDAの推定の話によく出てくる
• 文書𝑑でトピック𝑘に割り当てられているトークン数 𝑛 𝑑,𝑘
• 文書ごとのローカルな統計量
• トピック𝑘に割り当てられている単語𝑣のトーク...

周辺化ギブスサンプリングの式導出(3/4)
（𝜽 𝑑を周辺化し𝑝 𝑧 𝑑,𝑖 = 𝑘|𝑿∖𝑑,𝑖
, 𝒁∖𝑑,𝑖
, 𝛼, 𝛽 を求める）
𝑝 𝑧 𝑑,𝑖 = 𝑘|𝜽 𝑑 𝑝 𝜽 𝑑|𝒁∖𝑑,𝑖, 𝛼 𝑑𝜽 𝑑 = 𝐸 𝑝 𝜽 𝑑|𝒁∖𝑑,𝑖,...

周辺化ギブスサンプリングの式導出(3/4)
（𝝋 𝑘を周辺化し𝑝 𝑥 𝑑,𝑖 = 𝑣|𝑧 𝑑,𝑖 = 𝑘, 𝑿∖𝑑,𝑖
, 𝒁∖𝑑,𝑖
, 𝛼, 𝛽 を求める）
𝑝 𝑥 𝑑,𝑖 = 𝑣|𝝋 𝑘 𝑝 𝝋 𝑘|𝑿∖𝑑,𝑖, 𝒁∖𝑑,𝑖, 𝛼, 𝛽 ...

CGSのアルゴリズム
𝑝 𝑧 𝑑,𝑖 = 𝑘|𝑥 𝑑,𝑖 = 𝑣, 𝑿∖𝑑,𝑖
, 𝒁∖𝑑,𝑖
, 𝛼, 𝛽 ∝
𝑛 𝑑,𝑘
∖𝑑,𝑖
+ 𝛼
𝑛 𝑑
∖𝑑,𝑖
+ 𝐾𝛼
×
𝑛 𝑘,𝑣
∖𝑑,𝑖
+ 𝛽
𝑛 𝑘
∖𝑑,𝑖
+ 𝑉𝛽
• 以下を...

CGSで得られたトピック割り当ての使い方
• 各文書でのトピック確率を求める
• 同一文書内で各トピックに割り当てられているトークン数𝑛 𝑑,𝑘を集計
• 複数回のサンプリングにわたる平均を使うこともできる
• 集計した個数に𝛼を足してから規格...

LDAのCGSのprosとcons
• pros
• 結果がきれい
• 異なるトピックの高確率語がきれいに異なる話題に対応しているように見える
• きれいでないときはハイパーパラメータ𝛼と𝛽を変えてみる
• 逆に言えばハイパーパラメータ（とトピ...

変分ベイズ法
(Variational Bayes; VB)
2019年3月23日（土）トピックモデルとその周辺 58

LDAの変分ベイズ法
• 事後分布推定を最適化問題として解く
• 対数周辺尤度のlower boundを最大化する問題を解く
• intractableな事後分布をシンプルな分布で近似する
• 因子分解可能という仮定をおくことによって単純化され...

変分ベイズ法（一般の場合）
log 𝑝 𝑿 = log 𝑝(𝑿, 𝚯) 𝑑𝚯 = log 𝑞(𝚯)
𝑝(𝑿, 𝚯)
𝑞(𝚯)
𝑑𝚯
≥ 𝑞 𝚯 log
𝑝 𝑿, 𝚯
𝑞 𝚯
𝑑𝚯
= 𝑞 𝚯 log 𝑝(𝑿, 𝚯) 𝑑𝚯 − 𝑞 𝚯 log 𝑞...

LDAのすべての変数の結合分布（再）
• 各文書𝒙 𝑑の生成をそのまま式に書き下すと…
𝑝 𝒙 𝑑, 𝒛 𝑑, 𝜽 𝑑|𝛼, 𝜱 = 𝑝 𝜽 𝑑|𝛼 𝑝 𝒛 𝑑 𝜽 𝑑 𝑝(𝒙 𝑑|𝒛 𝑑, 𝜱)
= 𝑝 𝜽 𝑑|𝛼
𝑖=1
𝑛 𝑑
𝑝 𝑧 𝑑...

対数周辺尤度
• 隠れ変数をすべて積分消去（周辺化）
log 𝑝 𝑿|𝛼, 𝜱 =
𝑑=1
𝐷
log 𝑝 𝒙 𝑑|𝛼, 𝜱
=
𝑑=1
𝐷
log
𝒛 𝑑
𝑝 𝒙 𝑑, 𝒛 𝑑, 𝜽 𝑑|𝛼, 𝜱 𝑑𝜽 𝑑
• この周辺化の計算はintrac...

対数周辺尤度にイェンセンの不等式を適用
（変分ベイズ法で最初にすること）
log 𝑝 𝒙 𝑑|𝛼, 𝜱 = log
𝒛 𝑑
𝑝 𝒙 𝑑, 𝒛 𝑑, 𝜽 𝑑|𝛼, 𝜱 𝑑𝜽 𝑑
= log
𝒛 𝑑
𝑞(𝒛 𝑑, 𝜽 𝑑)
𝑝 𝒙 𝑑, 𝒛 𝑑, ...

因子分解の仮定
• 𝑞 𝒛 𝑑, 𝜽 𝑑 は真の事後分布を近似する分布
• 以下のように複数の因子の積で書けると仮定する
𝑞 𝒛 𝑑, 𝜽 𝑑 = 𝑞(𝜽 𝑑)
𝑖=1
𝑛 𝑑
𝑞(𝑧 𝑑,𝑖)
• この因子分解の仮定から𝑞(𝜽 𝑑)はディリク...

ELBO (Evidence Lower BOund)
• イェンセンの不等式を適用することで得られる対数周辺尤度の下界を
ELBO (evidence lower bound) と呼ぶ
log 𝑝 𝒙 𝑑; 𝛼, 𝜱 ≥
𝒛 𝑑
𝑞 𝒛 𝑑,...

LDAの場合のELBO最大化
log 𝑝 𝒙 𝑑|𝛼, 𝜱
≥ 𝐸 𝑞 𝜽 𝑑
log 𝑝 𝜽 𝑑|𝛼 + 𝐸 𝑞 𝜽 𝑑 𝑞 𝒛 𝑑
log 𝑝 𝒛 𝑑 𝜽 𝑑 + 𝐸 𝑞 𝒛 𝑑
log 𝑝 𝒙 𝑑 𝒛 𝑑, 𝜱
− 𝐸 𝑞 𝜽 𝑑
log...

文書集合全体についてのELBO
𝑑=1
𝐷
log 𝑝 𝒙 𝑑|𝛼, 𝜱
≥
𝑑=1
𝐷
𝐸 𝑞 𝜽 𝑑
log 𝑝 𝜽 𝑑|𝛼 + 𝐸 𝑞 𝜽 𝑑 𝑞 𝒛 𝑑
log 𝑝 𝒛 𝑑 𝜽 𝑑
2019年3月23日（土）トピックモデルとその周辺 ...

ELBOを構成する各項を求める
𝐸 𝑞 𝜽 𝑑
log 𝑝 𝜽 𝑑; 𝛼 = log Γ(𝐾𝛼) −
𝑘=1
𝐾
log Γ 𝛼 +
𝑘=1
𝐾
(𝛼 − 1)𝐸 𝑞 𝜽 𝑑
[log 𝜃 𝑑,𝑘]
𝐸 𝑞 𝜽 𝑑 𝑞 𝒛 𝑑
log 𝑝 𝒛 ...

ELBOを各パラメータで微分
• 文書𝑑のELBOを𝐿 𝑑とおく
𝜕𝐿 𝑑
𝜕𝛾 𝑑,𝑖,𝑘
= 𝑛 𝑑,𝑣 𝐸 𝑞 𝜽 𝑑
log 𝜃 𝑑,𝑘 + log 𝜑 𝑘,𝑥 𝑑,𝑖
− log 𝛾 𝑑,𝑖,𝑘 + 𝑐𝑜𝑛𝑠𝑡.
∴ 𝛾 𝑑,𝑖,𝑘 ...

LDAのVBで求められるパラメータ
• 文書ごとにローカルなパラメータ
• 文書𝑑で第𝑖トークンがトピック𝑘に割り当てられる事後確率 𝛾 𝑑,𝑖,𝑘
• つまり𝛾 𝑑,𝑖,𝑘 ≡ 𝑞(𝑧 𝑑,𝑖 = 𝑘)
• 文書𝑑におけるトピック確率のディリ...

補足：LDAの推定で使う二種類の統計量
• 以下の二種類の統計量がLDAの推定の話によく出てくる
• 文書𝑑でトピック𝑘に割り当てられているトークン数
𝑛 𝑑,𝑘 =
𝑖=1
𝑛 𝑑
𝛾 𝑑,𝑖,𝑘
• トピック𝑘に割り当てられている単語𝑣のト...

LDAの変分ベイズ法アルゴリズム
repeat：
for 𝑑 = 1, … , 𝐷 :
𝜁 𝑑,𝑘をランダムに初期化
repeat :
for 𝑖 = 1, … , 𝑛 𝑑 : 𝛾 𝑑,𝑖,𝑘を更新
𝜁 𝑑,𝑘を更新
until 𝜁 𝑑,𝑘の変...

LDAのVBのprosとcons
• pros
• 結果がきれい
• 異なるトピックの高確率語がきれいに異なる話題に対応しているように見える
• きれいでないときはハイパーパラメータ𝛼を変えてみる
• 逆に言えばハイパーパラメータ（とトピック数...

トピックモデルの評価方法
• perplexity
• NPMI
2019年3月23日（土）トピックモデルとその周辺 74

perplexity
• 未知文書𝒙0について以下を求める
perplexity 𝒙0 𝑿train = exp −
1
𝑛0 𝑖=1
𝑛0
log
𝑘=1
𝐾
𝑞 𝑘|𝒙0 𝑞(𝑥0,𝑖|𝑘)
• 未知文書𝒙0におけるトピック𝑘の確率 𝑞 𝑘...

未知文書でのトピック確率の計算[Asuncion+ UAI09]
• CGSの場合
• 各トピックの単語確率は固定してサンプリングを回す
• 十分な回数を回した後（burn-in period）複数のサンプルを取って平均する
• VBの場合
•...

注意: gensimのperplexity
• 1トークンあたりのlower bound値のマイナスのexp2
• gensim/models/ldamodel.py
2019年3月23日（土）トピックモデルとその周辺 77

PMI (pointwise mutual information)
PMI(𝑥, 𝑦) ≡ log
𝑝(𝑥, 𝑦)
𝑝 𝑥 𝑝(𝑦)
• PMI 𝑥, 𝑦 > 0 ⇔ 𝑝 𝑥, 𝑦 > 𝑝 𝑥 𝑝(𝑦)
• 共起する頻度が高くて独立な事象とみ...

トピックモデルの評価にPMIを使う
• PMIを計算するための文書集合を用意しておく
• 各トピックについて以下を実行
• トピック内で確率が高い上位10単語を取得
• それぞれの単語についていくつの文書で出現するか数える
• これをもとに𝑝(...

NPMI (normalized pointwise mutual information)
[Bouma 09]
• 1から−1の範囲に規格化されたPMI
2019年3月23日（土）トピックモデルとその周辺 80

なぜperplexityだけではダメ？
• PMIはトピック語を直接評価している [Newman+ NAACL HLT 2010]
• perplexityが悪くてもPMIは良いことがある
2019年3月23日（土）トピックモデルとその周辺 ...

前半、おしまい。
2019年3月23日（土）トピックモデルとその周辺 82

トピックモデルの
基礎と応用
（応用編）
長崎大学工学研究科正田備也（まさだ・ともなり）
masada@nagasaki-u.ac.jp
2019年3月23日（土） 83トピックモデルとその周辺

今日の話題
• 前半：トピックモデル入門
• トピックモデルの概要
• トピックモデルとは、前処理、どう使うか、既存の実装
• LDAの詳細
• どんな生成モデルか、事後分布の実現法（周辺化ギブスサンプリング、変分ベイズ法）
• トピックモデル...

ミニバッチ変分ベイズ法
2019年3月23日（土）トピックモデルとその周辺 85

LDAのミニバッチ変分ベイズ法
• 文書をバッチ的にではなく少しずつ処理したい
• [Hoffman+ NIPS2010]が最初の提案
• いい評価値を得るまでの”時間”がVBより少なくなる（次スライド）
• 問題は文書集合全体に関わるパラメー...

ミニバッチVBの「速さ」
• perplexityの減り方が速い
• 文書集合をひととおり処理し終える前にどんどん良くなっている
• 最終的にたどりつく評価値もバッチ処理より小さい
2019年3月23日（土）トピックモデルとその周辺 87
[...

LDAのVB
repeat：
for 𝑑 = 1, … , 𝐷 :
𝜁 𝑑,𝑘をランダムに初期化
repeat :
for 𝑖 = 1, … , 𝑛 𝑑 : 𝛾 𝑑,𝑖,𝑘を更新
𝜁 𝑑,𝑘を更新
until 𝜁 𝑑,𝑘の変化が微小
𝜑 𝑘,𝑣...

LDAのVBのミニバッチ化
repeat：
ミニバッチを取得
for 𝑑 in ミニバッチ:
𝜁 𝑑,𝑘をランダムに初期化
repeat :
for 𝑖 = 1, … , 𝑛 𝑑 : 𝛾 𝑑,𝑖,𝑘を更新
𝜁 𝑑,𝑘を更新
until 𝜁 𝑑,...

文書集合全体についてのELBO
𝑑=1
𝐷
log 𝑝 𝒙 𝑑|𝛼, 𝜱
≥
𝑑=1
𝐷
𝐸 𝑞 𝜽 𝑑
log 𝑝 𝜽 𝑑|𝛼 + 𝐸 𝑞 𝜽 𝑑 𝑞 𝒛 𝑑
log 𝑝 𝒛 𝑑 𝜽 𝑑
2019年3月23日（土）トピックモデルとその周辺 ...

Adam [Kingma+ ICLR2015]
• 自然勾配法の近似としてのAdam
• 空間計算量 𝑂(𝑛)
• 時間計算量（逆行列の計算） 𝑂(𝑛)
• 佐藤『トピックモデルによる統計的潜在意味解析』3.4節には自然勾配法の説明がある
• ...

ここでの方針 : 𝜑 𝑘,𝑣を"深層学習"的に更新してしまう
• ELBOにマイナスをつけて損失関数とする
• 内側のループはバッチVBと同じ
• つまり𝛾 𝑑,𝑖,𝑘や𝜁 𝑑,𝑘はVBと同様に閉じた式で更新
• 𝜑 𝑘,𝑣はAdamで更新
•...

𝜑 𝑘,𝑣を少し工夫する
• 𝜑 𝑘,𝑣をそのまま最尤推定するとうまくいかないことが多い
• そこで以下のようにパラメータを設定し直す
𝜑 𝑘,𝑣 ∝ exp(𝑏 𝑘,𝑣 + 𝑏0,𝑣)
• softmax関数で行列𝑩 = (𝑏 𝑘,𝑣)とバイ...

ハイパーパラメータの調整
• dev setのperplexityを見ながら調整
perplexity 𝒙0 𝑿train = exp −
1
𝑛0 𝑖=1
𝑛0
log
𝑘=1
𝐾 exp 𝜓 𝜁 𝑑,𝑘
exp 𝜓 𝑘=1
𝐾
𝜁 𝑑,𝑘
...

既存の実装
genism.models.ldamodel
sklearn.decomposition.LatentDirichletAllocation
• 調整したほうがいいかもしれない引数
• バッチサイズ
• デフォルト値はgensimは...

offset 𝜏0とdecay 𝜅
2019年3月23日（土）トピックモデルとその周辺 96
[Hoffman+ NIPS2010]

LDAのミニバッチVBのprosとcons
• pros
• 大規模データに対応できる
• 収束が（VBに比べると）速い
• 最終的な評価値も良いことが多い
• 結果がきれい
• きれいでないときは・・・ハイパーパラメータを調整
• cons
...

ここまでくると考えること
• 「どうせ手計算での微分はもうしないので・・・」
• 内側のループでのパラメータ更新もBPで実行したい
• 変分オートエンコーダ[Kingma+ 13][Srivastava +17]の利用
• 文書ごとのローカルな...

トピックモデルのための
変分オートエンコーダ
2019年3月23日（土）トピックモデルとその周辺 99

トピックモデルは何をしているか
• 文書のエンコードをしている
• 語彙サイズ次元のベクトルによる表現を
• トピック数次元のベクトルによる表現にエンコードしている
• SVD, NMF, PLSA等と同じ。
• オートエンコーダの考え方をトピ...

オートエンコーダ
2019年3月23日（土）トピックモデルとその周辺 101
https://towardsdatascience.com/applied-deep-learning-part-3-autoencoders-1c083af4d...

（典型的な）変分オートエンコーダ
• エンコーダNN：個々の観測データを対角正規分布のパラメータに変換
• デコーダNN ：対角正規分布から得たサンプルを使って観測データの尤度を計算
• 対角正規分布からのサンプル＝近似事後分布からのサンプル＝...

変分オートエンコーダ(VAE)[Kingma+ 2013]を
トピックモデルに使う
• ベイズ的な枠組みの中でのオートエンコーダ
• エンコード
• 観測データから近似事後分布のパラメータを算出
• その近似事後分布から生成モデルのパラメータを...

変分ベイズ法におけるELBO（一般の場合）
log 𝑝 𝑿 = log 𝑝(𝑿, 𝚯) 𝑑𝚯 = log 𝑞(𝚯)
𝑝(𝑿, 𝚯)
𝑞(𝚯)
𝑑𝚯
≥ 𝑞 𝚯 log
𝑝 𝑿, 𝚯
𝑞 𝚯
𝑑𝚯
=
𝑑
𝑞 𝚯 log 𝑝 𝒙 𝑑 𝚯 𝑑𝚯 +...

変分オートエンコーダのエンコーダ
• エンコーダ 𝑞 𝚯|𝒙 𝑑
• VBでは近似事後分布のパラメータをデータ点ごとに別々に求めていた
• パラメータの添え字に𝑑がついている＝文書ごとに別々の事後分布がある
• VAEでは近似事後分布𝑞 𝚯|𝒙...

近似事後分布𝑞 𝚯|𝒙 𝑑 のパラメータは𝒙 𝑑の関数
• VBにおける近似事後分布𝑞 𝚯
• 文書ごと（データ点𝒙 𝑑ごと）に別々に用意される
• VAEにおける近似事後分布𝑞 𝚯|𝒙 𝑑
• 近似事後分布𝑞 𝚯|𝒙 𝑑 のパラメータがデータ...

LDAのELBO
log 𝑝 𝒙 𝑑|𝛼, 𝜱
≥ E 𝑞 𝜽 𝑑
log 𝑝 𝜽 𝑑|𝛼 + E 𝑞 𝜽 𝑑 𝑞 𝒛 𝑑
log 𝑝 𝒛 𝑑 𝜽 𝑑
+ E 𝑞 𝒛 𝑑
log 𝑝 𝒙 𝑑 𝒛 𝑑, 𝜱 − E 𝑞 𝜽 𝑑
log 𝑞 𝜽 𝑑...

カテゴリカル分布の扱いづらさ
• 文書𝑑で第𝑖トークンがトピック𝑘に割り当てられる事後確率 𝑞(𝑧 𝑑,𝑖 = 𝑘)
• これはカテゴリカル分布
• LDAのVBでは𝛾 𝑑,𝑖,𝑘 ≡ 𝑞(𝑧 𝑑,𝑖 = 𝑘)とおいて𝛾 𝑑,𝑖,𝑘を求めた
•...

Reparameterization trick
• 正規分布ではサンプルからパラメータが「透けて見える」ようにできる
• [Kingma+ 13][Rezende+ 14][Salimans+ 12][Titsias+ 14]
• 実際、𝑁(...

トピックモデルのVAE(1/2)
• 離散値をとる隠れ変数𝑧 𝑑,𝑖は周辺化して消してしまう
𝑝 𝒙 𝑑, 𝜽 𝑑|𝛼, 𝜱 =
𝒛 𝑑
𝑝 𝒙 𝑑, 𝒛 𝑑, 𝜽 𝑑|𝛼, 𝜱 = 𝑝 𝜽 𝑑|𝛼
𝒛 𝑑
𝑝 𝒛 𝑑 𝜽 𝑑 𝑝(𝒙 𝑑|𝒛 ...

トピックモデルのVAE(2/2)
• エンコーダには対角正規分布を使う。事前分布は…
1. 対角正規分布にする [Miao+ ICML2017 のGSMモデル]
2. ディリクレ事前分布をラプラス近似する[Srivastava+ ICLR201...

トピックモデルのVAEにおけるELBO
log 𝑝 𝒙 𝑑|𝜱 = log 𝑝 𝒙 𝑑, 𝜽 𝑑|𝜱 𝑑𝜽 𝑑
≥ 𝑞 𝜽 𝑑|𝒙 𝑑 log
𝑝 𝜽 𝑑 𝑝 𝒙 𝑑 𝜽 𝑑, 𝜱
𝑞 𝜽 𝑑|𝒙 𝑑
𝑑𝜽 𝑑
= E 𝑞 𝜽 𝑑|𝒙 𝑑
lo...

対数尤度の期待値のモンテカルロ近似
E 𝑞 𝜽 𝑑|𝒙 𝑑
log 𝑝 𝒙 𝑑 𝜽 𝑑, 𝜱 =
1
𝑆 𝑠=1
𝑆
log 𝑝 𝒙 𝑑 𝜽 𝑑
(𝑠)
, 𝜱
=
1
𝑆 𝑠=1
𝑆
𝒙 𝑑
𝑇LogSoftmax (𝑩 𝑇 + 𝒃0)𝜽 𝑑...

対角正規分布の場合のKL情報量
• 対角正規分布の場合のKL情報量の項
• [Kingma+ ICLR14]のAppendix Bより
• KL情報量にマイナスが付いたものである点に注意
−𝐷 𝐾𝐿 𝑞 𝜽 𝑑|𝒙 𝑑 ∥ 𝑝 𝜽 𝑑 = 𝑞 ...

トピックモデルのVAEにおけるELBO
• まとめると・・・
log 𝑝 𝒙 𝑑|𝜱
≥
1
𝑆 𝑠=1
𝑆
𝒙 𝑑
𝑇LogSoftmax (𝑩 𝑇 + 𝒃0)𝜽 𝑑
(𝑠)
+
1
2 𝑘=1
𝐾
1 + log 𝜎 𝑑,𝑘
2 − 𝜇 𝑑...

VAEの問題点: latent variable collapse
log 𝑝 𝒙 𝑑|𝜱 ≥ E 𝑞 𝜽 𝑑|𝒙 𝑑
log 𝑝 𝒙 𝑑 𝜽 𝑑, 𝜱 − 𝐷 𝐾𝐿 𝑞 𝜽 𝑑|𝒙 𝑑 ∥ 𝑝 𝜽 𝑑
• KL情報量の項が効きすぎる
• 正則...

Ladder Variational Autoencoders
[Sønderby+ NIPS2016]
• "warm-up"
2019年3月23日（土）トピックモデルとその周辺 117

トピックモデルのVAEのprosとcons
• pros
• 収束が速い
• 最終的な評価値もそれなりに良いことが多い
• 未知文書への対応が速い
• cons
• latent variable collapseはほぼ確実に起こる
• ハイパ...

トピックモデルのための
敵対的変分ベイズ法
2019年3月23日（土）トピックモデルとその周辺 119

近似事後分布の選び方
• VAEでは対角正規分布
• かなり狭い範囲で近似事後分布の候補を探しているとも言える
• adversarial variational Bayes (AVB) [Mescheder+ ICML2017]
• VAEで...

2019年3月23日（土）トピックモデルとその周辺 121
[Mescheder+ ICML2017]

GAN [Goodfellow+ NIPS2014]
• GANはふたつのことをしている
1. 密度関数が分からない分布の密度比を近似する
• GANの場合、観測データの分布とgeneratorの出力が従う分布
• どちらの分布の密度関数も分か...

密度比の近似 [Mohamed+ NIPS 2016 Workshop on Adversarial Training]
• 膨大な知見の蓄積がある話題
• density ratioだけでなくdensity differenceを近似するとい...

AVB (adversarial variational Bayes)
[Mescheder+ ICML2017]
log 𝑝 𝒙 𝑑|𝜱 ≥ E 𝑞 𝜽 𝑑|𝒙 𝑑
log 𝑝 𝒙 𝑑 𝜽 𝑑, 𝜱 − 𝐷 𝐾𝐿 𝑞 𝜽 𝑑|𝒙 𝑑 ∥ 𝑝 ...

密度比とdiscriminatorの出力の関係
Disc 𝜃 =
𝑟 𝜃
𝑟 𝜃 + 1
⇔ 𝑟 𝜃 =
Disc 𝜃
1 − Disc 𝜃
• 上の式でdiscriminatorの出力Disc 𝜃 を密度比𝑟 𝜃 に変換
• あとはGANと同...

AVBとGANとの違い
• GANで密度比を近似しているのはそれを1に近づけたいから
• discriminatorを固定し、密度比が1に近づくような最小化問題を解く
• このときgeneratorを動かす
• AVBで密度比を近似するのはEL...

トピックモデルのAVB
• Encoder 𝑔 𝒙 𝑑, 𝜺
• 文書𝑑のトピック確率 𝜃 𝑑 = 𝑔 𝒙 𝑑, 𝜺
• Decoder 𝑓(𝜽 𝑑)
• 文書𝑑の単語確率
𝑓(𝜽 𝑑) =Softmax(𝑩𝜽 𝑑 + 𝒃0)
• Discri...

トピックモデルのAVB: trainingのポイント
• encoder NNとdiscriminator NNの学習
• 両方とも学習率0.0001のAdamで（学習率を大きくすると良くない）
• 各トピックの単語確率
• 学習率が高めのAd...

トピックモデルのAVBのprosとcons
• pros
• 収束が速い
• 最終的な評価値も良いことが多い
• VAEより良くなることが多い
• 未知文書への対応が速い
• cons
• 完全に深層学習＝ハイパーパラメータの調整がかなり大変
...

結局、どの手法を使えばいい？
1. 周辺化ギブスサンプリング
• 調整すべきハイパーパラメータが少ない
• ほぼブラックボックスとして動かせる
2. ミニバッチ変分ベイズ法
• ミニバッチ学習なので大規模データに対応できる
2019年3月23日...

今日の話題
• 前半：トピックモデル入門
• トピックモデルの概要
• トピックモデルとは、前処理、どう使うか、既存の実装
• LDAの詳細
• どんな生成モデルか、事後分布の実現法（周辺化ギブスサンプリング、変分ベイズ法）
• トピックモデル...

参考文献
Asuncion+. On smoothing and inference for topic models. UAI 2009.
Dieng+. Avoiding Latent Variable Collapse With Gene...

Share Slideshare

LinkedIn
Facebook
Twitter

Embed

Size (px)

Show related Slideshows at end

WordPress Shortcode

Link

Share
Email

2024 Trend Updates: What Really Wor... by Search Engine Jou... 1042022 views
Storytelling For The Web: Integrate... by Chiara Aliotta 954721 views
Artificial Intelligence, Data and C... by OECD Directorate ... 880306 views
How to Leverage AI to Boost Employe... by SocialHRCamp 370586 views
2024 State of Marketing Report – by... by Marius Sescu 210442 views
Everything You Need To Know About C... by Expeed Software 229923 views

View on Slideshare

1 of 132 Ad

View on Slideshare

1 of 132 Ad