「トピックモデルによる統計的潜在意味解析」読書会「第1章統計的潜在意味解析とは」

第1章統計的潜在意味解析
第 1 回「統計的潜在意味解析」
読書会
@ksmzn
会場:株式会社 ALBERT 西新宿
June 4, 2015
@ksmzn 第 1 章統計的潜在意味解析 June 4, 2015 1 / 34

自己紹介
Koshi @ksmzn
某大学 M2 → 社会人一年目
法研究
SQL 日々

https://speakerdeck.com/yamano357/tokyowebmining46th
先日 TokyoWebmining 資料参考
、見！！

目次
1 1.1 潜在的意味・潜在的共起性
2 1.2 潜在意味解析歴史
3 1.4 確率的潜在変数
4 1.5 確率的生成

潜在的意味・潜在的共起性
潜在的意味
▶ 「音楽」「」単語無
、単語群見想起
▶ 複数単語共起性創発情報
▶ 潜在的意味呼
→「単語共起性数学的化？」

潜在意味解析歴史
▶ 行列分解 (1988)
Latent Semantic Indexing/Analysis (LSI/LSA)
▶ 確率 (1998)
Probabilistic LSI/LSA (PLSI/PLSA)
▶ 階層 (2003)
Latent Dirichlet Allocation (LDA)
▶ 拡張多数 (2004 )
▶ 大規模高速化 (2007)

特異値分解
特異値分解
▶ 単語文書行列 X 3 行列分解
X =US VT
▶ U, S, V 各列特異値大順 K
個用、 ˜U, ˜S , ˜V 作、 K 低
近似行列 ˜X 得
˜X = ˜U ˜S ˜VT

特異値分解

特異値分解潜在意味解析
文書含単語抽出、頻度
単語文書行列 X 作成
▶ 「car」検索、文書 1 発見
▶ 「automobile」、文書 2 発見
→単語持潜在的意味考
→特異値分解

特異値分解結果
文書 1・2 、「car」「automobile」頻度 0
！
→「drive」共起性、潜在的意味抽出

˜V 情報
各列、複数単語共起性表。
→潜在

˜U 情報
各列、文書共起性表
。
→間接的、文書単語共起性抽出

LSI 問題点
▶ ˜U, ˜S 解釈難
▶ 特異値分解性質、軸互
直交、対非常強制約
→ PLSI, 階層 , etc...

確率的潜在変数
確率的潜在変数
1
観測潜在変数仮定数理
2
潜在変数推定、間
類似性意味解析

例：間類似性
▶ x = {x1, x2, . . . , xn} : 観測変数
▶ z = {z1, z2, . . . , zn} : 潜在変数
▶ ϕ = {ϕ1, ϕ2, . . . , ϕK} :
類似表確率変数
z1 = z2 = k ⇒
x1 x2 ϕk 意味類似

確率的生成
確率的生成
生成過程確率表現数理
確率的生成視覚的表現

生成過程
確率変数 xi(x = 1, . . . , n) 確率分布 p(xi|ϕ) 従
,
xi ∼ p(xi|ϕ) (i = 1, . . . , n)
記述。
↓
確率変数 xi 値 , 確率分布 p(xi|ϕ) 生成
示。

考
K 個目出 n 回振出目
生成考

▶ 確率変数間条件付依存構造表現
▶ 生成 π zi 関係
以下表

定理条件付独立性
、定理条件付独立
性同時確率展開役立。
定理
p (x|y) =
p (y|x) p (x)
p (y)
条件付独立性
z 与下 x y 条件付確率分布 p(x|z), p(y|z)
, (x, y) 条件付同時分布 p(x, y|z) 。
、 x, y 対 p(x, y|z) = p(x|z)p(y|z) 成立
、「z 与下 x y 条件付独立」、
x y|z 表

tail-to-tail型
tail-to-tail 型
条件付独立性:a b|c
⇒ p(a, b|c) = p(a|c)p(b|c)
対応同時分布
p(a, b, c) = p(a|c)p(b|c)p(c)

head-to-tail型
head-to-tail 型
条件付独立性:a b|c
⇒ p(a, b|c) = p(a|c)p(b|c)
対応同時分布
p(a, b, c) = p(b|c)p(c|a)p(a)

生成同時分布
同時分布 p(x, z, π, ϕ, η) 展開
▶ π 生成確率 p(π)
▶ η 生成確率 p(η)
▶ π 与下 z
tail-to-tail 型、
p(z|π) =
n∏
i=1
p(zi|π)
▶ η 与下 ϕ
tail-to-tail 型、
p(ϕ|η) =
K∏
k=1
p(ϕk|η)

生成条件付分布1
条件付分布 p(z|x, π, ϕ, η) 計算
▶ π x z 繋
依存関係
▶ x 与、
ϕ z 対独立
(head-to-head 型)
▶ ϕ 与、
η x 条件付独立
(head-to-tail 型)。従、
η z 条件付独立
▶ 、
p(z|x, π, ϕ, η) = p(z|x, π, ϕ)

生成条件付分布2
条件付分布 p(ϕ|x, π, z, η) 計算
▶ η x ϕ 繋
依存関係
▶ x 与、
ϕ z 対独立
(head-to-head 型)
▶ z 与、
π x 条件付独立
(head-to-tail 型)。従、
π ϕ 条件付独立
▶ 、
p(ϕ|x, z, π, η) = p(ϕ|x, z, η)

1. 潜在的意味呼
2. 特異値分解行、文書潜在的意味解析
3. 書、同時分布展
開容易

清聴 .

「トピックモデルによる統計的潜在意味解析」読書会「第1章 統計的潜在意味解析とは」

More Related Content

Similar to 「トピックモデルによる統計的潜在意味解析」読書会「第1章 統計的潜在意味解析とは」