Successfully reported this slideshow.                                           Upcoming SlideShare
×

# 第3章 変分近似法 LDAにおける変分ベイズ法・周辺化変分ベイズ法

11,180 views

Published on

Published in: Data & Analytics
• Full Name
Comment goes here.

Are you sure you want to Yes No • Hello! High Quality And Affordable Essays For You. Starting at \$4.99 per page - Check our website! https://vk.cc/82gJD2

Are you sure you want to  Yes  No

### 第3章 変分近似法 LDAにおける変分ベイズ法・周辺化変分ベイズ法

1. 1. 第3章 変分近似法 第 4 回「 統計的潜在意味解析」 読書会 @ksmzn 会場:株式会社 ALBERT 西新宿 July 30, 2015 @ksmzn 第 3 章 変分近似法 July 30, 2015 1 / 43
2. 2. 自己紹介 Koshi @ksmzn 某大学 M2 → 社会人一年目 法 研究 @ksmzn 第 3 章 変分近似法 July 30, 2015 2 / 43
3. 3. @ksmzn 第 3 章 変分近似法 July 30, 2015 3 / 43
4. 4. 目次 1 3.3.4 LDA 変分 法 (準備) 2 3.3.5 LDA 変分 法 (1) 3 3.3.6 LDA 変分 法 (2) 4 3.3.7 LDA 変分 法 (3) 5 3.3.8 LDA 周辺化変分 法 6 References @ksmzn 第 3 章 変分近似法 July 30, 2015 4 / 43
5. 5. 目次 1 3.3.4 LDA 変分 法 (準備) 2 3.3.5 LDA 変分 法 (1) 3 3.3.6 LDA 変分 法 (2) 4 3.3.7 LDA 変分 法 (3) 5 3.3.8 LDA 周辺化変分 法 6 References @ksmzn 第 3 章 変分近似法 July 30, 2015 5 / 43
6. 6. Dirichlet分布 期待値導出 log θ 期待値 θ ∼ Dir (θ | α) , 関数 Ψ (x) = d log Γ(x) dx 用 , Ep ( θ|α )[log θk] = Ψ (αk) − Ψ   K∑ k=1 αk   LDA 変分 、q (z) 導出 用 @ksmzn 第 3 章 変分近似法 July 30, 2015 6 / 43
7. 7. 目次 1 3.3.4 LDA 変分 法 (準備) 2 3.3.5 LDA 変分 法 (1) 3 3.3.6 LDA 変分 法 (2) 4 3.3.7 LDA 変分 法 (3) 5 3.3.8 LDA 周辺化変分 法 6 References @ksmzn 第 3 章 変分近似法 July 30, 2015 7 / 43
8. 8. LDA 引用: http: //ni66ling.hatenadiary.jp/entry/2015/05/04/163958 @ksmzn 第 3 章 変分近似法 July 30, 2015 8 / 43
9. 9. 変分 法 要点 目的 ▶ KL[q (z, θ, ϕ) || p (z, θ, ϕ | w, α, β)] 最小 q (z, θ, ϕ) 求 . 手法 ▶ 対数周辺尤度 log p (w | α, β) 変分下限 F[q (z, θ, ϕ)] 求 、 最大 q (z, θ, ϕ) 変分法 求 . ▶ q (z, θ, ϕ) 対 因子分解仮定 , q (z), q (θ), q (ϕ) 順 繰 返 更新 . @ksmzn 第 3 章 変分近似法 July 30, 2015 9 / 43
10. 10. 変分下限 導出 変分下限 導出 1. 周辺化 確率変数 z, θ, ϕ 結合分布 積 分形 表示 2. 変分事後分布 分子分母 形 導 入 3. 不等式 下限 求 @ksmzn 第 3 章 変分近似法 July 30, 2015 10 / 43
11. 11. 変分下限 導出 log p (w | α, β) = log ∫ ∑ z p (w, z, θ, ϕ | α, β) dϕdθ = log ∫ ∑ z q (z, θ, ϕ) p (w, z, θ, ϕ | α, β) q (z, θ, ϕ) dϕdθ ≥ ∫ ∑ z q (z, θ, ϕ) log p (w, z, θ, ϕ | α, β) q (z, θ, ϕ) dϕdθ ≡ F [ q (z, θ, ϕ) ] @ksmzn 第 3 章 変分近似法 July 30, 2015 11 / 43
12. 12. 因子分解仮定 q (z, θ, ϕ) 対 因子分解仮定 . q (z, θ, ϕ) =   M∏ d=1 nd∏ i=1 q ( zd,i )     M∏ d=1 q (θd)     K∏ k=1 q ( ϕk )   、結合分布 展開 . p (w, z, θ, ϕ | α, β) = p (w | z, ϕ) p (z | θ) p (ϕ | β) p (θ | α) =   M∏ d=1 nd∏ i=1 p ( wd,i | ϕzd,i ) p ( zd,i | θd )     K∏ k=1 p ( ϕk | β )     M∏ d=1 p (θd | α)   @ksmzn 第 3 章 変分近似法 July 30, 2015 12 / 43
13. 13. 変分下限 導出 、変分下限 , F [ q (z, θ, ϕ) ] = ∫ ∑ z q (z) q (θ) q (ϕ) log p (w | z, θ) p (z | θ) dϕdθ − ∑ z q (z) log q (z) + ∫ q (θ) log p (θ | α) q (θ) dθ + ∫ q (ϕ) log p (ϕ | β) q (ϕ) dϕ @ksmzn 第 3 章 変分近似法 July 30, 2015 13 / 43
14. 14. 変分下限 導出 (続 ) = ∫ M∑ d=1 nd∑ i=1 q ( zd,i ) q (θd) q (ϕ) log p ( wd,i | zd,i, ϕ ) p ( zd,i | θd ) dϕdθ − M∑ d=1 nd∑ i=1 K∑ k=1 q ( zd,i = k ) log q ( zd,i = k ) + M∑ d=1 − ∫ q (θd) log p (θd | α) q (θd) dθd + K∑ k=1 − ∫ q ( ϕk ) log p ( ϕk | β ) q ( ϕk ) dϕk @ksmzn 第 3 章 変分近似法 July 30, 2015 14 / 43
15. 15. 変分下限 最大 変分下限 F [ q (z, θ, ϕ) ] 最大 . → q (z, θ, ϕ) 因子分解仮定 置 , F z, θ, ϕ 関 部分 抜 出 , 最大 q ( zd,i ) , q (θd) , q ( ϕk ) 求 . @ksmzn 第 3 章 変分近似法 July 30, 2015 15 / 43
16. 16. q (θd) 求 変分下限 F , q (θd) 関係 項 抜 出 ˜F [ q (θd) ] , ˜F [ q (θd) ] = ∫ q (θd) ∑ z q (z) nd∑ i=1 log p ( zd,i | θd ) dθd − ∫ q (θd) log q (θd) p (θd | α) dθd @ksmzn 第 3 章 変分近似法 July 30, 2015 16 / 43
17. 17. q (θd) 求 最大化 , 変分法 , ∂ f ( θd,q ( θd )) ∂q ( θd ) = 0 q (θd) 求 ∂ f (θd, q (θd)) ∂q (θd) = ∑ z q (z) nd∑ i=1 log p ( zd,i | θd ) − log q (θd) p (θd | α) − 1 = 0 q (θd) 解 . @ksmzn 第 3 章 変分近似法 July 30, 2015 17 / 43
18. 18. q (θd) 求 q (θd) ∝ p (θd | α) exp   ∑ z q (z) nd∑ i=1 log p ( zd,i | θd )   ∝ K∏ k=1 θαk−1 d,k exp   ∑ z q (z) nd∑ i=1 K∑ k=1 δ ( zd,i = k ) log θd,k   = exp   K∑ k=1 (αk − 1) log θd,k   exp   K∑ k=1 nd∑ i=1 q ( zd,i = k ) log θd,k   = exp   K∑ k=1 (αk − 1) log θd,k   exp   K∑ k=1 Eq(zd) [ nd,k ] log θd,k   = exp   K∑ k=1 ( Eq(zd) [ nd,k ] + αk − 1 ) log θd,k   = K∏ k=1 θ Eq(zd)[nd,k]+αk−1 d,k @ksmzn 第 3 章 変分近似法 July 30, 2015 18 / 43
19. 19. q (θd) 求 ξθ d,k = Eq(zd) [ nd,k ] + αk, ξθ d = ( ξθ d,1, ξθ d,2, · · · , ξθ d,K ) , q (θd) ξθ d Dirichlet 分布 q ( θd | ξθ d ) , 正規化項 計算 , q ( θd | ξθ d ) = Γ (∑K k=1 ξθ d,k ) ∏K k=1 Γ ( ξθ d,k ) K∏ k=1 θ ξθ d,k −1 d,k . @ksmzn 第 3 章 変分近似法 July 30, 2015 19 / 43
20. 20. q ( ϕk ) 求 同様 , ξϕ k,v = Eq(z) [ nk,v ] + βv, ξ ϕ k = ( ξϕ k,1, ξϕ k,2, · · · , ξϕ k,v ) , q ( ϕk ) ξ ϕ k Dirichlet 分布 q ( ϕk | ξ ϕ k ) , 正規化項 計算 , q ( ϕk | ξ ϕ k ) = Γ (∑V v=1 ξϕ k,v ) ∏V v=1 Γ ( ξϕ k,v ) V∏ v=1 ϕ ξ ϕ k,v −1 k,v . @ksmzn 第 3 章 変分近似法 July 30, 2015 20 / 43
21. 21. q ( zd,i ) 求 最後 , q ( zd,i ) , q ( zd,i = k ) ∝ exp [ Ψ ( ξϕ k,wd,i )] exp [ Ψ (∑V v′=1 ξϕ k,v′ )] exp [ Ψ ( ξθ d,k )] exp [ Ψ (∑K k′=1 ξθ d,k′ )] . @ksmzn 第 3 章 変分近似法 July 30, 2015 21 / 43
22. 22. TIPS 1. 後, 全 k, d, i 評価 行 2. α, β 推定 関 , 3.6 節 参照 3. 因子分解仮定 誤差 大 ( ) →周辺化変分 法!! @ksmzn 第 3 章 変分近似法 July 30, 2015 22 / 43
23. 23. 目次 1 3.3.4 LDA 変分 法 (準備) 2 3.3.5 LDA 変分 法 (1) 3 3.3.6 LDA 変分 法 (2) 4 3.3.7 LDA 変分 法 (3) 5 3.3.8 LDA 周辺化変分 法 6 References @ksmzn 第 3 章 変分近似法 July 30, 2015 23 / 43
24. 24. 共役性 利用 場合 ▶ 近似事後分布 対 何 分布 条件 置 →多項分布 Dirichlet 分布 共役性 ▶ 近似事後分布 形 仮定 , 推 定 方法 ▶ LDA 共役性 用 , 必要 @ksmzn 第 3 章 変分近似法 July 30, 2015 24 / 43
25. 25. 目次 1 3.3.4 LDA 変分 法 (準備) 2 3.3.5 LDA 変分 法 (1) 3 3.3.6 LDA 変分 法 (2) 4 3.3.7 LDA 変分 法 (3) 5 3.3.8 LDA 周辺化変分 法 6 References @ksmzn 第 3 章 変分近似法 July 30, 2015 25 / 43
26. 26. ϕ 点推定 ▶ 原論文 , ϕ 点推定 行 ▶ 変分下限 ϕ 関 部分 抜 出 , q ( ϕk,v ) ϕk,v 微分 求 . @ksmzn 第 3 章 変分近似法 July 30, 2015 26 / 43
27. 27. 目次 1 3.3.4 LDA 変分 法 (準備) 2 3.3.5 LDA 変分 法 (1) 3 3.3.6 LDA 変分 法 (2) 4 3.3.7 LDA 変分 法 (3) 5 3.3.8 LDA 周辺化変分 法 6 References @ksmzn 第 3 章 変分近似法 July 30, 2015 27 / 43
28. 28. 周辺化変分 法 (CVB) 周辺化変分 法 Collapsed Variational Bayes (CVB) 周辺化 同様 , θd ϕk 周 辺化（積分消去） , 近似事後分布 q (z) 求 . q (z) 因子分解仮定 . q (z) = M∏ d=1 nd∏ i=1 q ( zd,i ) θ, ϕ z 依存関係 保持 学習 @ksmzn 第 3 章 変分近似法 July 30, 2015 28 / 43
29. 29. CVB 変分下限 導出 基本的 変分 法 同様 1. 周辺化 確率変数 z 結合分布 積分形 表示 2. 変分事後分布 分子分母 形 導 入 3. 不等式 下限 求 log p (w | α, β) = log ∑ z p (w, z | α, β) = log ∑ z q (z) p (w, z | α, β) q (z) ≥ ∑ z q (z) log p (w, z | α, β) q (z) ≡ FCVB [ q (z) ] @ksmzn 第 3 章 変分近似法 July 30, 2015 29 / 43
30. 30. VB 変分下限 CVB 変分下限 変分 法 (VB) 変分下限 CVB 変分下限 次 関係 成 立 . F [ q (z, θ, θ) ] ≤ FCVB [ q (z) ] CVB , VB 既 大 変分下限 最大化 , 効率的 . →学習 必要 反復回数 少 済 ！ @ksmzn 第 3 章 変分近似法 July 30, 2015 30 / 43
31. 31. 変分下限 最大化 周辺化変分 法 , 以下 最適化問題 解 q∗ (z) = argmax q(z) FCVB [ q (z) ] @ksmzn 第 3 章 変分近似法 July 30, 2015 31 / 43
32. 32. 変分下限 最大化 VB 同様 , FCVB [ q (z) ] = ∑ z q (z) log p (w, z | α, β) q (z) = ∑ z q ( zd,i ) q ( zd,i ) log p ( wd,i, zd,i | wd,i , zd,i , α, β ) p ( wd,i , zd,i | α, β ) q ( zd,i ) q ( zd,i ) , q ( zd,i ) 関係 項 抜 出 ˜FCVB [ q ( zd,i )] = ∑ z q ( zd,i ) q ( zd,i ) log p ( wd,i, zd,i | wd,i , zd,i , α, β ) q ( zd,i ) @ksmzn 第 3 章 変分近似法 July 30, 2015 32 / 43
33. 33. CVB 用 統計量 (P55) nd,k nd,k = ∑nd i=1 δ ( zd,i = k ) 文書 d k 現 回数 nk,v nk,v = ∑M d=1 ∑nd i=1 δ ( wd,i = v, zd,i = k ) 全文書 , k 単語 v 対 推定 回数 @ksmzn 第 3 章 変分近似法 July 30, 2015 33 / 43
34. 34. CVB 用 統計量 p ( wd,i = v, zd,i = k | wd,i , zd,i , α, β ) = p ( wd,i = v | zd,i = k, wd,i , zd,i , β ) p ( zd,i = k | zd,i , α ) = nd,i k,v + βv nd,i k,. + β. × nd,i d,k + αk nd,i d,. + α. (Dirichlet 分布 期待値計算 , 式 (2.10) 参照) @ksmzn 第 3 章 変分近似法 July 30, 2015 34 / 43
35. 35. q ( zd,i = k ) 求 変分下限 ˜FCVB [ q ( zd,i )] , q ( zd,i = k ) 微分 0 , q ( zd,i = k ) 解 , q ( zd,i = k ) ∝ exp   ∑ z q ( zd,i ) log p ( wd,i, zd,i | wd,i , zd,i , α, β )   = exp Eq(zd,i ) [ log p ( wd,i, zd,i | wd,i , zd,i , α, β )] ∝ exp Eq(zd,i )  log nd,i k,v + βv nd,i k,. + β. ( nd,i d,k + αk )   = exp Eq(zd,i ) [ log nd,i k,v + βv ] exp Eq(zd,i ) [∑V v′=1 log nd,i k,v′ + β′ v ]exp Eq(zd,i ) [ log ( nd,i d,k + αk )] @ksmzn 第 3 章 変分近似法 July 30, 2015 35 / 43
36. 36. 展開 近似 前 式 期待値部分 解析的 計算 , 展開 近似 行 . 展開 対数関数 a 周 2 次 展開 , log x ≈ log a + 1 a (x − a) − 1 2a2 (x − a)2 @ksmzn 第 3 章 変分近似法 July 30, 2015 36 / 43
37. 37. 展開 近似 a = E [x] , E [ log x ] ≈ log E [x] + V [x] 2E [x]2 , nd,i d,k + αk 周 展開 近似 , E [ log ( nd,i d,k + αk )] ≈ log ( E [ nd,i d,k ] + αk ) − V [ nd,i d,k ] 2 ( E [ nd,i d,k ] + αk )2 @ksmzn 第 3 章 変分近似法 July 30, 2015 37 / 43
38. 38. 展開 近似 , E [ nd,i d,k ] = ∑ i′ i q ( zd,i′ = k ) V [ nd,i d,k ] = ∑ i′ i q ( zd,i′ = k ) ( 1 − q ( zd,i′ = k )) E [ nd,i k,v ] = M∑ d=1 ∑ i′ q ( zd,i′ = k ) I ( wd,i′ = k ) E [ nd,i k,. ] = V∑ v=1 E [ nd,i k,v ] V [ nd,i k,v ] = M∑ d=1 ∑ i′ q ( zd,i′ = k ) ( 1 − q ( zd,i′ = k )) I ( wd,i′ = k )2 V [ nd,i k,. ] = V∑ v=1 V [ nd,i k,v ] 用 , @ksmzn 第 3 章 変分近似法 July 30, 2015 38 / 43
39. 39. 展開 近似 近似 , q ( zd,i = k ) ∝ E [ nd,i k,v ] + βv ∑V v′=1 E [ nd,i k,v′ ] + β′ v E [ nd,i d,k ] + αk × exp   − V [ nd,i k,v ] 2 ( E [ nd,i k,v ] + βv )2 − V [ nd,i d,k ] 2 ( E [ nd,i d,k ] + αk )2   × exp   V [ nd,i k,. ] 2 (∑V v=1 E [ nd,i k,v′ ] + βv′ )2   @ksmzn 第 3 章 変分近似法 July 30, 2015 39 / 43
40. 40. CVB0 ▶ LDA , 2 次近似 , 0 次近似 方 予測性能 良 知 (CVB0). q ( zd,i = k ) ∝ E [ nd,i k,v ] + βv ∑V v′=1 E [ nd,i k,v′ ] + β′ v E [ nd,i d,k ] + αk ▶ 以外 (計算 等) 同等 , LDA 2 次近似 使 理由 ( ?) ▶ 詳細 , 著者 佐藤先生 論文 . @ksmzn 第 3 章 変分近似法 July 30, 2015 40 / 43
41. 41. 1. LDA 変分 法 適用 2. LDA 周辺化変分 法 適用 3. 0 次近似 (CVB0) 方 2 次近似 汎化能力 高 @ksmzn 第 3 章 変分近似法 July 30, 2015 41 / 43
42. 42. References  佐藤一誠 (2015) 『 統計的潜 在意味解析』 (自然言語処理 ) 社  岩田具治 (2015) 『 』(機械学習 ),  CVB0 ！ - Bag of ML Words http://dr-kayai.hatenablog.com/entry/ 2013/12/22/003011 @ksmzn 第 3 章 変分近似法 July 30, 2015 42 / 43
43. 43. 清聴 . @ksmzn 第 3 章 変分近似法 July 30, 2015 43 / 43