Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

第3章 変分近似法 LDAにおける変分ベイズ法・周辺化変分ベイズ法

11,180 views

Published on

第4回「トピックモデルによる統計的潜在意味解析」読書会

Published in: Data & Analytics
  • Hello! High Quality And Affordable Essays For You. Starting at $4.99 per page - Check our website! https://vk.cc/82gJD2
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here

第3章 変分近似法 LDAにおける変分ベイズ法・周辺化変分ベイズ法

  1. 1. 第3章 変分近似法 第 4 回「 統計的潜在意味解析」 読書会 @ksmzn 会場:株式会社 ALBERT 西新宿 July 30, 2015 @ksmzn 第 3 章 変分近似法 July 30, 2015 1 / 43
  2. 2. 自己紹介 Koshi @ksmzn 某大学 M2 → 社会人一年目 法 研究 @ksmzn 第 3 章 変分近似法 July 30, 2015 2 / 43
  3. 3. @ksmzn 第 3 章 変分近似法 July 30, 2015 3 / 43
  4. 4. 目次 1 3.3.4 LDA 変分 法 (準備) 2 3.3.5 LDA 変分 法 (1) 3 3.3.6 LDA 変分 法 (2) 4 3.3.7 LDA 変分 法 (3) 5 3.3.8 LDA 周辺化変分 法 6 References @ksmzn 第 3 章 変分近似法 July 30, 2015 4 / 43
  5. 5. 目次 1 3.3.4 LDA 変分 法 (準備) 2 3.3.5 LDA 変分 法 (1) 3 3.3.6 LDA 変分 法 (2) 4 3.3.7 LDA 変分 法 (3) 5 3.3.8 LDA 周辺化変分 法 6 References @ksmzn 第 3 章 変分近似法 July 30, 2015 5 / 43
  6. 6. Dirichlet分布 期待値導出 log θ 期待値 θ ∼ Dir (θ | α) , 関数 Ψ (x) = d log Γ(x) dx 用 , Ep ( θ|α )[log θk] = Ψ (αk) − Ψ   K∑ k=1 αk   LDA 変分 、q (z) 導出 用 @ksmzn 第 3 章 変分近似法 July 30, 2015 6 / 43
  7. 7. 目次 1 3.3.4 LDA 変分 法 (準備) 2 3.3.5 LDA 変分 法 (1) 3 3.3.6 LDA 変分 法 (2) 4 3.3.7 LDA 変分 法 (3) 5 3.3.8 LDA 周辺化変分 法 6 References @ksmzn 第 3 章 変分近似法 July 30, 2015 7 / 43
  8. 8. LDA 引用: http: //ni66ling.hatenadiary.jp/entry/2015/05/04/163958 @ksmzn 第 3 章 変分近似法 July 30, 2015 8 / 43
  9. 9. 変分 法 要点 目的 ▶ KL[q (z, θ, ϕ) || p (z, θ, ϕ | w, α, β)] 最小 q (z, θ, ϕ) 求 . 手法 ▶ 対数周辺尤度 log p (w | α, β) 変分下限 F[q (z, θ, ϕ)] 求 、 最大 q (z, θ, ϕ) 変分法 求 . ▶ q (z, θ, ϕ) 対 因子分解仮定 , q (z), q (θ), q (ϕ) 順 繰 返 更新 . @ksmzn 第 3 章 変分近似法 July 30, 2015 9 / 43
  10. 10. 変分下限 導出 変分下限 導出 1. 周辺化 確率変数 z, θ, ϕ 結合分布 積 分形 表示 2. 変分事後分布 分子分母 形 導 入 3. 不等式 下限 求 @ksmzn 第 3 章 変分近似法 July 30, 2015 10 / 43
  11. 11. 変分下限 導出 log p (w | α, β) = log ∫ ∑ z p (w, z, θ, ϕ | α, β) dϕdθ = log ∫ ∑ z q (z, θ, ϕ) p (w, z, θ, ϕ | α, β) q (z, θ, ϕ) dϕdθ ≥ ∫ ∑ z q (z, θ, ϕ) log p (w, z, θ, ϕ | α, β) q (z, θ, ϕ) dϕdθ ≡ F [ q (z, θ, ϕ) ] @ksmzn 第 3 章 変分近似法 July 30, 2015 11 / 43
  12. 12. 因子分解仮定 q (z, θ, ϕ) 対 因子分解仮定 . q (z, θ, ϕ) =   M∏ d=1 nd∏ i=1 q ( zd,i )     M∏ d=1 q (θd)     K∏ k=1 q ( ϕk )   、結合分布 展開 . p (w, z, θ, ϕ | α, β) = p (w | z, ϕ) p (z | θ) p (ϕ | β) p (θ | α) =   M∏ d=1 nd∏ i=1 p ( wd,i | ϕzd,i ) p ( zd,i | θd )     K∏ k=1 p ( ϕk | β )     M∏ d=1 p (θd | α)   @ksmzn 第 3 章 変分近似法 July 30, 2015 12 / 43
  13. 13. 変分下限 導出 、変分下限 , F [ q (z, θ, ϕ) ] = ∫ ∑ z q (z) q (θ) q (ϕ) log p (w | z, θ) p (z | θ) dϕdθ − ∑ z q (z) log q (z) + ∫ q (θ) log p (θ | α) q (θ) dθ + ∫ q (ϕ) log p (ϕ | β) q (ϕ) dϕ @ksmzn 第 3 章 変分近似法 July 30, 2015 13 / 43
  14. 14. 変分下限 導出 (続 ) = ∫ M∑ d=1 nd∑ i=1 q ( zd,i ) q (θd) q (ϕ) log p ( wd,i | zd,i, ϕ ) p ( zd,i | θd ) dϕdθ − M∑ d=1 nd∑ i=1 K∑ k=1 q ( zd,i = k ) log q ( zd,i = k ) + M∑ d=1 − ∫ q (θd) log p (θd | α) q (θd) dθd + K∑ k=1 − ∫ q ( ϕk ) log p ( ϕk | β ) q ( ϕk ) dϕk @ksmzn 第 3 章 変分近似法 July 30, 2015 14 / 43
  15. 15. 変分下限 最大 変分下限 F [ q (z, θ, ϕ) ] 最大 . → q (z, θ, ϕ) 因子分解仮定 置 , F z, θ, ϕ 関 部分 抜 出 , 最大 q ( zd,i ) , q (θd) , q ( ϕk ) 求 . @ksmzn 第 3 章 変分近似法 July 30, 2015 15 / 43
  16. 16. q (θd) 求 変分下限 F , q (θd) 関係 項 抜 出 ˜F [ q (θd) ] , ˜F [ q (θd) ] = ∫ q (θd) ∑ z q (z) nd∑ i=1 log p ( zd,i | θd ) dθd − ∫ q (θd) log q (θd) p (θd | α) dθd @ksmzn 第 3 章 変分近似法 July 30, 2015 16 / 43
  17. 17. q (θd) 求 最大化 , 変分法 , ∂ f ( θd,q ( θd )) ∂q ( θd ) = 0 q (θd) 求 ∂ f (θd, q (θd)) ∂q (θd) = ∑ z q (z) nd∑ i=1 log p ( zd,i | θd ) − log q (θd) p (θd | α) − 1 = 0 q (θd) 解 . @ksmzn 第 3 章 変分近似法 July 30, 2015 17 / 43
  18. 18. q (θd) 求 q (θd) ∝ p (θd | α) exp   ∑ z q (z) nd∑ i=1 log p ( zd,i | θd )   ∝ K∏ k=1 θαk−1 d,k exp   ∑ z q (z) nd∑ i=1 K∑ k=1 δ ( zd,i = k ) log θd,k   = exp   K∑ k=1 (αk − 1) log θd,k   exp   K∑ k=1 nd∑ i=1 q ( zd,i = k ) log θd,k   = exp   K∑ k=1 (αk − 1) log θd,k   exp   K∑ k=1 Eq(zd) [ nd,k ] log θd,k   = exp   K∑ k=1 ( Eq(zd) [ nd,k ] + αk − 1 ) log θd,k   = K∏ k=1 θ Eq(zd)[nd,k]+αk−1 d,k @ksmzn 第 3 章 変分近似法 July 30, 2015 18 / 43
  19. 19. q (θd) 求 ξθ d,k = Eq(zd) [ nd,k ] + αk, ξθ d = ( ξθ d,1, ξθ d,2, · · · , ξθ d,K ) , q (θd) ξθ d Dirichlet 分布 q ( θd | ξθ d ) , 正規化項 計算 , q ( θd | ξθ d ) = Γ (∑K k=1 ξθ d,k ) ∏K k=1 Γ ( ξθ d,k ) K∏ k=1 θ ξθ d,k −1 d,k . @ksmzn 第 3 章 変分近似法 July 30, 2015 19 / 43
  20. 20. q ( ϕk ) 求 同様 , ξϕ k,v = Eq(z) [ nk,v ] + βv, ξ ϕ k = ( ξϕ k,1, ξϕ k,2, · · · , ξϕ k,v ) , q ( ϕk ) ξ ϕ k Dirichlet 分布 q ( ϕk | ξ ϕ k ) , 正規化項 計算 , q ( ϕk | ξ ϕ k ) = Γ (∑V v=1 ξϕ k,v ) ∏V v=1 Γ ( ξϕ k,v ) V∏ v=1 ϕ ξ ϕ k,v −1 k,v . @ksmzn 第 3 章 変分近似法 July 30, 2015 20 / 43
  21. 21. q ( zd,i ) 求 最後 , q ( zd,i ) , q ( zd,i = k ) ∝ exp [ Ψ ( ξϕ k,wd,i )] exp [ Ψ (∑V v′=1 ξϕ k,v′ )] exp [ Ψ ( ξθ d,k )] exp [ Ψ (∑K k′=1 ξθ d,k′ )] . @ksmzn 第 3 章 変分近似法 July 30, 2015 21 / 43
  22. 22. TIPS 1. 後, 全 k, d, i 評価 行 2. α, β 推定 関 , 3.6 節 参照 3. 因子分解仮定 誤差 大 ( ) →周辺化変分 法!! @ksmzn 第 3 章 変分近似法 July 30, 2015 22 / 43
  23. 23. 目次 1 3.3.4 LDA 変分 法 (準備) 2 3.3.5 LDA 変分 法 (1) 3 3.3.6 LDA 変分 法 (2) 4 3.3.7 LDA 変分 法 (3) 5 3.3.8 LDA 周辺化変分 法 6 References @ksmzn 第 3 章 変分近似法 July 30, 2015 23 / 43
  24. 24. 共役性 利用 場合 ▶ 近似事後分布 対 何 分布 条件 置 →多項分布 Dirichlet 分布 共役性 ▶ 近似事後分布 形 仮定 , 推 定 方法 ▶ LDA 共役性 用 , 必要 @ksmzn 第 3 章 変分近似法 July 30, 2015 24 / 43
  25. 25. 目次 1 3.3.4 LDA 変分 法 (準備) 2 3.3.5 LDA 変分 法 (1) 3 3.3.6 LDA 変分 法 (2) 4 3.3.7 LDA 変分 法 (3) 5 3.3.8 LDA 周辺化変分 法 6 References @ksmzn 第 3 章 変分近似法 July 30, 2015 25 / 43
  26. 26. ϕ 点推定 ▶ 原論文 , ϕ 点推定 行 ▶ 変分下限 ϕ 関 部分 抜 出 , q ( ϕk,v ) ϕk,v 微分 求 . @ksmzn 第 3 章 変分近似法 July 30, 2015 26 / 43
  27. 27. 目次 1 3.3.4 LDA 変分 法 (準備) 2 3.3.5 LDA 変分 法 (1) 3 3.3.6 LDA 変分 法 (2) 4 3.3.7 LDA 変分 法 (3) 5 3.3.8 LDA 周辺化変分 法 6 References @ksmzn 第 3 章 変分近似法 July 30, 2015 27 / 43
  28. 28. 周辺化変分 法 (CVB) 周辺化変分 法 Collapsed Variational Bayes (CVB) 周辺化 同様 , θd ϕk 周 辺化(積分消去) , 近似事後分布 q (z) 求 . q (z) 因子分解仮定 . q (z) = M∏ d=1 nd∏ i=1 q ( zd,i ) θ, ϕ z 依存関係 保持 学習 @ksmzn 第 3 章 変分近似法 July 30, 2015 28 / 43
  29. 29. CVB 変分下限 導出 基本的 変分 法 同様 1. 周辺化 確率変数 z 結合分布 積分形 表示 2. 変分事後分布 分子分母 形 導 入 3. 不等式 下限 求 log p (w | α, β) = log ∑ z p (w, z | α, β) = log ∑ z q (z) p (w, z | α, β) q (z) ≥ ∑ z q (z) log p (w, z | α, β) q (z) ≡ FCVB [ q (z) ] @ksmzn 第 3 章 変分近似法 July 30, 2015 29 / 43
  30. 30. VB 変分下限 CVB 変分下限 変分 法 (VB) 変分下限 CVB 変分下限 次 関係 成 立 . F [ q (z, θ, θ) ] ≤ FCVB [ q (z) ] CVB , VB 既 大 変分下限 最大化 , 効率的 . →学習 必要 反復回数 少 済 ! @ksmzn 第 3 章 変分近似法 July 30, 2015 30 / 43
  31. 31. 変分下限 最大化 周辺化変分 法 , 以下 最適化問題 解 q∗ (z) = argmax q(z) FCVB [ q (z) ] @ksmzn 第 3 章 変分近似法 July 30, 2015 31 / 43
  32. 32. 変分下限 最大化 VB 同様 , FCVB [ q (z) ] = ∑ z q (z) log p (w, z | α, β) q (z) = ∑ z q ( zd,i ) q ( zd,i ) log p ( wd,i, zd,i | wd,i , zd,i , α, β ) p ( wd,i , zd,i | α, β ) q ( zd,i ) q ( zd,i ) , q ( zd,i ) 関係 項 抜 出 ˜FCVB [ q ( zd,i )] = ∑ z q ( zd,i ) q ( zd,i ) log p ( wd,i, zd,i | wd,i , zd,i , α, β ) q ( zd,i ) @ksmzn 第 3 章 変分近似法 July 30, 2015 32 / 43
  33. 33. CVB 用 統計量 (P55) nd,k nd,k = ∑nd i=1 δ ( zd,i = k ) 文書 d k 現 回数 nk,v nk,v = ∑M d=1 ∑nd i=1 δ ( wd,i = v, zd,i = k ) 全文書 , k 単語 v 対 推定 回数 @ksmzn 第 3 章 変分近似法 July 30, 2015 33 / 43
  34. 34. CVB 用 統計量 p ( wd,i = v, zd,i = k | wd,i , zd,i , α, β ) = p ( wd,i = v | zd,i = k, wd,i , zd,i , β ) p ( zd,i = k | zd,i , α ) = nd,i k,v + βv nd,i k,. + β. × nd,i d,k + αk nd,i d,. + α. (Dirichlet 分布 期待値計算 , 式 (2.10) 参照) @ksmzn 第 3 章 変分近似法 July 30, 2015 34 / 43
  35. 35. q ( zd,i = k ) 求 変分下限 ˜FCVB [ q ( zd,i )] , q ( zd,i = k ) 微分 0 , q ( zd,i = k ) 解 , q ( zd,i = k ) ∝ exp   ∑ z q ( zd,i ) log p ( wd,i, zd,i | wd,i , zd,i , α, β )   = exp Eq(zd,i ) [ log p ( wd,i, zd,i | wd,i , zd,i , α, β )] ∝ exp Eq(zd,i )  log nd,i k,v + βv nd,i k,. + β. ( nd,i d,k + αk )   = exp Eq(zd,i ) [ log nd,i k,v + βv ] exp Eq(zd,i ) [∑V v′=1 log nd,i k,v′ + β′ v ]exp Eq(zd,i ) [ log ( nd,i d,k + αk )] @ksmzn 第 3 章 変分近似法 July 30, 2015 35 / 43
  36. 36. 展開 近似 前 式 期待値部分 解析的 計算 , 展開 近似 行 . 展開 対数関数 a 周 2 次 展開 , log x ≈ log a + 1 a (x − a) − 1 2a2 (x − a)2 @ksmzn 第 3 章 変分近似法 July 30, 2015 36 / 43
  37. 37. 展開 近似 a = E [x] , E [ log x ] ≈ log E [x] + V [x] 2E [x]2 , nd,i d,k + αk 周 展開 近似 , E [ log ( nd,i d,k + αk )] ≈ log ( E [ nd,i d,k ] + αk ) − V [ nd,i d,k ] 2 ( E [ nd,i d,k ] + αk )2 @ksmzn 第 3 章 変分近似法 July 30, 2015 37 / 43
  38. 38. 展開 近似 , E [ nd,i d,k ] = ∑ i′ i q ( zd,i′ = k ) V [ nd,i d,k ] = ∑ i′ i q ( zd,i′ = k ) ( 1 − q ( zd,i′ = k )) E [ nd,i k,v ] = M∑ d=1 ∑ i′ q ( zd,i′ = k ) I ( wd,i′ = k ) E [ nd,i k,. ] = V∑ v=1 E [ nd,i k,v ] V [ nd,i k,v ] = M∑ d=1 ∑ i′ q ( zd,i′ = k ) ( 1 − q ( zd,i′ = k )) I ( wd,i′ = k )2 V [ nd,i k,. ] = V∑ v=1 V [ nd,i k,v ] 用 , @ksmzn 第 3 章 変分近似法 July 30, 2015 38 / 43
  39. 39. 展開 近似 近似 , q ( zd,i = k ) ∝ E [ nd,i k,v ] + βv ∑V v′=1 E [ nd,i k,v′ ] + β′ v E [ nd,i d,k ] + αk × exp   − V [ nd,i k,v ] 2 ( E [ nd,i k,v ] + βv )2 − V [ nd,i d,k ] 2 ( E [ nd,i d,k ] + αk )2   × exp   V [ nd,i k,. ] 2 (∑V v=1 E [ nd,i k,v′ ] + βv′ )2   @ksmzn 第 3 章 変分近似法 July 30, 2015 39 / 43
  40. 40. CVB0 ▶ LDA , 2 次近似 , 0 次近似 方 予測性能 良 知 (CVB0). q ( zd,i = k ) ∝ E [ nd,i k,v ] + βv ∑V v′=1 E [ nd,i k,v′ ] + β′ v E [ nd,i d,k ] + αk ▶ 以外 (計算 等) 同等 , LDA 2 次近似 使 理由 ( ?) ▶ 詳細 , 著者 佐藤先生 論文 . @ksmzn 第 3 章 変分近似法 July 30, 2015 40 / 43
  41. 41. 1. LDA 変分 法 適用 2. LDA 周辺化変分 法 適用 3. 0 次近似 (CVB0) 方 2 次近似 汎化能力 高 @ksmzn 第 3 章 変分近似法 July 30, 2015 41 / 43
  42. 42. References [1] 佐藤一誠 (2015) 『 統計的潜 在意味解析』 (自然言語処理 ) 社 [2] 岩田具治 (2015) 『 』(機械学習 ), [3] CVB0 ! - Bag of ML Words http://dr-kayai.hatenablog.com/entry/ 2013/12/22/003011 @ksmzn 第 3 章 変分近似法 July 30, 2015 42 / 43
  43. 43. 清聴 . @ksmzn 第 3 章 変分近似法 July 30, 2015 43 / 43

×