koba cky, profile picture
Uploaded bykoba cky
PDF, PPTX2,253 views

「トピックモデルによる統計的潜在意味解析」読書会 4章前半

4章「潜在意味空間における回帰と識別」 4.1:背景 4.2:潜在意味空間における回帰問題

Embed presentation

Download as PDF, PPTX
2015/09/17 @_kobacky 株式会社 ALBERT セミナールーム トピックモデルによる統計的潜在意味解析 読書会 4章「潜在意味空間における回帰と識識別」 前半：4.1〜～4.2
4章の内容 • 教師データが与えられた場合の潜在意味解析 • 背景 (4.1節) • 回帰問題 (4.2節) • 識識別問題 (4.3節)
4.1 背景 • 教師あり学習：⼊入⼒力力と出⼒力力の関係をモデル化 • 出⼒力力が数値なら回帰、出⼒力力がカテゴリなどの記号なら識識別 • ⽂文書データが⼊入⼒力力の場合は、通常、単語ベクトルで表現する 【評価値】4.5 𝑊"##$,&,・・・, 𝑊"##$,'     𝑊)*$,&,・・・, 𝑊)*$,'     𝑊+#,-*,.$,&,・・・, 𝑊+#,-*,.$,'     ⽂文書 (⼊入⼒力力) 単語ベクトル (⼊入⼒力力の表現) モデル 【評価値】1.2 学習 【評価値】3.8 評判分析の イメージ 評価値 (出⼒力力) 𝑊$,/は⽂文書 d  における i 番⽬目の単語の出現頻度度 (教科書中の𝑤$,/とは意 味合いが違うので注意) 予測 (⼊入⼒力力=単語)
4.1 背景 • 潜在意味解析によって得られる潜在トピックは、⽂文書の 潜在的意味を反映した⽂文書データ⼊入⼒力力表現と⾔言える • 潜在意味解析は表現学習の⼀一種 【評価値】4.5 𝑍"##$,&, ・・・, 𝑍"##$,6     𝑍)*$,&,・・・, 𝑍)*$,6     𝑍+#,-*,.$,&,・・・, 𝑍+#,-*,.$,6     ⽂文書 (⼊入⼒力力) 潜在トピックベクトル (⼊入⼒力力の表現) モデル 【評価値】1.2 学習 【評価値】3.8 評判分析の イメージ 評価値 (出⼒力力) 𝑍$,/は⽂文書 d  における i 番⽬目のトピックの出現頻度度 (教科書中の𝑧$,/とは意味合い が違うので注意) 予測 (⼊入⼒力力=潜在トピック)
4.1 背景 • 4章では潜在トピックの学習に対して教師情報を利利⽤用する ⽅方法を説明する。 • 半教師あり学習にも応⽤用できる。(本書では扱わない。) • 「教師情報のある⼩小規模の⽂文書データ」と「教師情報のない⼤大規 模の⽂文書データ」に対して学習することで、情報量量の豊富な⼊入⼒力力 の表現を学習しつつ、⼊入⼒力力と出⼒力力の関係も学習する。
4.2 潜在意味空間における回帰問題 • 4.2.1 正規回帰モデル • 4.2.2 LDA+正規回帰モデル • 4.2.3 LDA+正規回帰モデルの学習アルゴリズム • 4.2.4 ⼀一般化線形モデル • 4.2.5 LDA+⼀一般化線形モデル • 4.2.6 LDA+ポアソン回帰モデル (の学習アルゴリズム)
4.2.1 正規回帰モデル • ⼊入⼒力力：V  次元の実ベクトル   𝒙  、出⼒力力：1次元の実数𝑦 • 線形回帰モデルでは V 次元のモデルパラメータ𝜼を⽤用い、 𝑦 = 𝜼 𝑻 𝒙 = ∑ 𝜂A 𝑥A C AD& として⼊入出⼒力力関係をモデル化 • 実際のデータには誤差が⽣生じる • 𝑛個のデータ 𝒙/, 𝑦/ 𝑖 = 1,2, ・・, 𝑛 の⼊入出⼒力力関係を正規分 布𝒩を⽤用いてモデル化 • 𝑦/  ~   𝒩 𝜼J 𝒙/,𝜎L • ⽣生成モデル的に𝜼と𝜎を学習する 𝜼J 𝒙/ 𝜎 (4.1)
4.2.2 LDA+正規回帰モデル 〜～⼊入⼒力力の表現〜～ 𝑧$,/：⽂文書 𝑑 の 𝑖 番⽬目の単語のトピック 𝑧⃗$,/ : 𝑧$,/ のベクトル表現 𝒛PQ = 1 𝑛$ R 𝒛$,/ 'S /D& 𝒛PQ : ⽂文書 𝑑 の潜在トピックによる表現 word1 word2 word3 word4 1 3 1 4 ⽂文書 𝑑 𝑧$,/𝑤$,/ 𝑧$,/ = 3 𝑧⃗$,/ = 0,0,1,0,0 J 𝒛PQ = 1 4 2,0,1,1,0 J 𝑛$：⽂文書 𝑑 の単語数 K(潜在トピック数)=5の場合 (4.2)
4.2.2 LDA+正規回帰モデル 〜～⽣生成過程〜～ M K 𝜶 𝜷𝝓Z𝒘$,/𝒛$,/𝜽$ 𝒏$ 𝒚$ 𝜼 𝜎 _ 𝜽$~Dir 𝜶         𝑑 = 1, ・・・, 𝑀 , 𝝓Z~Dir 𝜷         𝑘 = 1, ・・・, 𝐾 . 𝑧$,/~Multi 𝜽$ , 𝑤$,/~Multi 𝝓jS,k         𝑖 = 1, ・・・, 𝑛$ 𝑦$  ~   𝒩 𝜼J 𝒛P$, 𝜎L (4.3) (4.4) (4.5) ※⾚赤い部分が通常のLDAに⽐比べて追加された部分
4.2.3 LDA+正規回帰モデルの学習アルゴ リズム M K 𝜶 𝜷𝝓Z𝒘$,/𝒛$,/𝜽$ 𝒏$ 𝒚$ 𝜼 𝜎 • LDAの学習に対する変更更点 • 追加された𝜼, 𝜎の推定 • 𝒚$, 𝜼, 𝜎と条件付き独⽴立立でない 𝒛$,/ の推定 • その他の学習についてはLDAの学習と変わらない
4.2.3 LDA+正規回帰モデルの学習アルゴ リズム M K 𝜶 𝜷𝝓Z𝒘$,/𝒛$,/𝜽$ 𝒏$ 𝒚$ 𝜼 𝜎 𝑝 𝒚, 𝒘, 𝒛, 𝝓, 𝜽 𝜶, 𝜷, 𝜼, 𝜎L = 𝑝 𝒚 𝒛, 𝜼, 𝜎L 𝑝 𝒘 𝒛, 𝝓 𝑝 𝒛 𝜽 𝑝 𝝓 𝜷 𝑝 𝜽 𝜶 (4.6) 結合分布をベイズの定理理により分解 𝑝 𝒚, 𝒘 𝜶, 𝜷, 𝜼, 𝜎L ≧ 𝐹opq + 𝔼t 𝒛 log 𝑝 𝒚 𝒛, 𝜼, 𝜎L (4.7) 変分下限はLDAの変分下限に 𝔼t 𝒛 log 𝑝 𝒚 𝒛, 𝜼, 𝜎L を追加した値となる。 log 𝑝 𝒚 𝒛, 𝜼, 𝜎L = log x 𝑝 𝑦$ 𝒛$, 𝜼, 𝜎L = R log 𝑝 𝑦$ 𝒛$, 𝜼, 𝜎L y $D& y $D&
4.2.3 LDA+正規回帰モデルの学習アルゴ リズム (3.82)〜～(3.84)を参考に変分下限(4.7)を導出 log 𝑝 𝒚, 𝒘 𝜶, 𝜷, 𝜼, 𝜎L = logz R 𝑝 𝒚, 𝒘, 𝒛, 𝝓, 𝜽 𝜶, 𝜷, 𝜼, 𝜎L 𝒁 𝑑𝜙𝑑𝜃 = log zR 𝑞 𝒛, 𝝓, 𝜽 𝑝 𝒚, 𝒘, 𝒛, 𝝓, 𝜽 𝜶, 𝜷, 𝜼, 𝜎L 𝑞 𝒛, 𝝓, 𝜽 𝒁 𝑑𝜙𝑑𝜃 ≧ z R 𝑞 𝒛, 𝝓, 𝜽 log 𝑝 𝒚, 𝒘, 𝒛, 𝝓, 𝜽 𝜶, 𝜷, 𝜼, 𝜎L 𝑞 𝒛, 𝝓, 𝜽 𝒁 𝑑𝜙𝑑𝜃 = z R 𝑞 𝒛, 𝝓, 𝜽 log 𝑝 𝒘 𝒛, 𝝓 𝑝 𝒛 𝜽 𝑝 𝝓 𝜷 𝑝 𝜽 𝜶 𝑞 𝒛, 𝝓, 𝜽 + log 𝑝 𝒚 𝒛, 𝜼, 𝜎L 𝒁 𝑑𝜙𝑑𝜃 = 𝐹opq + z R 𝑞 𝒛 𝑞 𝝓 𝑞 𝜽 log 𝑝 𝒚 𝒛, 𝜼, 𝜎L 𝒁 𝑑𝜙𝑑𝜃 = 𝐹opq + R 𝑞 𝒛 log 𝑝 𝒚 𝒛, 𝜼, 𝜎L 𝒁 z 𝑞 𝝓 𝑞 𝜽 𝑑𝜙𝑑𝜃 = 𝐹opq + 𝔼t 𝒛 log 𝑝 𝒚 𝒛, 𝜼, 𝜎L (4.6)より 周辺化された確率率率変数の結合分布 変数事後分布を分⺟母分⼦子に導⼊入 イエンセンの不不等式で下限求める (3.82)(3.83)より
4.2.3 LDA+正規回帰モデルの学習アルゴ リズム 𝑝 𝑦$ 𝑧$, 𝜼, 𝜎L = 1 2𝜋𝜎L exp − 𝑦$ − 𝜼J 𝒛P$ L 2𝜎L 𝑝 𝑦$ 𝑧$, 𝜼, 𝜎L は正規分布を仮定している( 𝑦$  ~   𝒩 𝜼J 𝒛P$, 𝜎L ) ので、 𝔼t 𝒛S log 𝑝 𝑦$ 𝒛$, 𝜼, 𝜎L = − 1 2 log 2𝜋𝜎L − 𝔼t 𝒛S 1 2𝜎L 𝑦$ − 𝜼J 𝒛P$ L = − 1 2 log 2𝜋𝜎L − 1 2𝜎L 𝑦$ L − 2𝑦$ 𝜼J 𝔼t jS 𝒛P$ + 𝜼J 𝔼t jS 𝒛P$ 𝒛P$ J 𝜼 対数の期待値を計算 (4.8) (4.9)
4.2.3 LDA+正規回帰モデルの学習アルゴ リズム 𝝇$,/ = 𝜍$,/,&, 𝜍$,/,L,・・・, 𝜍$,/,6 , 𝜍$,/,Z = 𝑞 𝑧$,/ = 𝑘 として 𝔼t 𝒛S 𝒛P$ = 1 𝑛$ R 𝔼 𝑧⃗$,/ = 'S /D& 1 𝑛$ R 𝝇$,/ 'S /D& 𝔼t 𝒛S 𝒛P$ 𝒛P$ J   = 𝔼t 𝒛S 1 𝑛$ R 𝑧⃗$,/ 'S /D& 1 𝑛$ R 𝑧⃗$,/† J 'S /†D& = 𝔼t 𝒛S 1 𝑛$ L R R 𝑧⃗$,/ 𝑧⃗$,/† J 'S /†D& 'S /D& = 1 𝑛$ L R diag 𝜍$,/ + R 𝝇$,/ 'S /†ˆ/ 𝝇$,/† J 'S /D& (4.10) (4.11) 𝔼 𝑧⃗$,/ = 𝑞 𝑧$,/ = 1 1,0, ・・・, 0 J + ・・・ +𝑞 𝑧$,/ = 𝐾 0, ・・・, 0,1 J = 𝝇$,/ 対称⾏行行列列となることに注意。 (4.13)の導出で⽤用いる。
4.2.3 LDA+正規回帰モデルの学習アルゴ リズム 𝔼t 𝒛S R R 𝑧⃗$,/ 𝑧⃗$,/† J 'S /†D& 'S /D& = R diag 𝜍$,/ + R 𝝇$,/ 𝝇$,/† J 'S /†ˆ/ 'S /D& R R 𝑧⃗$,/ 𝑧⃗$,/† J 'S /†D& 'S /D& = 𝑧⃗$,& 𝑧⃗$,&   J + ・・・ + 𝑧⃗$,& 𝑧⃗$,/† J + ・・・ + 𝑧⃗$,& 𝑧⃗$,'S   J +・・・ +𝑧⃗$,/ 𝑧⃗$,&   J + ・・・ + 𝑧⃗$,/ 𝑧⃗$,/† J + ・・・ + 𝑧⃗$,/ 𝑧⃗$,'S   J +・・・ +𝑧⃗$,'S 𝑧⃗$,&   J + ・・・ + 𝑧⃗$,'S 𝑧⃗$,/† J + ・・・ + 𝑧⃗$,'S 𝑧⃗$,'S   J 𝔼t 𝒛S R R 𝑧⃗$,/ 𝑧⃗$,/† J 'S /†D& 'S /D& = 𝑞 𝑧$,/ = 1 ⋯ 0 ⋮ ⋱ ⋮ 0 ⋯ 𝑞 𝑧$,/ = 𝐾 = diag 𝜍$,/ ・・・(𝑖 = 𝑖Œ) 𝑞 𝑧$,/ = 1 𝑞 𝑧$,/† = 1 ⋯ 𝑞 𝑧$,/ = 1 𝑞 𝑧$,/† = 𝐾 ⋮ ⋱ ⋮ 𝑞 𝑧$,/ = 𝐾 𝑞 𝑧$,/† = 1 ⋯ 𝑞 𝑧$,/ = 𝐾 𝑞 𝑧$,/† = 𝐾 = 𝝇$,/ 𝝇$,/† J ・・・(𝑖 ≠ 𝑖Œ) の考え⽅方
4.2.3 LDA+正規回帰モデルの学習アルゴ リズム 〜～𝜼, 𝜎L の推定(準備)〜～ (4.7)の変分下限のうち、𝜼, 𝜎L に関係のある𝔼t 𝒛 log 𝑝 𝒚 𝒛, 𝜼, 𝜎L のみに注⽬目 𝔼t 𝒛 log 𝑝 𝒚 𝒛, 𝜼, 𝜎L = −𝑀 1 2 log 2𝜋𝜎L − 1 2𝜎L R 𝑦$ L y $D& − 2𝜼J R 𝑦$ 𝔼t jS 𝒛P$ y $D& + 𝜼J R 𝔼t jS 𝒛P$ 𝒛P$ J y $D& 𝜼 = R 𝔼t 𝒛S log 𝑝 𝑦$ 𝒛$, 𝜼, 𝜎L y $D& (4.9)より (4.12)
4.2.3 LDA+正規回帰モデルの学習アルゴ リズム 〜～   𝜼 の推定〜～ −2 R 𝑦$ 𝔼t jS 𝒛P$ y $D& + 2 R 𝔼t jS 𝒛P$ 𝒛P$ J y $D& 𝜼 = 𝟎 𝜼 = R 𝔼t jS 𝒛P$ 𝒛P$ J y $D& •& R 𝑦$ 𝔼t jS 𝒛P$ y $D& 𝜕𝔼t 𝒛 log 𝑝 𝒚 𝒛, 𝜼, 𝜎L 𝜕𝜼 = 0 付録 A.9 式変形 𝜕 𝜕𝒙 𝒙J 𝒂 = 𝜕 𝜕𝒙 𝐚𝒙J = 𝒂 𝜕 𝜕𝒙 𝒙J 𝐴𝒙 = 𝐴 + 𝐴J 𝒙 −𝑀 1 2 log 2𝜋𝜎L − 1 2𝜎L R 𝑦$ L y $D& − 2𝜼J R 𝑦$ 𝔼t jS 𝒛P$ y $D& + 𝜼J R 𝔼t jS 𝒛P$ 𝒛P$ J y $D& 𝜼 (4.13) (4.14) 𝐴が対称⾏行行列列 なら2𝐴𝒙
4.2.3 LDA+正規回帰モデルの学習アルゴ リズム 〜～   𝜎L  の推定〜～ 𝜕𝔼t 𝒛 log 𝑝 𝒚 𝒛, 𝜼, 𝜎L 𝜕𝜎L = 0 𝜎L = 1 𝑀 R 𝑦$ L y $D& − 2𝜼J R 𝑦$ 𝔼 𝒛P$ y $D& + 𝜼J R 𝔼 𝒛P$ 𝒛P$ J y $D& 𝜼 −𝑀 1 2 log 2𝜋𝜎L − 1 2𝜎L R 𝑦$ L y $D& − 2𝜼J R 𝑦$ 𝔼t jS 𝒛P$ y $D& + 𝜼J R 𝔼t jS 𝒛P$ 𝒛P$ J y $D& 𝜼 = 1 𝑀 R 𝑦$ L y $D& − 𝜼J R 𝑦$ 𝔼 𝒛P$ y $D& (4.14)の𝜼を代⼊入して整理理 偏微分して式変形 (4.15) (4.16)
4.2.3 LDA+正規回帰モデルの学習アルゴ リズム 〜～   𝑞 𝑧$,/ = 𝑘  の推定〜～ 𝜼J 𝔼 𝒛P$ = 1 𝑛$ R 𝜼J 𝝇$,/ 'S /D& = 1 𝑛$ R R 𝜂Z 𝑞 𝑧$,/ = 𝑘 6 ZD& 'S /D& 𝜕𝜼J 𝔼 𝒛P$ 𝜕𝑞 𝑧$,/ = 𝑘 = 1 𝑛$ 𝜂Z 𝜼J 𝔼 𝒛P$ 𝒛P$ J 𝜼 = 1 𝑛$ L R 𝜼J diag 𝜍$,/ 𝜼 + R 𝜼J 𝝇$,/ 𝝇$,/† J 𝜼 'S /†ˆ/ 'S /D& 𝜕𝜼J 𝔼 𝒛P$ 𝒛P$ J 𝜕𝑞 𝑧$,/ = 𝑘 = 1 𝑛$ L 𝜂Z L + 2𝜂Z R 𝝇$,/† J 𝜼 'S /†ˆ/ = 1 𝑛$ L R R 𝜂Z L 𝑞 𝑧$,/ = 𝑘 6 ZD& + R 𝜂Z 𝑞 𝑧$,/ = 𝑘 6 ZD& R 𝝇$,/† J 𝜼 'S /†ˆ/ 'S /D& (4.10)より (4.11)より (4.17) (4.18) (4.19) (4.20)   𝑖と 𝑖Œ の⼆二重ループにより𝑞 𝑧$,/ に関する同⼀一項が2回出てくるため。次スライド参照。
4.2.3 LDA+正規回帰モデルの学習アルゴ リズム 〜～   𝑞 𝑧$,/ = 𝑘  の推定〜～ 𝜕 𝜕𝑞 𝑧$,/ = 𝑘 R R 𝜂Z 𝑞 𝑧$,/ = 𝑘 6 ZD& R 𝝇$,/† J 𝜼 'S /†ˆ/ 'S /D& = 2𝜂Z R 𝝇$,/† J 𝜼 'S /†ˆ/ 𝜂& 𝑞 𝑧$,& = 1 +𝜂L 𝑞 𝑧$,& = 2 𝝇$,L   J ” 𝜂& 𝜂L + 𝝇$,•   J ” 𝜂& 𝜂L 𝜂& 𝑞 𝑧$,L = 1 +𝜂L 𝑞 𝑧$,L = 2 𝝇$,&   J ” 𝜂& 𝜂L + 𝝇$,•   J ” 𝜂& 𝜂L 𝜂& 𝑞 𝑧$,• = 1 +𝜂L 𝑞 𝑧$,• = 2 𝝇$,&   J ” 𝜂& 𝜂L + 𝝇$,L   J ” 𝜂& 𝜂L 𝜂& 𝝇$,L   J ” 𝜂& 𝜂L + 𝝇$,•   J ” 𝜂& 𝜂L + 0 0 + 𝜂& 𝑞 𝑧$,L = 1 +𝜂L 𝑞 𝑧$,L = 2 𝜂& 0 + 𝜂& 𝑞 𝑧$,• = 1 +𝜂L 𝑞 𝑧$,• = 2 𝜂& + + の考え⽅方 + + 𝑞 𝑧$,& = 1 で微分 𝑛$ = 3, 𝐾 = 2として、 𝑞 𝑧$,& = 1 で微分すると どうなるか？ 𝜂& R 𝝇$,/† J 𝜼 • /†ˆ&
4.2.3 LDA+正規回帰モデルの学習アルゴ リズム 〜～   𝑞 𝑧$,/ = 𝑘  の推定〜～ 𝐹– 𝑞 𝑧$,/ 𝜕𝐹 𝑞 𝑧$,/ 𝜕𝑞 𝑧$,/ = 𝑘 = 0 𝑞 𝑧$,/ = 𝑘 ∝ exp z 𝑞 𝝓Z log 𝜙Z,˜S,k 𝑑𝝓Z exp z 𝑞 𝜽$ log 𝜃$,Z   𝑑𝜽$ exp 𝑦$ 𝜂Z 𝜎L 𝑛$ − 1 2𝜎L 𝑛$ L 𝜂Z L + 2𝜂Z R 𝝇$,/† J 𝜼 'S /†ˆ/ = R 𝑞 𝑧$,/ = 𝑘 6 ZD& z 𝑞 𝝓Z 𝑞 𝜽$ log 𝑝 𝑤$,/ 𝝓Z 𝑝 𝑧$,/ = 𝑘 𝜽$ 𝑑𝝓Z 𝑑𝜽$ − R 𝑞 𝑧$,/ = 𝑘 log 𝑞 𝑧$,/ = 𝑘 6 ZD& + 1 2𝜎L 2𝑦$ 𝜼J 𝔼 𝒛P$ − 𝜼J 𝔼 𝒛P$ 𝒛P$ J 𝜼 LDA部分の変分下限(3.97)と正規回帰部分の変分下限(4.9)から 𝑞 𝑧$,/ に関係ある項を抜き出した項 (4.21) (4.22) から (4.18) (4.20)より ※(3.99)と同様の演算
4.2.4 ⼀一般化線形モデル 〜～確率率率分布の定義〜～ 𝑝 𝑦 𝒙, 𝜼, 𝜌   = ℎ 𝑦, 𝜌 exp 𝑦𝜼J 𝒙 − 𝐴 𝜼J 𝒙 𝜌 ⼊入⼒力力𝒙、パラメータ𝜼、𝜌 > 0 として、1次元の出⼒力力𝑦に対する確率率率分布を定義 ℎ 𝑦, 𝜌 、𝐴 𝜼J 𝒙 を決めることで特定の確率率率分布が表現される 【例例】正規回帰モデルの場合 𝑝 𝑦 𝒙, 𝜼, 𝜎L   = 1 2𝜋𝜎L exp − 𝑦 − 𝜼J 𝒙 L 2𝜎L = 1 2𝜋𝜎L exp − 𝑦L 2𝜎L exp 𝑦𝜼J 𝒙 − 𝜼J 𝒙𝒙J 𝜼/2 𝜎L よって、𝜌 = 𝜎L 、ℎ 𝑦, 𝜌 = & L•žŸ exp − Ÿ LžŸ 、𝐴 𝜼J 𝒙 = 𝜼J 𝒙𝒙J 𝜼/2 に対応 (4.23) (4.24)
4.2.4 ⼀一般化線形モデル 〜～線形モデルと確率率率分布の関係〜～ 𝑝 𝑦 𝜉, 𝜌   = ℎ 𝑦, 𝜌 exp 𝑦𝜉 − 𝐴 𝜉 𝜌 𝑝 𝑦 𝜉, 𝜎L = 1 2𝜋𝜎L exp − 𝑦 − 𝜉 L 2𝜎L = 1 2𝜋𝜎L exp − 𝑦L 2𝜎L exp 𝑦𝜉 − 𝜉L /2 𝜎L ここで、平均𝜉、分散𝜎L の正規分布を𝑝 𝑦 𝜉, 𝜌   に対応する形に変形する。 𝜉 = 𝜼J 𝒙として(4.23)を変形 𝜉 = 𝜼J 𝒙とすると 正規回帰モデルの式となる 𝑝 𝑦 𝜉, 𝜌   で表される確率率率分布を考え、 𝜉 = 𝜼J 𝒙 を代⼊入すると、 対応する線形モデルができる。 (4.25) (4.26)
4.2.4 ⼀一般化線形モデル 〜～ポアソン回帰モデル〜～ 𝑝 𝑦 𝜆   = 1 𝑦! 𝜆 exp −𝜆 = 1 𝑦! exp 𝑦 log 𝜆 − 𝜆 ポアソン分布 𝜉 = log 𝜆   𝜆 = exp 𝜉 と置くと 𝑝 𝑦 𝜉 = 1 𝑦! exp 𝑦𝜉 − exp 𝜉 ポアソン回帰モデル 𝑝 𝑦 𝒙, 𝜼, 𝜌   = 1 𝑦! exp 𝑦𝜼J 𝒙 − exp 𝜼J 𝒙 𝜉 = 𝜼J 𝒙を代⼊入 𝜌 = 1 ℎ 𝑦, 𝜌 = & ! 𝐴 𝜼J 𝒙 = exp 𝜼J 𝒙 (4.27) (4.28)
4.2.5 LDA+⼀一般化線形モデル 𝑝 𝑦$ 𝒛$, 𝜼, 𝜌   = ℎ 𝑦$, 𝜌 exp 𝑦$ 𝜼J 𝒛P$ − 𝐴 𝜼J 𝒛P$ 𝜌 𝑝 𝒚, 𝒘 𝜶, 𝜷, 𝜼, 𝜌 ≧ 𝐹opq + 𝔼t 𝒛 log 𝑝 𝒚 𝒛, 𝜼, 𝜌 𝔼t 𝒛 𝒅 log 𝑝 𝑦$ 𝒛$, 𝜼, 𝜌 LDAと組み合わせる場合は、⼊入⼒力力は潜在変数 𝒛P$ とする = log ℎ 𝑦$, 𝜌 + 𝑦$ 𝜼J 𝔼t 𝒛 𝒅 𝒛P$ − 𝔼t 𝒛 𝒅 𝐴 𝜼J 𝒛P$ 𝜌 LDA+⼀一般化線形モデルの変分下限 (4.29) (4.30) (4.31)
4.2.6 LDA+ポアソン回帰モデル 〜～ 𝜼 の推定〜～ ⽅方針 ¥ ¦§¨©ª𝔼« 𝒛 ¬-® ¯ 𝒚 𝒛, 𝜼, 𝜌 ¥𝜼 = ¥𝔼« 𝒛 ¬-®¯ 𝒚 𝒛, 𝜼, 𝜌 ¥𝜼 = 0 となる 𝜼 を求める 𝑝 𝑦$ 𝒛$, 𝜼   = 1 𝑦! exp 𝑦$ 𝜼J 𝒛P$ − exp 𝜼J 𝒛P$ 𝔼t 𝒛S exp 𝜼J 𝒛P$ を解析的に計算できる必要があるので・・ (4.32) 𝜌 = 1 のポアソン回帰モデル
4.2.6 LDA+ポアソン回帰モデル 〜～ 𝜼 の推定〜～ 𝔼t 𝒛 𝒅 exp 𝜼J 𝒛P$ = 𝔼t 𝒛 𝒅 exp 1 𝑛$ R 𝜼J 𝑧⃗$,/ 'S /D& = 𝔼t 𝒛 𝒅 x exp 1 𝑛$ 𝜼J 𝑧⃗$,/ 'S /D& = x 𝔼t 𝒛 𝒅,𝒊 exp 1 𝑛$ 𝜼J 𝑧⃗$,/ 'S /D& = x R 𝑞 𝑧$,/ = 𝑘 exp 1 𝑛$ 𝜂Z 6 ZD& 'S /D& 期待値の計算。𝑧$,/ = 𝑘の時、𝜼J 𝑧⃗$,/=𝜂Z より。 𝔼t 𝒛 𝒅 ∖/ exp 𝜼J 𝒛P$ = x R 𝑞 𝑧$,/† = 𝑘 exp 1 𝑛$ 𝜂Z 6 ZD& 'S /†ˆ/ 𝜕 𝜕𝜂Z 𝔼t 𝒛 𝒅 exp 𝜼J 𝒛P$ = R 𝑞 𝑧$,/   = 𝑘 𝑛$ 'S /D& exp 𝜂Z 𝑛$ 𝔼t 𝒛 𝒅 ∖/ exp 𝜼J 𝒛P$ (4.33) (4.34) (4.35) (4.33)代⼊入、Σ・Πを展開後、 $²”³”´ $µ = $² $µ ” 𝑔 ” ℎ + 𝑓 ” $³ $µ ” ℎ + $² $µ ” 𝑔 ” ℎを⽤用いて整理理
4.2.6 LDA+ポアソン回帰モデル 〜～ 𝜼 の推定〜～ 𝜕 𝜕𝜼 𝔼 log 𝑝 𝒚 𝒛, 𝜼, 𝜌   = 1 𝜌 R 𝑦$ y $D& 𝔼 𝒛P$ − 𝜕 𝜕𝜼 𝔼t 𝒛 𝒅 exp 𝜼J 𝒛P$ (4.35)を⽤用いて演算 (4.31)より 𝜕𝔼 log 𝑝 𝒚 𝒛, 𝜼, 𝜌 /𝜕𝜼 = 0は解析的に解けないため、(共役)勾配法を⽤用い て   𝜼 を求める。 付録(A.4)
4.2.6 LDA+ポアソン回帰モデル 〜～𝑞 𝑧$,/   = 𝑘 の推定〜～ 𝜕𝔼t 𝒛 𝒅 exp 𝜼J 𝒛P$ 𝜕𝑞 𝑧$,/   = 𝑘 = exp 𝜂Z 𝑛$ 𝔼t 𝒛 𝒅 ∖/ exp 𝜼J 𝒛P$ 𝜕𝔼 log 𝑝 𝑦 𝒅 𝒛 𝒅, 𝜼 𝜕𝑞 𝑧$,/   = 𝑘 = 𝒚 𝒅 𝜂Z 𝑛$ − 𝜕 𝜕𝑞 𝑧$,/   = 𝑘 𝔼t 𝒛 𝒅 exp 𝜼J 𝒛P$ 𝑞 𝑧$,/ = 𝑘 ∝ exp z 𝑞 𝝓Z log 𝜙Z,˜S,k 𝑑𝝓Z exp z 𝑞 𝜽$ log 𝜃$,Z   𝑑𝜽$ exp 𝜕 𝜕𝑞 𝑧$,/   = 𝑘 𝔼 log 𝑝 𝑦 𝒅 𝒛 𝒅, 𝜼 (4.37) (4.38) (4.39) (4.32)より (4.33)より
ありがとうございました！！

More Related Content

PPTX
Maternal collapse during pregnancy and puerperium
byDoc Nadia
 
PDF
Management of the critically ill obstetric patient.prof.salah
bySalah Roshdy AHMED
 
PPTX
GOOGLE BIGTABLE
byTomcy Thankachan
 
PPTX
Allocating of Frames.pptx
byinfomerlin
 
PDF
3.3節 変分近似法(前半)
bytn1031
 
PPTX
20150730 トピ本第4回 3.4節
byMOTOGRILL
 
PDF
第3章 変分近似法 LDAにおける変分ベイズ法・周辺化変分ベイズ法
byksmzn
 
PDF
3.1節　統計的学習アルゴリズム
byAkito Nakano
 
Maternal collapse during pregnancy and puerperium
byDoc Nadia
 
Management of the critically ill obstetric patient.prof.salah
bySalah Roshdy AHMED
 
GOOGLE BIGTABLE
byTomcy Thankachan
 
Allocating of Frames.pptx
byinfomerlin
 
3.3節 変分近似法(前半)
bytn1031
 
20150730 トピ本第4回 3.4節
byMOTOGRILL
 
第3章 変分近似法 LDAにおける変分ベイズ法・周辺化変分ベイズ法
byksmzn
 
3.1節　統計的学習アルゴリズム
byAkito Nakano
 

Similar to 「トピックモデルによる統計的潜在意味解析」読書会 4章前半

PDF
読書会 「トピックモデルによる統計的潜在意味解析」 第6回 4.3節 潜在意味空間における分類問題
by健児 青木
 
PDF
カステラ本勉強会 第三回
byke beck
 
PDF
回帰
byShin Asakawa
 
PDF
PRML輪読#4
bymatsuolab
 
PPTX
一般線形モデル
byMatsuiRyo
 
PDF
2013.12.26 prml勉強会 線形回帰モデル3.2~3.4
byTakeshi Sakaki
 
PPTX
Variational autoencoder
byMikio Shiga
 
PDF
Learning Latent Space Energy Based Prior Modelの解説
byTomonari Masada
 
PPTX
統計的学習の基礎_3章
byShoichi Taguchi
 
PDF
PATTERN RECOGNITION AND MACHINE LEARNING (1.1)
byYuma Yoshimoto
 
PDF
レポート1
byYoshikazuHayashi3
 
PDF
PRML復々習レーン#3 3.1.3-3.1.5
bysleepy_yoshi
 
PDF
Topic model
bysaireya _
 
PDF
わかりやすいパターン認識 4章
byMotokawa Tetsuya
 
PDF
Pls
byYasuhiro Kanno
 
PDF
パターン認識と機械学習 13章 系列データ
byemonosuke
 
PDF
双対性
byYoichi Iwata
 
PDF
学習係数
byhoxo_m
 
PDF
データ解析6 重回帰分析
byHirotaka Hachiya
 
PDF
機械学習モデルの列挙
bySatoshi Hara
 
読書会 「トピックモデルによる統計的潜在意味解析」 第6回 4.3節 潜在意味空間における分類問題
by健児 青木
 
カステラ本勉強会 第三回
byke beck
 
回帰
byShin Asakawa
 
PRML輪読#4
bymatsuolab
 
一般線形モデル
byMatsuiRyo
 
2013.12.26 prml勉強会 線形回帰モデル3.2~3.4
byTakeshi Sakaki
 
Variational autoencoder
byMikio Shiga
 
Learning Latent Space Energy Based Prior Modelの解説
byTomonari Masada
 
統計的学習の基礎_3章
byShoichi Taguchi
 
PATTERN RECOGNITION AND MACHINE LEARNING (1.1)
byYuma Yoshimoto
 
レポート1
byYoshikazuHayashi3
 
PRML復々習レーン#3 3.1.3-3.1.5
bysleepy_yoshi
 
Topic model
bysaireya _
 
わかりやすいパターン認識 4章
byMotokawa Tetsuya
 
Pls
byYasuhiro Kanno
 
パターン認識と機械学習 13章 系列データ
byemonosuke
 
双対性
byYoichi Iwata
 
学習係数
byhoxo_m
 
データ解析6 重回帰分析
byHirotaka Hachiya
 
機械学習モデルの列挙
bySatoshi Hara
 

「トピックモデルによる統計的潜在意味解析」読書会 4章前半

  • 1.
  • 2.
    4章の内容 • 教師データが与えられた場合の潜在意味解析 • 背景(4.1節) • 回帰問題 (4.2節) • 識識別問題 (4.3節)
  • 3.
    4.1 背景 • 教師あり学習：⼊入⼒力力と出⼒力力の関係をモデル化 •出⼒力力が数値なら回帰、出⼒力力がカテゴリなどの記号なら識識別 • ⽂文書データが⼊入⼒力力の場合は、通常、単語ベクトルで表現する 【評価値】4.5 𝑊"##$,&,・・・, 𝑊"##$,'     𝑊)*$,&,・・・, 𝑊)*$,'     𝑊+#,-*,.$,&,・・・, 𝑊+#,-*,.$,'     ⽂文書 (⼊入⼒力力) 単語ベクトル (⼊入⼒力力の表現) モデル 【評価値】1.2 学習 【評価値】3.8 評判分析の イメージ 評価値 (出⼒力力) 𝑊$,/は⽂文書 d  における i 番⽬目の単語の出現頻度度 (教科書中の𝑤$,/とは意 味合いが違うので注意) 予測 (⼊入⼒力力=単語)
  • 4.
    4.1 背景 • 潜在意味解析によって得られる潜在トピックは、⽂文書の 潜在的意味を反映した⽂文書データ⼊入⼒力力表現と⾔言える •潜在意味解析は表現学習の⼀一種 【評価値】4.5 𝑍"##$,&, ・・・, 𝑍"##$,6     𝑍)*$,&,・・・, 𝑍)*$,6     𝑍+#,-*,.$,&,・・・, 𝑍+#,-*,.$,6     ⽂文書 (⼊入⼒力力) 潜在トピックベクトル (⼊入⼒力力の表現) モデル 【評価値】1.2 学習 【評価値】3.8 評判分析の イメージ 評価値 (出⼒力力) 𝑍$,/は⽂文書 d  における i 番⽬目のトピックの出現頻度度 (教科書中の𝑧$,/とは意味合い が違うので注意) 予測 (⼊入⼒力力=潜在トピック)
  • 5.
    4.1 背景 • 4章では潜在トピックの学習に対して教師情報を利利⽤用する ⽅方法を説明する。 •半教師あり学習にも応⽤用できる。(本書では扱わない。) • 「教師情報のある⼩小規模の⽂文書データ」と「教師情報のない⼤大規 模の⽂文書データ」に対して学習することで、情報量量の豊富な⼊入⼒力力 の表現を学習しつつ、⼊入⼒力力と出⼒力力の関係も学習する。
  • 6.
    4.2 潜在意味空間における回帰問題 • 4.2.1正規回帰モデル • 4.2.2 LDA+正規回帰モデル • 4.2.3 LDA+正規回帰モデルの学習アルゴリズム • 4.2.4 ⼀一般化線形モデル • 4.2.5 LDA+⼀一般化線形モデル • 4.2.6 LDA+ポアソン回帰モデル (の学習アルゴリズム)
  • 7.
    4.2.1 正規回帰モデル • ⼊入⼒力力：V  次元の実ベクトル   𝒙  、出⼒力力：1次元の実数𝑦 • 線形回帰モデルでは V 次元のモデルパラメータ𝜼を⽤用い、 𝑦 = 𝜼 𝑻 𝒙 = ∑ 𝜂A 𝑥A C AD& として⼊入出⼒力力関係をモデル化 • 実際のデータには誤差が⽣生じる • 𝑛個のデータ 𝒙/, 𝑦/ 𝑖 = 1,2, ・・, 𝑛 の⼊入出⼒力力関係を正規分 布𝒩を⽤用いてモデル化 • 𝑦/  ~   𝒩 𝜼J 𝒙/,𝜎L • ⽣生成モデル的に𝜼と𝜎を学習する 𝜼J 𝒙/ 𝜎 (4.1)
  • 8.
    4.2.2 LDA+正規回帰モデル 〜～⼊入⼒力力の表現〜～ 𝑧$,/：⽂文書 𝑑の 𝑖 番⽬目の単語のトピック 𝑧⃗$,/ : 𝑧$,/ のベクトル表現 𝒛PQ = 1 𝑛$ R 𝒛$,/ 'S /D& 𝒛PQ : ⽂文書 𝑑 の潜在トピックによる表現 word1 word2 word3 word4 1 3 1 4 ⽂文書 𝑑 𝑧$,/𝑤$,/ 𝑧$,/ = 3 𝑧⃗$,/ = 0,0,1,0,0 J 𝒛PQ = 1 4 2,0,1,1,0 J 𝑛$：⽂文書 𝑑 の単語数 K(潜在トピック数)=5の場合 (4.2)
  • 9.
    4.2.2 LDA+正規回帰モデル 〜～⽣生成過程〜～ M K 𝜶 𝜷𝝓Z𝒘$,/𝒛$,/𝜽$ 𝒏$ 𝒚$ 𝜼 𝜎 _ 𝜽$~Dir𝜶         𝑑 = 1, ・・・, 𝑀 , 𝝓Z~Dir 𝜷         𝑘 = 1, ・・・, 𝐾 . 𝑧$,/~Multi 𝜽$ , 𝑤$,/~Multi 𝝓jS,k         𝑖 = 1, ・・・, 𝑛$ 𝑦$  ~   𝒩 𝜼J 𝒛P$, 𝜎L (4.3) (4.4) (4.5) ※⾚赤い部分が通常のLDAに⽐比べて追加された部分
  • 10.
    4.2.3 LDA+正規回帰モデルの学習アルゴ リズム M K 𝜶 𝜷𝝓Z𝒘$,/𝒛$,/𝜽$ 𝒏$ 𝒚$ 𝜼 𝜎 •LDAの学習に対する変更更点 • 追加された𝜼, 𝜎の推定 • 𝒚$, 𝜼, 𝜎と条件付き独⽴立立でない 𝒛$,/ の推定 • その他の学習についてはLDAの学習と変わらない
  • 11.
    4.2.3 LDA+正規回帰モデルの学習アルゴ リズム M K 𝜶 𝜷𝝓Z𝒘$,/𝒛$,/𝜽$ 𝒏$ 𝒚$ 𝜼 𝜎 𝑝𝒚, 𝒘, 𝒛, 𝝓, 𝜽 𝜶, 𝜷, 𝜼, 𝜎L = 𝑝 𝒚 𝒛, 𝜼, 𝜎L 𝑝 𝒘 𝒛, 𝝓 𝑝 𝒛 𝜽 𝑝 𝝓 𝜷 𝑝 𝜽 𝜶 (4.6) 結合分布をベイズの定理理により分解 𝑝 𝒚, 𝒘 𝜶, 𝜷, 𝜼, 𝜎L ≧ 𝐹opq + 𝔼t 𝒛 log 𝑝 𝒚 𝒛, 𝜼, 𝜎L (4.7) 変分下限はLDAの変分下限に 𝔼t 𝒛 log 𝑝 𝒚 𝒛, 𝜼, 𝜎L を追加した値となる。 log 𝑝 𝒚 𝒛, 𝜼, 𝜎L = log x 𝑝 𝑦$ 𝒛$, 𝜼, 𝜎L = R log 𝑝 𝑦$ 𝒛$, 𝜼, 𝜎L y $D& y $D&
  • 12.
    4.2.3 LDA+正規回帰モデルの学習アルゴ リズム (3.82)〜～(3.84)を参考に変分下限(4.7)を導出 log 𝑝𝒚, 𝒘 𝜶, 𝜷, 𝜼, 𝜎L = logz R 𝑝 𝒚, 𝒘, 𝒛, 𝝓, 𝜽 𝜶, 𝜷, 𝜼, 𝜎L 𝒁 𝑑𝜙𝑑𝜃 = log zR 𝑞 𝒛, 𝝓, 𝜽 𝑝 𝒚, 𝒘, 𝒛, 𝝓, 𝜽 𝜶, 𝜷, 𝜼, 𝜎L 𝑞 𝒛, 𝝓, 𝜽 𝒁 𝑑𝜙𝑑𝜃 ≧ z R 𝑞 𝒛, 𝝓, 𝜽 log 𝑝 𝒚, 𝒘, 𝒛, 𝝓, 𝜽 𝜶, 𝜷, 𝜼, 𝜎L 𝑞 𝒛, 𝝓, 𝜽 𝒁 𝑑𝜙𝑑𝜃 = z R 𝑞 𝒛, 𝝓, 𝜽 log 𝑝 𝒘 𝒛, 𝝓 𝑝 𝒛 𝜽 𝑝 𝝓 𝜷 𝑝 𝜽 𝜶 𝑞 𝒛, 𝝓, 𝜽 + log 𝑝 𝒚 𝒛, 𝜼, 𝜎L 𝒁 𝑑𝜙𝑑𝜃 = 𝐹opq + z R 𝑞 𝒛 𝑞 𝝓 𝑞 𝜽 log 𝑝 𝒚 𝒛, 𝜼, 𝜎L 𝒁 𝑑𝜙𝑑𝜃 = 𝐹opq + R 𝑞 𝒛 log 𝑝 𝒚 𝒛, 𝜼, 𝜎L 𝒁 z 𝑞 𝝓 𝑞 𝜽 𝑑𝜙𝑑𝜃 = 𝐹opq + 𝔼t 𝒛 log 𝑝 𝒚 𝒛, 𝜼, 𝜎L (4.6)より 周辺化された確率率率変数の結合分布 変数事後分布を分⺟母分⼦子に導⼊入 イエンセンの不不等式で下限求める (3.82)(3.83)より
  • 13.
    4.2.3 LDA+正規回帰モデルの学習アルゴ リズム 𝑝 𝑦$𝑧$, 𝜼, 𝜎L = 1 2𝜋𝜎L exp − 𝑦$ − 𝜼J 𝒛P$ L 2𝜎L 𝑝 𝑦$ 𝑧$, 𝜼, 𝜎L は正規分布を仮定している( 𝑦$  ~   𝒩 𝜼J 𝒛P$, 𝜎L ) ので、 𝔼t 𝒛S log 𝑝 𝑦$ 𝒛$, 𝜼, 𝜎L = − 1 2 log 2𝜋𝜎L − 𝔼t 𝒛S 1 2𝜎L 𝑦$ − 𝜼J 𝒛P$ L = − 1 2 log 2𝜋𝜎L − 1 2𝜎L 𝑦$ L − 2𝑦$ 𝜼J 𝔼t jS 𝒛P$ + 𝜼J 𝔼t jS 𝒛P$ 𝒛P$ J 𝜼 対数の期待値を計算 (4.8) (4.9)
  • 14.
    4.2.3 LDA+正規回帰モデルの学習アルゴ リズム 𝝇$,/ =𝜍$,/,&, 𝜍$,/,L,・・・, 𝜍$,/,6 , 𝜍$,/,Z = 𝑞 𝑧$,/ = 𝑘 として 𝔼t 𝒛S 𝒛P$ = 1 𝑛$ R 𝔼 𝑧⃗$,/ = 'S /D& 1 𝑛$ R 𝝇$,/ 'S /D& 𝔼t 𝒛S 𝒛P$ 𝒛P$ J   = 𝔼t 𝒛S 1 𝑛$ R 𝑧⃗$,/ 'S /D& 1 𝑛$ R 𝑧⃗$,/† J 'S /†D& = 𝔼t 𝒛S 1 𝑛$ L R R 𝑧⃗$,/ 𝑧⃗$,/† J 'S /†D& 'S /D& = 1 𝑛$ L R diag 𝜍$,/ + R 𝝇$,/ 'S /†ˆ/ 𝝇$,/† J 'S /D& (4.10) (4.11) 𝔼 𝑧⃗$,/ = 𝑞 𝑧$,/ = 1 1,0, ・・・, 0 J + ・・・ +𝑞 𝑧$,/ = 𝐾 0, ・・・, 0,1 J = 𝝇$,/ 対称⾏行行列列となることに注意。 (4.13)の導出で⽤用いる。
  • 15.
    4.2.3 LDA+正規回帰モデルの学習アルゴ リズム 𝔼t 𝒛S RR 𝑧⃗$,/ 𝑧⃗$,/† J 'S /†D& 'S /D& = R diag 𝜍$,/ + R 𝝇$,/ 𝝇$,/† J 'S /†ˆ/ 'S /D& R R 𝑧⃗$,/ 𝑧⃗$,/† J 'S /†D& 'S /D& = 𝑧⃗$,& 𝑧⃗$,&   J + ・・・ + 𝑧⃗$,& 𝑧⃗$,/† J + ・・・ + 𝑧⃗$,& 𝑧⃗$,'S   J +・・・ +𝑧⃗$,/ 𝑧⃗$,&   J + ・・・ + 𝑧⃗$,/ 𝑧⃗$,/† J + ・・・ + 𝑧⃗$,/ 𝑧⃗$,'S   J +・・・ +𝑧⃗$,'S 𝑧⃗$,&   J + ・・・ + 𝑧⃗$,'S 𝑧⃗$,/† J + ・・・ + 𝑧⃗$,'S 𝑧⃗$,'S   J 𝔼t 𝒛S R R 𝑧⃗$,/ 𝑧⃗$,/† J 'S /†D& 'S /D& = 𝑞 𝑧$,/ = 1 ⋯ 0 ⋮ ⋱ ⋮ 0 ⋯ 𝑞 𝑧$,/ = 𝐾 = diag 𝜍$,/ ・・・(𝑖 = 𝑖Œ) 𝑞 𝑧$,/ = 1 𝑞 𝑧$,/† = 1 ⋯ 𝑞 𝑧$,/ = 1 𝑞 𝑧$,/† = 𝐾 ⋮ ⋱ ⋮ 𝑞 𝑧$,/ = 𝐾 𝑞 𝑧$,/† = 1 ⋯ 𝑞 𝑧$,/ = 𝐾 𝑞 𝑧$,/† = 𝐾 = 𝝇$,/ 𝝇$,/† J ・・・(𝑖 ≠ 𝑖Œ) の考え⽅方
  • 16.
    4.2.3 LDA+正規回帰モデルの学習アルゴ リズム 〜～𝜼,𝜎L の推定(準備)〜～ (4.7)の変分下限のうち、𝜼, 𝜎L に関係のある𝔼t 𝒛 log 𝑝 𝒚 𝒛, 𝜼, 𝜎L のみに注⽬目 𝔼t 𝒛 log 𝑝 𝒚 𝒛, 𝜼, 𝜎L = −𝑀 1 2 log 2𝜋𝜎L − 1 2𝜎L R 𝑦$ L y $D& − 2𝜼J R 𝑦$ 𝔼t jS 𝒛P$ y $D& + 𝜼J R 𝔼t jS 𝒛P$ 𝒛P$ J y $D& 𝜼 = R 𝔼t 𝒛S log 𝑝 𝑦$ 𝒛$, 𝜼, 𝜎L y $D& (4.9)より (4.12)
  • 17.
    4.2.3 LDA+正規回帰モデルの学習アルゴ リズム 〜～   𝜼 の推定〜～ −2 R 𝑦$ 𝔼t jS 𝒛P$ y $D& + 2 R 𝔼t jS 𝒛P$ 𝒛P$ J y $D& 𝜼 = 𝟎 𝜼 = R 𝔼t jS 𝒛P$ 𝒛P$ J y $D& •& R 𝑦$ 𝔼t jS 𝒛P$ y $D& 𝜕𝔼t 𝒛 log 𝑝 𝒚 𝒛, 𝜼, 𝜎L 𝜕𝜼 = 0 付録 A.9 式変形 𝜕 𝜕𝒙 𝒙J 𝒂 = 𝜕 𝜕𝒙 𝐚𝒙J = 𝒂 𝜕 𝜕𝒙 𝒙J 𝐴𝒙 = 𝐴 + 𝐴J 𝒙 −𝑀 1 2 log 2𝜋𝜎L − 1 2𝜎L R 𝑦$ L y $D& − 2𝜼J R 𝑦$ 𝔼t jS 𝒛P$ y $D& + 𝜼J R 𝔼t jS 𝒛P$ 𝒛P$ J y $D& 𝜼 (4.13) (4.14) 𝐴が対称⾏行行列列 なら2𝐴𝒙
  • 18.
    4.2.3 LDA+正規回帰モデルの学習アルゴ リズム 〜～   𝜎L  の推定〜～ 𝜕𝔼t 𝒛 log 𝑝 𝒚 𝒛, 𝜼, 𝜎L 𝜕𝜎L = 0 𝜎L = 1 𝑀 R 𝑦$ L y $D& − 2𝜼J R 𝑦$ 𝔼 𝒛P$ y $D& + 𝜼J R 𝔼 𝒛P$ 𝒛P$ J y $D& 𝜼 −𝑀 1 2 log 2𝜋𝜎L − 1 2𝜎L R 𝑦$ L y $D& − 2𝜼J R 𝑦$ 𝔼t jS 𝒛P$ y $D& + 𝜼J R 𝔼t jS 𝒛P$ 𝒛P$ J y $D& 𝜼 = 1 𝑀 R 𝑦$ L y $D& − 𝜼J R 𝑦$ 𝔼 𝒛P$ y $D& (4.14)の𝜼を代⼊入して整理理 偏微分して式変形 (4.15) (4.16)
  • 19.
    4.2.3 LDA+正規回帰モデルの学習アルゴ リズム 〜～   𝑞 𝑧$,/ = 𝑘  の推定〜～ 𝜼J 𝔼 𝒛P$ = 1 𝑛$ R 𝜼J 𝝇$,/ 'S /D& = 1 𝑛$ R R 𝜂Z 𝑞 𝑧$,/ = 𝑘 6 ZD& 'S /D& 𝜕𝜼J 𝔼 𝒛P$ 𝜕𝑞 𝑧$,/ = 𝑘 = 1 𝑛$ 𝜂Z 𝜼J 𝔼 𝒛P$ 𝒛P$ J 𝜼 = 1 𝑛$ L R 𝜼J diag 𝜍$,/ 𝜼 + R 𝜼J 𝝇$,/ 𝝇$,/† J 𝜼 'S /†ˆ/ 'S /D& 𝜕𝜼J 𝔼 𝒛P$ 𝒛P$ J 𝜕𝑞 𝑧$,/ = 𝑘 = 1 𝑛$ L 𝜂Z L + 2𝜂Z R 𝝇$,/† J 𝜼 'S /†ˆ/ = 1 𝑛$ L R R 𝜂Z L 𝑞 𝑧$,/ = 𝑘 6 ZD& + R 𝜂Z 𝑞 𝑧$,/ = 𝑘 6 ZD& R 𝝇$,/† J 𝜼 'S /†ˆ/ 'S /D& (4.10)より (4.11)より (4.17) (4.18) (4.19) (4.20)   𝑖と 𝑖Œ の⼆二重ループにより𝑞 𝑧$,/ に関する同⼀一項が2回出てくるため。次スライド参照。
  • 20.
    4.2.3 LDA+正規回帰モデルの学習アルゴ リズム 〜～   𝑞 𝑧$,/ = 𝑘  の推定〜～ 𝜕 𝜕𝑞 𝑧$,/ = 𝑘 R R 𝜂Z 𝑞 𝑧$,/ = 𝑘 6 ZD& R 𝝇$,/† J 𝜼 'S /†ˆ/ 'S /D& = 2𝜂Z R 𝝇$,/† J 𝜼 'S /†ˆ/ 𝜂& 𝑞 𝑧$,& = 1 +𝜂L 𝑞 𝑧$,& = 2 𝝇$,L   J ” 𝜂& 𝜂L + 𝝇$,•   J ” 𝜂& 𝜂L 𝜂& 𝑞 𝑧$,L = 1 +𝜂L 𝑞 𝑧$,L = 2 𝝇$,&   J ” 𝜂& 𝜂L + 𝝇$,•   J ” 𝜂& 𝜂L 𝜂& 𝑞 𝑧$,• = 1 +𝜂L 𝑞 𝑧$,• = 2 𝝇$,&   J ” 𝜂& 𝜂L + 𝝇$,L   J ” 𝜂& 𝜂L 𝜂& 𝝇$,L   J ” 𝜂& 𝜂L + 𝝇$,•   J ” 𝜂& 𝜂L + 0 0 + 𝜂& 𝑞 𝑧$,L = 1 +𝜂L 𝑞 𝑧$,L = 2 𝜂& 0 + 𝜂& 𝑞 𝑧$,• = 1 +𝜂L 𝑞 𝑧$,• = 2 𝜂& + + の考え⽅方 + + 𝑞 𝑧$,& = 1 で微分 𝑛$ = 3, 𝐾 = 2として、 𝑞 𝑧$,& = 1 で微分すると どうなるか？ 𝜂& R 𝝇$,/† J 𝜼 • /†ˆ&
  • 21.
    4.2.3 LDA+正規回帰モデルの学習アルゴ リズム 〜～   𝑞 𝑧$,/ = 𝑘  の推定〜～ 𝐹– 𝑞 𝑧$,/ 𝜕𝐹 𝑞 𝑧$,/ 𝜕𝑞 𝑧$,/ = 𝑘 = 0 𝑞 𝑧$,/ = 𝑘 ∝ exp z 𝑞 𝝓Z log 𝜙Z,˜S,k 𝑑𝝓Z exp z 𝑞 𝜽$ log 𝜃$,Z   𝑑𝜽$ exp 𝑦$ 𝜂Z 𝜎L 𝑛$ − 1 2𝜎L 𝑛$ L 𝜂Z L + 2𝜂Z R 𝝇$,/† J 𝜼 'S /†ˆ/ = R 𝑞 𝑧$,/ = 𝑘 6 ZD& z 𝑞 𝝓Z 𝑞 𝜽$ log 𝑝 𝑤$,/ 𝝓Z 𝑝 𝑧$,/ = 𝑘 𝜽$ 𝑑𝝓Z 𝑑𝜽$ − R 𝑞 𝑧$,/ = 𝑘 log 𝑞 𝑧$,/ = 𝑘 6 ZD& + 1 2𝜎L 2𝑦$ 𝜼J 𝔼 𝒛P$ − 𝜼J 𝔼 𝒛P$ 𝒛P$ J 𝜼 LDA部分の変分下限(3.97)と正規回帰部分の変分下限(4.9)から 𝑞 𝑧$,/ に関係ある項を抜き出した項 (4.21) (4.22) から (4.18) (4.20)より ※(3.99)と同様の演算
  • 22.
    4.2.4 ⼀一般化線形モデル 〜～確率率率分布の定義〜～ 𝑝 𝑦𝒙, 𝜼, 𝜌   = ℎ 𝑦, 𝜌 exp 𝑦𝜼J 𝒙 − 𝐴 𝜼J 𝒙 𝜌 ⼊入⼒力力𝒙、パラメータ𝜼、𝜌 > 0 として、1次元の出⼒力力𝑦に対する確率率率分布を定義 ℎ 𝑦, 𝜌 、𝐴 𝜼J 𝒙 を決めることで特定の確率率率分布が表現される 【例例】正規回帰モデルの場合 𝑝 𝑦 𝒙, 𝜼, 𝜎L   = 1 2𝜋𝜎L exp − 𝑦 − 𝜼J 𝒙 L 2𝜎L = 1 2𝜋𝜎L exp − 𝑦L 2𝜎L exp 𝑦𝜼J 𝒙 − 𝜼J 𝒙𝒙J 𝜼/2 𝜎L よって、𝜌 = 𝜎L 、ℎ 𝑦, 𝜌 = & L•žŸ exp − Ÿ LžŸ 、𝐴 𝜼J 𝒙 = 𝜼J 𝒙𝒙J 𝜼/2 に対応 (4.23) (4.24)
  • 23.
    4.2.4 ⼀一般化線形モデル 〜～線形モデルと確率率率分布の関係〜～ 𝑝 𝑦𝜉, 𝜌   = ℎ 𝑦, 𝜌 exp 𝑦𝜉 − 𝐴 𝜉 𝜌 𝑝 𝑦 𝜉, 𝜎L = 1 2𝜋𝜎L exp − 𝑦 − 𝜉 L 2𝜎L = 1 2𝜋𝜎L exp − 𝑦L 2𝜎L exp 𝑦𝜉 − 𝜉L /2 𝜎L ここで、平均𝜉、分散𝜎L の正規分布を𝑝 𝑦 𝜉, 𝜌   に対応する形に変形する。 𝜉 = 𝜼J 𝒙として(4.23)を変形 𝜉 = 𝜼J 𝒙とすると 正規回帰モデルの式となる 𝑝 𝑦 𝜉, 𝜌   で表される確率率率分布を考え、 𝜉 = 𝜼J 𝒙 を代⼊入すると、 対応する線形モデルができる。 (4.25) (4.26)
  • 24.
    4.2.4 ⼀一般化線形モデル 〜～ポアソン回帰モデル〜～ 𝑝 𝑦𝜆   = 1 𝑦! 𝜆 exp −𝜆 = 1 𝑦! exp 𝑦 log 𝜆 − 𝜆 ポアソン分布 𝜉 = log 𝜆   𝜆 = exp 𝜉 と置くと 𝑝 𝑦 𝜉 = 1 𝑦! exp 𝑦𝜉 − exp 𝜉 ポアソン回帰モデル 𝑝 𝑦 𝒙, 𝜼, 𝜌   = 1 𝑦! exp 𝑦𝜼J 𝒙 − exp 𝜼J 𝒙 𝜉 = 𝜼J 𝒙を代⼊入 𝜌 = 1 ℎ 𝑦, 𝜌 = & ! 𝐴 𝜼J 𝒙 = exp 𝜼J 𝒙 (4.27) (4.28)
  • 25.
    4.2.5 LDA+⼀一般化線形モデル 𝑝 𝑦$𝒛$, 𝜼, 𝜌   = ℎ 𝑦$, 𝜌 exp 𝑦$ 𝜼J 𝒛P$ − 𝐴 𝜼J 𝒛P$ 𝜌 𝑝 𝒚, 𝒘 𝜶, 𝜷, 𝜼, 𝜌 ≧ 𝐹opq + 𝔼t 𝒛 log 𝑝 𝒚 𝒛, 𝜼, 𝜌 𝔼t 𝒛 𝒅 log 𝑝 𝑦$ 𝒛$, 𝜼, 𝜌 LDAと組み合わせる場合は、⼊入⼒力力は潜在変数 𝒛P$ とする = log ℎ 𝑦$, 𝜌 + 𝑦$ 𝜼J 𝔼t 𝒛 𝒅 𝒛P$ − 𝔼t 𝒛 𝒅 𝐴 𝜼J 𝒛P$ 𝜌 LDA+⼀一般化線形モデルの変分下限 (4.29) (4.30) (4.31)
  • 26.
    4.2.6 LDA+ポアソン回帰モデル 〜～ 𝜼の推定〜～ ⽅方針 ¥ ¦§¨©ª𝔼« 𝒛 ¬-® ¯ 𝒚 𝒛, 𝜼, 𝜌 ¥𝜼 = ¥𝔼« 𝒛 ¬-®¯ 𝒚 𝒛, 𝜼, 𝜌 ¥𝜼 = 0 となる 𝜼 を求める 𝑝 𝑦$ 𝒛$, 𝜼   = 1 𝑦! exp 𝑦$ 𝜼J 𝒛P$ − exp 𝜼J 𝒛P$ 𝔼t 𝒛S exp 𝜼J 𝒛P$ を解析的に計算できる必要があるので・・ (4.32) 𝜌 = 1 のポアソン回帰モデル
  • 27.
    4.2.6 LDA+ポアソン回帰モデル 〜～ 𝜼の推定〜～ 𝔼t 𝒛 𝒅 exp 𝜼J 𝒛P$ = 𝔼t 𝒛 𝒅 exp 1 𝑛$ R 𝜼J 𝑧⃗$,/ 'S /D& = 𝔼t 𝒛 𝒅 x exp 1 𝑛$ 𝜼J 𝑧⃗$,/ 'S /D& = x 𝔼t 𝒛 𝒅,𝒊 exp 1 𝑛$ 𝜼J 𝑧⃗$,/ 'S /D& = x R 𝑞 𝑧$,/ = 𝑘 exp 1 𝑛$ 𝜂Z 6 ZD& 'S /D& 期待値の計算。𝑧$,/ = 𝑘の時、𝜼J 𝑧⃗$,/=𝜂Z より。 𝔼t 𝒛 𝒅 ∖/ exp 𝜼J 𝒛P$ = x R 𝑞 𝑧$,/† = 𝑘 exp 1 𝑛$ 𝜂Z 6 ZD& 'S /†ˆ/ 𝜕 𝜕𝜂Z 𝔼t 𝒛 𝒅 exp 𝜼J 𝒛P$ = R 𝑞 𝑧$,/   = 𝑘 𝑛$ 'S /D& exp 𝜂Z 𝑛$ 𝔼t 𝒛 𝒅 ∖/ exp 𝜼J 𝒛P$ (4.33) (4.34) (4.35) (4.33)代⼊入、Σ・Πを展開後、 $²”³”´ $µ = $² $µ ” 𝑔 ” ℎ + 𝑓 ” $³ $µ ” ℎ + $² $µ ” 𝑔 ” ℎを⽤用いて整理理
  • 28.
    4.2.6 LDA+ポアソン回帰モデル 〜～ 𝜼の推定〜～ 𝜕 𝜕𝜼 𝔼 log 𝑝 𝒚 𝒛, 𝜼, 𝜌   = 1 𝜌 R 𝑦$ y $D& 𝔼 𝒛P$ − 𝜕 𝜕𝜼 𝔼t 𝒛 𝒅 exp 𝜼J 𝒛P$ (4.35)を⽤用いて演算 (4.31)より 𝜕𝔼 log 𝑝 𝒚 𝒛, 𝜼, 𝜌 /𝜕𝜼 = 0は解析的に解けないため、(共役)勾配法を⽤用い て   𝜼 を求める。 付録(A.4)
  • 29.
    4.2.6 LDA+ポアソン回帰モデル 〜～𝑞 𝑧$,/   = 𝑘 の推定〜～ 𝜕𝔼t 𝒛 𝒅 exp 𝜼J 𝒛P$ 𝜕𝑞 𝑧$,/   = 𝑘 = exp 𝜂Z 𝑛$ 𝔼t 𝒛 𝒅 ∖/ exp 𝜼J 𝒛P$ 𝜕𝔼 log 𝑝 𝑦 𝒅 𝒛 𝒅, 𝜼 𝜕𝑞 𝑧$,/   = 𝑘 = 𝒚 𝒅 𝜂Z 𝑛$ − 𝜕 𝜕𝑞 𝑧$,/   = 𝑘 𝔼t 𝒛 𝒅 exp 𝜼J 𝒛P$ 𝑞 𝑧$,/ = 𝑘 ∝ exp z 𝑞 𝝓Z log 𝜙Z,˜S,k 𝑑𝝓Z exp z 𝑞 𝜽$ log 𝜃$,Z   𝑑𝜽$ exp 𝜕 𝜕𝑞 𝑧$,/   = 𝑘 𝔼 log 𝑝 𝑦 𝒅 𝒛 𝒅, 𝜼 (4.37) (4.38) (4.39) (4.32)より (4.33)より
  • 30.