Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
Komachi Lab
M1 Ryosuke Miyazaki
2015/10/02
Learning Tag Embeddings and Tag-specific
Composition Functions in Recursive Neu...
Komachi Lab
RNN
✤ 2つの子ベクトルから親ベクトルを構成!
✤ 木構造に従って再帰的に文全体のベクトルを構成
2
Komachi Lab
Abstract
✤ VPを構成するcomposition functionと

NPを構成するcomposition functionは 本当に一緒?

タグごとに違うのでは?!
✤ 句構造タグも構成に利用しよう!
✤...
Komachi Lab
Tag Guided RNN
✤ 親ノードのタグ毎にcomposition functionを変える!
✤ すべてのタグを区別すると

頻度の低いタグに関するパラメータが学習しきれない
4
➡Top k 個とその他で

...
Komachi Lab
Tag Embedded RNN
✤ 親のタグが同じでも子のタグが違う場合

(VP→V NP と VP→V Advは同じcomposition?)!
✤ 子ノードのタグ情報も使いたいけど

Tag Guidedでやると...
Komachi Lab
Tag Embedded RNN
6
Komachi Lab
Tag Embedded RNTN
7
✤ RNTN(Recursive Neural Tensor Network)と同様!
✤ テンソルTを使って, 子ベクトルの相互作用を考慮する
Komachi Lab
Learning
✤ 今回はSentiment Analysis (分類問題)のタスクで学習
8
✤ 誤差関数はCross Entropy Error
Komachi Lab
Experiments Settings
✤ Sentiment Tree Bankを使用

すべての部分木に極性ラベルがついている (5値)

(train: 8544, dev: 1101, test:2210)!
...
Komachi Lab
Experiments Settings
✤ 単語ベクトルはword2vecでpre-train(100,000 movie reviews) 

RNN:d=25, RNTN: d=20!
✤ その他のベクトルは[-0...
Komachi Lab
Experiments Settings
✤ ハイパーパラメータ

batch size 30, momentum 0.9, L2 reg 0.0001, Learning rate 0.005
11
TG-RNNのタグ...
Komachi Lab
Results
12
✤ Fine-grainedではDRNN
の次によい!
✤ RNN → TG-RNN 

(+3.8)!
✤ RNN → TE-RNN 

(+4.8)!
✤ RNTN → TE-RNTN

(+3...
Komachi Lab
Model Size
13
✤ DRNNよりも少ない!
✤ RNN, RNTNより少ないのは、次元dの設定が小さいから
Komachi Lab
Tag Vectors Analysis
✤ 目的関数にはタグの分類の気持ちは入っていないのに

似たタグは似たベクトルになってる!
✤ 恐らく似たタグは似た役割を担うから
14
Komachi Lab
Conclusion
✤ 句構造タグを利用した

新しいモデルTG-RNN, TE-RNN/RNTNを考案!
✤ 有用であるだけでなく便利である

(比較的良いパフォーマンスと少ないパラメータ)
15
Upcoming SlideShare
Loading in …5
×

Learning Tag Embeddings and Tag-specific Composition Functions in Recursive Neural Network

372 views

Published on

Learning Tag Embeddings and Tag-specific Composition Functions in Recursive Neural Network
ACL-IJCNLP 2015

Qiao Qian, Bo Tian, Minlie Huang, Yang Liu, Xuan Zhu and Xiaoyan Zhu

Published in: Technology
  • Be the first to comment

  • Be the first to like this

Learning Tag Embeddings and Tag-specific Composition Functions in Recursive Neural Network

  1. 1. Komachi Lab M1 Ryosuke Miyazaki 2015/10/02 Learning Tag Embeddings and Tag-specific Composition Functions in Recursive Neural Network ACL-IJCNLP 2015
 Qiao Qian, Bo Tian, Minlie Huang, Yang Liu, Xuan Zhu and Xiaoyan Zhu ACL 2015 reading group ※このスライド内の図は論文内のものです
  2. 2. Komachi Lab RNN ✤ 2つの子ベクトルから親ベクトルを構成! ✤ 木構造に従って再帰的に文全体のベクトルを構成 2
  3. 3. Komachi Lab Abstract ✤ VPを構成するcomposition functionと
 NPを構成するcomposition functionは 本当に一緒?
 タグごとに違うのでは?! ✤ 句構造タグも構成に利用しよう! ✤ Tag Guided RNNとTag Embedded RNN/RNTNを提案 3
  4. 4. Komachi Lab Tag Guided RNN ✤ 親ノードのタグ毎にcomposition functionを変える! ✤ すべてのタグを区別すると
 頻度の低いタグに関するパラメータが学習しきれない 4 ➡Top k 個とその他で
 k+1 の composition function
  5. 5. Komachi Lab Tag Embedded RNN ✤ 親のタグが同じでも子のタグが違う場合
 (VP→V NP と VP→V Advは同じcomposition?)! ✤ 子ノードのタグ情報も使いたいけど
 Tag Guidedでやるとcomposition functionがk × k個も
 パラメータが多すぎる! ➡ タグをベクトルに埋め込んでスパースネス解消
 (1000回未満の出現頻度のタグは無視) 5
  6. 6. Komachi Lab Tag Embedded RNN 6
  7. 7. Komachi Lab Tag Embedded RNTN 7 ✤ RNTN(Recursive Neural Tensor Network)と同様! ✤ テンソルTを使って, 子ベクトルの相互作用を考慮する
  8. 8. Komachi Lab Learning ✤ 今回はSentiment Analysis (分類問題)のタスクで学習 8 ✤ 誤差関数はCross Entropy Error
  9. 9. Komachi Lab Experiments Settings ✤ Sentiment Tree Bankを使用
 すべての部分木に極性ラベルがついている (5値)
 (train: 8544, dev: 1101, test:2210)! ✤ Stanford Parserを使って句構造タグを付与
 (Sentiment Tree BankもStanford Parserを使ってるが
 ver違いによる木構造の違いでtrain:74, dev:11,test11 の文を無視) 9
  10. 10. Komachi Lab Experiments Settings ✤ 単語ベクトルはword2vecでpre-train(100,000 movie reviews) 
 RNN:d=25, RNTN: d=20! ✤ その他のベクトルは[-0.01, 0.01]の一様分布からサンプル! ✤ 構成されたフレーズベクトルにはベクトルの正規化を施す 10
  11. 11. Komachi Lab Experiments Settings ✤ ハイパーパラメータ
 batch size 30, momentum 0.9, L2 reg 0.0001, Learning rate 0.005 11 TG-RNNのタグの数k: 6 TE-RNNのタグの次元数 de: 8, TE-RNTN : 6
  12. 12. Komachi Lab Results 12 ✤ Fine-grainedではDRNN の次によい! ✤ RNN → TG-RNN 
 (+3.8)! ✤ RNN → TE-RNN 
 (+4.8)! ✤ RNTN → TE-RNTN
 (+3.2)
  13. 13. Komachi Lab Model Size 13 ✤ DRNNよりも少ない! ✤ RNN, RNTNより少ないのは、次元dの設定が小さいから
  14. 14. Komachi Lab Tag Vectors Analysis ✤ 目的関数にはタグの分類の気持ちは入っていないのに
 似たタグは似たベクトルになってる! ✤ 恐らく似たタグは似た役割を担うから 14
  15. 15. Komachi Lab Conclusion ✤ 句構造タグを利用した
 新しいモデルTG-RNN, TE-RNN/RNTNを考案! ✤ 有用であるだけでなく便利である
 (比較的良いパフォーマンスと少ないパラメータ) 15

×