Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

文献紹介:A Joint Segmentation and Classification Framework for Sentiment Analysis

611 views

Published on

動画
https://www.youtube.com/watch?v=PCKnqsgVu9M&list=PL6SnxjlP6lpHdWaieYa0BGVuj8fgfiIw1&index=45

Published in: Science
  • Be the first to comment

  • Be the first to like this

文献紹介:A Joint Segmentation and Classification Framework for Sentiment Analysis

  1. 1. 文献紹介 2014/12/05 長岡技術科学大学 自然言語処理研究室 岡田 正平
  2. 2. 文献情報 Duyu Tang, Furu Wei, Bing Qin, Li Dong, Ting Liu and Ming Zhou A Joint Segmentation and Classification Framework for Sentiment Analysis In Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing, pp 477-487. 2014. 2014/12/05 文献紹介 2
  3. 3. 概要 • 典型的な sentiment classification (pipeline method) segmentation → classification – error propagation • segmentation error は classification に影響 e.g.)〈bad, not bad〉, 〈a great deal of, great〉 2014/12/05 文献紹介 3
  4. 4. 概要 • 典型的な sentiment classification (pipeline method) segmentation → classification • 提案手法 (joint segmentation and classification, JSC) segmentation classification 2014/12/05 文献紹介 4 sentiment-specific segmentor を学習
  5. 5. 概要 Joint segmentation and classification framework (JSC) 2014/12/05 文献紹介 5
  6. 6. 概要 • segmentation candidates をスコア付し,上位のものを 極性分類の素性として用いる • segmentation の極性を予測,segmentator の更新に利用 • 訓練データは極性情報のみ • SemEval 2013 の Twitter sentiment classification dataset にて state-of-the-art な手法と同等の性能を達成 2014/12/05 文献紹介 6
  7. 7. 手法
  8. 8. 手法 3種のモデルを利用 1. candidate generation model (CG) 2. segmentation ranking model (SEG) 3. sentiment classification model (SC) 2014/12/05 文献紹介 8
  9. 9. 手法 2014/12/05 文献紹介 9 iteration※上向き矢印:update model 下向き矢印:use model
  10. 10. 手法 2014/12/05 文献紹介 10 iteration※上向き矢印:update model 下向き矢印:use model
  11. 11. Candidate generation • phrase table による制約を用いたビーム探索を利用 • Mikolov et al., 2013 𝑓𝑓𝑓𝑓 𝑤𝑖, 𝑤𝑗 = 𝑓𝑓𝑓𝑓 𝑤𝑖, 𝑤𝑗 − 𝛿 𝑓𝑓𝑓𝑓 𝑤𝑖 × 𝑓𝑓𝑓𝑓(𝑤𝑗) – 閾値を設け,phrase table を取得 2014/12/05 文献紹介 11
  12. 12. Candidate generation • 分割数が少ない方から𝑁個を候補とする 2014/12/05 文献紹介 12
  13. 13. 手法 2014/12/05 文献紹介 13 iteration※上向き矢印:update model 下向き矢印:use model
  14. 14. 手法 2014/12/05 文献紹介 14 iteration※上向き矢印:update model 下向き矢印:use model
  15. 15. Segmentation ranking segmentation candidates に実数値のスコア付け 𝜙𝑖𝑖 = exp 𝑏 + � 𝑠𝑠𝑒𝑖𝑖𝑖 ⋅ 𝑤 𝑘 𝑘 𝑠𝑖 : 𝑖番目の文 Ω𝑖𝑖 : 𝑠𝑖の𝑗番目の segmentation candidate 𝜙𝑖𝑖 : Ω𝑖𝑖のスコア 𝑠𝑠𝑒𝑖𝑖𝑖 : Ω𝑖𝑖の𝑘番目の素性 2014/12/05 文献紹介 15
  16. 16. Segmentation ranking 損失関数 𝑙𝑙𝑙𝑙 = − � log ∑ 𝜙𝑖𝑖𝑗∈𝐻 𝑖 ∑ 𝜙𝑖𝑖𝑗′∈𝐴 𝑖 + 𝜆 𝑤 2 2 𝑇 𝑖=1 𝑇 : 訓練事例 𝐴𝑖 : 𝑠𝑖に対する全 segmentation candidates 𝐻𝑖 : 𝑠𝑖の segmentation candidates 中で 予測された極性が正解と一致しているもの 2014/12/05 文献紹介 16
  17. 17. Segmentation ranking 素性 𝑠𝑠𝑒𝑖𝑖𝑖 • Segmentation-Specific Feature • Phrase-Embedding Feature – Skip-Gram model (Mikolov et al., 2013) 2014/12/05 文献紹介 17
  18. 18. Segmentation ranking 素性 𝑠𝑠𝑒𝑖𝑖𝑖 • Segmentation-Specific Feature • Phrase-Embedding Feature – Skip-Gram model (Mikolov et al., 2013) 2014/12/05 文献紹介 18
  19. 19. Segmentation ranking 2014/12/05 文献紹介 19
  20. 20. Segmentation ranking 素性 𝑠𝑠𝑒𝑖𝑖𝑖 • Segmentation-Specific Feature • Phrase-Embedding Feature – Skip-Gram model (Mikolov et al., 2013) – classification model でも利用 2014/12/05 文献紹介 20
  21. 21. Segmentation ranking 畳み込み関数により導かれたベクトルの結合で表現される 𝑝𝑝 𝑠𝑠𝑠 = 𝑝𝑓𝑚𝑚𝑚 𝑠𝑠𝑠 , 𝑝𝑓 𝑚𝑚𝑚 𝑠𝑠𝑠 , 𝑝𝑓𝑎𝑎𝑎(𝑠𝑠𝑠) 𝑝𝑝 𝑠𝑠𝑠 𝑥 = 𝜃 𝑥 𝐿 𝑝𝑝 𝑠𝑠𝑠 𝜃 𝑥 : 𝑝𝑓𝑥の畳み込み関数 𝐿 𝑝𝑝 𝑠𝑠𝑠 : 結合された𝑠𝑠𝑠中の単語の列ベクトル 𝐿 𝑝𝑝 : phrase embedding の lookup tabke 2014/12/05 文献紹介 21
  22. 22. 手法 2014/12/05 文献紹介 22 iteration※上向き矢印:update model 下向き矢印:use model
  23. 23. 手法 2014/12/05 文献紹介 23 iteration※上向き矢印:update model 下向き矢印:use model
  24. 24. Classification nodel • 訓練事例を用いて教師あり学習 2014/12/05 文献紹介 24
  25. 25. 手法 2014/12/05 文献紹介 25 iteration※上向き矢印:update model 下向き矢印:use model
  26. 26. 実験
  27. 27. 実験 1 Twitter sentiment classification dataset in SemEval 2013 • 2値分類 (positive/negative) のみ 2014/12/05 文献紹介 27
  28. 28. 実験 1 2014/12/05 文献紹介 28
  29. 29. 実験 2 JSC と pipeline method の比較 pipeline 1: bag-of-words pipeline2: segmentation candidate with maximum phrase 2014/12/05 文献紹介 29
  30. 30. 実験 2 JSC と pipeline method の比較 PF: phrase embedding SF: segmentation-specific CF: classification-specific 2014/12/05 文献紹介 30
  31. 31. まとめ Joint segmentation and classification framework (JSC) state-of-the-art な手法と同等の精度達成 2014/12/05 文献紹介 31
  32. 32. References Tomas Mikolov, Ilya Sutskever, Kai Chen, Greg Corrado, and Jeffrey Dean. 2013. Distributed representations of words and phrases and their compositionality. Conference on Neural Information Processing Systems. 2014/12/05 文献紹介 32

×