DLhacks paperreading_20150902
•
2 likes•1,339 views
DL Hacks 論文輪読 2015年9月2日 発表資料「Learning Sentiment-Specific Word Embedding for Twitter Sentiment Classification」
Recommended
More Related Content
Viewers also liked
Similar to DLhacks paperreading_20150902
Similar to DLhacks paperreading_20150902 (20)
Recently uploaded
Recently uploaded (8)
DLhacks paperreading_20150902
- 1. 論文輪読 Learning Sentiment-Specific Word Embedding for Twitter Sentiment Classification 学際情報学府 総合分析情報学コース M2 河野 慎
- 2. 論文について タイトル • Learning Sentiment-Specific Word Embedding for Twitter Sentiment Classification 著者 • Duyu Tang, Furu Wei, Nan Yang, Ming Zhou, Ting Liu, BingQin • Research Center for Social Computing and Information Retrieval Harbin Institute of Technology, China • Microsoft Research, Beijing, China • University of Science and Technology of China, Hefei, China 引用件数 • 43件 学会 • ACL 2014 2
- 3. 背景 Sentiment classification • 文章がポジティブ/ネガティブな表現か分類する - SemEvalタスク • feature engineering - 研究者によって素性が設計される - 重要であるがものすごく大変 • word embedding - データから説明要因を抜き出す 3
- 4. 問題意識 既存のword embeddingはsentiment analysisにおいて 十分といえるか？ • 文法的に近くても，意味的に遠いもの ※品詞のタグ付けでは有効 4 he formed the good habit of … he formed the bad habit of … 同じ文脈
- 5. 先行研究１ Twitter sentiment classification • 辞書ベース - 否定や強調に注目して評価極性を計算する • 既存の文書カテゴリ分類問題の１つとして扱う - distant supervision(後述) - スムージングした言語モデル - emotional signalsを教師なし学習に組み込む • いずれもfeature engineeringが重要 5
- 6. 先行研究２ Learning continuous representations for sentiment classification • bag-of-words representation - 各ベクトル：one-hot-vector • 単語の複雑な言語的特徴を捉えきれない Deep Learningの登場 • 連続表現によって様々なNLPタスクで発揮 - LSAで初期化→linear weighted of ngram vectorsで表現 - 単語を行列で表現→行列乗算で単語を結びつける - SdA：ドメイン適応 - RecursiveNN，Recursive Neural Tensor Network，Combinatory Categorial AE によって任意の長さのフレーズ，文章に対応 • 各手法もタスクに強く依存している 6
- 7. 目的と提案手法 単語の評価極性を表現できるアルゴリズムの提案 • goodとbadがスペクトラム両端に位置するような表現 Sentiment Specific Word Embedding(SSWE) • 既存のC&Wモデルを拡張 • ３種類のニューラルネットワークを提案 - 損失関数に文の評価極性（教師）を組み込む 7
- 10. C&Wモデル 10 ＝
- 11. C&Wモデル 11
- 17. 提案手法１ SSWEh C&Wモデルを教師あり学習にする • ツイートの評価極性を予測する - softmax層を追加 • 損失関数 - クロスエントロピーを使用 17
- 18. 提案手法２ SSWEr 制約条件を少し緩める • 評価極性スコアの大小で決める • 損失関数 18
- 20. モデルの学習 pos/negの顔文字を含むツイートで学習 • 2013年4月，約1000万ツイート（pos500万/neg500万） Back-propagation+AdaGrad • Embedding length = 50 -> Lookup Table ∈ R50×単語数 • Window size = 3 -> おそらくinput windowの大きさ • Learning rate = 0.1 20
- 22. 実験１ ツイートの評価極性分類タスク • データ - Twitter Sentiment Classification Track in Semantic Evaluation 2013(message-level) • 評価指標 - Macro-F1 - ベースライン手法との精度比較 22
- 23. Distant Supurvision 少量の教師ありデータから教師ありデータを生成する • 半教師あり学習のひとつとか • 教師ありデータを直接使うのではなく，教師なしデータ から教師ありデータを生成 - Freebaseデータベースから二つの単語と関係性を抜き出す - wikipediaの文章で２つの単語が含まれている文章を探索 - 文章から特徴量を抽出し，その特徴量と関係性を関連付ける 23
- 27. 実験３ 単語の類似度評価 • 評価極性辞書と比較をして評価する • Lookup Tableに含まれる単語と距離が近いTopN個の単語 の評価極性を検証 • 評価指標 27
- 28. 実験３ 28
- 30. 感想 読めば読むほどわからなくなる論文 万能みたいな感じになってるword2vecよりも場合に よってはいい方法がある convolutional layerの使い方はかなり応用できそう 30
- 31. 参考文献 第一著者HP+発表スライド • http://ir.hit.edu.cn/~dytang/ • http://ir.hit.edu.cn/~dytang/paper/sswe/acl-slides.pdf distsuper • http://d.hatena.ne.jp/a_bicky/20150309/1425856724 • http://web.stanford.edu/~jurafsky/mintz.pdf NRC • http://saifmohammad.com/WebDocs/sentimentMKZ.pdf convolutional layer(C&Wモデル) • http://arxiv.org/abs/1103.0398 （こっちのほうが最新でわかりやすい） • http://www.australianscience.com.au/research/google/35671.pdf • http://www.slideshare.net/yutakikuchi927/deep-learning-26647407 31