Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

VCWE[論文読み会]

6/21日にM3さんで開催したMachine learning papers reading pitch #3の発表資料です。

  • Login to see the comments

VCWE[論文読み会]

  1. 1. VCWE:Visual Character-Enhanced Word Embedding Chi Sun, Xipeng Qiu, Xuanjing Huang Shanghai Key Laboratory of Intelligent Information Processing, Fudan University School of Computer Science, Fudan University 825 Zhangheng Road, Shanghai, China
  2. 2. 長澤 駿太(テツ) - 法政大学理工学部応用情報工学科 B4 知的情報処理研究室(彌冨研) 所属 - バイト探してます - DeNAのコンペで優勝しました! - ブログ書いてます(論文読みとか) - https://tetsu316.hatenablog.com 研究分野 - 文字形状を考慮した自然言語処理 - これから話す論文もこれ系です 2 @tetsu316naga iron316 自己紹介
  3. 3. Chi Sun, Xipeng Qiu, Xuanjing Huang VCWE:Visual Character-Enhanced Word Embedding In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies arxiv: https://arxiv.org/abs/1902.08795 3 文献情報
  4. 4. - 文字形状を考慮した中国語の単語分散表現 “Visual Character-Enhanced Word Embedding” (VCWE)の提案 - 先行研究と比べより良い単語分散表現の獲得 - End-to-Endにすることで先行研究よりも文字形状を 捉えた分散表現の学習が可能 - 先行研究と比べより複雑な文脈を考慮できるようになった - この論文を選んだ理由 - 自分の進めている研究と近かった 4 TL;DR
  5. 5. 中国語や漢字は表意文字と呼ばれている 鯲 鯣 5 背景
  6. 6. 中国語や漢字は表意文字と呼ばれている 魚編だし、 魚っぽい? 鯲 鯣 6 背景 スルメドジョウ
  7. 7. 中国語や漢字は表意文字と呼ばれている 背景 ドジョウ スルメ 魚編だし、 魚っぽい? 漢字の形から 意味を認識 言語の理解に 役に立ちそう 鯲 鯣 7
  8. 8. 背景 - Image-based Character Embedding for Document Classification [Shimada+ 2016] - CAEで文字画像を学習させることで 文字の形を考慮した文字の分散表現の獲得 [Shimada+ 2016] D. Shimada, R. Kotani, and H. Iyatomi, “Document classification through image-based character embedding and wildcard training,” IEEE International Conference on Big Data, pp. 3922–3927, 2016. 8
  9. 9. 背景 - End-to-End Text Classification via Image-based Embedding using Character-level Networks [Kitada+ 2018] - 文書分類タスクとcharacter encoderを 繋げたEnd-to-Endのモデル - 画像空間と特徴空間による data augmentationを行うことで精度を向上 - Wikipediaタイトルによる カテゴリ分類にてstate of the art を達成 9 [Kitada+ 2018] Shunsuke Kitada, Ryunosuke Kotani, Hitoshi Iyatomi, "End-to-End Text Classification via Image-based Embedding using Character-level Networks”, IEEE Applied Imagery Pattern Recognition (AIPR) 2018 workshop
  10. 10. 先行研究 - 中国語における文字構造を考慮した単語分散表現 - CWE[Yin+ 2015] - Word2vec + 文字の部首情報を追加 - GWE[Su+ 2017] - CWE+文字画像による視覚的特徴量の追加 - JWE[Yu+ 2017] - 単語や文字、部首をそれぞれ別々に扱う 10 [Yin+ 2016] Rongchao Yin, Quan Wang, Rui Li, Peng Li, Bin Wang, “Multi-Granularity Chinese Word Embedding”, Empirical Methods in Natural Language Processing 2016 [Su and Lee+ 2017] Tzu-Ray Su, Hung-Yi Lee, “Learning Chinese Word Representations From Glyphs Of Characters”, arXiv preprint arXiv:1708.04755. [Yu+ 2017], Jinxing Yu, Xun Jian, Hao Xin, and Yangqiu Song, “Joint embeddings of chinese words, characters, and fine-grained subcharacter components”, Empirical Methods in Natural Language Processing 2017
  11. 11. CWE - Multi-Granularity Chinese WordEmbedding[Yin+ 2015] - 文字+部首+単語による単語分散表現 11
  12. 12. GWE - Learning Chinese Word Representations From Glyphs Of Characters[Su+ 2017] - 文字画像からCAEで抽出した、視覚的特徴量を CWEに組み込んだ単語分散表現 12
  13. 13. JWE - Joint embeddings of chinese words, characters, and fine-grained subcharacter components[Yu+ 2017] - 単語+文字+部首のそれぞれをword2vecの 入力として学習した分散表現 13
  14. 14. 先行研究の問題点 - CWEやJWEはより複雑な言語構成が処理できない - 部首情報により簡単な構成は学習できている - GWEは柔軟性がword2vecよりも劣っている - 非構成単語(構成文字に意味が少ない) - 例: ”沙发”(ソファ) = ”沙”(砂)+"发"(髪) 14
  15. 15. VCWE学習の3 steps 1. CNNによる文字からの視覚的情報量の抽出 2. Bi-LSTMとself-attentionによる単語分散表現の取得 3. Skip-gramによるコンテキスト情報の取得 15
  16. 16. VCWE サブ要素 - Sub sampling - レア単語と頻出単語の出現回数の調整 - Negative sampling - 平等にnegative sampleするよう調整 16
  17. 17. - 損失関数 17 VCWE
  18. 18. 実験(VCWEの学習) データセット - 中国のWikipedia dataset - tokenizer : THULAC 7 - 頻度100回以上の単語のみ使用 ハイパパラメータ - Optimizer : Adam - Learning rate : 0.001 - Context window : 5 - Embedding dimension : 100 - Negative sampling : 5 18
  19. 19. 評価タスク - Word Similarity Task - 単語類似性データセットのスピアマン相関 19
  20. 20. 評価タスク - Sentiment Analysis Task(2値分類) - 後段のモデルとしてBi-LSTMを使用 - データはノート、車、カメラ、携帯のレビュー 20
  21. 21. 評価タスク - Named Entity Recognition - 後段のモデルとしてchinese NER modelを使用 - MSRA datasetを使用 - Part-of-speech Tagging Task - 後段のモデルとしてBi-LSTM使用 21
  22. 22. 評価タスク - Qualitative Analysis - target単語に最も類似度(cos類似度)の高い単語top10 22
  23. 23. まとめ - 議論 - 4つのタスクでBaselineよりも良い精度を出すことで、 より良い分散表現が学習されたことが確認できた - End-to-EndのモデルにすることによりGWEと比べて より文字形状を捉えた分散表現の学習が可能になった - 気になった点 - 日本語に適用してみたらどうなるのだろう - ひらがなとかカタカナとかの扱い方 - 日本語実装やってます(間に合わなかった...) 23

×