Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Nlp2018 参加報告

73 views

Published on

言語処理学会第24回年次大会(NLP2018)へ参加した際に、
興味を持った文献と、その他所感の記録用のスライド

Published in: Education
  • Be the first to comment

  • Be the first to like this

Nlp2018 参加報告

  1. 1. 言語処理学会第24回年次大会(NLP2018) 参加報告 長岡技術科学大学 自然言語処理研究室 修士1年 西山 浩気
  2. 2. 1. 興味深かった発表 ✓ 未知語・低頻度語処理 ✓ ベクトル表現獲得手法 ✓ 自動評価手法の提案 2. 所感 2 1. 目次
  3. 3. ニューラル対話モデルにおける品詞に基づく 低頻度後処理[原口, 村田] ニューラル機械翻訳における低頻度語処理[今仁, 村上] 日英ニューラル機械翻訳における 未知語への対応[伊部ら] 3 2. 1 未知語・低頻度語処理 興味深かった発表
  4. 4. ニューラル対話モデルにおける品詞に基づく 低頻度後処理[原口, 村田]  従来手法  低頻度語をUNK(ヌルトークン)化  低頻度語を高頻度語へ置換する Copyable Model ✓ 結果として精度は向上しなかった ✓ 今後は出力の多様性評価と新しい置換モデルの構築 4 2. 1 未知語・低頻度語処理 興味深かった発表 残ったUNKを少数のグループへ分類し, 反応を細分化
  5. 5. ニューラル機械翻訳における低頻度語処理[今仁, 村上]  低頻度語を高頻度語へ 置換するための手法  原言語から最も近い単語 をattentionで探し, 対象言語へ辞書で置換  語彙無制限の学習に比べ 翻訳精度を向上させ, さらに計算時間を短縮 5 2. 1 未知語・低頻度語処理 興味深かった発表
  6. 6. 文献情報の多様な要素を考慮した ベクトル表現獲得[米田ら] LSTMを用いた文の分散表現の獲得手法に関する 一考察[福田ら] 深層コード学習による単語分散表現の圧縮[朱, 中山] 6 2. 2 ベクトル表現 興味深かった発表
  7. 7. 文献情報の多様な要素を考慮した ベクトル表現獲得[米田ら]  LINE(Large-scale Information Network Embedding) TransE でグラフ構造の要素 をベクトル化  文書間の関係性を表す ベクトルとして妥当な結果 を獲得  評価が難しいため, 実際にデモを見せていたのが印象的 7 2. 2 ベクトル表現 興味深かった発表
  8. 8. LSTMを用いた文の分散表現の獲得手法に関する 一考察[福田ら]  単純なLSTMのEncoder-Decoderモデル  類似度の高い文は取得できなかった 今後はより文脈を捉えることのできるモデル構築 8 2. 2 ベクトル表現 興味深かった発表
  9. 9.  深層コード学習による単語分散表現の圧縮[朱, 中山]  現在は20万語を表すために約1億のパラメータが必要  モデルの性能を下げずにベクトルの次元削減が目的  単語の分散表現を部分的に共有させる  例えば ✓ manとkingの性別は同じ ✓ dogとdogsの表す生物は同じ 精度低下なく感情分析・機械翻訳で約95%の圧縮 9 2. 2 ベクトル表現 興味深かった発表
  10. 10.  汎用的な文の分散表現を用いた 文単位の機械翻訳自動評価[嶋中ら]  Structured Common Subsequences for Automatic Machine Translation Evaluation[丁ら]  抽出型オラクルを利用した要約の自動評価[平尾ら] ✓ ニューラルネットワークが導入されたことで, 単純なn-gramの一致で測れない評価が必要? 10 2. 3 自動評価手法の提案 興味深かった発表
  11. 11.  汎用的な文の分散表現を用いた 文単位の機械翻訳自動評価[嶋中ら]  NMTが主流になりBLEU等に代わる評価手法が必要  文のベクトルを事前学習しておき, 翻訳文 と 参照文 から翻訳の評価値 を推定する  少ない絶対評価のデータから, 絶対評価との非常に高い相関が得られた 11 2. 3 自動評価手法の提案 興味深かった発表
  12. 12.  参加者が1000人規模に  スポンサー企業の参加も増加・スポンサーイブニング  企業から更に注目されている学会!  精度を詰める研究 未知語処理 ベクトル表現 (どのようにベクトルを作るか) 精度95% から 96%にあげるような研究が印象に残った  企業と提携した研究(特に対話分野) 大量のデータを持つ企業と提携したより深い研究 12 所感

×