More Related Content
Similar to ACL2018 出張報告
Similar to ACL2018 出張報告 (10)
More from Yu Nishimura
Recently uploaded
Recently uploaded (16)
ACL2018 出張報告
- 2. Agenda • 背景 • 学会概要 • Stats • Neural Networkによる昨今の自然言語処理の進化 • Paper Pickup • Word Embedding • Sentiment Analysis • +Vision • 考察とまとめ
- 3. 学会概要 ・学会名：56th Annual Meeting of the Association for Computational Linguistics ・日程：7/15～7/20 ・場所：Melbourne, Australia ・学会概要 ・自然言語処理のTopカンファレンス ・7/15:Tutorials, 16～18:Main Conference, 19～20:Workshops ・Oralが6 Track並列で1日3セッション。 Posterは昼の時間に1日1回80件程度。 ・スポンサーブースの 盛り上がりは小さかった。 ・Program Chairの1人は 日本人、Yusuke Miyao (国立情報学研究所) Oral Main会場の様子 (6～7割程度席が埋まっていたか) Sponsor
- 4. Stats ■Paper投稿 投稿数は伸びているが、Computer Vision、理論系学会に比べると成長は小さい 1018 Long Papers (256 Accepted) 526 Short Papers (125 Accepted) 採択率 24.7% ICLR (Deep Learning理論系) CVPR (Computer Vision)
- 5. Stats ■Paper Title のトレンド (Word Cloud) 差分に注目 2017 ・Knowledge ・Detection 2018 ・Learning ・Embeddings Embedding関連の研究が 再燃。 LearningはReinforcement やUnsupervisedが前に入る ものが多い印象。
- 6. Stats ■Paper First Authorの国 ※381件のうち118本の統計 11% Company 89% University 全体の9割が大学からの発表 ※共同研究で企業が入っていることはある US/中国が圧倒的に多い。全体で60%を2国で占めている。 日本が3位でプレゼンスが残っている。 ・Program Chairが日本人 ・Session Chairが日本人 ・日本の2/7はOral発表 日本のプレゼンス
- 7. Stats ■技術分野と論文数 Core Application Social Media 11 Data Annotation Evaluation 21 32 Resource Base Tech. 100 Machine Learning Semantics (特にWord Semantics) Linguistics, Language Model Morphology, Parsing Multimodal 18 Vison Speech Multimodal 28 ※学会のセッションカテゴリから、独自に分解 33 15 24 Generation 120 Machine Translation Question Answering Dialog System Semantic Parsing Summarization Other Generation 37 18 36 24 11 18 Understanding/ Classification 36 Sentiment Reasoning 17 19 Information Extraction 51 Text Mining Argument Mining 46 5
- 8. 近年自然言語処理技術はDeep Learningの登場により飛躍的な発展を遂げている ■機械翻訳の例 2016年11月にニューラルネットモデルを 採用し、精度は急上昇した。 http://homepages.inf.ed.ac.uk/rsennric/amta2016.pdf ニューラルネットモデルは、統計モデル（Phrase/Syntax based MT）の精度を大幅に上回った。 Neural Networkによる自然言語処理の進化
- 9. Neural Networkによる自然言語処理の進化 ■背景技術 従来手法 Neural Network 時代 ・単語を「意味空間上のベクトル」に変換した。 ・文章を文脈として捉えられるようにした。 言語の数値化 文章理解 Output Onehot Bug of Words Word Embedding Recurrent Convolutional テキスト分類 翻訳 会話 QA 従来 ＋機械 学習 Neural Network Neural Network
- 10. Neural Networkによる自然言語処理の進化 ■ネットワークのトレンド 「Bi-LSTM with Attention」が文章理解のタスクにおいてスタンダードに使われていると感じた This is a pen 両方向でLSTM(RNNの一種) をかける 注目すべき単語に重みをかける Text Classification Machine Translation etc Bi-LSTM= Bidirectional Long Short Term Memory
- 12. ACL2018での研究紹介 ■Word Semantics (Word Embedding) ドメインや意味合いの違いに合わせてベクトル化を工夫 Word2vec (2013) ・最初のEmbedding手法 Glove(2014) ・従来のBug of Words的手法 といいとこ取り FastText(2016) ・形態素を考慮し、 単語の変化形にも対応可能 一般的なベクトル化手法 Maksim et al. , Singapore Univ., Searching for the X-Factor: Exploring Corpus Subjectivity for Word Embeddings Sentiment(Pos/Neg) 別に類義語の距離が近くなるようにベクトル化 同義語でも、意味合いによって 存在空間を変える(rock:stone, music) Ben et al., Cornell Univ., Probabilistic FastText for Multi-Sense Word Embeddings 一般的なベクトル化手法の 提案はシュリンク 線の長さ：距離の近さ
- 13. ACL2018での研究紹介 ■Information Extraction タスク ・イベント検出 ・Knowledge Base ・Entity ・Aspect ・名前検出 等様々 手法 ・CRF ・Recursive NN ・RNN ・RL 等様々 ・タスク、手法が様々。データドメインの変化への対応に関するものが多かった。 ・Aspect抽出は、高精度化はされているものの、教師あり学習の必要性が実運用上課題。 業務に関連 Wenya et al., Nangyang Univ., Recursive Neural Structural Correspondence Network for Cross-domain Aspect and Opinion Co-Extraction Aspect(=Sentimentの対象の単語)の抽出タスクの例 Recursive Neural Networkを 工夫した手法により、 Aspect検出の高精度化を実現。 ただし、教師データの作成は高コスト。
- 14. ACL2018での研究紹介 ■Sentiment 狙った単語に対して、そのPos/Negを判定するタスク Bi-LSTMとCNNを重ね合わせて、 Targetの言葉に対して、よりSpecificな 文脈理解を出力できるようにした ⇒ 1文に複数のTargetがある場合でも、 分解して解析可能。SOTA。 Xin et al., Tencent AI Lab., Transformation Networks for Target-Oriented Sentiment Classification ネットワークの複雑化が目立ったが、確実に高精度化、汎用化が進む レビューの点数を予測するタスク レビュー解析において、 ProductとUserの情報をInputとして活用して より汎用的な解析モデルを作る。 十分な情報がないProductやUser情報が ないときでも対応可能。 Reinald et al., Yonsei Univ., Cold-Start Aware User and Product Attention for Sentiment Classification
- 15. ACL2018での研究紹介 ■NLP + Vison 目で見ている情報を使うことで、言語理解を深めるタスクが今後流行りそう 「切る」行為をした結果のリンゴ 実世界のエージェントが 物理的な行動 → 効果予測を可能とするため、 作用の結果の状態を画像で理解しようとするタスク 最終的には 画像の状態をEmbedding Vectorとして ActionとEffectをつなげる Qiaozi et al., Michigan Univ., What Action Causes This? Towards Naive Physical Action-Effect Prediction 100か国語の10000単語に対して、 単語-画像が紐づいたデータセットを公開。 言語を一旦画像情報に抽象化してから 他言語に翻訳する技術へ貢献 インドネシア語 具体的な言葉であればあるほど、 画像を活用した翻訳は正確であることを示した。 John et al., University of Pennsylvania, Learning Translations via Images with a Massively Multilingual Image Dataset
- 20. EOF