Successfully reported this slideshow.
Your SlideShare is downloading. ×

ACL 2017参加報告

Ad

ACL 2017July 30-August 4, 2017
Vancouver, Canada
電通国際情報サービス
ファイサル ・ 清水 琢也
ACL2017参加報告

Ad

目次
 イベント概要
 アナリティクス
 DL-NLPの動向
 Best Paperの紹介
 気になった論文
 まとめ
2017/12/4ISID - ACL2017参加報告2

Ad

イベント概要
ACL 2017July 30-August 4, 2017
Vancouver, Canada
2017/12/4ISID - ACL2017参加報告3

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Check these out next

1 of 64 Ad
1 of 64 Ad

ACL 2017参加報告

Download to read offline

7月30日 – 8月4日 に開催された、 自然言語処理のトップカンファレンスであるACL 2017(バンクーバー)にISID・開発技術部・機械学習チームが参加してきました。

7月30日 – 8月4日 に開催された、 自然言語処理のトップカンファレンスであるACL 2017(バンクーバー)にISID・開発技術部・機械学習チームが参加してきました。

More Related Content

Similar to ACL 2017参加報告 (20)

ACL 2017参加報告

  1. 1. ACL 2017July 30-August 4, 2017 Vancouver, Canada 電通国際情報サービス ファイサル ・ 清水 琢也 ACL2017参加報告
  2. 2. 目次  イベント概要  アナリティクス  DL-NLPの動向  Best Paperの紹介  気になった論文  まとめ 2017/12/4ISID - ACL2017参加報告2
  3. 3. イベント概要 ACL 2017July 30-August 4, 2017 Vancouver, Canada 2017/12/4ISID - ACL2017参加報告3
  4. 4. ACLとは  The annual meeting of the Association for Computational Linguistics (ACL)  計算言語学(CL)・自然言語処理(NLP)分野のトップ会議  1963年より毎年開催で今年は55回目  1968年までの名称はAssociation for Machine Translation and Computational Linguistics (AMTCL)  開催期間は例年6月~8月(夏)  開催地は、欧州⇒北米⇒アジア・オセアニアで巡回  Sofia’13⇒Baltimore’14 ⇒ Beijing’15⇒ Berlin’16⇒Vancouver’17⇒ Melbourne’18⇒ Florence’19 2017/12/4ISID - ACL2017参加報告4
  5. 5. ACL 2017の概要  開催期間  July 30-August 4, 2017 (本会議: July 31-August 2)  開催場所  Westin Bayshore Hotel, Vancouver, Canada  規模  参加者数: 約1800人  発表論文: 302 (long: 195, short: 107) +TACL(ジャーナル): 22  他論文: SRW* : 23, デモ論文: 21 2017/12/4ISID - ACL2017参加報告5 *Student Research Workshop
  6. 6. ACL 2017におけるInnovations 2017/12/4ISID - ACL2017参加報告6 1. カンファレンス情報は公式のブログに掲載 2. Long論文とShort論文の締め切りを統一 3. 論文のフッターにはDOI(Digital Object Identifiers)を付与 4. Toronto Paper Matching System (TPMS)を使用 5. 小エリア(カテゴリ)を大エリアにマージ 6. クラウドソーシングによりモデレータやレビューアを募集 7. 初期レビューを短めに、ディスカッションを長めに 8. OtherカテゴリをMultidisciplinaryカテゴリへ https://www.aclweb.org/adminwiki/index.php?title=2017Q3_Reports:_Program_Chairs
  7. 7. 本会議1日目のスケジュール 7:30-8:45 Breakfast 9:00-10:00 Welcome Session / Presidential Address 10:00-10:30 Break 10:30-12:00 Information Extraction I Semantics 1 Discource 1 Machine Translation 1 Generation 12:00-13:40 Lunch 13:40-15:15 Question Answering Vision I Syntax 1 Machine Learning 1 Sentiment 1 15:15-15:45 Break 15:45-17:15 Information Extraction 2 Semantics 2 Speech / Dialogue 1 Multilingual Phonology 18:20-21:50 Poster, Dinner, Student Research Workshop 2017/12/4ISID - ACL2017参加報告7 5並列2.5 時間
  8. 8. 本会議2日目のスケジュール 2017/12/4ISID - ACL2017参加報告8 7:30-8:45 Breakfast 9:00-10:10 Invited Talk: Squashing Computational Linguistics Noah Smith (University ofWashington) 10:10-10:30 Break 10:30-12:05 Information Extraction 3 Vision 2 Dialogue 2 Machine Translation 2 Social Media 12:05-13:30 Lunch 13:30-15:00 Multi- disciplinary Language & Resources Syntax 2 Machine Translation 3 Sentiment 2 15:00-15:25 Break 15:25-17:00 Information Extraction 4 Semantics 3 Discourse 2 / Dialogue 3 Machine Learning 2 Summari- zation 17:45-19:45 Poster, Dinner, Demo 19:30-22:30 Social Event (Vancouver Aquarium) 3 時間 2 時間
  9. 9. 本会議3日目のスケジュール 2017/12/4ISID - ACL2017参加報告9 7:30-8:45 Breakfast 9:00-10:10 Invited Talk:Translating from Multiple Modalities to Text and Back Mirella Lapata (University of Edinburgh) 10:10-10:40 Break 10:40-12:15 Outstanding Papers 1 Outstanding Papers 2 12:05-13:30 Lunch 13:00-14:30 ACL Business Meeting (open to all) 14:30-15:00 Break 15:00-16:40 Outstanding Papers 3 Outstanding Papers 3 16:45-17:45 Lifetime Achievement Award 17:45-18:00 Closing Session & Best Paper Awards Barbara Grosz Harvard John A. Paulson School of Engineering and Applied Science ACLおよび研究の将来の話
  10. 10. アナリティクス ACL 2017July 30-August 4, 2017 Vancouver, Canada 2017/12/4ISID - ACL2017参加報告10
  11. 11. 投稿数と採択数の推移 0 200 400 600 800 1000 1200 1400 1600 2008 2009 2010 2011 2012 2013 2014 2015 2016 2017 投稿数 採択数 2017/12/4ISID - ACL2017参加報告11
  12. 12. カテゴリ別の詳細 カテゴリ 投稿数 採択数 採択率 割合(採択数/全採択数) Biomedical 10 3 30.0% 0.9% Cognitive Modeling and Psycholinguistics 30 4 13.3% 1.3% Dialog Interactive Systems 60 16 26.7% 5.2% Discourse Pragmatics 51 16 31.4% 5.2% Generation Summarization 82 20 24.4% 6.6% IE QA Text Mining Applications 308 56 18.2% 18.5% Machine Learning 86 19 22.1% 6.2% Machine Translation 107 27 25.2% 8.9% Multidisciplinary 32 10 31.3% 3.3% Multilingual 28 9 32.1% 2.9% Phonology Morphology Word Segmentation 42 8 19.1% 2.6% Resources Evaluation 40 11 27.5% 3.6% Semantics 157 39 24.8% 12.9% Sentiment Analysis Opinion Mining 84 17 20.2% 5.6% Social Media 63 16 25.4% 5.2% Speech 9 3 33.3% 0.9% Tagging Chunking Syntax Parsing 78 21 26.9% 6.9% Vision Robots Grounding 30 7 23.3% 2.3% 2017/12/4ISID - ACL2017参加報告12
  13. 13. 昨年度との投稿数の比較 0 50 100 150 200 250 300 350 IE, QA and Text Mining Semantic Machine Translation (Generation) Summarization 2016 2017 約3倍に増加 2017ではカテゴリ名が Generation Summarization 2017/12/4ISID - ACL2017参加報告13
  14. 14. タイトルに頻出する内容語 順位 用語 割合 1. neural 25.2% 2. learning 17.5% 3. model 12.3% 4. language 10.3% 5. network 9.3% 6. machine 8.9% 7. word 8.6% 8. text 8.6% 9. translation 8.3% 10. parsing 7.0% 11. semantic 6.3% 12. relation 5.6% 13. attention 5.3% 14. generation 5.0% 15. extraction 5.0% 16. deep 4.6% 17. knowledge 4.6% 18. sequence 4.6% 19. multi 4.6% 20. dependency 4.3% ACL 2017 14: neural network 4: neural model 4: recurrent neural 4: neural architecture 3: reinforcement learning 3: multitask learning 6: word embeddings 4 word segmentation 2: word representation 20: neural machine translation 14: sequence to sequence 3: neural language model 2017/12/4ISID - ACL2017参加報告14
  15. 15. タイトルに頻出する内容語 順位 用語 割合 1. neural 25.2% 2. learning 17.5% 3. model 12.3% 4. language 10.3% 5. network 9.3% 6. machine 8.9% 7. word 8.6% 8. text 8.6% 9. translation 8.3% 10. parsing 7.0% 11. semantic 6.3% 12. relation 5.6% 13. attention 5.3% 14. generation 5.0% 15. extraction 5.0% 16. deep 4.6% 17. knowledge 4.6% 18. sequence 4.6% 19. multi 4.6% 20. dependency 4.3% ACL 2017 順位 用語 割合 1. learning 15.2% 2. model 15.2% 3. neural 14.0% 4. word 13.4% 5. language 10.1% 6. network 9.8% 7. translation 7.9% 8. embeddings 7.6% 9. representation 7.3% 10. machine 7.3% 11. parsing 6.7% 12. text 6.1% 13. semantic 6.1% 14. dependency 4.6% 15. topic 4.6% 16. entity 4.6% 17. question 4.0% 18. classification 4.0% 19. relation 4.0% 20. detection 4.0% ACL 2016 2017/12/4ISID - ACL2017参加報告15
  16. 16. アナリティクス: Word Cloud 2017/12/4ISID - ACL2017参加報告16
  17. 17. DL-NLPの動向 ACL 2017July 30-August 4, 2017 Vancouver, Canada 2017/12/4ISID - ACL2017参加報告17
  18. 18. DL-NLPの4大動向 2017/12/4ISID - ACL2017参加報告18 言語的構造が帰ってきた 単語の分散表現の再考 深層学習における解釈性 どこにでもAttention!! 入力 出力DL なぜ? シーケンス 構造 good very movie good very movie positive いい?
  19. 19. DL-NLPの4大動向 2017/12/4ISID - ACL2017参加報告19 単語の分散表現の再考 深層学習における解釈性 どこにでもAttention!! 入力 出力DL なぜ? シーケンス 構造 good very movie good very movie positive いい? 言語的構造が帰ってきた
  20. 20. 言語的構造が帰ってきた 2017/12/4ISID - ACL2017参加報告20  「Language is just sequence of words」の仮定が見直され 始める  文法的に問題のある文が出力される(特に長い文の場合)  過学習の傾向  精度が頭打ち ⇒言語的構造を組込む  利点  探索空間を狭める  Linguistic Scaffoldings  Syntactic recency >> Sequential recency Linguistic Structure is Back
  21. 21. 探索空間を狭める 2017/12/4ISID - ACL2017参加報告21 Sequence-to-Treeモデル (自然言語からPythonコードを生成) 文法的に正しい出力しか探索しないように A Syntactic Neural Model for General-Purpose Code Generation PengchengYin, Graham Neubig (Carnegie Mellon University)
  22. 22. Linguistic Scaffoldings 2017/12/4ISID - ACL2017参加報告22 Scaffold taskを同時に解く(事前に解く)ことで、 main taskの精度が向上する 文の成分の認識 述語項のラベリング InvitedTalk: Squashing Computational Linguistics Noah Smith (University ofWashington)
  23. 23. Syntactic Recency >> Sequential Recency 2017/12/4ISID - ACL2017参加報告23 文法の情報を利用することで、機械翻訳のタスクにおいて、 BLEUスコアが3.5ポイントほど上がる Improved Neural MachineTranslation with a Syntax-Aware Encoder and Decoder Chen et. al. (University of Notre Dame)
  24. 24. DL-NLPの4大動向 2017/12/4ISID - ACL2017参加報告24 単語の分散表現の再考 深層学習における解釈性 どこにでもAttention!! 入力 出力DL なぜ? シーケンス 構造 good very movie good very movie positive いい? 言語的構造が帰ってきた
  25. 25. 単語の分散表現の再考 2017/12/4ISID - ACL2017参加報告25  既存の単語の分散表現の探求  分散表現の加法構成性の説明  単語の分散表現における限界の発見  概念的な特徴が得られたが、知覚的な特徴が取得できなかった  多義性を学習  分散表現では難しい多義性(同じ単語だが違う意味)を獲得  subwordの分散表現を導入  形態素の情報を得るため、subwordの分散表現を学習 ReconsideringWord Embeddings
  26. 26. 分散表現の加法構成性の説明 2017/12/4ISID - ACL2017参加報告26 𝑆𝑘𝑖𝑝𝑔𝑟𝑎𝑚 − 𝑍𝑖𝑝𝑓 + 𝑈𝑛𝑖𝑓𝑜𝑟𝑚 = 𝑉𝑒𝑐𝑡𝑜𝑟 𝐴𝑑𝑑𝑖𝑡𝑖𝑣𝑖𝑡𝑦 Skip-gramで得られる分散表現の加法構成性は、 単語の分布がZipf分布ではなく一様分布に従うと仮定すると 説明できることを証明した Skip-Gram - Zipf + Uniform =Vector Additivity Gittens et. al.
  27. 27. 単語の分散表現における限界の発見 2017/12/4ISID - ACL2017参加報告27 分散表現(word2vec, GloVeなど)は 概念的特徴(例: is_edible, is_a_tool)を学習できるが 知覚的特徴(例: is_chewy, is_curved)を学習できない Are distributional representations ready for the real world? Evaluating word vectors for grounded perceptual meaning Li Lucy, Jon Gauthier
  28. 28. 多義性を学習 2017/12/4ISID - ACL2017参加報告28 各単語は1つのベクトルではなく、 混合ガウス分布で表現される MultimodalWord Distributions Ben Athiwaratkun,Andrew GordonWilson
  29. 29. subwordの分散表現 2017/12/4ISID - ACL2017参加報告29 単語ベースや文字ベースの分散表現は 形態素の情報を取得不可 ⇒ subwordの利用 単語からsubword (分解) subwordから単語(合成) 同時に学習可能 Joint Semantic Synthesis and MorphologicalAnalysis of the DerivedWord Ryan Cotterell, Hinrich Schütze
  30. 30. DL-NLPの4大動向 2017/12/4ISID - ACL2017参加報告30 単語の分散表現の再考 深層学習における解釈性 どこにでもAttention!! 入力 出力DL なぜ? シーケンス 構造 good very movie good very movie positive いい? 言語的構造が帰ってきた
  31. 31. 深層学習モデルの解釈性 2017/12/4ISID - ACL2017参加報告31  DLモデルの説明に2つのアプローチ:  学習モデルの説明(Post-hoc explainability)  モデルのパラメータを可視化  転移学習 (Transfer Learning)による検証  学習プロセスの透明性(Transparency)  分散表現をSparse Coding  根拠生成 (Rationale Generation) Interpretability in Deep Learning
  32. 32. 可視化(Visualization) 2017/12/4ISID - ACL2017参加報告32 隠れ層を可視化することで、 翻訳ミスの原因を分析できるようになる Visualizing and Understanding Neural MachineTranslation Ding et. al. (Tsinghua University)
  33. 33. 転移学習(Transfer Learning)による検証 2017/12/4ISID - ACL2017参加報告33 Task A(翻訳)で学習した特徴をTask B(品詞タグ付)に適用する。 浅い層では単語の構造を、深い層では単語の意味を 学習していることが分かった What do Neural MachineTranslation Models Learn about Morphology? Belinkov et. al. (MIT Computer Science and Artificial Intelligence Laboratory)
  34. 34. 分散表現をSparse Coding 2017/12/4ISID - ACL2017参加報告34 分散表現(密ベクトル)をSparse Codingのアルゴリズムで 疎ベクトルに変換すると、 各ベクトルの要素はConcept Netとの関係があることが分かった Sparse Coding of NeuralWord Embeddings for Multilingual Sequence Labeling Gabor Berend (University of Szeged)
  35. 35. 根拠生成 (Rationale Generation) 2017/12/4ISID - ACL2017参加報告35 QAのタスクで、最後の答えとともに それの根拠も同時に学習 Program Induction by Rationale Generation:Learning to Solve and Explain AlgebraicWord Problems Ling et. al. (Deepmind, University of Oxford)
  36. 36. DL-NLPの4大動向 2017/12/4ISID - ACL2017参加報告36 単語の分散表現の再考 深層学習における解釈性 どこにでもAttention!! 入力 出力DL なぜ? シーケンス 構造 good very movie good very movie positive いい? 言語的構造が帰ってきた
  37. 37. どこにでもAttention!! 2017/12/4ISID - ACL2017参加報告37  Attentionモデルは複雑になった  マルチソース(マルチモーダル)に適用  クラシックな手法とAttentionを組み合わせ  生成型テキスト要約  単純なタスク Attention is Everywhere
  38. 38. Attentionモデルは複雑になった 2017/12/4ISID - ACL2017参加報告38 gated-attention (+ multi-hop attention) (Dhingra et. al., 2017) attention over attention (Cui et. al., 2017) cross attention (Hao, et. al., 2017) QAのタスクでは複雑なAttentionの 仕組みが求められる
  39. 39. マルチソース(マルチモーダル)に適用 2017/12/4ISID - ACL2017参加報告39 マルチモーダルデータにおけるそれぞれのデータを 組み合わせるためにAttentionを使う 画像 + テキスト 英文 + 中文 Attention Strategies for Multi-Source Sequence-to-Sequence Learning Jindřich Libovický, Jindrich Helcl (Charles University) Neural Relation Extraction with Multi-lingualAttention Lin et. al. (Tsinghua University)
  40. 40. クラシックな手法とAttentionを組み合わせ 2017/12/4ISID - ACL2017参加報告40 普通のAttentionの仕組みでは 重要な文を参照できない。 ⇒PageRankにAttentionを適用した Abstractive Document Summarization with a Graph-BasedAttentional Neural Model Tan et. al.(Peking University)
  41. 41. クラシックな手法とAttentionを組み合わせ 2017/12/4ISID - ACL2017参加報告41 単純なタスク(例: morphological inflection)ではsoft-attentionより hard-attentionの方が役に立つ Morphological Inflection Generation with Hard MonotonicAttention Roee Aharoni,Yoav Goldberg (Bar-Ilan University)
  42. 42. Best Paperの紹介 ACL 2017July 30-August 4, 2017 Vancouver, Canada 2017/12/4ISID - ACL2017参加報告42
  43. 43. Outstanding Papers 2017/12/4ISID - ACL2017参加報告43 Towards an Automatic Turing Test: Learning to Evaluate Dialogue Responses Ryan Lowe, Michael Noseworthy, Iulian Vlad Serban, Nicolas Angelard-Gontier, Yoshua Bengio and Joelle Pineau A Transition-Based Directed Acyclic Graph Parser for UCCA Daniel Hershcovich, Omri Abend and Ari Rappoport Abstract Syntax Networks for Code Generation and Semantic Parsing Maxim Rabinovich, Mitchell Stern and Dan Klein Visualizing and Understanding Neural Machine Translation Yanzhuo Ding, Yang Liu, Huanbo Luan and Maosong Sun Detecting annotation noise in automatically labelled data Ines Rehbein and Josef Ruppenhofer Joint Extraction of Entities and Relations Based on a Novel Tagging Scheme Suncong Zheng, Feng Wang and Hongyun Bao Vancouver Welcomes You! Minimalist Location Metonymy Resolution Milan Gritta, Mohammad Taher Pilehvar, Nut Limsopatham and Nigel Collier Unifying Text, Metadata, and User Network Representations with a Neural Network for Geolocation Prediction Yasuhide Miura, Motoki Taniguchi, Tomoki Taniguchi and Tomoko Ohkuma Multi-Task Video Captioning with Visual and Textual Entailment Ramakanth Pasunuru and Mohit Bansal Abstractive Document Summarization with a Graph-Based Attentional Neural Model Jiwei Tan and Xiaojun Wan Probabilistic Typology: Deep Generative Models of Vowel Inventories Ryan Cotterell and Jason Eisner Long : 15本 (737の2.0%) Best Long Paper
  44. 44. Outstanding Papers 2017/12/4ISID - ACL2017参加報告44 Adversarial Multi-Criteria Learning for Chinese Word Segmentation Xinchi Chen, Zhan Shi, Xipeng Qiu and Xuanjing Huang Neural Joint Model for Transition-based Chinese Syntactic Analysis Shuhei Kurita, Daisuke Kawahara and Sadao Kurohashi Robust Incremental Neural Semantic Graph Parsing Jan Buys and Phil Blunsom Long : 15本 (737の2.0%) Short : 7本 (560の1.25%) The Role of Prosody and Speech Register in Word Segmentation: A Computational Modelling Perspective Bogdan Ludusan, Reiko Mazuka, Mathieu Bernard, Alejandrina Cristia and Emmanuel Dupoux A Two-stage Parsing Method for Text-level Discourse Analysis Yizhong Wang and Sujian Li Error-repair Dependency Parsing for Ungrammatical Texts Keisuke Sakaguchi, Matt Post and Benjamin Van Durme Attention Strategies for Multi-Source Sequence-to-Sequence Learning Jindřich Libovický and Jindřich Helcl Understanding and Detecting Diverse Supporting Arguments on Controversial Issues Xinyu Hua and Lu Wang A Neural Model for User Geolocation and Lexical Dialectology Afshin Rahimi, Trevor Cohn and Timothy Baldwin A Corpus of Compositional Language for Visual Reasoning Alane Suhr, Mike Lewis, James Yeh and Yoav Artzi Best Resource Paper Best Short Paper
  45. 45. Best Long Paper 2017/12/4ISID - ACL2017参加報告45 ProbabilisticTypology: Deep Generative Models of Vowel Inventories Ryan Cotterell and Jason Eisner  トピック  音韻論的類型学 (Phonological Typology)にある母音の分布を評価  いい言語とはなにか?  Dispersion-Focalization理論は合っている?  理論  Bernoulli Point Process (BPP)  Markov Point Process (MPP)  Determinantal Point Process (MPP)  手法  ニューラルネットワーク (CNN)  学習するEmbeddings  Uninterpretable  Interpretable (インプット次元 = 埋め込み次元)  Prototype-based (代表データ)
  46. 46. Best Long Paper 2017/12/4ISID - ACL2017参加報告46 ProbabilisticTypology: Deep Generative Models of Vowel Inventories Ryan Cotterell and Jason Eisner  実験  cloze テスト : ある言語で母音データを一部与え、残りの母音を予測  データセット: 223言語の母音インベントリ - Becker-Kristal (2010)  結論  言語にある母音の分布を計ることができた  分布を用い、新言語の作成に向けて母音インベントリを生成することが可能  Dispersion-Focalizationの理論を定量的に証明した
  47. 47. Best Resource Paper 2017/12/4ISID - ACL2017参加報告47 A Corpus of Compositional Language forVisual Reasoning Alane Suhr, Mike Lewis, JamesYeh and Yoav Artzi  トピック  視覚的推論(Visual Reasoning)向けの データセットを作成  方法  クラウドソース (Upworkプラットフォーム)  フェーズ 0: Generating Image (画像を生 成)  フェーズ 1: SentenceWriting (文を書く)  フェーズ 2: Validation (妥当性チェック)  データセット  タスク: 画像と文を与え、合うかどうかの チェック  3,974のタスク  28,732の妥当性チェック  15,896の画像・文のペア
  48. 48. Best Resource Paper 2017/12/4ISID - ACL2017参加報告48 A Corpus of Compositional Language forVisual Reasoning Alane Suhr, Mike Lewis, JamesYeh and Yoav Artzi  ベースライン  Majority: 学習データで多い方のラベルを常に返す  Single Modalities: 画像のみ、文のみを使って学習  Structured Representation: 画像の構造データ(メタデータ)を利用  Raw Image: 画像のメタデータを使わず、実際のピクセルデータを使う  結論  Cornell Natural Language Visual Reasoning (NLVR) dataset and taskが公開された  URL: http://lic.nlp.cornell.edu/nlvr/
  49. 49. Best Short Paper 2017/12/4ISID - ACL2017参加報告49 The Role of Prosody and Speech Register inWord Segmentation:A Computational Modelling Perspective Bogdan Ludusan, Reiko Mazuka, Mathieu Bernard,Alejandrina Cristia and Emmanuel Dupoux  トピック  韻律とSpeech Registerが単語分割に果 たす役割の評価  幼児の言語獲得と韻律情報の関係性 を示唆  アルゴリズム  sub-lexical  Transition-probability-based segmentation(TP)  Diphone-based segmentation(DiBS)  lexical  PUDDLE  Adapter Grammer(AG)  データ  RIKENコーパス  IDS(11時間)+ADS(3.5時間)  Corpus of Spontaneous Japanese(CSJ)
  50. 50. Best Short Paper 2017/12/4ISID - ACL2017参加報告50 The Role of Prosody and Speech Register inWord Segmentation:A Computational Modelling Perspective Bogdan Ludusan, Reiko Mazuka, Mathieu Bernard,Alejandrina Cristia and Emmanuel Dupoux  実験  韻律なし(base)、レベル3韻律(brk3)、レベル2およびレベル3韻律(brk23)の3種のデータを使用 しトークンに関するF値で評価  ADSデータセットとIDSデータセットのサイズの違いによる影響の評価  結論  sub-lexicalよりもlexicalアルゴリズムの方が性能が良い  単語分割タスクに韻律情報は有効である  韻律情報の獲得によって幼児が単語を分割できるようになっている可能性がある
  51. 51. Best Demonstration Paper 2017/12/4ISID - ACL2017参加報告51 Hafez: an interactive poetry generation system Marjan Ghazvininejad, Xing Shi, Jay Priyadarshi and Kevin Knight  トピック  詩の自動生成システム: Hafez  様々なスタイル設定により生成された 詩の修正が可能  システムの特徴  ユーザ評価(1~5)を獲得できるインター フェースを構築し、フィードバックを収集  フィードバックをもとにパラメータ調整し詩 の質を向上  単語の反復、長さなどのスタイルを制御 するためのパラメータをdecode時に追加  不要な語彙の削除とGPU計算によりシス テム全体を10倍に高速化
  52. 52. Best Demonstration Paper (Runner-Up) 2017/12/4ISID - ACL2017参加報告52 OpenNMT: Open-SourceToolkit for Neural MachineTranslation Guillaume Klein,Yoon Kim,Yuntian Deng, Jean Senellart and Alexander Rush  トピック  ニューラル翻訳(NMT)の研究をサ ポートするためのツールキットの開発  seq2seq-attnの後継  システムの特徴  効率性 (Efficiency) : Memory Sharing, Multi-GPU  モジュール性(modularity): 各コンポー ネントは独立して変換可能  拡張性(extensibility): マルチモーダル データにも適用可能  その他: 形態素解析ツールやword embeddingsを含む
  53. 53. 気になった論文 ACL 2017July 30-August 4, 2017 Vancouver, Canada 2017/12/4ISID - ACL2017参加報告53
  54. 54. 気になった論文 2017/12/4ISID - ACL2017参加報告54 PositionRank:An UnsupervisedApproach to Keyphrase Extraction from Scholarly Documents Corina Florescu and Cornelia Caragea  トピック  研究論文からキーフレーズ抽出タスク  教師なしの手法  手法  Position-Biased PageRank (Position Rank)  ポジション情報を考慮するPageRank  フレーズのパターン  (形容詞)*(名詞)+  長さ <= 3  結果  29.09%精度の向上  3つのデータセットで検証したところい ずれも最も高いMRRスコアを記録
  55. 55. 気になった論文 2017/12/4ISID - ACL2017参加報告55 Hybrid Code Networks: practical and efficient end-to-end dialog control with supervised and reinforcement learning Jason DWilliams, Kavosh Asadi and Geoffrey Zweig  トピック  RNNモデルには多量のデータを必要とす る問題を解決  手法  HCN (Hybrid Code Networks)  RNNにナレッジベースの埋め込み  ソフトウエアのモジュール  アクションのテンプレート  結果  モデルに対する開発者のコントロールが 向上  必要なデータ量が減る  教師あり学習(SL)と強化学習(RL)のシナ リオの両方でもモデルを学習できる
  56. 56. 気になった論文 2017/12/4ISID - ACL2017参加報告56 Leveraging Knowledge Bases in LSTMs for Improving Machine Reading BishanYang andTom Mitchell (Carnegie Mellon University)  トピック  機械読書タスクに対するRNN/LSTMの モデルを改良する  手法  あるRNN/LSTMモデルにナレッジベー スから情報を埋め込む (KBLSTM)  多義性の問題を解決するため、コンテ キスト情報が入っているsentinelベクト ルを利用する  例: Clinton ⇒ 人?場所?  結果  固有表現・イベント抽出のタスクで精度 が高くなった
  57. 57. 気になった論文 2017/12/4ISID - ACL2017参加報告57 MultimodalWord Distributions Ben Athiwaratkun and Andrew GordonWilson(Cornell University)  トピック  Word Embeddingの手法  手法  単語表現に混合ガウス分布を仮定  マージン最大化と組み合わせるために Analytic energy functionを提案  結果  単語の多義性や不確実性を捉えること を可能にした  単語類似度のベンチマークで高い性能 を示した
  58. 58. 気になった論文 2017/12/4ISID - ACL2017参加報告58 Topically Driven Neural Language Model Jey Han Lau,Timothy Baldwin, andTrevor Cohn  トピック  言語モデルTopically Driven Language Model(tdlm)を構築  手法  2つのコンポーネントを持つモデル  トピックモデル  言語モデル  Attention機構によりトピックベクトルの 加重平均を求め、言語モデルに渡す  結果  Perplexityの評価で既存の言語モデル を上回る  Coherenceの評価で既存のトピックモ デルを上回る
  59. 59. ACL 2017July 30-August 4, 2017 Vancouver, Canada まとめ 2017/12/4ISID - ACL2017参加報告59
  60. 60. まとめ 2017/12/4ISID - ACL2017参加報告60  論文の傾向  Neuralモデルの拡張が多かった  様々なモデルのアーキテクチャが提案された  Sequential以外の情報を扱うモデルが増えた(i.e. 言語的構造)  マルチモーダルの研究が増えてきている  新しい手法だけでなく、新しいタスクも  学会の方向性 (Chairs/Presidentsより)  公平性と多様性  性別、年齢、地域  WiNLP(Woman in NLP) とのワークショップ  選考委員・フロー・Area Chair等での偏り  実験に基づく研究から仮説検証的研究へ  特定のデータセットに対する実験のみに基づいて結論を導くことは期待 されていない  arXivへ投稿された論文(Preprints)に対する規則を明確化
  61. 61. まとめ 2017/12/4ISID - ACL2017参加報告61  ACLに参加してみた感想  初めてACL会議に参加  人の多さに圧倒された  参加者はほぼ著者だった  会場は海に近いので、散歩や昼食 を取ると気持ちよかったりする  ポスターセッションはディナーと同時 に行われ、リラックスしていた  ポスターセッションが3時間強でも聞き たい発表を全部回れなかった  毎日coffee breakが2~3回あったの が良かった
  62. 62. ACL 2017July 30-August 4, 2017 Vancouver, Canada 参照 2017/12/4ISID - ACL2017参加報告62
  63. 63. 参照 2017/12/4ISID - ACL2017参加報告63  ACLのロゴ*: http://acl2017.org/images/acl-logo.png  Aharoni, R. and Goldberg, Y.Morphological Inflection Generation with Hard Monotonic AttentionProceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers)Association for Computational Linguistics, 2017, pp. 2004-2015  Athiwaratkun, B. and Wilson, A.Multimodal Word DistributionsProceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers)Association for Computational Linguistics, 2017, pp. 1645-1656  Belinkov, Y., Durrani, N., Dalvi, F., Sajjad, H. and Glass, J.What do Neural Machine Translation Models Learn about Morphology?Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers)Association for Computational Linguistics, 2017, pp. 861- 872  Berend, G.Sparse Coding of Neural Word Embeddings for Multilingual Sequence LabelingTransactions of the Association for Computational Linguistics, 2017, Vol. 5, pp. 247-261  Bollmann, M., Bingel, J. and Søgaard, A.Learning attention for historical text normalization by learning to pronounceProceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers)Association for Computational Linguistics, 2017, pp. 332-344  Chen, H., Huang, S., Chiang, D. and Chen, J.Improved Neural Machine Translation with a Syntax-Aware Encoder and DecoderProceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers)Association for Computational Linguistics, 2017, pp. 1936- 1945  Johnson, K., Jin, D. and Goldwasser, D.Leveraging Behavioral and Social Information for Weakly Supervised Collective Classification of Political Discourse on TwitterProceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers)Association for Computational Linguistics, 2017, pp. 741-752  Klein, G., Kim, Y., Deng, Y., Senellart, J. and Rush, A.OpenNMT: Open-Source Toolkit for Neural Machine TranslationProceedings of ACL 2017, System DemonstrationsAssociation for Computational Linguistics, 2017, pp. 67-72  Lau, J. H., Baldwin, T. and Cohn, T.Topically Driven Neural Language ModelProceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers)Association for Computational Linguistics, 2017, pp. 355-365  Lin, Y., Liu, Z. and Sun, M.Neural Relation Extraction with Multi-lingual AttentionProceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers)Association for Computational Linguistics, 2017, pp. 34-43  Ling, W., Yogatama, D., Dyer, C. and Blunsom, P.Program Induction by Rationale Generation: Learning to Solve and Explain Algebraic Word ProblemsProceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers)Association for Computational Linguistics, 2017, pp. 158-167  Lucy, L. and Gauthier, J.Are Distributional Representations Ready for the Real World? Evaluating Word Vectors for Grounded Perceptual MeaningProceedings of the First Workshop on Language Grounding for RoboticsAssociation for Computational Linguistics, 2017, pp. 76-85 *ACLロゴの使用許可を得た
  64. 64. 参照 2017/12/4ISID - ACL2017参加報告64  Cotterell, R. and Eisner, J.Probabilistic Typology: Deep Generative Models of Vowel InventoriesProceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers)Association for Computational Linguistics, 2017, pp. 1182-1192  Cotterell, R. and Schütze, H.Joint Semantic Synthesis and Morphological Analysis of the Derived WordCoRR, 2017, Vol. abs/1701.00946  Cui, Y., Chen, Z., Wei, S., Wang, S., Liu, T. and Hu, G.Attention-over-Attention Neural Networks for Reading ComprehensionProceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers)Association for Computational Linguistics, 2017, pp. 593-602  Dhingra, B., Liu, H., Yang, Z., Cohen, W. and Salakhutdinov, R.Gated-Attention Readers for Text ComprehensionProceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers)Association for Computational Linguistics, 2017, pp. 1832-1846  Ding, Y., Liu, Y., Luan, H. and Sun, M.Visualizing and Understanding Neural Machine TranslationProceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers)Association for Computational Linguistics, 2017, pp. 1150-1159  Florescu, C. and Caragea, C.PositionRank: An Unsupervised Approach to Keyphrase Extraction from Scholarly DocumentsProceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers)Association for Computational Linguistics, 2017, pp. 1105-1115  Ghazvininejad, M., Shi, X., Priyadarshi, J. and Knight, K.Hafez: an Interactive Poetry Generation SystemProceedings of ACL 2017, System DemonstrationsAssociation for Computational Linguistics, 2017, pp. 43-48  Gittens, A., Achlioptas, D. and Mahoney, M. W.Skip-Gram - Zipf + Uniform = Vector AdditivityProceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers)Association for Computational Linguistics, 2017, pp. 69-76  Hao, Y., Zhang, Y., Liu, K., He, S., Liu, Z., Wu, H. and Zhao, J.An End-to-End Model for Question Answering over Knowledge Base with Cross-Attention Combining Global KnowledgeProceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers)Association for Computational Linguistics, 2017, pp. 221-231  Libovický, J. and Helcl, J.Attention Strategies for Multi-Source Sequence-to-Sequence LearningProceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers)Association for Computational Linguistics, 2017, pp. 196-202  Suhr, A., Lewis, M., Yeh, J. and Artzi, Y.A Corpus of Natural Language for Visual ReasoningProceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers)Association for Computational Linguistics, 2017, pp. 217-223  Tan, J., Wan, X. and Xiao, J.Abstractive Document Summarization with a Graph-Based Attentional Neural ModelProceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers)Association for Computational Linguistics, 2017, pp. 1171-1181  Williams, J. D., Asadi, K. and Zweig, G.Hybrid Code Networks: practical and efficient end-to-end dialog control with supervised and reinforcement learningProceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers)Association for Computational Linguistics, 2017, pp. 665-677  Yin, P. and Neubig, G.A Syntactic Neural Model for General-Purpose Code GenerationProceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers)Association for Computational Linguistics, 2017, pp. 440-450

×