ACL2018の歩き方

Copyright © TIS Inc. All rights reserved.
ACL 2018 の歩き方
戦略技術センター
久保隆宏
How to walk around ACL 2018

Copyright © TIS Inc. All rights reserved. 2
◼ About ACL2018
◼ ACLとは
◼ ACL2018 開催概要
◼ 注目チュートリアル/関連イベント
◼ ACL2018 Statistics
◼ 採択論文の傾向
◼ ACL2018 Prediction
◼ 注目されると予想されるトピック
目次

久保隆宏
TIS株式会社戦略技術センター
◼ 化学系メーカーの業務コンサルタント出身
◼ 既存の技術では業務改善を行える範囲に限界があるとの実感から、戦
略技術センターへと異動
◼ 現在は現場で使える要約の実現を目指し、まとめる観点を指定した要
約の作成に関する研究を行う。
自己紹介
kintoneアプリ内にたまった
データを簡単に学習・活用
(@Cybozu Days 2016)
チュートリアル講演：深層学習
の判断根拠を理解するための研
究とその意義(@PRMU 2017)
機械学習をシステムに組み込む
際の依存性管理について
(@MANABIYA 2018)

arXivTimes
オープンソースの価値観でサーベイを行う
一社/一研究室/個人だけで十分なサーベイを行うのは、物理的に困難に
なってきている。
そこで、サーベイした内容のシェアを始めたのがきっかけ。
最初は個人的にTogetterにまとめ
ていた。PyCon2016でのAlbert
さんとの出会いをきっかけに、共
同で輪講を開始。それに伴い、
GitHubへの運用に移行。
ちなみに記念すべき最初の論文は、
Deep MindのSim-to-Real Robot
Learning from Pixels with
Progressive Nets

◼ Top10
arXivTimes Contributors
icoxfog417 Hironsan 0shimax hurutoriya ymym3412 t-oura ryamauchi SnowMasaya inoue0426 mogami290
：arXivTimesメンバー・元メンバー
医療系
◼ And many contributors
neka-nat
wakamezake
crcrpar
jiny2001
kamujun
alb-ktaka
Hiroyuki1993,
umu1729,
y-yammt,
hirokatsukataoka16,
Rowing0914,
msakai,
ikeyasu,
knok,
hassaku,
BrambleXu,
shimaokasonse,
darylfung96,
misogil0116,
lanius,
lilacs2039,
KazukiYoshii
音声系がかなり手薄なので、音声の
研究をしている方、ぜひご参加をお
待ちしております！

arXivTimes Challenge (1/2)
量の拡大
◼ 投稿者の拡大
◼ ※誰でも投稿していいんです※
◼ 投稿頂いたことへの還元
arXivTimes Indicatorというポータルサ
イトを作成。一度でも投稿を行うと、個
人の投稿結果ページが表示されるように
なる。
量の拡大と質の向上
質の向上
◼ 投稿内容のレビュー
◼ 初心者でも安心！
arXivTimesで投稿を行う時、
@arxivtimesbotにメンションをつけ
るとレビューを依頼することができま
す。

arXivTimes Challenge (2/2)
量の拡大
◼ 参加特典
◼ オフラインでの交流を通じての
コミュニティ拡大
質の向上
◼ 詳細な内容をまとめている他コ
ミュニティとの連携
◼ CVPR 2018 完全読破チャレンジ
◼ Deep Learning JP
◼ GitHubでまとめを行っている
方は、遠慮なくarXivTimesの
Issueにもリンクを貼ってくだ
さい！
次のチャレンジ

ACLとは
Annual Meeting of the Association for Computational Linguistics
◼ 自然言語処理の分野における、トップカンファレンスの一つ
◼ 北米のNAACL、ヨーロッパのEACLという支部会がある。NAACLはACL本体と並ぶ
格のある学会(EACLは若干劣るらしい)。
◼ 1962年発足で、最初はAssociation for Machine Translation and Computational
Linguisticsという名称だった(1968年に現在の名称になる)。
◼ 開催地は、欧州⇒北米⇒アジア/オセアニアで巡回している
◼ Berlin(2016)⇒Vancouver(2017)⇒Melbourne(2018)

ACL2018 開催概要
◼ 開催場所: オーストラリアメルボルン
◼ 開催期間: 7/15~20
◼ 7/15: Tutorial
◼ 7/16~18: Main Conference
◼ 7/19~20: Workshop
◼ 規模:
◼ 発表論文: Long 258/1018本、Short 126/526本
◼ 2017はLong 302/829、Short 107/590。
◼ 採択率は24.9%

ACL2018 開催概要: スケジュール 7/15
7/15 Tutorial
9:00-12:30 T1: 100 Things You
Always Wanted to Know
about Semantics &
Pragmatics But Were
Afraid to Ask
T2: Neural Approaches
to Conversational AI
T3: Variational Inference
and Deep Generative
Models
T4: Connecting
Language and Vision to
Actions
13:30-17:00 T5: Beyond Multiword
Expressions: Processing
Idioms and Metaphors
T6: Neural Semantic
Parsing
T7: Deep Reinforcement
Learning for NLP
T8: Multi-lingual Entity
Discovery and Linking
MS MARCOなど
に携わる
Jianfeng Gao先
生が担当
Embodied Question
Answeringを発表し
たAbhishek Das先生
が担当
AllenNLPの研究
者たちが担当

7/16 Day1
9:00-10:00 Welcome Session & Presidential Address
10:00-10:30 Coffee Break
10:30-12:10 Session 1A:
Word Semantics
1
Session 1B:
Machine
Translation 1
Session 1C:
Information
Extraction 1
Session 1D:
Summarization
Session 1E:
Resource,
Annotation
Session 1F:
Argument
Mining
12:10-12:30 Short Break
12:30-14:00 Poster Session
14:00-15:40 Session 2A:
Semantic
Parsing 1
Session 2B:
Multilinguality
Session 2C:
Question
Answering 1
Session 2D:
Generation 1
Session 2E:
Vision
Session 2F:
Sentiment
15:40:16:10 Cofee Break
16:10-17:50 Session 3A:
Inference,
Reasoning
Session 3B:
Machine
Learning 1
Session 3C: Text
Mining and
Applications
Session 3D:
Dialog System 1
Session 3E:
Linguistics,
Psycholinguistic
s and Cognitive
Modeling
Session 3F:
Parsing 1
Probabilistic FastText for Multi-
Sense Word Embeddings
Graham Neubig
先生が座長
William Wang先
生が座長(強化学
習のチュートリ
アルも担当)
LexRank発明者
Dragomir Radev
先生が座長
Richard Socher先
生が座長
Adversarial Contrastive Estimation
Sentence-State LSTM for Text
Representation
Yue Zhang先生が
座長(Sentence
State作者)
Fast Abstractive Summarization
with Reinforce-Selected Sentence
Rewriting
MojiTalk: Generating Emotional
Responses at Scale
読み会論文の多くは
Day1に集中

7/17 Day2
9:00-10:00 Invited Talk 1: Carolyn Penstein Rosé
10:30-12:10 Session 4A:
Word Semantics
2
Session 4B:
Machine
Translation 2
Session 4C:
Information
Extraction 2
Session 4D:
Dialog System 2
Session 4E:
Evaluation
Session 4F:
Parsing 2
14:00-15:00 Session 5A:
Semantics 1
Session 5B:
Machine
Translation,
Multilinguality 1
Session 5C:
Information
Extraction 1
Session 5D:
Dialog System,
Discourse
Session 5E:
Vision,
Linguistics,
Resource and
Evaluation
Session 5F:
Parsing,
Morphology
15:30-17:10 Session 6A:
Semantic
Parsing 2
Session 6B:
Machine
Learning 2
Session 6C:
Question
Answering 2
Session 6D:
Generation 2
Session 6E:
Social Media
Session 6F:
Information
Retrieval
河原先生が座長
ELMoの
Luke Zettlemoyer
先生が座長
Richard Socher先
生が座長(2回目)

7/18 Day3
9:00-10:00 Invited Talk 2: Anton van den Hengel
10:30-12:10 Session 7A:
Semantic
Parsing 3
Session 7B:
Language/Docu
ment Model
Session 7C:
Information
Extraction 3
Session 7D:
Dialog System 3
Session 7E:
Multimodal
Session 7F:
Discourse
14:00-15:00 Session 8A:
Semantics 2
Session 8B:
Machine
Translation,
Multilinguality 2
Session 8C:
Information
Extraction 2
Session 8D:
Generation,
Summarization
Session 8E:
Machine
Learning,
Question
Answering
Session 8F:
Sentiment
15:30-17:10 Session 9A: Best
Paper Session
宮尾先生が座長
Chris Dyer先生が
座長
Entity-Duet Neural Ranking:
Understanding the Role of Knowledge
Graph Semantics in Neural
Information Retrieval
Learning to Ask Good Questions:
Ranking Clarification Questions using
Neural Expected Value of Perfect
Information
高村先生が座長

◼ BioNLP 2018
◼ 医療Ｘ自然言語のワークショップ。医療関係のドキュメントから医学用語
を抽出したり、QAシステムを作成するなど
◼ DeepLo: Deep Learning Approaches for Low Resource Natural
Language Processing
◼ 少ない資源(データ)でどう学習するかについてのワークショップ
◼ MSR: Multilingual Surface Realization: Shared Task and Beyond
◼ 言語学的なアプローチと、Deepベースのアプローチの融合を試みるワー
クショップ。今回が初開催となる。
◼ Cognitive Aspects of Computational Language Learning and Processing (CogCL)
◼ The 5th Workshop on Natural Language Processing Techniques for Educational Applications
(NLPTEA)
◼ Third Workshop on Computational Approaches to Linguistic Code-Switching (CALCS)
◼ Workshop on Machine Reading for Question Answering (MRQA)
◼ Workshop on Relevance of Linguistic Structure in Neural Architectures for NLP (RELNLP)

◼ ECONLP: 1st Workshop on Economics and Natural Language Processing
◼ 自然言語処理による市場・製品・顧客の分析など、ビジネスでの活用に関
するワークショップ
◼ MML_Challenge: First Workshop on Computational Modeling of Human
Multimodal Language
◼ マルチモーダル情報を利用した自然言語理解に関するワークショップ。
Challengeとして動画による感情分類のデータセットが提供されている(文
単体以外に、画像/音声などを入力として扱うことができる)
◼ NLPOSS: Workshop for NLP Open Source Software
◼ 自然言語処理のOSS開発に関するワークショップ。開発やAPI設計、コ
ミュニティの盛り立て方といったことがテーマに上げられている。ゲスト
にはspaCy/CoreNLPの開発者らを迎えている(両者は結構やりあっている)。
◼ 3rd Workshop on Representation Learning for NLP (RepL4NLP)
◼ The 2nd Workshop on Neural Machine Translation and Generation (NMT)
◼ The Seventh Named Entities Workshop (NEWS)
◼ Sixth International Workshop on Natural Language Processing for Social Media (SocialNLP)

ACL採択論文の傾向(1/4)
ACL採択論文(Long&Short)の
タイトルで使用されている単語
の移り変わり。
使用したデータと分析に使用したNotebookは
Kaggle上で公開済み。
2016年で多く使用されている
が、その後使用されなくなって
いる単語については以下の理由
が考えられる
◼ 手法が普及してあえてタイ
トルで強調する必要がなく
なった
◼ 手法・テーマがあまり採用
されなくなった

2016年から見て・・・
◼ 普及したと思われるもの
◼ neural network,
language models
◼ 採用されなくなったと思わ
れるもの
◼ statistical, transition
based (parsing), topic
(model), features
2016年は対話(conversation)
が多いが、年を経るにつれ
QA(question, selection)に
移ってきている印象。

各年のトレンド
◼ 2016年は表現系(word
representations/word
embedding)、また対話
(conversation)が多い。
◼ 2017年は生成系(seq2seq,
encoder-decoder,
generative model)が多い。
テーマとしてはparseや
language modelが多い。

2018年のホットトピック
◼ 2017年からの傾向で強化学
習の導入、またadversarial
な学習の導入がトピックと
して見られる。
◼ テーマとしては上記を利用
した質問応答、それとなぜ
かsentimentの研究が多い。
◼ simple/end to end/rubust
など、既存のモデルをより
シンプルに/単一に/安定させ
る研究も増えている印象

直近のNAACLでの話題
◼ BLEUに代表される自動評価指標の見直し
◼ スコアを上げる研究はほぼ限界まで来ている一方、スコアと人の評
価との不一致の問題はまだあまり手が付けられていない。
◼ データセットの信頼性
◼ データセットの信頼性は、モデルの信頼性に直結する
◼ ラベルの偏り、誤りのあるデータ(特にクラウドソーシングで作成
する場合)をどう防ぐか
◼ StanfordのRare Word SimilarityやNatural Language Inference
(SNLI) Corpusには、すでに信頼性への指摘がある(参考)。
<References>
◼ Highlights of NAACL-HLT 2018: Generalization, Test-of-time, and Dialogue
Systems
◼ Some Highlights from NAACL 2018
ACL2018で話題になりそうなテーマ (1/2)

モデルのスコアが向上する一方、実世界での応用は画像分野に比べ進んで
いない。そのギャップを克服するには、根本的な所からの見直しが必要な
のでは？という問題意識を感じる(Best Paperの一つは、RNNと脳波との
関連を見出したという野心的なもの)。
ACLでもこの辺りはテーマとなる、と思われる。
ACL2018で話題になりそうなテーマ (2/2)
一週間後からの開催を楽しみにまとう！

ACL2018の歩き方

More Related Content

What's hot

Similar to ACL2018の歩き方

More from Takahiro Kubo

ACL2018の歩き方