arXivTimes Review: 2019年前半で印象に残った論文を振り返る

1. Copyright © TIS Inc. All rights reserved.
arXivTimes Review:
2019年前半で印象に残った論文を振り返る
戦略技術センター
久保隆宏

2. Copyright © TIS Inc. All rights reserved. 2
◼ 10選の選定基準
◼ 各論文紹介
◼ まとめ
目次

3. Copyright © TIS Inc. All rights reserved. 3
久保隆宏
TIS株式会社 戦略技術センター
◼ 化学系メーカーの業務コンサルタント出身。
◼ 既存の技術では業務改善を行える範囲に限界があるとの実感から、戦
略技術センターへと異動。
◼ 現在は会計/投資の現場で使える要約の実現を目指し、主にESG投資へ
の活用をテーマに研究中。
自己紹介
チュートリアル講演：深層学習
の判断根拠を理解するための研
究とその意義(@PRMU 2017)
機械学習をシステムに組み込む
際の依存性管理について
(@MANABIYA 2018)
あるべきESG投資の評価に向け
た、自然言語処理の活用
(@CCSE 2019)

4. Copyright © TIS Inc. All rights reserved. 4
◼ 各分野でインパクトがあるなと感じた論文をピックアップしました。
◼ ウォッチしている範囲にある程度偏りがあるのでご了承ください。
◼ 好みにも偏りがあるため、気楽に聞いてください。
◼ 本発表では、広く浅くのインプットになっています。
◼ 各論文の詳細までは踏み込んでいません。気になった場合は、ぜひ
論文本体を読んでみてください。
10選の選定基準

5. Copyright © TIS Inc. All rights reserved. 5
◼ 画像
◼ 1. Deep Neural Networks Improve Radiologists' Performance in Breast Cancer Screening
◼ 2. Making the Invisible Visible: Action Recognition Through Walls and Occlusions
◼ 自然言語処理
◼ 3. What Does BERT Look At? An Analysis of BERT's Attention
◼ 4. Attention is not Explanation
◼ 5. Using Text Embeddings for Causal Inference
◼ 音声
◼ 6. Imperceptible, Robust, and Targeted Adversarial Examples for Automatic Speech
Recognition
◼ 強化学習
◼ 7. Weight Agnostic Neural Networks
◼ 8. Random Search and Reproducibility for Neural Architecture Search
◼ 9. Meta-World: A Benchmark and Evaluation for Multi-Task and Meta Reinforcement
Learning
◼ その他
◼ 10. Are We Really Making Much Progress? A Worrying Analysis of Recent Neural
Recommendation Approaches
arXivTimes Review 10選

6. Copyright © TIS Inc. All rights reserved. 6
Deep Neural Networks Improve Radiologists' Performance in Breast
Cancer Screening
画像 (1/2)
What?
CNNを用いて乳がんの診断を行うモデルの提案。
マンモグラフィで撮影される2方向(脇から内側にかけての斜め方向=MLO、上下
方向=CC)の画像を入力として良性腫瘍の有無・悪性腫瘍の有無計4つを予測。
パッチレベルのネットワークを別途作成し、そこで行った良性/悪性の予測をヒー
トマップにして追加の入力にしている。
Why?
手法というより、評価の方法が
印象的だった。単にデータセッ
トに対する評価でなく、(実際
のユーザーとなるであろう)放
射線医が使った場合の評価まで
行われていた。

7. Copyright © TIS Inc. All rights reserved. 7
Making the Invisible Visible: Action Recognition Through Walls and
Occlusions
画像 (2/2)
What?
Wi-Fiで使われているような高周波(RF)を利用し、暗い/壁に隠れていても行動検
出を行えるようにした研究。
RF/画像双方を入力にとれるネットワークを構築し交互学習することで、(特徴と
して強い)画像から学んだ情報をRFでも使えるようにしている。結果として、RF
のみで画像と同等の精度を達成。
Why?
マルチモーダルとして画像/音
声や画像/自然言語は良く行わ
れているが、電波を扱う研究は
初見だった。しかも、可視/不
可視という補完関係があるのも
ポイントが高い。

8. Copyright © TIS Inc. All rights reserved. 8
What Does BERT Look At? An Analysis of BERT's Attention
自然言語処理 (1/3)
What?
BERT内のAttentionのかかり方を調べた論文。
全体的にはCLS/SEP(BERTに学習で使われる特殊記号)、またピリオドといった区
切り文字を見ていて、各TokenへのAttentionは散っている。ただ特定の
Attentionヘッドは構文的な情報を見ているようで、Dependency Parseのタスク
でbaselineを上回る結果を出している。
Why?
BERT解析系の論文では一番よ
くまとまっている印象。Head
の枝刈りによるサイズ削減の可
能性を示唆したという面でも存
在感がある。

9. Copyright © TIS Inc. All rights reserved. 9
Attention is not Explanation
自然言語処理 (2/3)
What?
Attentionは自然言語処理においてモデルの判断根拠としてよく用いられるが、本
当に説明になっているのかを検証した研究。
結果としてGradientベースのスコアとAttentionは乖離があり(=パラメーターの
重みから見た重要度と合っていない)、またAttentionの分布が異なるよう変更し
ても予測結果を維持することができることを確認
Why?
ELMo以降流行したAttention
分析/解釈系研究を一掃した研
究。この論文以後の解析系は
Gradientにふれないわけには
いかなくなったという意味で記
念碑的な論文。

10. Copyright © TIS Inc. All rights reserved. 10
Using Text Embeddings for Causal Inference
自然言語処理 (3/3)
What?
自然言語処理で因果推論を行う試み。
論文のAcceptや掲示板の投稿評価を題材に、特定単語(BERTのembeddingを使
用)やTheorem(定理)の存在が採択に影響を与える度合い、投稿者の性別が評価
に与える影響などを分析している。
Why?
扱っている問題はシンプルだが、
因果推論による分析に踏み込ん
だという面で記念碑的な論文。
因果推論の導入から丁寧に書い
てあり、スタート地点としてよ
い。

11. Copyright © TIS Inc. All rights reserved. 11
Imperceptible, Robust, and Targeted Adversarial Examples for
Automatic Speech Recognition
音声 (1/1)
What?
音声におけるAdversarial Exampleの研究。
音声の場合画像に比べてノイズが顕著になるため、聞いてもわからない＋空間に
伝播しても誤認識させられることを目指している。このために、空間反響のシ
ミュレーターを経由した(Adversarial入り)音声が、実音声の周波数マスク帯以内
に入るよう学習している。
Why?
実地に近い状況を想定した
Adversarialという点で重要な
研究。スマートスピーカーの普
及率はかなり高く、ハックされ
たときの具体的な被害も明確な
ので優先度は意外と高いので
は？

12. Copyright © TIS Inc. All rights reserved. 12
Weight Agnostic Neural Networks
強化学習 (1/3)
What?
ニューラルネットにおける構造の重要性を調べた研究。
学習を一切せず、構造探索のみでタスクが解けるか検証している。進化戦略で優
秀な構造を残していく手法を取っており、評価時の重みは一様分布から取得した
共通のものを使う。学習なしでいくつかの強化学習タスクを解くことに成功。
Why?
重みでなく構造の重要性に着目
した記念碑的な研究。「重み」
が果たしている本当の役割と
は?CNNやTransformerの構造
的妥当性は?など様々な発展研
究が考えられる論文。

13. Copyright © TIS Inc. All rights reserved. 13
Random Search and Reproducibility for Neural Architecture Search
強化学習 (2/3)
What?
ネットワーク構造の自動探索で、再現可能なベースラインを作った研究。
構造探索をハイパーパラメーター探索の一種とし、random search/early
stoppingベースのシンプルなベースライン(ASHA)を構築。これでweight-
sharingをしつつ探索を行ったところSOTAに近い結果が得られた。評価値として
「(同等の結果を得るのに)何本のrandom searchが必要か」という指標が適切で
はとしている。
Why?
乱立するArchitecture Search
をちゃんと評価しようという提
案を行った意義深い論文。
そもそも何を評価すべきか?に
着目したこちらの研究も併せて
読みたい。

14. Copyright © TIS Inc. All rights reserved. 14
Meta-World: A Benchmark and Evaluation for Multi-Task and Meta
Reinforcement Learning
強化学習 (3/3)
What?
強化学習でメタラーニング/マルチタスクを行う際のベンチマーク環境の構築。
1タスク内のゴール転移(ML1)と、複数タスクからの転移(ML10/45)という2種類
のタスクが提供されている。
Why?
ベンチマークの不備によるちゃ
ぶ台返し(実はこのタスクを解
いても意味がなかったetc)を防
ぐべく、研究が盛んになってき
たMulti/Meta Learningのベー
スを作ったという意義深い研究。

15. Copyright © TIS Inc. All rights reserved. 15
Are We Really Making Much Progress? A Worrying Analysis of
Recent Neural Recommendation Approaches
その他 (1/1)
What?
Top-Nの推薦を行う深層学習系の手法について、シンプル/古典的な手法(素直に
レーティング順に推薦するTopPopular、Item/Userを対象にKNNを行う手法な
ど)と比較を行った研究。実装が再現できるかで足切りした7つの手法をベースと
比較しているが、結果はシンプル/古典的にほぼ負けている状態。
Why?
研究の再現性や、そもそも解く
べきタスクが正しいのかといっ
た問題は各所で起こっている。
そうした問題意識を常に頭の中
に置いておきたいと感じる研究。

16. Copyright © TIS Inc. All rights reserved. 16
◼ 新しいモデルの発見だけでなく以下のような研究が重要になっている
と感じる。
◼ 既存のモデルの解析。
◼ モデルの構成、解析手法の妥当性検証。
◼ タスク自体の妥当性検証。
◼ 新しめ分野は、歴史から学びあらかじめきちんとベンチマークを設計
しておくことが重要。
◼ Meta-Worldはその意味ですばらしい研究。
◼ SuperGLUEはもうちょい考えてほしい感あり。
◼ 評価指標のレベルから見直す必要あり？
まとめ

17. THANK YOU