Recommended
More Related Content
What's hot
What's hot (20)
Similar to ICLR2018出張報告
Similar to ICLR2018出張報告 (20)
More from Yu Nishimura
Recently uploaded
Recently uploaded (16)
ICLR2018出張報告
- 2. Agenda • 背景 • 学会概要 • Stats • ICLRでの考察 • Deep Learningの課題とされてきたポイントは解決されつつある • 考えられること • まとめ ※補足 • Computer Vision向け最新技術 • NLP向け最新技術
- 3. 学会概要 ・学会名：International Conference on Learning Representations (ICLR) 6th ・日程：4/30～5/3 ・場所：Vancouver, Canada ・学会概要 ・2013年よりスタートした新しい学会 ・Neural Networkの理論系学会（100%Neural NetworkのPaper） ・Invited Talk 1件、Oral 3,4件、Poster 40件 + Workshop 20件をAM/PMで計8回 ・Whova(アプリ)により、参加者同士のネットワーキングができた Oral会場の様子 (前側は7割程度席が埋まっていたか) Sponsorブース (基本的にはHiringがメイン)Sponsor Whova App
- 4. Stats ■参加者 年々指数関数的に参加者が増え、ほぼ2000人に到達。 一時はTicket Sold-Outにより参加が危ぶまれたほど。 ・48%がUSからの参加者。 ・Neural Network有名大学のある US,Canada,UKで72.3％を占める。 ・中国がとても少ないのが意外。 日本からは ・大学（東京大学、京都大学） ・Preferred Networks、DeNA、OMRON、古川電機、 BCG、LPixel(医療画像系のスタートアップ) 等が参加。 NumberofAttendees
- 5. Stats ■Paper投稿 投稿数は指数関数的に伸びている（約1000）。 Application系(Computer Vision等)に比べるとまだ半分程度。 50.2％ 31.4％ 2.3％ 7.1％ 8.9％ Oral 2.3%, Poster 31.4%と採択率は低い https://openreview.net/group?id=ICLR.cc/2018/Conference ちなみに、未採択論文も含めて、 論文と査読者のコメントはすべて公開されている。 NumberofConferenceSubmissions
- 6. Stats ■Paper詳細（First Authorの国） ※Oral, Poster論文に関して、独自調査（全数 337件） ・USだけで60%、UK、Canadaと合わせると 全体の3/4が3国により出されている。 ・日本の数が少ないのはもちろんのことだが、 中国も少ないのは意外。 Deep MindはすべてUKとした。 大手IT(FAGMA)はすべてUSとした。 比較例：Computer Vision系学会(ICCV 2017) ※全投稿数(未採択も含む) Application系では、USAと中国が同等に対して、 理論系では中国のプレゼンスが非常に低いことがわかる。 ※ちなみに日本は所属は日本企業や大学でも、 日本人(名前で判断)ではないことが2～3件あった。
- 7. Stats ■Paper詳細（First Authorの所属） ※Oral, Poster論文に関して、独自調査（全数 337件） 大学では、Reinforcement Learningが 強いBerkeleyが大学の7%, 全体の4.8%。 上位のほとんどが、 US, UK, Canadaの有名大学。 ※2件以下 ※2件以下 Deep Mindも含めると、 企業の41%, 全体の13%を Googleが占めるという圧倒っぷり。 ※さらにFirst Author以外も含めると、 より多い。
- 8. Stats ■Technical Category ※個人見解の独自調査（全数 337件） 生成モデルの中でも GANの注目度は高い Neural Networkの細かい構造や、 Graph Neural Network,、Multi Task Optimizationの改善、 構造サーチ ICLRだけあって、 注目度が高い領域 Attentionのメカニズムや、 RNNのSkip Connectionなど Defense側、作成側 共に多く出ていた。
- 9. ICLRで見えたこと Deep Learningの課題とされてきたポイントは解決されつつある Deep Learning活用 への流れ 課題1. 大量のデータとラベルが必要 → 生成モデルでデータ拡張、半教師/Domain Adaptationでラベル小。 課題2. ネットワーク設計やTrainingが困難 → Optimization手法の進化や、ネットワーク構築の自動化でより学習が一般化。 課題3. Deep Learningは中身がブラックボックスで説明力に課題 → 判断の根拠を見出す手法が提案。 課題4. 空間的な情報の考慮が弱い → 新たなArchitectureによる進化 課題5. 計算が重くてハードウェアへの実装困難 → Binary化, Quantization, パラメータ数最適化により計算負荷の圧縮が可能。 課題6. 学習結果のロバスト性に課題 → Defense for Adversarial Examples 準備 学習 評価 ・解釈 運用 全体の27% ※広い表現学習含む 全体の9% 全体の2% 全体の2% 全体の5% 全体の5%
- 10. ICLRで見えたこと 課題1. 大量のデータとラベルが必要 データの拡張と少ラベル学習により解決できる 高品質なラベル付きデータ （数が少ない） そもそもデータが 少ない データを増やすのは時間とお金が必要 コンピューターでそれっぽいデータを生成する ⇒ 生成モデル ラベルなしデータ ラベル付けをしたい ・ラベル付けを人でやるには莫大な工数がかかる ・クラウド上でラベル付けを依頼するにはデータの質が落ちる 既存の高品質ラベルを基にラベルなしデータも学習する ⇒ 半教師学習 ノイズのあるラベルのまま学習する ⇒ 弱教師学習 学習データのドメインを変換するDomain Adaptation等もある
- 11. ICLRで見えたこと 課題1. 大量のデータとラベルが必要 生成モデルでデータを拡張 Generative Adversarial Networks(GANs)の注目度は高い GAN Paperはどんどん増えている ICLR2018でも 38件のGAN関連論文がAccept https://github.com/hindupuravinash/the-gan-zoo Lossy Measurementの判定により、 観測に既知のノイズや欠損がある場合でも 画像を復元できる。 Bora et al., UT Austin, Ambient GAN(Oral) Dataset Traditional Ambient GAN その他、 ・GAN生成の精度向上手法 ・GANの定量評価方法 ・GANの安定学習方法 ・label付GANの新手法 等々様々な方向からアプローチされている Miyato et al., Preferred Networks, Spectral Normalization(Oral) Karas et al., NVIDIA, Progressive Growing of GANs(Oral) Im et al., Janelia, Quantitatively Evaluating GANs with Divergences Proposed for Training Binkowski, Imperial College London, Demystifying MMD GANs Peltzka et al., Fraunhofer, On the regularization of Wasserstein GANs Yadav et al., University of Maryland, Stabilizing Adversarial Nets with Prediction Methods 生成の質もここまで来た！ Karas et al., NVIDIA, Progressive Growing of GANs(Oral) Kocaoglu et al., UT Austin, CausalGAN Miyato et al., Preferred Networks, cGANs with Projection Discriminator
- 12. ICLRで見えたこと 課題1. 大量のデータとラベルが必要 Semi-SupervisedやDomain Adaptationで少ラベルや他ドメインへの適用 Shu et al., Stanford, A DIRT-T Approach to Unsupervised Domain Adaptation Beseとなる考え方 Dataset 空間上に表現する (Unsupervised) 複数個のラベル を教える そのラベルを基に、境界線を引く Datasetを数値化して空間上に表現する Meta Learning, Representation Learningが重要 Domain Adaptationの場合 Source空間とTarget空間の分布の遷移を 求めてやれば良い 画像の空間表現を Semi-SupervisedなSoft k-meansによる クラスターのRefineにより精度を上げる。 Ren et al., Toront, Meta-Learning for Semi-Supervised Few-Shot Classification
- 13. ・高速に最適なハイパーパラメータを発見 可能に。 ・ネットワーク構造も自動探索。 ICLRで見えたこと 課題2. ネットワーク設計やTrainingが困難 Optimization手法の進化や、ネットワーク構築の自動化で、より学習が一般化 Reddi et al., Google, On the Convergence of ADAM and Beyond(Best Paper) Logistic Regression 2 layer NN CIFAR NET 指数移動平均を用いた最も一般的な探索手法のAdam では、凸最適化問題で非収束になる可能性がある。 AMSGradの提案でより一般的に最適化が可能となった。 Hanzan et al., Princeton University, Hyperparameter Optimization: A Spectral Aproach Neural NetworkのTrainingには 多くのノウハウや経験が必要。 ・ネットワーク構造 ・Learning Rate, Regularization ・Optimization手法 etc 手法の進化や自動探索 ⇒ 学習が一般化の方向 Mirhoseini et al., Google, A Hierarchical Model For Device Placement
- 14. ICLRで見えたこと 課題3. Deep Learningは中身がブラックボックスで説明力に課題 Attention等、判断の根拠を見出す手法が提案。 Saumya et al., Oxford, Learn to Pay Attention NLPで利用されるAttention機構を 画像の中間レイヤーに応用し、 判断の注力ポイントを可視化する。 Kindermans et al., Google, Learning how to explain neural networks 学習されたWeightの重みではなく、 ノイズの解消から見極めることで、 より分かりやすく判断を可視化 (PatternNet, PatternAttribution) ・工場での画像診断 ・マーケティング活用 等で、 Deep Learningのブラックボックス性 が理由で導入が難しい課題があった 判断の根拠を見出す手法により、 理由とともにDeep Learning判定が 可能になる
- 15. ICLRで見えたこと 課題4. 空間的な情報の考慮が弱い 新たなArchitectureにより、Neural Networkも進化している CNNの欠点 回転や比率の変わった画像を 大量に用意する必要がある Poolingによる位置不変性の代償 https://qiita.com/hiyoko9t/items/f426cba38b6ca1a7aa2b 話題のCapsuleNetは、より一層Poseの変化に強くなった。 Hinton et al., Google, Matrix Capsules with EM Routing 6角形Pixel化により、 回転不変性の精度が上がる。 Hoogeboom et al., University of Amsterdam, HexaConv Cohen et al., University of Amsterdam, Spherical CNN (Best Paper) 球体状のモデルをそのまま 考慮可能なCNNモデル。
- 16. ICLRで見えたこと 課題5. 計算が重くてハードウェアへの実装が困難 ・Float演算が必須。 ・計算数が多く、 エッジリアルタイム処理は困難。 等のハードウェアにおける課題。 Binary化、Quantizationによる 演算負荷減。 ネットワークサイズを最小化。 ※もちろん演算能力の進化もある Wu et al., Tsinghua University, Training and Inference with Integers in Deep Neural Networks(Oral) Bit数 Weight, Activation, Gradients, ErrorそれぞれをIntegerに置き換えて Bit数を減らして、高精度の学習を実現。 十分な性能を発揮するための 最小の次元を定義する方法。 これにより、ネットワークの 計算負荷圧縮も可能。 Li et al., Uber, Measuring The Intrinsic Dimension of Objective Landscapes Binary化, Quantization, パラメータ数最適化により計算負荷の圧縮が可能
- 17. ICLRで見えたこと 課題6. Deep Learningのロバスト性への課題 Adversarial Attack ⇔ Defense の両者の発展によりロバスト化 Adversarial Examples 小さなノイズを加えるだけで、 Deep Learningの判断は狂わされる。 Goodfellow et al., Google, Explaining and Harnessing Adversarial Examples, ICLR 2015 音声でも同様のことが証明された Carlini et al., Berkeley, Audio Adversarial Examples, Arxiv, 2018 Attack Defense 研究領域でも両サイドで研究が進み、 学習モデルの一般化、ロバスト化が進む ネットワーク構造やデータセットが BlackBoxのモデルでも最終決定のみ わかれば騙せるAttack方法 Brendal et al., Werner Reichrdt Centre for Neuroscience, Decision-Based Adversarial Attacks WRMという方法で最適化 することで、 よりロバストに識別境界 を引き、なかなか騙せなくする。 騙せた ミニマム ノイズ Sinha et al., Stanford, Certifying Some Distributional Robustness with Principled Adversarial Training (Oral)
- 18. 考えられること 今まで実世界への応用が難しかった領域にも、Deep Learningが活用されるようになる Deep Learningの課題とされてきたポイントは解決されつつある ・ハードウェア内リアルタイムエッジ処理 ・因果の必要な領域 ・データの少ない領域 ・Deep Learning搭載のプロダクト ・企画、マーケティング ・製造 ※ただし、高度なアルゴリズムと実課題への応用力が必要 ※結局そういった人材は、データを多く保有する企業(FAGMA等)に集中している
- 19. 以下付録
- 20. Computer Vision向け最新技術 ■Generative Models for Computer Vision Karas et al., NVIDIA, Progressive Growing of GANs(Oral) 生成モデルの進化は、「作り出す絵」と「写す絵」の境界をより曖昧にする やはりインパクトが大きいこの結果 学習過程で画像サイズを 徐々に大きくしていくことで、 高精度、高速、安定学習を実現している。 スケッチからそれっぽい絵を出力するRNNベースの生成モデル Ha et al., Google, A Neural Representation of Sketch Drawings GANではなく Nearest Neighborで 細かいディテールを 抽出することで Image Transferする Bansal et al., CMU, PixelNN: Example Based Image Synthesis
- 21. Computer Vision向け最新技術 ■VQA(Visual Question Answering) ■Image Compression 質問に関して数を出力するモデル。検出をベースに個数の特定をする。 Trott et al., Salesforce, Interpretable Counting for Visual Question Answering Balle et al., Google, Variational Image Compression with a Scale Hyperprior VAEベースのImage Compressionにより 最高精度の圧縮性能を実現 従来手法 今回の手法
- 22. NLP向け最新技術 ■Text Classification(Sentiment Analysis) LSTMによる感情分析の出力に対して、 Contextual Decompositionを対応させることで、 単語やフレーズの判断の寄与量を求める。 Murdoch et al., Google, Beyond Word Importance: Contextual Decomposition to Extract Interactions from LSTMs(Oral) 単語Embeddingを複数単語の影響を受けた Embeddingして捉え直すことで、より文脈を とらえた分析が可能になる。 Qiao et al., Baidu, A New Method of Region Embedding for Text Classification
- 23. ■Unsupervised Machine Translation NLP向け最新技術 各言語のそれぞれの翻訳ラベルがなくても(Unsupervised)、翻訳を可能にする方法。 共通のEncoderベクトルZを 持つ X → Z → Y → Z → X 一致するはず 昨今のSupervisedにはかなわないが、 つい数年目の翻訳精度レベルまでは達した！ Artetxe et al., University of the Basque Country, Unsupervised Neural Machine Translation
- 24. EOF