Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

[ICLR2017読み会 @ DeNA] ICLR2017紹介

25,024 views

Published on

ICLR2017読み会 @ DeNA ICLR2017紹介

Published in: Data & Analytics
  • Hello! High Quality And Affordable Essays For You. Starting at $4.99 per page - Check our website! https://vk.cc/82gJD2
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here

[ICLR2017読み会 @ DeNA] ICLR2017紹介

  1. 1. ICLR2017紹介 宮戸 岳 Preferred Networks, Inc.
  2. 2. 宮戸岳 (https://takerum.github.io/) リサーチャー @ Preferred Networks, Inc. ● 04/2014-03/2016, 情報学修士 @ 京大 ● 01/2016-05/2016, インターン @ Google Brain ● 06/2016-08/2016, 研究技術員 @ ATR ● 09/2016-(now) ○ リサーチャー @ Preferred Networks, Inc. ○ 客員研究員 @ ATR 最近の興味: ● Generative Adversarial Networks (GANs) ● Semi-supervised and Unsupervised Learing on Neural Networks ● Learning on Extremely Large Distributed Systems https://arxiv.org/abs/1507.00677, https://arxiv.org/abs/1605.07725, https://arxiv.org/abs/1702.08720, https://arxiv.org/abs/1704.03976 https://openreview.net/forum?id=H1hLmF4Fx, https://arxiv.org/abs/1705.10941 (自己紹介)
  3. 3. 目次 ● ICLRって何? ○ ICLRの主な特徴 ● ICLR2017に行ってきました ● 話題のGANsとは?
  4. 4. ICLRとは? ● International Conferene on Learning Representations. ‘I CLeaR’って呼ぶ人が 多い。(Yann Lecun が最初にそうよんだらしい). ● 3日間の国際会議, 通常大体5月のはじめに開かれる(今年は4/24-4/26). ● 今年が5回目の開催。最初のICLRは2013年。 ● Website : http://www.iclr.cc/doku.php ○ Facebook page : https://www.facebook.com/iclr.cc/?fref=ts ○ Twitter account (ICLR2017) : https://twitter.com/iclr2017?lang=en ● ICLRの詳しい経緯とかが載っている記 事:http://www.kdnuggets.com/2016/02/iclr-deep-learning-scientific-publishing- experiment.html
  5. 5. ICLRの主な特徴(1) ● Deep Learningとその応用に焦点をあてている。 ○ 大体のアクセプトされた論文はneural networksを扱っている。 ○ Learning Represenationとあるがこの言葉自体はあまり意味ないものと思っ て良い。表現学習以外の論文がほとんど。 Variational Auto-Encoder (ICLR2014) ADAM optimizer (ICLR2015)
  6. 6. ICLRの主な特徴(2) ● Open Review System https://openreview.net/ ○ Single blind review (Reviewerのみが匿名) ○ だれでもreviewやrebuttalを(review process中に)みることができる。 ○ だれでもreview processに加わることができる。
  7. 7. 他の特徴 ● 2トラック : Conference track and Workshop track ● シングルのoralトラック ● ITジャイアントスポンサーがたくさん https://blogs.sap.com/2017/05/22/dive-deep-into-deep-learning- sap-at-the-international-conference-on-learning-representations -iclr/
  8. 8. 投稿数と参加者数 http://www.iclr.cc/lib/exe/fetch.php?media=iclr201 7:ranzato_introduction_iclr2017.pdf
  9. 9. ICLR2017 http://www.iclr.cc/doku.php?id=ICLR2017:main (Toulon, France) ● 参加者 : 1100 (~300 last year) ● Accepted papers ○ Conference track : 196, 15 oral ○ Workshop track : ~110 https://twitter.com/iclr2017/status/864863545867079680 taken by Okumura-san
  10. 10. http://www.iclr.cc/lib/exe/fetch.php?media=iclr201 7:ranzato_introduction_iclr2017.pdf New (去年は28%くらい)
  11. 11. http://www.iclr.cc/lib/exe/fetch.php?media=iclr201 7:ranzato_introduction_iclr2017.pdf
  12. 12. 機関毎の投稿 企業はGoogleが特に多く,つい で Facebook, Microsoft, OpenAI 大学は Berkeley, Montreal, CMU, Stanford, MIT, NYU https://prlz77.github.io/iclr2017-stats/
  13. 13. 議論が活発だったsubmissionは通りやすかった http://www.iclr.cc/lib/exe/fetch.php?media=iclr201 7:ranzato_introduction_iclr2017.pdf
  14. 14. オーラルセッション: ● 1つのオーラルセッション ● 午前と午後の2セッション ○ 各セッション毎に、1つの招待講演と 2~3のオーラル論文プレゼン。 ● オーラルセッションはLiveストリーミングされました: https://www.facebook.com/iclr.cc/?fref=ts
  15. 15. ポスターセッション ● こちらも午前と午後の2セッション ● Conference track ○ 各セッション~40件のポスター発表 ○ 各ポスターで常に10~20人の聴衆 ○ 多いところは30人くらい居た気がします ● Workshop track ○ ~20件のポスター発表 ○ 各ポスターで~5人の聴衆 ● ちなみに去年のポスターセッションは ○ ~5人くらいの聴衆 (撮影: DeNA奥村さん)
  16. 16. 自分のプレゼンテーション ● 1 conference track poster と 1 workshop track poster https://arxiv.org/abs/1605.07725 https://openreview.net/pdf?id=H1hLmF4Fx
  17. 17. After hours parties Google, Facebook, Salesforce ...etc.が個別に 夜の時間帯にパーティーを開催。 ○ ネットワーキング ○ (有名な)研究者やエンジニアと議論 ■ 結構多くの人が夜中までしていた みたいです。
  18. 18. 人気トピック @ ICLR2017 ● ニューラルネットの汎化性能について ○ Rethinking generalization https://arxiv.org/abs/1611.03530 ○ Large batch training coverges to sharp minima https://arxiv.org/abs/1609.04836 ● Generative Adversarial Networks ○ Towards principled methods of training GANs https://openreview.net/pdf?id=Hk4_qw5xe ○ Energy based GANs https://arxiv.org/abs/1702.01691 ○ Two-sample tests by classifier https://openreview.net/forum?id=SJkXfE5xx&noteId=SJkXfE5xx ● Deep Reinforcement Learning ○ Reinforcement Learning with Unsupervised Auxiliary Tasks https://openreview.net/pdf?id=SJ6yPD5xg ○ (Not RL) Learning to act by predicting future https://arxiv.org/abs/1611.01779 ● Neural Programmer ○ Making Neural Programming Architectures Generalize via Recursion https://openreview.net/forum?id=BkbY4psgg&noteId=BkbY4psgg
  19. 19. Generative Adversarial Networks (GANs) ● オリジナルのアルゴリズムは Ian Goodfellow et al. (2014) によって提案 ● 以降とても多くの論文がarXiv等で(乱発ぎみに)発表された。 ○ GAN Zoo https://github.com/hindupuravinash/the-gan-zoo https://github.com/hindupuravinash/the-gan-zoo (GANs)
  20. 20. GANsのフレームワーク ● Discriminator D(x) : Generator G(z) から生成されたサンプルと 本物(データセット)のサンプルを 見分けるように学習 ● Generator G(z) : Discriminator D(x)が見分けられないように データを生成するように学習。 (GANs)
  21. 21. GANの何がいいのか? ● 生成モデル pG (x)の明な密度を計算できなくても学習で きる。 ○ ただサンプルできればよい。x ~ pG (x) ● 半教師あり学習と統合した学習ができる https://arxiv.org/abs/1606.03498 (ただこれはtheoriticalな解析がまだなさ れていない。) ○ 特にラベル数が少ない半教師あり学習で良い性能 https://arxiv.org/pdf/1702.08896.pdf (GANs)
  22. 22. GAN論文 (ICLR2017に投稿されたもの) ● b-GAN (uehara et al. https://arxiv.org/pdf/1610.02920.pdf ) ○ GANのDiscriminatorを密度比推定器 rD (x) と解釈。  ○ rD (x) とq(x) / pG (x)とのBregman ダイバージェンス の最小化で(Generatorの 分布が与えられた際の) 真の密度比q(x) / pG (x) をrD (x) で近似 ● Implicit Generative Models (Mohamed et al. https://arxiv.org/abs/1610.03483 ) ○ GANsのアルゴリズムを使って Likelihood-free estimation ● Deep and Hireachical Implicit models (Tran et al. https://arxiv.org/pdf/1702.08896.pdf ) (※Not subimitted to ICLR) ○ GANsのアルゴリズムを使って Likelihood-free variational inference (LFVI) ■ モデルと変分分布qVI (x, z) と pModel (x, z) に要求されるのはただサンプルで きればよいということ。柔軟な変分推定を実現できる (僕が重要だと思う)
  23. 23. ありがとうございました! I enjoyed water taxi ⚓ (Hotel <-> Conference)

×