Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

NIPS2015概要資料

6,403 views

Published on

2016/01/20 NIPS2015読み会の冒頭で会議全体の特徴と傾向を紹介した資料です。
http://connpass.com/event/24620/

Published in: Technology
  • Dating for everyone is here: ❤❤❤ http://bit.ly/39mQKz3 ❤❤❤
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here
  • Dating direct: ❤❤❤ http://bit.ly/39mQKz3 ❤❤❤
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here

NIPS2015概要資料

  1. 1. NIPS 2015 概要紹介 ⽐⼾将平 Preferred Networks America, Inc.
  2. 2. ⾃⼰紹介 l  ⽐⼾将平(HIDO Shohei) l  TwitterID: @sla l  専⾨:データマイニング、機械学習 l  経歴: l  2006-2012: IBM東京基礎研究所データ解析グループ l  機械学習のアルゴリズム研究開発(主に異常検知) l  2012-2014: 株式会社Preferred Infrastructure l  ⼤規模オンライン分散機械学習基盤Jubatusチームリーダー l  2014-: 株式会社Preferred Networks l  2015-: Preferred Networks America, Inc. @ シリコンバレー l  Chief Research Officer l  NIPSは2013年に続いてのワークショップ発表&参加 2
  3. 3. NIPS 2015 l  第29回のNIPS l  ICML(32回)に次ぐ伝統 l  期間: 2015年12⽉7〜12⽇ l  チュートリアル1⽇ l  本会議3⽇ l  ワークショップ2⽇ l  開催地: ケベック州モントリオール l  ほぼフランス語圏 3
  4. 4. ⽬次 l  NIPSの特徴と構成 l  統計と流⾏りのトピック l  NIPSに集まるヒトとカネ l  NIPSのススメ 4
  5. 5. ⽐較: ICML 2015 Main Conference l  招待講演とベストペーパー以外は6並列セッション 5
  6. 6. NIPSの特徴(1) シングルトラック l  頑なに⼤ホール l  アクセプト論⽂の多くは ポスター発表のみ l  わずか3%程度がOral発表 l  20分 l  + 7%程度がSpotlight発表 l  5分 6
  7. 7. 「NIPSでオーラル発表しました」の意味 l  招待講演とおなじ⼤ホール、2000+席 7
  8. 8. NIPS特徴(2) 過酷なポスター発表 l  400+件のポスター l  普通のポスター セッションは各90-120分 l  NIPSは各300分(5時間) 8
  9. 9. 夜中12時まで5時間セッション ⽴ちっぱなし x 4⽇連続 l  各⽇約100件ずつ l  時間で割ると1時間20件 l  1ポスター3分で⾒て回って やっと全て⾒て回れる l  ポスター会場にはイスを 「絶対に」置かない主義 l  ※理解⼒的にも体⼒的にも 全制覇はほぼ無理 9
  10. 10. NIPSの特徴(3) 尖ったワークショップ l  40種類のワークショップ / 2⽇間 = 20並列開催 l  最先端: Reasoning, Attention, Memory (RAM) Workshop l  マイナー: Quantum Machine Learning, Time Series l  分野特化: Reinforcement Learning, Computational Biology l  ソフトウェア: Machine Learning Systems 10
  11. 11. ワークショップといえど全く気を抜けないNIPS l  普通の国際会議 l  ワークショップ期間は過疎化 l  NIPSは90%くらい⼈が残る感覚 l  ただ参加者が偏る&深層学習⼈気 l  特に混雑:深層強化学習 l  開始30分前に全席が埋まった l  プロジェクタ前に体育座り l  昨年の反省は⽣かされたか? l  Deep Learning Workshopの爆発 →別⽇のSymposiaに格上げ 11
  12. 12. ⽬次 l  NIPSの特徴と構成 l  統計と流⾏りのトピック l  NIPSに集まるヒトとカネ l  NIPSのススメ 12
  13. 13. 論⽂統計 13 l  投稿数は403/1838、アクセプト率は約22%、⼤きく変わらず l  最も多いジャンルはディープラーニング(それでも10%) l  ディープラーニング会議ではない(最適化、学習理論、ベイズ…)
  14. 14. トレンド(1) 複雑化するニューラルネットワーク l  画像認識、⾳声認識タスクのCNNのみでは研究になりにくい l  1. Recurrent NN (LSTM)やAttentionを⽤いた⼿法 l  2. 複数のデータソースを組み合わせる(例: 画像x⽂章) l  3. もっと⽬新しいタスクに新しいネットワーク構造を提案する 14 Ladder Network A. Rasmus et. al. (松元さん発表) End-to-End Memory Network S. Sukhbaatar et. al. (海野さん発表)
  15. 15. トレンド(2) 深層学習による⽣成モデル l  DeepDream以降、特に⾃然な画像の⽣成への注⽬ l  Ex. Neural Artistic Style (chainer-goghの元論⽂) l  Encode-Decodeに加えてGenerative Adversarial Netが⽬⽴つように 15 Laplacian Pyramid of GAN E. L. Denton et. al. (濱⽥さん発表) Deep Visual Analogy-Making S. Reed et. al.
  16. 16. トレンド(3) 続く深層強化学習の進化 l  NIPS2013のDQN論⽂ by DeepMind以来のATARIゲーム中⼼ l  Recurrent Netによって時系列性を取り込んで⻑期予測、など l  物理シミュレーションベースの動作獲得系(UC Berkeley盛ん) 16 Learning Continuous Control Policies by Stochastic Value Gradients N. Hees et. al. (DeepMind, 藤⽥さん発表) Action-Conditional Video Prediction using Deep Networks in Atari Games J. Oh+
  17. 17. トレンド(4) ⾮凸最適化 l  深層学習のほとんどは⾮凸最適化であるのにしたがって活発化 l  ⾮同期SGDや様々な近似法に関する収束性や性能の話が増加 17 Hessian-Free Optimization for MDRNN M. Cho et. al. (瀬⼾⼭さん発表) Asynchronous SGD for Non-convex Opt. X. Lian+
  18. 18. トレンド(5) Probabilistic Programming & Inference l  Tutorial on Probabilistic Programming l  Workshop on Approximate Bayesian Inference l  Workshop on Approximate Bayesian Computation l  Workshop on Black-box Optimization 18 Automatic Variational Inference in Stan A. Kucukelbir et. al. (柏野さん発表) “A Year of Approximate Inference” Blog by Shakir Mohamed (DeepMind)
  19. 19. その他雑感 l  流⾏ったarXiv論⽂の確認のような雰囲気もある(特に深層学習) l  「あれ、この論⽂出たのまだ今年だったっけ…?」 l  ⼀⽅arXivに出てないもの、ポスターで初めて認識できるもの l  ポスターセッションで著者に直接質問できるのも参加価値 l  Tech giantの圧倒的存在感 l  Google > Facebook = Microsoft Research >> Others l  Google DeepMind勢の多さ(100⼈以上来てたらしい) l  それ以外の新しいスタートアップのプレゼンスも増加 l  論⽂発表、スポンサー、デモ、ワークショップ主催など l  OpenAIの設⽴発表(イーロン・マスクらが主導) l  「⼤学を辞めて⺠間研究所に移ると給料も研究時間も増える」⽪⾁ 19
  20. 20. ⽬次 l  NIPSの特徴と構成 l  統計と流⾏りのトピック l  NIPSに集まるヒトとカネ l  NIPSのススメ 20
  21. 21. NIPS 2015 参加者数: 3,755 l  前年のほぼ1.5倍 l  ここ10年、指数的な伸びを続けている l  ⼀⽅、投稿数はそこまで⼤きく増えてはいない l  研究者が増えたというより 企業や他分野に裾野が広がった (お⾦の匂いに寄せられて) 21
  22. 22. NIPS 2006 Sponsors (9) 22
  23. 23. NIPS 2011 Sponsors (15) 23
  24. 24. NIPS 2015 Sponsors (41) >> Last year (28) 24
  25. 25. ⽬次 l  NIPSの特徴と構成 l  統計と流⾏りのトピック l  NIPSに集まるヒトとカネ l  NIPSのススメ 25
  26. 26. 論⽂を書こう!&読もう!→NIPSに参加しよう! 26
  27. 27. NIPS 2016 @ バルセロナ 27 l  北⽶以外ではスペインにしか⾏かないNIPS (2011年はグラナダ)
  28. 28. NIPS 2017 @ ロングビーチ l  寒冷地を離れ海辺のリゾート地 28

×