Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

NIPS2015参加報告

5,886 views

Published on

機械学習分野のトップカンファレンス NIPS2015 の参加報告です。

Published in: Engineering
  • Be the first to comment

NIPS2015参加報告

  1. 1. 宇土 敬祐 February 23, 2016 Denso IT Laboratory NIPS2015 参加報告 2/23/2016 @utotch 1 http://papers.nips.cc/book/advances-in-neural- information-processing-systems-28-2015 [出典] 当文書内の図・グラフ等は以下の 各論文から引用したものです
  2. 2. NIPS2015 基本情報 NIPS(Neural Information Processin System) 機械学習分野のトップカンファレンス(毎年開催) 開催日時 2015/12/6-12/14 場所 Montreal Convention and Exhibition Center (モントリ オール@カナダ。昨年と同じ) 2/23/2016 @utotch 2
  3. 3. NIPS2015 概要  参加者が激増  約2500人@2014 → 3500超@2015  企業からの聴講者多数  Deep Learning バブル的様相  Invited Talk  Vapnik さん、 川人光男さん  ポスター発表  例年通り 深夜24:00 まで盛況  盛況すぎて見れない程.. 2/23/2016 @utotch 3
  4. 4. 研究動向(私見)  Deep Learning は”基本ツール”として定着 Recurrent NN も含め、あの手この手で使いこなすネタが 沢山 長期記憶的なものを実現する試みがトレンド?  定番化してきたもの Submodular Optimization, Submodular 構造の活用・拡張 Bayesian Optimization  萌芽しつつあるもの Optimal Transport 系 (Wasserstein Distance, etc)  Game 理論系の話が増えた?  時系列解析等 non-i.i.d なデータを扱うテーマも着目 度が向上 非定常時系列解析の理論, Time Series Workshop 2/23/2016 @utotch 4
  5. 5. Best papers Competitive Distribution Estimation- Why is Good- Turing Good(Alon Orlitsky, Ananda Theertha Suresh) 離散事象の確率分布推定アルゴリズムの理論解析 (後述) Fast Convergence of Regularized Learning in Games(Vasilis Syrgkanis, Alekh Agarwal, Haipeng Luo, Robert E. Schapire) マルチプレイヤーゲームの No-Regret Learning 2/23/2016 @utotch 5
  6. 6. 2/23/2016 @utotch 6 着目した論文の紹介
  7. 7. End-To-End Memory Networks 7 【分野】記憶機能のある neural network 【概要】事実が記述された文章を記憶し、過去の事実を参照するタスクを実行できる neural network の提案。入出力のペアから学習できる(End-To-End)。 【着目ポイント】長期記憶的な機能を実現する技術動向の一つとして注目した。 Sainbayar Sukhbaatar, arthur szlam, Jason Weston, Rob Fergus Sukhbaatar, Sainbayar, Jason Weston, and Rob Fergus. "End-to-end memory networks." Advances in Neural Information Processing Systems. 2015. [出典] 2/23/2016 @utotch
  8. 8. End-To-End Memory Networks 8 Sainbayar Sukhbaatar, arthur szlam, Jason Weston, Rob Fergus 事実を記述した文章リスト、「クエリ文章」と「回答単語」のペア、から 行列 A,B,C,W を学習 事実を記述した文章 リスト(離散値表現) 各文章𝑥𝑥𝑖𝑖を連続値表現𝑚𝑚𝑖𝑖, 𝑐𝑐𝑖𝑖 , に変換。 時系列情報を保ったまま保持 しくみの概要 2/23/2016 @utotch
  9. 9. End-To-End Memory Networks  前ページの構造を多層にする(Multipl Memory Hop) 9 Sainbayar Sukhbaatar, arthur szlam, Jason Weston, Rob Fergus 事実を記述した文章 リスト(離散値表現) 各文章𝑥𝑥𝑖𝑖を連続値表現𝑚𝑚𝑖𝑖に変換。 時系列情報を保ったまま保持 Single Memory Hop Multiple Memory Hop 2/23/2016 @utotch
  10. 10. End-To-End Memory Networks 10 Sainbayar Sukhbaatar, arthur szlam, Jason Weston, Rob Fergus 各Hop で参照された Sentence と確率 各メモリ位置の Average Acitivation weight 2/23/2016 @utotch
  11. 11. Deep Visual Analogy-Making 11 【要約】画像と画像の高次の対応(アナロジー)をDeep Neural Network で学習。入力画像に アナロジーで対応する出力画像を直接生成できる。 【着目ポイント】明示的な特徴量設計を行わずに、高次の対応(異なる視点でのキャラクター 間の対応など)を学習できている点は興味深い Scott E. Reed, Yi Zhang, Yuting Zhang, Honglak Lee A : B = C : ? Reed, Scott E., et al. "Deep Visual Analogy-Making." Advances in Neural Information Processing Systems. 2015. [出典] 2/23/2016 @utotch
  12. 12. Deep Visual Analogy-Making 12 Scott E. Reed, Yi Zhang, Yuting Zhang, Honglak Lee 実際の処理結果例 2/23/2016 @utotch
  13. 13. Deep Visual Analogy-Making 13 Scott E. Reed, Yi Zhang, Yuting Zhang, Honglak Lee 実際の処理結果 2/23/2016 @utotch
  14. 14. Deep Visual Analogy-Making 14 Scott E. Reed, Yi Zhang, Yuting Zhang, Honglak Lee ネットワーク構造 2/23/2016 @utotch
  15. 15. Deep Visual Analogy-Making 15 Scott E. Reed, Yi Zhang, Yuting Zhang, Honglak Lee Shape Analogy の実験結果 Add と mul は Rotation の性能が低い 2/23/2016 @utotch
  16. 16. Spectral Representations for Convolutional Neural Networks 16 【要約】(空間表現ではなく)周波数表現で CNN を構成することで、画像分類タスクを高精度 に実現し、また学習を高速化することができた。Max-Pooling の部分を Spectral Pooling で置 き換えてネットワークを構成することで実現。 【着目理由】周波数表現を使うだけで、改善効果が得られるのは驚き。シンプルな着眼だが、 非常に実用的な方法になりうるかもしれない。 Oren Rippel, Jasper Snoek, Ryan P. Adams [出典] Rippel, Oren, Jasper Snoek, and Ryan P. Adams. "Spectral Representations for Convolutional Neural Networks." Advances in Neural Information Processing Systems. 2015. 2/23/2016 @utotch
  17. 17. Spectral Representations for Convolutional Neural Networks 17 Oren Rippel, Jasper Snoek, Ryan P. Adams 画像分類タスクの性能改善例 2/23/2016 @utotch
  18. 18. Spectral Representations for Convolutional Neural Networks 18 Oren Rippel, Jasper Snoek, Ryan P. Adams 学習曲線の空間表現との比較 2/23/2016 @utotch
  19. 19. Interactive Control of Diverse Complex Characters with Neural Networks 19 【背景】様々なキャラクターの制御を個別に作り込んで設計するのではなく、同じ枠組みで 制御器を自動生成したい 【概要】Recurrent Neural Network による状態フィードバック制御器を学習する枠組みの提案。 モーションキャプチャ・タスク個別の特徴量設計等なしに、異なる制御対象の制御器を自動 生成できる。 【着目理由】NNによる学習で制御を実現している例として興味深い。異なるダイナミクスの 制御対象を統一的な枠組みで制御できている点が興味深い。 ※正確には、Control Policy の学習ではなく、Policy を実現する Dynamics を学習している Igor Mordatch, Kendall Lowrey, Galen Andrew, Zoran Popovic, Emanuel V. Todorov Mordatch, Igor, et al. "Interactive Control of Diverse Complex Characters with Neural Networks." Advances in Neural Information Processing Systems. 2015. [出典] 2/23/2016 @utotch
  20. 20. Interactive Control of Diverse Complex Characters with Neural Networks 20 Igor Mordatch, Kendall Lowrey, Galen Andrew, Zoran Popovic, Emanuel V. Todorov http://www.eecs.berkeley.edu/~igor.mordatch/policy/index.html 2/23/2016 @utotch
  21. 21. Interactive Control of Diverse Complex Characters with Neural Networks 21 Igor Mordatch, Kendall Lowrey, Galen Andrew, Zoran Popovic, Emanuel V. Todorov 𝑋𝑋1 ∗ = argmin 𝑋𝑋 𝐶𝐶𝐶𝐶𝐶𝐶𝑡𝑡1 𝑋𝑋 𝜽𝜽∗ = argmin 𝜽𝜽 � 𝒂𝒂 𝒙𝒙𝑖𝑖,𝑡𝑡 − 𝝅𝝅(𝒔𝒔(𝒙𝒙𝑖𝑖,𝑡𝑡); 𝜽𝜽) 𝑖𝑖,𝑡𝑡 𝑋𝑋2 ∗ = argmin 𝑋𝑋 𝐶𝐶𝐶𝐶𝐶𝐶𝑡𝑡2 𝑋𝑋 𝑋𝑋𝑁𝑁 ∗ = argmin 𝑋𝑋 𝐶𝐶𝐶𝐶𝐶𝐶𝑡𝑡𝑁𝑁 𝑋𝑋 実現方法のイメージ 「Trajectory Optimization」 と 「Policy Regression」 の組み合わせ Trajectory Optimization Policy Regression 異なるタスクについて、それぞれ最適軌道を 作る(Contact Invariant Optimization を使う) 最適軌道を実現する Policy 𝜋𝜋𝜃𝜃: 𝑆𝑆 → 𝐴𝐴 を求める (Recurrent Neural Network で実現) 交互最適化で同 時に最適化する 両立させたい … 2/23/2016 @utotch
  22. 22. Interactive Control of Diverse Complex Characters with Neural Networks 22 Igor Mordatch, Kendall Lowrey, Galen Andrew, Zoran Popovic, Emanuel V. Todorov MPC(モデル予測制御) との比較 鳥キャラクターの制御問題の実験結果 MPC が 非周期的(Chaotic)な制御になるのに対し、提案法は、 周期的で、安定的な制御ができた 2/23/2016 @utotch
  23. 23. Competitive Distribution Estimation:Why is Good-Turing Good 23 【Goal】(大規模な、分布の種類が未知な)離散事象の確率分布の推定 【要約】Competitive アプローチによって、Good-Turing Estimator の性能の良さを証明した。 【着目理由】Best Paper. 保守的になりがちな、Min-Max アプローチを改善する分析手法として 興味深い。基礎的な知見として、アルゴリズムの改良の際の技法として活用できるかも。 Alon Orlitsky, Ananda Theertha Suresh Min-max アプローチ による評価 理論のイメージ 結果例 good Competitive Approach による評価 Orlitsky, Alon, and Ananda Theertha Suresh. "Competitive Distribution Estimation: Why is Good-Turing Good." Advances in Neural Information Processing Systems. 2015. Best Paper [出典] 2/23/2016 @utotch
  24. 24.  Estimator の良さを示す基本方針  KL-Loss の期待値を評価  従来: min-max によるアプローチ  最悪値の最小化  イメージ:最悪の路面での性能に着目した車両の設計  方針: Competitive アプローチ  イメージ:あらゆる路面で、準最適な性能の車両設計  Good Turing Estimator(1953) Competitive Distribution Estimation:Why is Good-Turing Good 24 Alon Orlitsky, Ananda Theertha Suresh Best Paper 2/23/2016 @utotch
  25. 25.  理論的結果  Simple Variant of Good Turing Estimator  Complex Variatnt of Good Turing Estimator Competitive Distribution Estimation:Why is Good-Turing Good 25 Alon Orlitsky, Ananda Theertha Suresh Best Paper 2/23/2016 @utotch
  26. 26. Galileo - Perceiving Physical Object Properties by Integrating a Physics Engine with Deep Learning 26 【背景】幼児が実世界の物理法則を認識するように、物理的な感覚を学習させたい 【要約】物理エンジンを利用することで、物理法則を直接学習せずに、視覚的な情報から静 的な物理量の対応を学習する 【着目理由】物理的な感覚を学習させる試みが興味深い。 【メモ】実際はダイナミクスは全く学習しておらず、物体を見た目から「重そう」「滑らなそう」と いう情報を学習している Jiajun Wu, Ilker Yildirim, Joseph J. Lim, Bill Freeman, Josh Tenenbaum Wu, Jiajun, et al. "Galileo: Perceiving Physical Object Properties by Integrating a Physics Engine with Deep Learning." Advances in Neural Information Processing Systems. 2015. [出典] 2/23/2016 @utotch
  27. 27. Galileo - Perceiving Physical Object Properties by Integrating a Physics Engine with Deep Learning  「入力画像」に対応する「静的な物理量(質量,摩擦係数,3D形状, 位置)」を学習  実際の動きの部分は、物理計算エンジンがシミュレーション 27 Jiajun Wu, Ilker Yildirim, Joseph J. Lim, Bill Freeman, Josh Tenenbaum Deep Neural Network 2/23/2016 @utotch
  28. 28. Galileo - Perceiving Physical Object Properties by Integrating a Physics Engine with Deep Learning  人間と同程度に、動きの予測をすることができた 28 Jiajun Wu, Ilker Yildirim, Joseph J. Lim, Bill Freeman, Josh Tenenbaum 2/23/2016 @utotch
  29. 29. Action-Conditional Video Prediction using Deep Networks in Atari Games 29 【要約】Deep Neural Network で、未来の ゲームシーンのピクセルイメージを予 測・生成。CNN版と RNN+CNN版があり、 前者は反射的なゲーム, 後者は長期予 測が必要なゲームでスコアが高い 【着目理由】時系列的な情報の予測・生 成という点が興味深い Junhyuk Oh, Xiaoxiao Guo, Honglak Lee, Richard L. Lewis, Satinder Singh 画面上端から下端に周り込むような、 非線形な動きも予測・生成可能 Oh, Junhyuk, et al. "Action-conditional video prediction using deep networks in atari games." Advances in Neural Information Processing Systems. 2015. [出典] 2/23/2016 @utotch
  30. 30. Action-Conditional Video Prediction using Deep Networks in Atari Games  Network 構造は (a) Feed Forward 版 と (B) Recurrent 版の2種類  ゲームの種類によって、どちらが良い性能を出すかが異なる。 (長期予測が必要なゲームは Recurrent 版の法が性能が良い) 30 Junhyuk Oh, Xiaoxiao Guo, Honglak Lee, Richard L. Lewis, Satinder Singh 2/23/2016 @utotch
  31. 31. Embed to Control - A Locally Linear Latent Dynamics Model for Control from Raw Images 31 【要約】生画像(Pixel Image)から、非線形動的システムの制御モデルを学習する研究。 局所線形なダイナミクスを Neural Network で学習することによって実現している。 【着目理由】生画像から制御の直接学習という難しい問題設定について、実現方法を示した事 例として興味深い。Neural Network の新規な応用動向の1つとして着目した。 Manuel Watter, Jost Springenberg, Joschka Boedecker, Martin Riedmiller Watter, Manuel, et al. "Embed to control: A locally linear latent dynamics model for control from raw images." Advances in Neural Information Processing Systems. 2015. [出典] 2/23/2016 @utotch
  32. 32. Embed to Control - A Locally Linear Latent Dynamics Model for Control from Raw Images 32 Manuel Watter, Jost Springenberg, Joschka Boedecker, Martin Riedmiller 実現方法 局所線形なダイナミクスを仮定し、 Latent Space <-> Pixel Image の対応を学習 2/23/2016 @utotch
  33. 33. Embed to Control - A Locally Linear Latent Dynamics Model for Control from Raw Images 33 Manuel Watter, Jost Springenberg, Joschka Boedecker, Martin Riedmiller Inverted Pendulum の実験 Latent Space <-> Pixel Image の対応の学習結果 2/23/2016 @utotch
  34. 34. 2/23/2016 @utotch 34 その他、簡単に紹介のみ
  35. 35. Asynchronous Parallel Stochastic Gradient for Nonconvex Optimization 35 【背景】非同期アルゴリズムの性能解析は困難な問題。非同期のSGDの性能の明確化したい。 【要約】2タイプの非同期SGD(Consistent / Inconsistent)の両方について、収束性能を明確化で きた Xiangru Lian, Yijun Huang, Yuncheng Li, Ji Liu AsySG-Con の収束性能 Lian, Xiangru, et al. "Asynchronous parallel stochastic gradient for nonconvex optimization." Advances in Neural Information Processing Systems. 2015. [出典] 2/23/2016 @utotch
  36. 36. Learning Theory and Algorithms for Forecasting Non-stationary Time Series 36 【要約】非定常時系列解析の理論。非定常 の具合の定量化指標の導入など。 【着目理由】現状では、非定常時系列解析の 理論が、未成熟な段階にあるという認識を 得た。研究テーマがいろいろ眠っているかも。 Vitaly Kuznetsov, Mehryar Mohri Kuznetsov, Vitaly, and Mehryar Mohri. "Learning Theory and Algorithms for Forecasting Non-Stationary Time Series." Advances in Neural Information Processing Systems. 2015. [出典] 2/23/2016 @utotch
  37. 37. Solving Random Quadratic Systems of Equations Is Nearly as Easy as Solving Linear Systems 37 【要約】2次の方程式(Random Quadratic System of Equation)を線形方程式の解法と同等の線 形オーダで解ける解法 Truncated Wirtinger Flow の提案。「初期化」と「反復時の勾配計算」 を、選定したデータのみを用いて算出することで、高速・ロバストなアルゴリズムを実現できる 【応用例】クラスタリング, Phase Retrieval 等が、この問題設定に該当 【着目理由】非凸最適化問題を、問題の構造を適切に利用して、うまく解く事例として興味深 い Yuxin Chen, Emmanuel Candes http://web.stanford.edu/~yxchen/TWF/ Chen, Yuxin, and Emmanuel Candes. "Solving random quadratic systems of equations is nearly as easy as solving linear systems." Advances in Neural Information Processing Systems. 2015. [出典] 2/23/2016 @utotch
  38. 38. Solving Random Quadratic Systems of Equations Is Nearly as Easy as Solving Linear Systems  Algorithm: Truncated Wirtinger Flows 38 Yuxin Chen, Emmanuel Candes 結果例 初期化 勾配の計算 初期化後 50反復後 2/23/2016 @utotch
  39. 39. Fast Convergence of Regularized Learning in Games 39 【要約】マルチプレイヤーゲー ムのアルゴリズム (Decentralized No-Regret Learning)。前提知識が足りず、 ほとんど理解できず。 Vasilis Syrgkanis, Alekh Agarwal, Haipeng Luo, Robert E. Schapire Best Paper Syrgkanis, Vasilis, et al. "Fast convergence of regularized learning in games."Advances in Neural Information Processing Systems. 2015. [出典] 2/23/2016 @utotch
  40. 40. A Convergent Gradient Descent Algorithm for Rank Minimization and Semidefinite Programming from Random Linear Measurements 40 【要約】SDP(半正定値計画問題)と関連の深い、ランク最小化問題の最適化アルゴリズムの 研究。ランダムな線形観測下でのランク最小化問題は、非凸最適化問題であるが、提案手 法によって高速に大局最適解を得ることが可能。 【着目理由】問題の構造を利用した、非凸最適化問題の大局解探索アルゴリズムとして参 考になると考え着目した。 Qinqing Zheng, John Lafferty Zheng, Qinqing, and John Lafferty. "A convergent gradient descent algorithm for rank minimization and semidefinite programming from random linear measurements." Advances in Neural Information Processing Systems. 2015. [出典] 2/23/2016 @utotch
  41. 41. まとめ Deep Learning の着目度は顕著で、企業を含め、 参加者が激増 Deep Learning は基本ツールとして定着し、長期 記憶的な機能の実現、制御問題など、新たな問 題への適用が加速 Bayesian Optimization, Submodular Optimization, など、定着しつつあるテーマ、 Game Theory 系, 非定常時系列解析など、これから発展がありそ うなテーマが目についた。 2/23/2016 @utotch 41
  42. 42. 参考文献  Orlitsky, Alon, and Ananda Theertha Suresh. "Competitive Distribution Estimation: Why is Good-Turing Good." Advances in Neural Information Processing Systems. 2015.  Syrgkanis, Vasilis, et al. "Fast convergence of regularized learning in games."Advances in Neural Information Processing Systems. 2015.  Sukhbaatar, Sainbayar, Jason Weston, and Rob Fergus. "End-to-end memory networks." Advances in Neural Information Processing Systems. 2015.  Reed, Scott E., et al. "Deep Visual Analogy-Making." Advances in Neural Information Processing Systems. 2015.  Rippel, Oren, Jasper Snoek, and Ryan P. Adams. "Spectral Representations for Convolutional Neural Networks." Advances in Neural Information Processing Systems. 2015.  Watter, Manuel, et al. "Embed to control: A locally linear latent dynamics model for control from raw images." Advances in Neural Information Processing Systems. 2015.  Wu, Jiajun, et al. "Galileo: Perceiving Physical Object Properties by Integrating a Physics Engine with Deep Learning." Advances in Neural Information Processing Systems. 2015.  Mordatch, Igor, et al. "Interactive Control of Diverse Complex Characters with Neural Networks." Advances in Neural Information Processing Systems. 2015.  Oh, Junhyuk, et al. "Action-conditional video prediction using deep networks in atari games." Advances in Neural Information Processing Systems. 2015.  Chen, Yuxin, and Emmanuel Candes. "Solving random quadratic systems of equations is nearly as easy as solving linear systems." Advances in Neural Information Processing Systems. 2015.  Zheng, Qinqing, and John Lafferty. "A convergent gradient descent algorithm for rank minimization and semidefinite programming from random linear measurements." Advances in Neural Information Processing Systems. 2015.  Lian, Xiangru, et al. "Asynchronous parallel stochastic gradient for nonconvex optimization." Advances in Neural Information Processing Systems. 2015.  Kuznetsov, Vitaly, and Mehryar Mohri. "Learning Theory and Algorithms for Forecasting Non-Stationary Time Series." Advances in Neural Information Processing Systems. 2015. 2/23/2016 @utotch 42

×