NeurIPS2019参加報告
Masanari Kimura (mkimura@ridge-i.com)
1
NeurIPS2019に参加してきたので参加報告
• Thirty-third Conference on Neural Information
Processing Systems
• Vancouver Convention Center, Vancouver CANADA
Schedule
• NeurIPS EXPO DEC 8th
• TUTORIALS DEC 9th
• CONFERENCE & DEMONSTRATIONS DEC 10th - 12th
• WORKSHOPS & COMPETITIONS DEC 13th - 14th
2
NeurIPS2019参加報告
Venue
3
Vancouver CANADA
• 海辺でなかなか良かった
• かなり寒いと思ったけど予想より大丈夫
だった
• (息するたびに喉が凍るとかはなかった)
4
Souvenir
5
• 2018年より意匠が凝っている気がする
• 参加人数はかなり飽和
• ポスターセッションは地獄
• 今後はオンライン参加の割合
が増えていきそう
6
会場は激混み
Stats of NeurIPS2019
7
• Acceptance rateは維持
• 一番多くの論文を通してるのはGoogle
• 次いでMIT, Stanford
• 一番多くの採択論文に名前を連ねているのは
Sergey Levineで12本
Trends from NeurIPS2019
8
Trends from
NeurIPS2019
• DNNsのブラックボックス性
• 機械学習の公平性(Fairness)
• プライバシーを担保した機械学習
• Adversarial Examples
9
DNNsのブラックボックス性
10
ディープニューラルネットワークに解釈性を求める動き
• DNNsの判断根拠
• 内部の仕組み
• 学習がうまくいかないケースの分析など
分野として成熟して,社会的な応用に向いてきている証拠?
機械学習の公平性(Fairness)
11
機械学習の出力に好ましくないバイアスを含ま
ないようにする取り組み
人種や性別,住んでいる地域などによって偏った判断をするの
はNG
機械学習が現実世界に与えるインパクトが認知
されてきている証拠?
プライバシーを担保した機械学習
12
データのプライバシーを担保したまま機械学習のモデルを獲
得するための研究
データに基づいた分野であるた
め切っても切り離せない
クラウドソーシング,データストア,
ウェブAPI
セキュア&効率的が重要なテーマそう
Adversarial Examples
13
機械学習モデルの誤識別
を誘発するサンプル
今後この分野を社会に浸
透させていくために目に
見えている脆弱性は大き
な課題
Expo Day Workshops
14
Multi-modal Research To
Production
Facebook AI Research (FAIR)による
Multi-modal ResearchのためのOSS
ライブラリの紹介.
• PyTorch
• Detectron2
• FAIRSEQ
• Object Detection & Segmentationのための拡張性
の高いフレームワーク.
• タスクに応じて様々なカスタマイズが容
易にできるようになっている
• PyTorchベースのSeq2Seqライブラリ
• Language Modeling, Speech Recognition,
Neural Machine Translation etc.
15
Responsible and
Reproducible AI
• Responsibility:
• コードベースの標準化,ハードウェアに依存
しない実装の公開
• Interpretability:
• 機械学習アルゴリズムの理解のモデル化
• Private AI:
• differential privacy
16
• 簡単にモデルの再配布を行うためのプラットフォーム
• ワンライナーでpretrainedモデルを使える
• 機械学習モデルのコード統一的な書き方をするための薄いラッパー
• 機械学習モデルの解釈性のためのライブラリ
• 重要な特徴量の可視化などが簡単にできる
• 入出力のテンソル&モデルを暗号化できる.
• 暗号後テンソルの基本演算や微分も可能
Tutorials
17
Deep Learning with Bayesian
Principles
• Deep Learning+ベイズのチュートリアル.
• ベイジアンと深層学習の研究者の橋渡し
をして,両者の強みを組み合わせることで
より難しい問題を解決するために協力する
意欲を高めることが目的.
Interpretable Comparison of
Distributions and Models
• モデルおよび分布同士の評価を行うため
の,ノンパラメトリックな手法についての
チュートリアル
• Wasserstein distances
• The Maximum Mean Discrepancy
• 𝜙-divergence
Representation Learning and
Fairness
• 表現学習と公平性のチュートリアル
• 意思決定の発生するタスクへの機械学
習の適用においては,モデルのバイア
スと公平性についての議論が常に必要
• 特に,入出力から潜在表現を獲得する
表現学習と公平性について議論
Main Conference
21
NeurIPS2019 Paper Awards
22
NeurIPS2019
Paper Awards
23
Outstanding Paper Awards
• Distribution-Independent PAC Learning of Halfspaces with
Massart Noise
Outstanding New Directions Paper Awards
• Uniform convergence may be unable to explain
generalization in deep learning
• Fast and Accurate Least-Mean-Squares Solvers
Honorable Mention Outstanding New Directions Paper Award
• Putting An End to End-to-End: Gradient-Isolated Learning of
Representations
• Scene Representation Networks: Continuous 3D-Structure-
Aware Neural Scene Representations
Test of Time Award
• Dual Averaging Method for Regularized Stochastic Learning
and Online Optimization
Categories
24
Data, Challenges, Implementations, and Software
• Data Sets or Data Repositories
• Software Toolkits
• Benchmarks
• Virtual Environments
Applications
• Privacy, Anonymity, and Security
• Computer Vision
Theory
• Learning Theory
• Spaces of Functions and Kernels
Deep Learning
• Optimization for Deep Networks
• Generative Models
Algorithms
• Unsupervised Learning
• Regression
• Adaptive Data Analysis
Learning Theory
25
Distribution-Independent PAC
Learning of Halfspaces with Massart
Noise
Ilias Diakonikolas,Themis Gouleakis,Christos Tzamos
Abstract
学習データに未知の境界ラベルノイズが
存在する場合の2値分類の線形閾値関数
の学習に関する研究.このようなケース
における学習に関する,長年にわたる基
本的な未解決問題を,効率的なアルゴリ
ズムの提案によって解決する.
26
Contribution & Novelty
Theorem(Main Result):全ての0 < 𝜂/2について,未知の半空間𝑓をとるような分布
𝐷 = 𝐸𝑋 𝑀𝑎𝑠
(𝑓, 𝐷 𝑥,, 𝜂)からのi.i.d.なサンプルを入力として,𝑃𝑟 𝑥,𝑦 ~𝐷 ℎ 𝑥 ≠ 𝑦 ≤ 𝜂 + 𝜖
を達成するようなhypothesis ℎを出力する多項式時間アルゴリズムが存在する.
Links & References
.論文
Uniform convergence may be
unable to explain generalization in
deep learning
Vaishnavh Nagarajan, J. Zico Kolter
Abstract
モデルの汎化の振る舞いについての研究
では,学習データと未知データとのエ
ラーの乖離のupper boundを考える.この
boundには何らかのモデルの複雑さに関
する項が含まれ,近年の手法の多くはこ
れについてuniform convergenceに基づい
たboundを導出していた.本研究では
uniform convergenceそれ自体に関する分
析に立ち返り,uniform convergenceに基
づくboundではDNNsの汎化の振る舞いを
説明しきれないことを示唆する.
27
Links & References
.論文
Contribution & Novelty
近年のモデルの汎化に関する研究で広く使われているuniform convergence boundsが不
十分であることを指摘.また,既存の多くのuniform convergenceに基づいたboundが破
綻するケースの存在を指摘し,その例を示した.
Spaces of Functions and Kernels
28
Nonparametric Density Estimation
& Convergence Rates for GANs
under Besov IPM Losses
Ananya Uppal, Shashank Singh, Barnabas Poczos
29
Abstract
Besov IPMsと呼ばれる損失関数群の下で
のノンパラメトリックな確率密度の推定
に関する研究.
Links & References
• 論文
Contribution & Novelty
どのような損失関数の選択が適切なのかを決定するためのバウンドおよびIPMsが
Generative Adversarial Networksを定式化できることに基づいたGANのエラーのバウンド
を示す.
Optimization for Deep Networks
30
How to Initialize your Network?
Robust Initialization for
WeightNorm & ResNets
Devansh Arpit, Víctor Campos, Yoshua Bengio
31
Abstract
ResNetタイプのアーキテクチャおよび重
みが正規化されたネットワークの重み初
期化に焦点を当てた研究.既存の研究で
は,ResNetのアーキテクチャで見られる
ショートカットのメカニズムを無視して
重みの初期化の議論が行われていた.こ
れについて考慮した新しい重み初期化の
手法を提案.
Links & References
• 論文
Contribution & Novelty
理論的な裏付けに基づいた,重みが正規化されたニューラルネットワークの重み初期
化の手法を提案.
Generative Models
32
Deep Generative Video
Compression
Salvator Lombardo, JUN HAN, Christopher Schroers,
Stephan Mandt
33
Abstract
ニューラルネットワークによる生成モデ
ルは画像の圧縮タスクでは高いパフォー
マンスを達成している一方で,動画の圧
縮に関してはまだ改善の余地が大きい.
本研究では,VAEベースの動画圧縮手法
を提案.
Links & References
• 論文
Classification Accuracy Score for
Conditional Generative Models
Suman Ravuri, Oriol Vinyals
34
Abstract
現時点でDeep Generative Modelの画像生
成能力は,本物らしく見えるという点で
成熟したと言える.この成果は,深層生
成モデルがデータの分布を知覚的に意味
のある形で学習しているためと考えられ
る.本研究では,条件付き生成モデルで
分類器の学習に生成データのみを使った
際の分類精度に注目し,いくつかの実験
結果を示す.
Links & References
• 論文
Contribution & Novelty
生成データのみで学習した条件付き生成モデルの分類器の分類精度(CAS)への分析から,
1. SOTAなBigGANの分類精度がVQVAE2やHAMなどの他のモデルより劣った
2. 生成モデルが学習に失敗したクラスを明らかにした
3. Inception scoreやFIDはCASと相関がない
ことなどが観測された.
Data Sets or Data Repositories
35
Cold Case: The Lost MNIST Digits
Chhavi Yadav, Léon Bottoux
Abstract
本来のMNISTのテストセットは60K件存在
するが,前処理によって得られた10K件
の画像が現在使われている.この広く用
いられているMNISTデータセットの後処
理のコードは非常に古く,これをそのま
ま用いてもMNISTのテストデータを再現
することはできなかった.これを受けて,
MNISTデータを再現する後処理を探し出
し,データセットの再構築を行った.
36
Contribution & Novelty
現在ロストテクノロジーとなってしまっていたMNISTの前処理の方法を再現し,今まで
使われていなかった50Kのテストデータを新しく加えたQMNISTデータセットを公開し
た.
Links & References
• 論文
• https://github.com/facebookresearch/qmnist
The Cells Out of Sample (COOS) dataset
and benchmarks for measuring out-of-
sample generalization of image
classifiers
Alex Lu, et al.
Abstract
Out-of-samplesに対するモデルの汎化性能
を評価するため,共変量シフトを含むよ
うなデータセットであるCOOS-7(Cells
Out Of Sample 7-Class)を作成した.この
データセットは132,209件のマウスの細胞
データから成り,データの分布が推移す
るような問題設定におけるモデルのロバ
ストネスの評価に使われることを期待す
る.
37
Links & References
• 論文
ObjectNet: A large-scale bias-
controlled dataset for pushing the
limits of object recognition models
Andrei Barbu, et al.
Abstract
背景,角度,撮影視点が完全にランダム
な新しい物体認識用のデータセットであ
るObjectNetを提案.データセットのサイ
ズはImageNetのテストデータと同等の
50,000件で,多くの物体が画像の中央に
位置するImageNetとは異なり意図的に視
点にばらつきを持たせている.
38
Links & References
• 論文
Park: An Open Platform for
Learning-Augmented Computer
Systems
Hongzi Mao, et al.
Abstract
強化学習研究者の実験のためのプラット
フォームであるParkを提案.Parkは12の
最適化問題を含み,それらの全てを一つ
の統一的なインターフェースから扱うこ
とができる.加えて,既存の強化学習ア
ルゴリズムによるParkの12の問題に対す
るパフォーマンスを紹介.
39
Links & References
• 論文
• https://github.com/park-project/park
STREETS: A Novel Camera Network
Dataset for Traffic Flow
Corey Snyder, Minh Do
Abstract
交通流の新しいデータセットを提案.シ
カゴに設置してある定点webカメラの映
像を使って構築した. 既存の交通流デー
タセットの多くには,センサー間の関係
を説明する一貫したグラフデータは存在
しない.これに対して,提案データセッ
トではセンサー間の有向グラフを構築し,
有用性を高めた.
40
Links & References
• 論文
Software Toolkits
41
PyTorch: An Imperative Style, High-
Performance Deep Learning Library
Adam Paszke, Sam Gross, Soumith Chintala, et al.
42
Abstract
使いやすさと実行速度を見事に両立した
Deep Learning FrameworkであるPyTorchの
紹介.Pythonicな記法を採用し,デバッ
グのしやすさや他の科学技術ライブラリ
との一貫性の担保などのアドバンテージ
を持っている.
Links & References
• 論文
• https://pytorch.org/
• https://github.com/pytorch/pytorch
Contribution & Novelty
現在TensorFlowと並んで広く使われているDNNフレームワークであるPyTorchについて,
その設計思想やパフォーマンスに関するレポートをまとめた.
GENO -- GENeric Optimization for Classical
Machine Learning
Soeren Laue, Matthias Mitterreiter, Joachim Giesen
43
Abstract
機械学習の最適化のため,generic solver
とモデリング言語を組み合わせた統一的
な最適化アルゴリズムのフレームワーク
であるGENOを開発.
Links & References
• 論文
• http://www.geno-project.org/
Contribution & Novelty
提案するGENOは,可読性の高いモデリング言語で記述可能な最適化フレームワーク.
既存のツールと比べて,柔軟性,効率性,非凸最適化の対応など総合的な面で優れて
いる.
A Step Toward Quantifying Independently
Reproducible Machine Learning Research
Edward Raff
44
Abstract
機械学習界隈の研究では,コードの公開
が積極的になされているが,それだけで
は再現性の担保には不十分. 本研究では,
1984年から2017年までに発行された255
の論文を手動で実装し,それぞれの特徴
を記録,結果の統計分析を行った.
Links & References
• 論文
Contribution & Novelty
255本にもわたる機械学習関連の論文を全てスクラッチから実装し,再現性に関する分
析を行った.著者実装が公開されている論文についても,バイアスを取り除くために
意図的に参照しないようにした.分析から,
• ここ35年で同分野の論文の再現可能性は大きく変わらない
• 実験系の論文の方が再現可能性が高い
• 疑似コードの有無は再現可能性に影響しない
などがわかった.
Unsupervised Learning
45
Putting An End to End-to-End:
Gradient-Isolated Learning of
Representations
Sindy Löwe, Peter O'Connor, Bastiaan S. Veeling
46
Abstract
ラベル情報やEnd-to-Endな誤差逆伝播の
代わりにデータの自然な順序を活用する
self-supervisedな表現学習の手法を提案.
生物学的なニューラルネットはグローバ
ルなエラー信号を学習に使わないという
観測に基づいて,提案手法ではDNNを勾
配が独立なモジュールの積み重ねとして
表現.
Links & References
• 論文
Contribution & Novelty
Self-supervisedな方法で画像および音の分類タスクにおいて高精度を達成するGreedy
InfoMaxアルゴリズムを提案.
PIDForest: Anomaly Detection via
Partial Identification
Parikshit Gopalan · Vatsal Sharan · Udi Wieder
Abstract
異常検知タスクにおける,幾何学的解釈
性を備えた新しい指標であるPIDScoreを
提案.さらに,PIDScoreに基づいて異常
検知を行うIsoletion Forestベースのアルゴ
リズムであるPIDForestを提案.
47
Links & References
• 論文
• https://github.com/vatsalsharan/pidforest
Contribution & Novelty
Partial ID: 入力データを一意に識別しない集合にペナルティ.
𝑃𝐼𝐷 𝑥, 𝑇 = 𝑎𝑟𝑔𝑚𝑖𝑛 𝑆⊆ 𝑑 𝑆 + 𝑙𝑜𝑔2 𝑦 ∈ 𝑇 𝑠. 𝑡. 𝑥S = 𝑦𝑆
Regression
48
Fast and Accurate Least-Mean-
Squares Solvers
Alaa Maalouf, Ibrahim Jubran, Dan Feldman
49
Abstract
カラテオドリの定理を用いて,従来は
𝑂 𝑛2
𝑑2
だった最小二乗法の厳密解を
𝑂 𝑛𝑑 で求める高速ソルバーを提案.
Links & References
• 論文
• https://github.com/ibramjub/Fast-and-Accurate-Least-Mean-Squares-Solvers
Contribution & Novelty
CoresetsおよびSketchに基づく最小二乗法の厳密解を線形計算量で解く高速ソルバーを
提案した.GitHub上でコードも公開されている.
Adaptive Data Analysis
50
A Meta-Analysis of Overfitting in
Machine Learning
Rebecca Roelofs, Vaishaal Shankar, Benjamin Recht,
Sara Fridovich-Keil, Moritz Hardt, John Miller, Ludwig
Schmidt
51
Abstract
ここ数年間で開催されたKaggleコンペ
ティションを対象に,テストデータの使
い回しに起因する機械学習モデルの過学
習の問題に関する分析を行った.
Links & References
• 論文
Contribution & Novelty
以前から問題視されていたholdoutの使い回しについて,実際に行われた大量のコンペ
ティションを対象に分析を行った.
分析の結果,少なくともKaggleコンペ上ではtest dataに対する過度のoverfitは観測され
なかった.
A Necessary and Sufficient Stability
Notion for Adaptive Generalization
Moshe Shenfeld, Katrina Ligett
52
Abstract
Post-processingとadaptive compositionにお
いて成り立つ計算の安定性に関する新し
い発見を示す.さらにこの安定性は汎化
の保証のための必要十分条件であること
を示す.
Links & References
• 論文
Contribution & Novelty
計算の安定性に関するLocal-Statistically Stable(LSS)について報告.また,このような
安定性を担保するメカニズムは何なのかについて分析した.この種のメカニズムは差
分プライバシーなどの文脈で見られることが多い.
Model Similarity Mitigates Test Set
Overuse
Horia Mania, John Miller, Ludwig Schmidt, Moritz
Hardt, Benjamin Recht
53
Abstract
機械学習の研究分野におけるベンチマー
クデータのテストデータの過剰な使い回
しに関連して,テストデータの寿命につ
いての新しい考察を提供.あるベンチ
マークデータに対して開発される多くの
モデルの出力は非常に似通っており,こ
の類似性が過学習を緩和しているのでは
ないかと考察.
Links & References
• 論文
Contribution & Novelty
モデルの出力の類似性がテストデータへの過学習を緩和しているという仮定を,実験
的および理論的側面からサポート
Optimal Sampling and Clustering in
the Stochastic Block Model
Se-Young Yun, Alexandre Proutiere
54
Abstract
グラフ上で動作するadaptive samplingと
clusteringを組み合わせたアルゴリズムを
提案.提案アルゴリズムはStochastic
Block Model(SBM)ベース.隠れたクラ
スタを抽出するため,エッジ間の相互関
係を適応的にサンプリングする.
Links & References
• 論文
Contribution & Novelty
クラスタリングのための適応的なエッジのサンプリングと得られたサンプルに基づく
クラスタリングアルゴリズムを提案.さらに情報理論に基づいたクラスタの復元率の
upper boundを提供.
Privacy, Anonymity, and Security
55
Adversarial Examples Are Not
Bugs, They Are Features
Andrew Ilyas, Shibani Santurkar, Dimitris Tsipras,
Logan Engstrom, Brandon Tran, Aleksander
Madry
56
Abstract
ニューラルネットの誤識別を誘発する
adversarial examplesは非常に注目を集め
ている一方で,なぜそれが存在するのか
についての分析はほとんどされていない.
この研究では,adversarial examplesが,
頑健でない特徴の存在を直接意味づける
ことを示唆する.
Links & References
• 論文
Contribution & Novelty
Adversarial examplesが頑健でない特徴の存在を意味することを,理論的および実験的側
面から議論.
Computer Vision
57
ETNet: Error Transition Network
for Arbitrary Style Transfer
Chunjin Song, Zhijie Wu, Yang Zhou, Minglun
Gong, Hui Huang
58
Abstract
既存のstyle-transferの手法群は,特に簡
単なケースでしかうまく動作していな
かった. 著者らは,これらのアプローチ
がsingle-shotでの生成を試みているため,
コンテンツ画像の意味的な構造とスタイ
ル画像のスタイルパターンの制約を完全
に満たすことができないためであると考
える.この問題に取り組むETNetを提案.
Links & References
• 論文
• https://github.com/zhijieW94/ETNet
Contribution & Novelty
提案手法であるError Transition Network(ETNet)は,現在の生成結果のどこが間違って
いるのかを自己学習的に認識し修正するモジュールを含む.
Scene Representation Networks:
Continuous 3D-Structure-Aware
Neural Scene Representations
Vincent Sitzmann, Michael Zollhöfer, Gordon
Wetzstein
59
Abstract
多くのgeometric deep learningの手法は明
示的な3Dの教師情報を必要とする.また,
よりモダンなscene representationの手法
は2D画像のみから学習が可能である一方
で,三次元情報を考慮できていないとい
う問題がある.これに対して,シーンを
オブジェクトの世界の座標情報をエン
コードするような連続な関数として表現
するSRNsを提案.
Links & References
• 論文
Contribution & Novelty
End-to-Endで明示的な三次元教師情報なしに学習を行う手法を提案.
Zero-Shot Semantic
Segmentation
Maxime Bucher, Tuan-Hung VU, Matthieu Cord,
Patrick Pérez
60
Abstract
一般的にセマンティックセグメンテー
ションのモデルは大規模なクラス数にス
ケールすることは難しい.これを受けて,
新しいセマンティックセグメンテーショ
ンタスクであるzero shot semantic
segmentation (ZS3)を提案.ZS3タスクでは,
未知のオブジェクトクラスのピクセルの
セグメンテーションを達成することを目
指す.さらに,単語分散表現を活用して
このタスクに取り組むZS3Netを提案し,
ベンチマーク実験の結果を示す.
Links & References
• 論文
Contribution & Novelty
ZS3タスクとそれに取り組むZS3Netを提案.ZS3Netでは単語分散表現から分類の直前の
特徴を出力するようなGeneratorを用いて学習を行う.
DISN: Deep Implicit Surface
Network for High-quality Single-
view 3D Reconstruction
Qiangeng Xu · Weiyue Wang · Duygu Ceylan ·
Radomir Mech · Ulrich Neumann
61
Abstract
二次元画像から精細な三次元メッシュを
復元するDISNを提案. 提案手法は二次元
画像上の各三次元点の投影位置を予測し,
画像特徴マップから局所特徴を抽出する
ことで三次元復元を達成する.
Links & References
• 論文
• https://github.com/laughtervv/DISN
Contribution & Novelty
カメラ位置推定を利用して三次元点を二次元画像上に投影することにより,局所特徴
抽出を行うモジュールを提案し,三次元復元に利用.
DM2C: Deep Mixed-Modal
Clustering
Yangbangyan Jiang, Qianqian Xu, Zhiyong Yang,
Xiaochun Cao, Qingming Huang
62
Abstract
複数モーダルに従うデータのクラスタリ
ングタスクは現実世界で多く存在する.
多くの既存手法は,異なるモーダル同士
のデータのペアが使用できるという強い
仮定を置いている.この論文では,ある
インスタンスはたった一つのモーダルに
属するというmixed-modal dataという問
題設定に取り組む.
Links & References
• 論文
Contribution & Novelty
任意のインスタンスが単一のモーダルに属するmixed-modal dataのクラスタリングにお
いて,各モーダルごとに独立の潜在空間に写像するようなadversarial learningに基づく
手法を提案.
Learning Conditional Deformable
Templates with Convolutional
Networks
Adrian Dalca, Marianne Rakic, John Guttag, Mert
Sabuncu
63
Abstract
Deformable templateの構築のための学習
アルゴリズムの提案.既存の手法の多く
は反復法を採用しているために計算コス
トが非常に問題となっていた.CNNベー
スの提案手法は精度と計算コストを両立.
Links & References
• 論文
Contribution & Novelty
提案手法はMRIの被験者の年齢や性別などのインスタンス属性を指定した条件付き
template関数を学習可能.
Ask not what AI can do, but
what AI should do: Towards a
framework of task delegability
Brian Lubars · Chenhao Tan
64
Abstract
AIモデルが人間の意思決定に介入できる
ための必要な要素として,動機,難しさ,
リスクおよび信頼性を考察.人間の経験
的好みを分析するために,様々な分野か
ら100のタスクを調べた.傾向として,
全てをAIの決定に委ねてしまうような状
況よりも,人間がリードしてタスクを進
めるようなHuman-In-The-Loopの状況設定
が好まれることがわかった.
Links & References
• 論文
Contribution & Novelty
AIによる自動化についての人間が感じる好ましさについての分析.AI研究についての今
後の方向性を決める足がかりになることを目的とした研究.
References
• Diakonikolas, Ilias, Themis Gouleakis, and Christos Tzamos. "Distribution-Independent PAC Learning of Halfspaces with Massart
Noise." Advances in Neural Information Processing Systems. 2019.
• Nagarajan, Vaishnavh, and J. Zico Kolter. "Uniform convergence may be unable to explain generalization in deep learning." Advances in
Neural Information Processing Systems. 2019.
• Uppal, Ananya, Shashank Singh, and Barnabas Poczos. "Nonparametric Density Estimation & Convergence Rates for GANs under Besov IPM
Losses." Advances in Neural Information Processing Systems. 2019.
• Arpit, Devansh, Víctor Campos, and Yoshua Bengio. "How to initialize your network? robust initialization for weightnorm & resnets."
Advances in Neural Information Processing Systems. 2019.
• Lombardo, Salvator, et al. "Deep Generative Video Compression." Advances in Neural Information Processing Systems. 2019.
• Ravuri, Suman, and Oriol Vinyals. "Classification accuracy score for conditional generative models." Advances in Neural Information
Processing Systems. 2019.
• Yadav, Chhavi, and Léon Bottou. "Cold case: The lost mnist digits." Advances in Neural Information Processing Systems. 2019.
• Lu, Alex, et al. "The Cells Out of Sample (COOS) dataset and benchmarks for measuring out-of-sample generalization of image classifiers."
Advances in Neural Information Processing Systems. 2019.
• Barbu, Andrei, et al. "ObjectNet: A large-scale bias-controlled dataset for pushing the limits of object recognition models." Advances in
Neural Information Processing Systems. 2019.
• Mao, Hongzi, et al. "Park: An Open Platform for Learning-Augmented Computer Systems." Advances in Neural Information Processing
Systems. 2019.
• Snyder, Corey, and Minh Do. "STREETS: A Novel Camera Network Dataset for Traffic Flow." Advances in Neural Information Processing
Systems. 2019.
• Paszke, Adam, et al. "PyTorch: An imperative style, high-performance deep learning library." Advances in Neural Information Processing
Systems. 2019.
• Laue, Sören, Matthias Mitterreiter, and Joachim Giesen. "GENO--GENeric Optimization for Classical Machine Learning." Advances in Neural
Information Processing Systems. 2019.
• Raff, Edward. "A Step Toward Quantifying Independently Reproducible Machine Learning Research." Advances in Neural Information
Processing Systems. 2019.
65
References
• Löwe, Sindy, Peter O'Connor, and Bastiaan Veeling. "Putting An End to End-to-End: Gradient-Isolated Learning of Representations."
Advances in Neural Information Processing Systems. 2019.
• Gopalan, Parikshit, Vatsal Sharan, and Udi Wieder. "Pidforest: anomaly detection via partial identification." Advances in Neural Information
Processing Systems. 2019.
• Maalouf, Alaa, Ibrahim Jubran, and Dan Feldman. "Fast and accurate least-mean-squares solvers." Advances in Neural Information
Processing Systems. 2019.
• Roelofs, Rebecca, et al. "A Meta-Analysis of Overfitting in Machine Learning." Advances in Neural Information Processing Systems. 2019.
• Ligett, Katrina, and Moshe Shenfeld. "A necessary and sufficient stability notion for adaptive generalization dvances in Neural Information
Processing Systems. 2019.
• Mania, Horia, et al. "Model similarity mitigates test set overuse." Advances in Neural Information Processing Systems. 2019.
• Yun, Se-Young, and Alexandre Proutiere. "Optimal Sampling and Clustering in the Stochastic Block Model." Advances in Neural Information
Processing Systems. 2019.
• Ilyas, Andrew, et al. "Adversarial examples are not bugs, they are features." Advances in Neural Information Processing Systems. 2019.
• Song, Chunjin, et al. "ETNet: Error Transition Network for Arbitrary Style Transfer." Advances in Neural Information Processing Systems.
2019.
• Sitzmann, Vincent, Michael Zollhöfer, and Gordon Wetzstein. "Scene representation networks: Continuous 3D-structure-aware neural
scene representations." Advances in Neural Information Processing Systems. 2019.
• Bucher, Maxime, et al. "Zero-Shot Semantic Segmentation." Advances in Neural Information Processing Systems. 2019.
• Xu, Qiangeng, et al. "Disn: Deep implicit surface network for high-quality single-view 3d reconstruction." Advances in Neural Information
Processing Systems. 2019.
• Jiang, Yangbangyan, et al. "DM2C: Deep Mixed-Modal Clustering." Advances in Neural Information Processing Systems. 2019.
• Dalca, Adrian, et al. "Learning conditional deformable templates with convolutional networks." Advances in neural information processing
systems. 2019.
• Lubars, Brian, and Chenhao Tan. "Ask not what AI can do, but what AI should do: Towards a framework of task delegability." Advances in
Neural Information Processing Systems. 2019.
66

NeurIPS2019参加報告

  • 1.
  • 2.
    NeurIPS2019に参加してきたので参加報告 • Thirty-third Conferenceon Neural Information Processing Systems • Vancouver Convention Center, Vancouver CANADA Schedule • NeurIPS EXPO DEC 8th • TUTORIALS DEC 9th • CONFERENCE & DEMONSTRATIONS DEC 10th - 12th • WORKSHOPS & COMPETITIONS DEC 13th - 14th 2 NeurIPS2019参加報告
  • 3.
  • 4.
    Vancouver CANADA • 海辺でなかなか良かった •かなり寒いと思ったけど予想より大丈夫 だった • (息するたびに喉が凍るとかはなかった) 4
  • 5.
  • 6.
    • 参加人数はかなり飽和 • ポスターセッションは地獄 •今後はオンライン参加の割合 が増えていきそう 6 会場は激混み
  • 7.
    Stats of NeurIPS2019 7 •Acceptance rateは維持 • 一番多くの論文を通してるのはGoogle • 次いでMIT, Stanford • 一番多くの採択論文に名前を連ねているのは Sergey Levineで12本
  • 8.
  • 9.
    Trends from NeurIPS2019 • DNNsのブラックボックス性 •機械学習の公平性(Fairness) • プライバシーを担保した機械学習 • Adversarial Examples 9
  • 10.
    DNNsのブラックボックス性 10 ディープニューラルネットワークに解釈性を求める動き • DNNsの判断根拠 • 内部の仕組み •学習がうまくいかないケースの分析など 分野として成熟して,社会的な応用に向いてきている証拠?
  • 11.
  • 12.
  • 13.
  • 14.
  • 15.
    Multi-modal Research To Production FacebookAI Research (FAIR)による Multi-modal ResearchのためのOSS ライブラリの紹介. • PyTorch • Detectron2 • FAIRSEQ • Object Detection & Segmentationのための拡張性 の高いフレームワーク. • タスクに応じて様々なカスタマイズが容 易にできるようになっている • PyTorchベースのSeq2Seqライブラリ • Language Modeling, Speech Recognition, Neural Machine Translation etc. 15
  • 16.
    Responsible and Reproducible AI •Responsibility: • コードベースの標準化,ハードウェアに依存 しない実装の公開 • Interpretability: • 機械学習アルゴリズムの理解のモデル化 • Private AI: • differential privacy 16 • 簡単にモデルの再配布を行うためのプラットフォーム • ワンライナーでpretrainedモデルを使える • 機械学習モデルのコード統一的な書き方をするための薄いラッパー • 機械学習モデルの解釈性のためのライブラリ • 重要な特徴量の可視化などが簡単にできる • 入出力のテンソル&モデルを暗号化できる. • 暗号後テンソルの基本演算や微分も可能
  • 17.
  • 18.
    Deep Learning withBayesian Principles • Deep Learning+ベイズのチュートリアル. • ベイジアンと深層学習の研究者の橋渡し をして,両者の強みを組み合わせることで より難しい問題を解決するために協力する 意欲を高めることが目的.
  • 19.
    Interpretable Comparison of Distributionsand Models • モデルおよび分布同士の評価を行うため の,ノンパラメトリックな手法についての チュートリアル • Wasserstein distances • The Maximum Mean Discrepancy • 𝜙-divergence
  • 20.
    Representation Learning and Fairness •表現学習と公平性のチュートリアル • 意思決定の発生するタスクへの機械学 習の適用においては,モデルのバイア スと公平性についての議論が常に必要 • 特に,入出力から潜在表現を獲得する 表現学習と公平性について議論
  • 21.
  • 22.
  • 23.
    NeurIPS2019 Paper Awards 23 Outstanding PaperAwards • Distribution-Independent PAC Learning of Halfspaces with Massart Noise Outstanding New Directions Paper Awards • Uniform convergence may be unable to explain generalization in deep learning • Fast and Accurate Least-Mean-Squares Solvers Honorable Mention Outstanding New Directions Paper Award • Putting An End to End-to-End: Gradient-Isolated Learning of Representations • Scene Representation Networks: Continuous 3D-Structure- Aware Neural Scene Representations Test of Time Award • Dual Averaging Method for Regularized Stochastic Learning and Online Optimization
  • 24.
    Categories 24 Data, Challenges, Implementations,and Software • Data Sets or Data Repositories • Software Toolkits • Benchmarks • Virtual Environments Applications • Privacy, Anonymity, and Security • Computer Vision Theory • Learning Theory • Spaces of Functions and Kernels Deep Learning • Optimization for Deep Networks • Generative Models Algorithms • Unsupervised Learning • Regression • Adaptive Data Analysis
  • 25.
  • 26.
    Distribution-Independent PAC Learning ofHalfspaces with Massart Noise Ilias Diakonikolas,Themis Gouleakis,Christos Tzamos Abstract 学習データに未知の境界ラベルノイズが 存在する場合の2値分類の線形閾値関数 の学習に関する研究.このようなケース における学習に関する,長年にわたる基 本的な未解決問題を,効率的なアルゴリ ズムの提案によって解決する. 26 Contribution & Novelty Theorem(Main Result):全ての0 < 𝜂/2について,未知の半空間𝑓をとるような分布 𝐷 = 𝐸𝑋 𝑀𝑎𝑠 (𝑓, 𝐷 𝑥,, 𝜂)からのi.i.d.なサンプルを入力として,𝑃𝑟 𝑥,𝑦 ~𝐷 ℎ 𝑥 ≠ 𝑦 ≤ 𝜂 + 𝜖 を達成するようなhypothesis ℎを出力する多項式時間アルゴリズムが存在する. Links & References .論文
  • 27.
    Uniform convergence maybe unable to explain generalization in deep learning Vaishnavh Nagarajan, J. Zico Kolter Abstract モデルの汎化の振る舞いについての研究 では,学習データと未知データとのエ ラーの乖離のupper boundを考える.この boundには何らかのモデルの複雑さに関 する項が含まれ,近年の手法の多くはこ れについてuniform convergenceに基づい たboundを導出していた.本研究では uniform convergenceそれ自体に関する分 析に立ち返り,uniform convergenceに基 づくboundではDNNsの汎化の振る舞いを 説明しきれないことを示唆する. 27 Links & References .論文 Contribution & Novelty 近年のモデルの汎化に関する研究で広く使われているuniform convergence boundsが不 十分であることを指摘.また,既存の多くのuniform convergenceに基づいたboundが破 綻するケースの存在を指摘し,その例を示した.
  • 28.
    Spaces of Functionsand Kernels 28
  • 29.
    Nonparametric Density Estimation &Convergence Rates for GANs under Besov IPM Losses Ananya Uppal, Shashank Singh, Barnabas Poczos 29 Abstract Besov IPMsと呼ばれる損失関数群の下で のノンパラメトリックな確率密度の推定 に関する研究. Links & References • 論文 Contribution & Novelty どのような損失関数の選択が適切なのかを決定するためのバウンドおよびIPMsが Generative Adversarial Networksを定式化できることに基づいたGANのエラーのバウンド を示す.
  • 30.
  • 31.
    How to Initializeyour Network? Robust Initialization for WeightNorm & ResNets Devansh Arpit, Víctor Campos, Yoshua Bengio 31 Abstract ResNetタイプのアーキテクチャおよび重 みが正規化されたネットワークの重み初 期化に焦点を当てた研究.既存の研究で は,ResNetのアーキテクチャで見られる ショートカットのメカニズムを無視して 重みの初期化の議論が行われていた.こ れについて考慮した新しい重み初期化の 手法を提案. Links & References • 論文 Contribution & Novelty 理論的な裏付けに基づいた,重みが正規化されたニューラルネットワークの重み初期 化の手法を提案.
  • 32.
  • 33.
    Deep Generative Video Compression SalvatorLombardo, JUN HAN, Christopher Schroers, Stephan Mandt 33 Abstract ニューラルネットワークによる生成モデ ルは画像の圧縮タスクでは高いパフォー マンスを達成している一方で,動画の圧 縮に関してはまだ改善の余地が大きい. 本研究では,VAEベースの動画圧縮手法 を提案. Links & References • 論文
  • 34.
    Classification Accuracy Scorefor Conditional Generative Models Suman Ravuri, Oriol Vinyals 34 Abstract 現時点でDeep Generative Modelの画像生 成能力は,本物らしく見えるという点で 成熟したと言える.この成果は,深層生 成モデルがデータの分布を知覚的に意味 のある形で学習しているためと考えられ る.本研究では,条件付き生成モデルで 分類器の学習に生成データのみを使った 際の分類精度に注目し,いくつかの実験 結果を示す. Links & References • 論文 Contribution & Novelty 生成データのみで学習した条件付き生成モデルの分類器の分類精度(CAS)への分析から, 1. SOTAなBigGANの分類精度がVQVAE2やHAMなどの他のモデルより劣った 2. 生成モデルが学習に失敗したクラスを明らかにした 3. Inception scoreやFIDはCASと相関がない ことなどが観測された.
  • 35.
    Data Sets orData Repositories 35
  • 36.
    Cold Case: TheLost MNIST Digits Chhavi Yadav, Léon Bottoux Abstract 本来のMNISTのテストセットは60K件存在 するが,前処理によって得られた10K件 の画像が現在使われている.この広く用 いられているMNISTデータセットの後処 理のコードは非常に古く,これをそのま ま用いてもMNISTのテストデータを再現 することはできなかった.これを受けて, MNISTデータを再現する後処理を探し出 し,データセットの再構築を行った. 36 Contribution & Novelty 現在ロストテクノロジーとなってしまっていたMNISTの前処理の方法を再現し,今まで 使われていなかった50Kのテストデータを新しく加えたQMNISTデータセットを公開し た. Links & References • 論文 • https://github.com/facebookresearch/qmnist
  • 37.
    The Cells Outof Sample (COOS) dataset and benchmarks for measuring out-of- sample generalization of image classifiers Alex Lu, et al. Abstract Out-of-samplesに対するモデルの汎化性能 を評価するため,共変量シフトを含むよ うなデータセットであるCOOS-7(Cells Out Of Sample 7-Class)を作成した.この データセットは132,209件のマウスの細胞 データから成り,データの分布が推移す るような問題設定におけるモデルのロバ ストネスの評価に使われることを期待す る. 37 Links & References • 論文
  • 38.
    ObjectNet: A large-scalebias- controlled dataset for pushing the limits of object recognition models Andrei Barbu, et al. Abstract 背景,角度,撮影視点が完全にランダム な新しい物体認識用のデータセットであ るObjectNetを提案.データセットのサイ ズはImageNetのテストデータと同等の 50,000件で,多くの物体が画像の中央に 位置するImageNetとは異なり意図的に視 点にばらつきを持たせている. 38 Links & References • 論文
  • 39.
    Park: An OpenPlatform for Learning-Augmented Computer Systems Hongzi Mao, et al. Abstract 強化学習研究者の実験のためのプラット フォームであるParkを提案.Parkは12の 最適化問題を含み,それらの全てを一つ の統一的なインターフェースから扱うこ とができる.加えて,既存の強化学習ア ルゴリズムによるParkの12の問題に対す るパフォーマンスを紹介. 39 Links & References • 論文 • https://github.com/park-project/park
  • 40.
    STREETS: A NovelCamera Network Dataset for Traffic Flow Corey Snyder, Minh Do Abstract 交通流の新しいデータセットを提案.シ カゴに設置してある定点webカメラの映 像を使って構築した. 既存の交通流デー タセットの多くには,センサー間の関係 を説明する一貫したグラフデータは存在 しない.これに対して,提案データセッ トではセンサー間の有向グラフを構築し, 有用性を高めた. 40 Links & References • 論文
  • 41.
  • 42.
    PyTorch: An ImperativeStyle, High- Performance Deep Learning Library Adam Paszke, Sam Gross, Soumith Chintala, et al. 42 Abstract 使いやすさと実行速度を見事に両立した Deep Learning FrameworkであるPyTorchの 紹介.Pythonicな記法を採用し,デバッ グのしやすさや他の科学技術ライブラリ との一貫性の担保などのアドバンテージ を持っている. Links & References • 論文 • https://pytorch.org/ • https://github.com/pytorch/pytorch Contribution & Novelty 現在TensorFlowと並んで広く使われているDNNフレームワークであるPyTorchについて, その設計思想やパフォーマンスに関するレポートをまとめた.
  • 43.
    GENO -- GENericOptimization for Classical Machine Learning Soeren Laue, Matthias Mitterreiter, Joachim Giesen 43 Abstract 機械学習の最適化のため,generic solver とモデリング言語を組み合わせた統一的 な最適化アルゴリズムのフレームワーク であるGENOを開発. Links & References • 論文 • http://www.geno-project.org/ Contribution & Novelty 提案するGENOは,可読性の高いモデリング言語で記述可能な最適化フレームワーク. 既存のツールと比べて,柔軟性,効率性,非凸最適化の対応など総合的な面で優れて いる.
  • 44.
    A Step TowardQuantifying Independently Reproducible Machine Learning Research Edward Raff 44 Abstract 機械学習界隈の研究では,コードの公開 が積極的になされているが,それだけで は再現性の担保には不十分. 本研究では, 1984年から2017年までに発行された255 の論文を手動で実装し,それぞれの特徴 を記録,結果の統計分析を行った. Links & References • 論文 Contribution & Novelty 255本にもわたる機械学習関連の論文を全てスクラッチから実装し,再現性に関する分 析を行った.著者実装が公開されている論文についても,バイアスを取り除くために 意図的に参照しないようにした.分析から, • ここ35年で同分野の論文の再現可能性は大きく変わらない • 実験系の論文の方が再現可能性が高い • 疑似コードの有無は再現可能性に影響しない などがわかった.
  • 45.
  • 46.
    Putting An Endto End-to-End: Gradient-Isolated Learning of Representations Sindy Löwe, Peter O'Connor, Bastiaan S. Veeling 46 Abstract ラベル情報やEnd-to-Endな誤差逆伝播の 代わりにデータの自然な順序を活用する self-supervisedな表現学習の手法を提案. 生物学的なニューラルネットはグローバ ルなエラー信号を学習に使わないという 観測に基づいて,提案手法ではDNNを勾 配が独立なモジュールの積み重ねとして 表現. Links & References • 論文 Contribution & Novelty Self-supervisedな方法で画像および音の分類タスクにおいて高精度を達成するGreedy InfoMaxアルゴリズムを提案.
  • 47.
    PIDForest: Anomaly Detectionvia Partial Identification Parikshit Gopalan · Vatsal Sharan · Udi Wieder Abstract 異常検知タスクにおける,幾何学的解釈 性を備えた新しい指標であるPIDScoreを 提案.さらに,PIDScoreに基づいて異常 検知を行うIsoletion Forestベースのアルゴ リズムであるPIDForestを提案. 47 Links & References • 論文 • https://github.com/vatsalsharan/pidforest Contribution & Novelty Partial ID: 入力データを一意に識別しない集合にペナルティ. 𝑃𝐼𝐷 𝑥, 𝑇 = 𝑎𝑟𝑔𝑚𝑖𝑛 𝑆⊆ 𝑑 𝑆 + 𝑙𝑜𝑔2 𝑦 ∈ 𝑇 𝑠. 𝑡. 𝑥S = 𝑦𝑆
  • 48.
  • 49.
    Fast and AccurateLeast-Mean- Squares Solvers Alaa Maalouf, Ibrahim Jubran, Dan Feldman 49 Abstract カラテオドリの定理を用いて,従来は 𝑂 𝑛2 𝑑2 だった最小二乗法の厳密解を 𝑂 𝑛𝑑 で求める高速ソルバーを提案. Links & References • 論文 • https://github.com/ibramjub/Fast-and-Accurate-Least-Mean-Squares-Solvers Contribution & Novelty CoresetsおよびSketchに基づく最小二乗法の厳密解を線形計算量で解く高速ソルバーを 提案した.GitHub上でコードも公開されている.
  • 50.
  • 51.
    A Meta-Analysis ofOverfitting in Machine Learning Rebecca Roelofs, Vaishaal Shankar, Benjamin Recht, Sara Fridovich-Keil, Moritz Hardt, John Miller, Ludwig Schmidt 51 Abstract ここ数年間で開催されたKaggleコンペ ティションを対象に,テストデータの使 い回しに起因する機械学習モデルの過学 習の問題に関する分析を行った. Links & References • 論文 Contribution & Novelty 以前から問題視されていたholdoutの使い回しについて,実際に行われた大量のコンペ ティションを対象に分析を行った. 分析の結果,少なくともKaggleコンペ上ではtest dataに対する過度のoverfitは観測され なかった.
  • 52.
    A Necessary andSufficient Stability Notion for Adaptive Generalization Moshe Shenfeld, Katrina Ligett 52 Abstract Post-processingとadaptive compositionにお いて成り立つ計算の安定性に関する新し い発見を示す.さらにこの安定性は汎化 の保証のための必要十分条件であること を示す. Links & References • 論文 Contribution & Novelty 計算の安定性に関するLocal-Statistically Stable(LSS)について報告.また,このような 安定性を担保するメカニズムは何なのかについて分析した.この種のメカニズムは差 分プライバシーなどの文脈で見られることが多い.
  • 53.
    Model Similarity MitigatesTest Set Overuse Horia Mania, John Miller, Ludwig Schmidt, Moritz Hardt, Benjamin Recht 53 Abstract 機械学習の研究分野におけるベンチマー クデータのテストデータの過剰な使い回 しに関連して,テストデータの寿命につ いての新しい考察を提供.あるベンチ マークデータに対して開発される多くの モデルの出力は非常に似通っており,こ の類似性が過学習を緩和しているのでは ないかと考察. Links & References • 論文 Contribution & Novelty モデルの出力の類似性がテストデータへの過学習を緩和しているという仮定を,実験 的および理論的側面からサポート
  • 54.
    Optimal Sampling andClustering in the Stochastic Block Model Se-Young Yun, Alexandre Proutiere 54 Abstract グラフ上で動作するadaptive samplingと clusteringを組み合わせたアルゴリズムを 提案.提案アルゴリズムはStochastic Block Model(SBM)ベース.隠れたクラ スタを抽出するため,エッジ間の相互関 係を適応的にサンプリングする. Links & References • 論文 Contribution & Novelty クラスタリングのための適応的なエッジのサンプリングと得られたサンプルに基づく クラスタリングアルゴリズムを提案.さらに情報理論に基づいたクラスタの復元率の upper boundを提供.
  • 55.
  • 56.
    Adversarial Examples AreNot Bugs, They Are Features Andrew Ilyas, Shibani Santurkar, Dimitris Tsipras, Logan Engstrom, Brandon Tran, Aleksander Madry 56 Abstract ニューラルネットの誤識別を誘発する adversarial examplesは非常に注目を集め ている一方で,なぜそれが存在するのか についての分析はほとんどされていない. この研究では,adversarial examplesが, 頑健でない特徴の存在を直接意味づける ことを示唆する. Links & References • 論文 Contribution & Novelty Adversarial examplesが頑健でない特徴の存在を意味することを,理論的および実験的側 面から議論.
  • 57.
  • 58.
    ETNet: Error TransitionNetwork for Arbitrary Style Transfer Chunjin Song, Zhijie Wu, Yang Zhou, Minglun Gong, Hui Huang 58 Abstract 既存のstyle-transferの手法群は,特に簡 単なケースでしかうまく動作していな かった. 著者らは,これらのアプローチ がsingle-shotでの生成を試みているため, コンテンツ画像の意味的な構造とスタイ ル画像のスタイルパターンの制約を完全 に満たすことができないためであると考 える.この問題に取り組むETNetを提案. Links & References • 論文 • https://github.com/zhijieW94/ETNet Contribution & Novelty 提案手法であるError Transition Network(ETNet)は,現在の生成結果のどこが間違って いるのかを自己学習的に認識し修正するモジュールを含む.
  • 59.
    Scene Representation Networks: Continuous3D-Structure-Aware Neural Scene Representations Vincent Sitzmann, Michael Zollhöfer, Gordon Wetzstein 59 Abstract 多くのgeometric deep learningの手法は明 示的な3Dの教師情報を必要とする.また, よりモダンなscene representationの手法 は2D画像のみから学習が可能である一方 で,三次元情報を考慮できていないとい う問題がある.これに対して,シーンを オブジェクトの世界の座標情報をエン コードするような連続な関数として表現 するSRNsを提案. Links & References • 論文 Contribution & Novelty End-to-Endで明示的な三次元教師情報なしに学習を行う手法を提案.
  • 60.
    Zero-Shot Semantic Segmentation Maxime Bucher,Tuan-Hung VU, Matthieu Cord, Patrick Pérez 60 Abstract 一般的にセマンティックセグメンテー ションのモデルは大規模なクラス数にス ケールすることは難しい.これを受けて, 新しいセマンティックセグメンテーショ ンタスクであるzero shot semantic segmentation (ZS3)を提案.ZS3タスクでは, 未知のオブジェクトクラスのピクセルの セグメンテーションを達成することを目 指す.さらに,単語分散表現を活用して このタスクに取り組むZS3Netを提案し, ベンチマーク実験の結果を示す. Links & References • 論文 Contribution & Novelty ZS3タスクとそれに取り組むZS3Netを提案.ZS3Netでは単語分散表現から分類の直前の 特徴を出力するようなGeneratorを用いて学習を行う.
  • 61.
    DISN: Deep ImplicitSurface Network for High-quality Single- view 3D Reconstruction Qiangeng Xu · Weiyue Wang · Duygu Ceylan · Radomir Mech · Ulrich Neumann 61 Abstract 二次元画像から精細な三次元メッシュを 復元するDISNを提案. 提案手法は二次元 画像上の各三次元点の投影位置を予測し, 画像特徴マップから局所特徴を抽出する ことで三次元復元を達成する. Links & References • 論文 • https://github.com/laughtervv/DISN Contribution & Novelty カメラ位置推定を利用して三次元点を二次元画像上に投影することにより,局所特徴 抽出を行うモジュールを提案し,三次元復元に利用.
  • 62.
    DM2C: Deep Mixed-Modal Clustering YangbangyanJiang, Qianqian Xu, Zhiyong Yang, Xiaochun Cao, Qingming Huang 62 Abstract 複数モーダルに従うデータのクラスタリ ングタスクは現実世界で多く存在する. 多くの既存手法は,異なるモーダル同士 のデータのペアが使用できるという強い 仮定を置いている.この論文では,ある インスタンスはたった一つのモーダルに 属するというmixed-modal dataという問 題設定に取り組む. Links & References • 論文 Contribution & Novelty 任意のインスタンスが単一のモーダルに属するmixed-modal dataのクラスタリングにお いて,各モーダルごとに独立の潜在空間に写像するようなadversarial learningに基づく 手法を提案.
  • 63.
    Learning Conditional Deformable Templateswith Convolutional Networks Adrian Dalca, Marianne Rakic, John Guttag, Mert Sabuncu 63 Abstract Deformable templateの構築のための学習 アルゴリズムの提案.既存の手法の多く は反復法を採用しているために計算コス トが非常に問題となっていた.CNNベー スの提案手法は精度と計算コストを両立. Links & References • 論文 Contribution & Novelty 提案手法はMRIの被験者の年齢や性別などのインスタンス属性を指定した条件付き template関数を学習可能.
  • 64.
    Ask not whatAI can do, but what AI should do: Towards a framework of task delegability Brian Lubars · Chenhao Tan 64 Abstract AIモデルが人間の意思決定に介入できる ための必要な要素として,動機,難しさ, リスクおよび信頼性を考察.人間の経験 的好みを分析するために,様々な分野か ら100のタスクを調べた.傾向として, 全てをAIの決定に委ねてしまうような状 況よりも,人間がリードしてタスクを進 めるようなHuman-In-The-Loopの状況設定 が好まれることがわかった. Links & References • 論文 Contribution & Novelty AIによる自動化についての人間が感じる好ましさについての分析.AI研究についての今 後の方向性を決める足がかりになることを目的とした研究.
  • 65.
    References • Diakonikolas, Ilias,Themis Gouleakis, and Christos Tzamos. "Distribution-Independent PAC Learning of Halfspaces with Massart Noise." Advances in Neural Information Processing Systems. 2019. • Nagarajan, Vaishnavh, and J. Zico Kolter. "Uniform convergence may be unable to explain generalization in deep learning." Advances in Neural Information Processing Systems. 2019. • Uppal, Ananya, Shashank Singh, and Barnabas Poczos. "Nonparametric Density Estimation & Convergence Rates for GANs under Besov IPM Losses." Advances in Neural Information Processing Systems. 2019. • Arpit, Devansh, Víctor Campos, and Yoshua Bengio. "How to initialize your network? robust initialization for weightnorm & resnets." Advances in Neural Information Processing Systems. 2019. • Lombardo, Salvator, et al. "Deep Generative Video Compression." Advances in Neural Information Processing Systems. 2019. • Ravuri, Suman, and Oriol Vinyals. "Classification accuracy score for conditional generative models." Advances in Neural Information Processing Systems. 2019. • Yadav, Chhavi, and Léon Bottou. "Cold case: The lost mnist digits." Advances in Neural Information Processing Systems. 2019. • Lu, Alex, et al. "The Cells Out of Sample (COOS) dataset and benchmarks for measuring out-of-sample generalization of image classifiers." Advances in Neural Information Processing Systems. 2019. • Barbu, Andrei, et al. "ObjectNet: A large-scale bias-controlled dataset for pushing the limits of object recognition models." Advances in Neural Information Processing Systems. 2019. • Mao, Hongzi, et al. "Park: An Open Platform for Learning-Augmented Computer Systems." Advances in Neural Information Processing Systems. 2019. • Snyder, Corey, and Minh Do. "STREETS: A Novel Camera Network Dataset for Traffic Flow." Advances in Neural Information Processing Systems. 2019. • Paszke, Adam, et al. "PyTorch: An imperative style, high-performance deep learning library." Advances in Neural Information Processing Systems. 2019. • Laue, Sören, Matthias Mitterreiter, and Joachim Giesen. "GENO--GENeric Optimization for Classical Machine Learning." Advances in Neural Information Processing Systems. 2019. • Raff, Edward. "A Step Toward Quantifying Independently Reproducible Machine Learning Research." Advances in Neural Information Processing Systems. 2019. 65
  • 66.
    References • Löwe, Sindy,Peter O'Connor, and Bastiaan Veeling. "Putting An End to End-to-End: Gradient-Isolated Learning of Representations." Advances in Neural Information Processing Systems. 2019. • Gopalan, Parikshit, Vatsal Sharan, and Udi Wieder. "Pidforest: anomaly detection via partial identification." Advances in Neural Information Processing Systems. 2019. • Maalouf, Alaa, Ibrahim Jubran, and Dan Feldman. "Fast and accurate least-mean-squares solvers." Advances in Neural Information Processing Systems. 2019. • Roelofs, Rebecca, et al. "A Meta-Analysis of Overfitting in Machine Learning." Advances in Neural Information Processing Systems. 2019. • Ligett, Katrina, and Moshe Shenfeld. "A necessary and sufficient stability notion for adaptive generalization dvances in Neural Information Processing Systems. 2019. • Mania, Horia, et al. "Model similarity mitigates test set overuse." Advances in Neural Information Processing Systems. 2019. • Yun, Se-Young, and Alexandre Proutiere. "Optimal Sampling and Clustering in the Stochastic Block Model." Advances in Neural Information Processing Systems. 2019. • Ilyas, Andrew, et al. "Adversarial examples are not bugs, they are features." Advances in Neural Information Processing Systems. 2019. • Song, Chunjin, et al. "ETNet: Error Transition Network for Arbitrary Style Transfer." Advances in Neural Information Processing Systems. 2019. • Sitzmann, Vincent, Michael Zollhöfer, and Gordon Wetzstein. "Scene representation networks: Continuous 3D-structure-aware neural scene representations." Advances in Neural Information Processing Systems. 2019. • Bucher, Maxime, et al. "Zero-Shot Semantic Segmentation." Advances in Neural Information Processing Systems. 2019. • Xu, Qiangeng, et al. "Disn: Deep implicit surface network for high-quality single-view 3d reconstruction." Advances in Neural Information Processing Systems. 2019. • Jiang, Yangbangyan, et al. "DM2C: Deep Mixed-Modal Clustering." Advances in Neural Information Processing Systems. 2019. • Dalca, Adrian, et al. "Learning conditional deformable templates with convolutional networks." Advances in neural information processing systems. 2019. • Lubars, Brian, and Chenhao Tan. "Ask not what AI can do, but what AI should do: Towards a framework of task delegability." Advances in Neural Information Processing Systems. 2019. 66