ALBERT 社内勉強会 2018/11/15

1. Dataset Distillation
Deep Learning 論文読み会
2018/11/15
山内隆太郎

2. 書誌情報
• 著者：不明
• ICLR2019 提出済み
• 査読中(https://openreview.net/forum?id=Sy4lojC9tm)
• 採択されるかは微妙なところ

3. Dataset Distillation

4. Dataset Distillation
• データセットを少数の画像に蒸留(distill)する
• 蒸留データセットを使って学習させるとオリジナルデータセッ
トを使った場合に近い精度が出る
• 例) MNIST + LeNet
オリジナル（60,000枚）：99%
蒸留データ（10枚） ：94%
• 蒸留データセットでの学習は数ステップで収束

5. Method

6. Experiments
以下の二通りの設定で実験している
1. ネットワークの初期値を固定
• MNIST ：12.9% → 93.76%（全データ使うと99%）
• CIFAR10：8.82% → 54.03%（全データ使うと80%）
2. ネットワークの初期値を分布pからランダムサンプリング
• MNIST ： 77.28% ± 4.45%
• CIFAR10： 36.79% ± 1.18%

7. Distilled Images

8. Distilled Images

9. まだちゃんと読めてないところ
• §3.3の理論的解析
• §3.4の複数step, 複数epochへの拡張

10. 疑問
• 蒸留データセットはNNのパラメタ𝜃∗を含んでいるのでは？
• LeNetのパラメタ数は約6万、28*28*10=7,840なので、対称性とか考
えるとあり得る気がする
• あるNNを使って作った蒸留データを別のアーキテクチャのNN
の学習に使うとどうなるか？

11. 感想
• データセットをOptimizeするという発想は新しい
• データ・重み・特徴表現の区別はしょせん恣意的なものなので、これ
らの垣根を超える研究は今後増えてくると思われる
• Dynamic Convolution というテクニックがすでにある（convolution の kernel を
ニューラルネットで生成）
• https://openreview.net/forum?id=SkVhlh09tX
• 蒸留データを解析することでなにか新しいことがわかるかも？
• 直接の応用先はいまのところそんなになさそう
• Fast Domain Adaptation
• Fast Data Poisoning Attack
などを提案してる。