Recommended
More Related Content
What's hot
What's hot (20)
Similar to ICLR2020読み会 Stable Rank Normalization
Similar to ICLR2020読み会 Stable Rank Normalization (20)
ICLR2020読み会 Stable Rank Normalization
- 1. ICLR2020読み会 2020/05/17 1. Stable Rank Normalization for Improved Generalization in Neural Networks and GANs 1
- 2. Stable Rank Normalization for Improved Generalization in Neural Networks and GANs Amartya Sanyal, Philip H.S. Torr, Puneet K. Dokania Ratings : 6 8 8 (Spotlight) 汎化誤差上界に重みの(スペクトルノルム)×(安定ランク)がでてくる 安定ランクを⼀定に抑えるStable Rank Normalizationを提案 画像認識、GANで汎化性能向上を確認 2
- 3. ⽬次 1. Lipschitz性(スペクトルノルム)の復習 2. margin-based な汎化誤差の上界 3. Stable Rank Normalizationの定義、アルゴリズム 4. 実験 3
- 4. 事前準備 - Lipschitzness のとき はLipschitz 関数の「複雑さ」を表している( が⼤きいほど摂動に敏感) Neural Networkの場合 :ReLUなら なのでスペクトルノルムの積以下 f : R →n Rm ∃L > 0, ∣∣f(x) − f(y)∣∣ ≤ L∣∣x − y∣∣ f L L(f ∘ g) ≤ L(f)λ(g) f = σ (A σ (A ⋯ σ (A x) ⋯ ))L L L−1 L−1 1 1 L(f) ≤ L(σ )∣∣A ∣∣∏i=1 L i i 2 σi L(σ) = 1 4
- 5. Lipschitznessと学習性能 (訓練誤差が低いまま)Lipschitz定数を下げると、 汎化誤差が下がる 正則化 (Yoshida,Miyato'17, Gouk+'18) 敵対例への頑健性が向上する Parseval Networks (Cisse+'17, ICML) (GANの識別機に適⽤すると)学習がうまくいく SN-GAN(Miyato+'18, ICLR) Remark : ReLU networkでパラメータの正の定数倍を考えると… Lipschitz定数は⼤きくなるが、予測は不変 5
- 6. NNの汎化誤差 ニューラルネットの汎化誤差 直接求められないので上界を出したい 1990年代からずっと研究されている margin-based approach 予測器のmarginが⼤きいほどtightな上界 (とはいえ実⽤的には全然緩い) フレームワーク PAC-Bayes [Neyshabur+'18] Rademacher complexity, VC次元, covering number [Bartlett+'17] 6
- 7. Spectrally-normalized margin bounds for neural networks[Bartlett+'17] Lipschitz性とexcess risk(= テスト誤差-訓練誤差)に相関関係 ( -normとかだとそうはならない) ⼀⽅でriskが⽌まった後もLipschitzは上昇 marginを考慮すると説明できる(■線) l2 7
- 8. margin分布 識別器 margin spectral complexity( :活性化関数のLipschitz定数、 :スペクトルノルム、 :任意のfixed⾏列,0で考えてok) normalized margin distribution ( ) (によるデータ分布の押し出し) x ↦ arg max f(x)j j f(x) −y max f(x)j=y j ρ ∣∣ ⋅ ∣∣σ Mi f = FA 8
- 10. Generalization Bound は層ごとのユニット数の最⼤値 パラメータ数や層数に陽に依らないことがすごいらしい(理解不⾜) =norm'd margin dist.の累積関数(グラフの⾯積) 定理の上界がどれだけ⼩さいかを表す...? W (f)/∣∣X∣∣ RR^γ 2 A 10
- 12. 正則化は汎化に寄与しない(!) 上界には -ノルムが出てこない Zhang+'17(ICLR)で実験的には知られていた Q. marginを⼤きくするような正則化が作れるか︖ SRN l2 l2 → 12
- 13. Stable Rank Neyshabur+'18も近い汎化誤差上界を導出( ) (ほぼ)共通して現れる項 A =i Wi スペクトルノルム ∣∣W ∣∣ i=1 ∏ d i 2 2 安定ランク i=1 ∑ d ∣∣W ∣∣i 2 2 ∣∣W ∣∣i F 2 13
- 14. Stable Rank は の特異値 安定ランクはNNのノイズへの感度を下げる (Sec.3) srank(W ) := =∣∣W ∣∣2 2 ∣∣W ∣∣F 2 σ (W )1 2 σ (W )∑i=1 k i 2 k = rank(W ) σ ≥1 ⋯ ≥ σ >k 0 W 14
- 15. How to realize (define) stable rank "normalization"? scaling invariantな量なので純粋な「正規化」では実現できない cf. Spectral normal'n: 最適化問題の解として定義( :given) は の特異値 W :sn = Wσ1 1 k ≥ 0, 1 ≤ r ≤ srank(W ) λ , σi i , WW k 15
- 16. Example e.g. , desired stable rank r = 2, then 正しくは W = I ∈3 R3×3 , ,W 2 W 1 W 0 16
- 19. 実験 分類 ResNet-110, WideResNet-28-10, DenseNet-100, VGG100, AlexNet on CIFAR100 GAN Compare with SN-GAN, WGAN-GP, Ortho-GAN on CIFAR100, CIFAR10, CelebA Inception Score, FID, Neural Divergence score stable rank for with fixed hyperparameter . ( SN) r = c min(m, n) W ∈ Rm×n 0 < c ≤ 1 c = 1 ⇒ 19
- 20. 1. Result of classification task 分類 20
- 21. 2. Shattering Experiments ラベルをランダムにしたデータセット → "test accuracy" = 1% 学習できてしまう = 汎化能⼒がない(データを覚えているだけ) 21
- 22. 2. Result of shattering experiments 22
- 23. 3. Sample complexity :margin これの が汎化誤差の上界に出てくるので、サンプリングしてプ ロットしてみる(⼩さい⽅に偏るほど良い) 特にJac-NormはEmpirical Lipschitzness(データ近傍での Lipschitzness、より実効的な滑らかさ)に従う γ = f(x) −y max f(x)j=y j log 23
- 24. 24
- 25. GAN実験の結果 GANの識別器 のEmpirical Lipschitz ( :実画像、 :⽣成画像) f ∣∣f(x) − f(x )∣∣/∣∣x −′ x ∣∣′ x x′ 25
- 26. では制約が強すぎて識別できなくなり、ISが落ちてる ほどよい の選び⽅︖ "softer constraints on the Lipschitz constant than WGAN-GP" よくわからん、なぜ︖ c = 0.1 c 26
- 28. Neural Divergence score robust to memorization な評価 GANでのEmpirical Lipschtzness(前述)を定量化したもの 28