Recommended
Recommended
More Related Content
What's hot
What's hot (20)
Similar to 190602 benchmarking neural network robustness to common corruptions and perturbations
Similar to 190602 benchmarking neural network robustness to common corruptions and perturbations (20)
More from 亮宏 藤井
More from 亮宏 藤井 (8)
190602 benchmarking neural network robustness to common corruptions and perturbations
- 1. Benchmarking Neural Network Robustness to Common Corruptions and Perturbations 発表者︓ 藤井亮宏＠ExaWizards ICLR 2019 読み会 in 京都 Dan Hendrycks, Thomas Dietterich
- 2. 自己紹介 • 名前︓ Ø 藤井 亮宏(アキヒロ) • 所属︓ Ø 株式会社 エクサウィザーズ＠京都オフィス • 仕事内容 Ø データ解析 Ø Deep learningとか使って⾊々（画像、時系列、医療 etc…） @akihiro_akichan 論⽂の⼀⾔解説とかしてます。
- 3. ３行でまとめると • 画像の汚染と摂動に対するネットワークの頑健性を調査 • 上記の頑健性を図るための指標とデータセットを提供 • どのような手法が頑健性に効くのかを調査
- 4. 研究背景とか
- 13. 汚染に対するデータセット： ImageNet-Cの評価指標 CEとRelative CEの２つの評価指標でネットワークの頑健性を測る CE(Corruption Errors) Relative CE(Corruption Errors) • 評価対象ネットワークのError rateを AlexNetのError Rateで割ったもの 汚染に対してAlexNetよりどれだ け強くなっているか 綺麗なデータセットとのスコアの差 分が、どれだけAlexNetより良化し ているか s:汚染のレベル c:汚染の種類 s:汚染のレベル c:汚染の種類 • 汚染されていないデータと綺麗なデー タの差分を評価
- 15. 摂動に対するデータセット： ImageNet-Pの評価指標 FRとT5Dの２つの評価指標でネットワークの頑健性を測る FR(Flip Rate) T5D(Top-5 Distance) • FPは全てのデータで予測ラベルが変 わっていれば１を返す。 • 完全に予測ラベルが変わらない（頑健 性が最⾼）ならば０を返す 摂動をかけて予測ラベルが変わ る確率 綺麗なデータセットとのスコアの差 分が、AlexNetより良化しているか 摂動なしの画像 • 綺麗なデータセットでTop5だったラベ ルの⼊れ替わり度を数値化したもの 摂動ありの画像
- 16. ネットワークの頑健性 評価結果
- 17. 画像汚染に対する結果 • 「綺麗なデータセットでのス コアが⾼さ」と「汚染に対す る耐性」は正の相関関係にあ る。(mCEより) • しかし、綺麗なデータのスコ アと⽐べたときの悪化率は負 の相関関係になっている。 (Relatvie mCEより) ※値が低いほど良い ※100%以上の値＝AlexNetより悪化 mCE ︓汚染された画像への強さ Relative mCE︓綺麗なデータのス コアからの悪化率
- 19. 頑健性に関する知見
- 21. 頑健性向上に効果があった手法2 Multi Scale Networks • 様々な⼤きさにおける情報を使うネットワーク • Multi Grid NetworksとMSDNetはResNet-50に⽐べて⼤きく 改善した。 Multi Grid Networks 改善効果 https://arxiv.org/pdf/1611.07661.pdf https://arxiv.org/pdf/1703.09844.pdf MSDNet ※ただし摂動に対する改善効果は薄い
- 22. 頑健性向上に効果があった手法3 Feature Aggregation and Larger Networks • 特徴量を集約するネットワーク、⼤規模なネットワークが良い • 特徴量を集約するResNeXt・DenseNetは改善効果が⼤きい • 摂動に対しても強く、ResNet50→ ResNeXt101でmFDが 58.0%→43.2%、mT5Dが78.3% →65.9%に改善 ResNeXT 改善効果 https://arxiv.org/abs/1608.06993 DenseNet https://arxiv.org/pdf/1611.05431.pdf
- 23. 頑健性向上に効果があった手法4,5 Stylized ImageNetで学習させる • 対象となる物体・動物の形状以外にノイズを加えたデータセット • ResNet-50においてmCEが76.7%→69.3%に改善 https://openreview.net/pdf?id=Bygh9j09KX Adversarial sample Defenseを使う • 敵対的サンプルに対する防御⽅法ALPという⼿法を使う • 摂動に対して強く、ResNet-50においてmFPが40%、mT5Dが 41%改善 https://arxiv.org/pdf/1412.6572.pdf 敵対的サンプルの例 頑健性向上に効果があった手法3
- 24. 頑健性向上に効果がなかった手法 Stability Training • JPEGの圧縮ノイズを乗せた画像でfine-tuneする。 • mCEが悪化し、mFRが少しだけ改善(58%→57%)という結果 • ImageNet-C, ImageNet-Pは⾊々な汚染・摂動があるため、 JPEG圧縮ノイズだけでは対応できなかったと著者らは推測 Image Denoising • non-local mean Filterで画像で前処理をする • mCEが悪化(76.7%→82.1%)という結果 • ノイズ以外の重要な特徴を取り除いている可能性あり、著者ら はと推測 http://opencv.jp/opencv2-x-samples/non-local-means-filter
- 25. 頑健性向上に効果がなかった手法 頑健性向上に効果がなかった手法 10-Crop Classification • 4つ角と中央から画像を切り取り、さらに左右反転をとることにより 頑健性向上を狙う • あまり効果はなかった Simpler Models • 従来から簡単なネットワークの方が頑健性が高い説がある（気がする） • 疎な重みをもつDenseNetであるCondenseNetで実証実験 • 綺麗なデータの精度とmCEが共に悪化。 • 前述の通り、深いネットワークの方が頑健性が高い。
- 26. 結論
- 27. ３＋１行でまとめると • 画像の汚染と摂動に対するネットワークの頑健性を調査 • 上記の頑健性を図るための指標とデータセット 「ImageNet-C」 「ImageNet-P」を提供 • どのような手法が頑健性に効くのかを調査 • 「とりあえずResNet」より「とりあえずResNeXt」