Upcoming SlideShare
190602 benchmarking neural network robustness to common corruptions and perturbations
- 1. Benchmarking Neural Network Robustness to Common Corruptions and Perturbations 発表者︓ 藤井亮宏＠ExaWizards ICLR 2019 読み会 in 京都 Dan Hendrycks, Thomas Dietterich
- 2. 自己紹介 • 名前︓ Ø 藤井 亮宏(アキヒロ) • 所属︓ Ø 株式会社 エクサウィザーズ＠京都オフィス • 仕事内容 Ø データ解析 Ø Deep learningとか使って⾊々（画像、時系列、医療 etc…） @akihiro_akichan 論⽂の⼀⾔解説とかしてます。
- 3. ３行でまとめると • 画像の汚染と摂動に対するネットワークの頑健性を調査 • 上記の頑健性を図るための指標とデータセットを提供 • どのような手法が頑健性に効くのかを調査
- 4. 研究背景とか
- 5. 画像分類の精度は年々向上している！ http://image-net.org/challenges/talks_2017/ILSVRC2017_overview.pdf
- 6. 画像分類の精度は年々向上している！ AlexNet VGG SENetResNet BirdFoxWhaleIguana
- 7. 一方、学習データに存在しない汚染・摂動に対する頑健性 は不明 AlexNet VGG SENetResNet OriginalMotionBlurSnowShotNoise ? ? ? ? ? ? ? ? ? ? ? ?
- 8. どれだけ頑健性があるかは重要！ 学習データと実運用時のデータが異なることはたまにある。 理想像 現実は⾮情である 使えるデータは⽇ 本のだけ。でも実 運⽤時は⽶国・中 国を含むよ ⽇本・⽶国・中 国での運⽤を想 定。この３ヶ国 のデータを使っ てね いいよOK︕ 弊社顧客 弊社 顧客 実運⽤時のノイズを学習時 にモデルに取り込める 実運⽤時のノイズを学習時 にモデルに取り込めない
- 9. どれだけ頑健性があるかは重要！ 「とりあえずResNet」はノイズの乗ったテストデータで通用するのか？ 学習時と実運⽤時のノ イズが同じ場合 とりあえず「ResNet」 で様⼦⾒ようか 弊社 学習時と実運⽤時のノ イズが違う場合 最初はResNetでいい の︖VGGの⽅が頑健性 ⾼かったりする︖ ?
- 10. 頑健性を図る データセットと評価指標
- 11. ネットワークの頑健性の測り方 この論文では、画像に汚染と摂動をかけた２つのデータセットを 使って比較する。 汚染に対するデータセット： ImageNet-C 摂動に対するデータセット： ImageNet-P ※学習は通常のImageNetで⾏い、評価を汚染・摂動がかかったデータ セットで⾏う
- 12. アルゴリズムを使って自動生成された15種の汚染 x 5段階のレベル で構成されたデータセット 15種の汚染 5段階のレベル 汚染に対するデータセット： ImageNet-Cの内容
- 13. 汚染に対するデータセット： ImageNet-Cの評価指標 CEとRelative CEの２つの評価指標でネットワークの頑健性を測る CE(Corruption Errors) Relative CE(Corruption Errors) • 評価対象ネットワークのError rateを AlexNetのError Rateで割ったもの 汚染に対してAlexNetよりどれだ け強くなっているか 綺麗なデータセットとのスコアの差 分が、どれだけAlexNetより良化し ているか s:汚染のレベル c:汚染の種類 s:汚染のレベル c:汚染の種類 • 汚染されていないデータと綺麗なデー タの差分を評価
- 14. 摂動に対するデータセット： ImageNet-Pの内容 10種の摂動を30段階以上のレベルで変化させたデータセット 10種の摂動 30段階以上のレベル
- 15. 摂動に対するデータセット： ImageNet-Pの評価指標 FRとT5Dの２つの評価指標でネットワークの頑健性を測る FR(Flip Rate) T5D(Top-5 Distance) • FPは全てのデータで予測ラベルが変 わっていれば１を返す。 • 完全に予測ラベルが変わらない（頑健 性が最⾼）ならば０を返す 摂動をかけて予測ラベルが変わ る確率 綺麗なデータセットとのスコアの差 分が、AlexNetより良化しているか 摂動なしの画像 • 綺麗なデータセットでTop5だったラベ ルの⼊れ替わり度を数値化したもの 摂動ありの画像
- 16. ネットワークの頑健性 評価結果
- 17. 画像汚染に対する結果 • 「綺麗なデータセットでのス コアが⾼さ」と「汚染に対す る耐性」は正の相関関係にあ る。(mCEより) • しかし、綺麗なデータのスコ アと⽐べたときの悪化率は負 の相関関係になっている。 (Relatvie mCEより) ※値が低いほど良い ※100%以上の値＝AlexNetより悪化 mCE ︓汚染された画像への強さ Relative mCE︓綺麗なデータのス コアからの悪化率
- 18. 画像の摂動に対する結果 綺麗なデータセットのスコアが高いほど、摂動に対する頑健性は高い ※値が低いほど良い mT5D︓予測top5カテゴ リの乱れ
- 19. 頑健性に関する知見
- 20. 頑健性向上に効果があった手法1 ヒストグラム平坦化 • 輝度が集中している部分をならすことによって画像のコント ラストを調整する⼿法 • ヒストグラム平坦化前処理をしたImageNet-CにResNet-50 を適⽤するとmCEが76.7%→74.5%に改善した 76.7% →74.5% ヒストグラム平坦化の概念図 改善効果
- 21. 頑健性向上に効果があった手法2 Multi Scale Networks • 様々な⼤きさにおける情報を使うネットワーク • Multi Grid NetworksとMSDNetはResNet-50に⽐べて⼤きく 改善した。 Multi Grid Networks 改善効果 https://arxiv.org/pdf/1611.07661.pdf https://arxiv.org/pdf/1703.09844.pdf MSDNet ※ただし摂動に対する改善効果は薄い
- 22. 頑健性向上に効果があった手法3 Feature Aggregation and Larger Networks • 特徴量を集約するネットワーク、⼤規模なネットワークが良い • 特徴量を集約するResNeXt・DenseNetは改善効果が⼤きい • 摂動に対しても強く、ResNet50→ ResNeXt101でmFDが 58.0%→43.2%、mT5Dが78.3% →65.9%に改善 ResNeXT 改善効果 https://arxiv.org/abs/1608.06993 DenseNet https://arxiv.org/pdf/1611.05431.pdf
- 23. 頑健性向上に効果があった手法4,5 Stylized ImageNetで学習させる • 対象となる物体・動物の形状以外にノイズを加えたデータセット • ResNet-50においてmCEが76.7%→69.3%に改善 https://openreview.net/pdf?id=Bygh9j09KX Adversarial sample Defenseを使う • 敵対的サンプルに対する防御⽅法ALPという⼿法を使う • 摂動に対して強く、ResNet-50においてmFPが40%、mT5Dが 41%改善 https://arxiv.org/pdf/1412.6572.pdf 敵対的サンプルの例 頑健性向上に効果があった手法3
- 24. 頑健性向上に効果がなかった手法 Stability Training • JPEGの圧縮ノイズを乗せた画像でfine-tuneする。 • mCEが悪化し、mFRが少しだけ改善(58%→57%)という結果 • ImageNet-C, ImageNet-Pは⾊々な汚染・摂動があるため、 JPEG圧縮ノイズだけでは対応できなかったと著者らは推測 Image Denoising • non-local mean Filterで画像で前処理をする • mCEが悪化(76.7%→82.1%)という結果 • ノイズ以外の重要な特徴を取り除いている可能性あり、著者ら はと推測 http://opencv.jp/opencv2-x-samples/non-local-means-filter
- 25. 頑健性向上に効果がなかった手法 頑健性向上に効果がなかった手法 10-Crop Classification • 4つ角と中央から画像を切り取り、さらに左右反転をとることにより 頑健性向上を狙う • あまり効果はなかった Simpler Models • 従来から簡単なネットワークの方が頑健性が高い説がある（気がする） • 疎な重みをもつDenseNetであるCondenseNetで実証実験 • 綺麗なデータの精度とmCEが共に悪化。 • 前述の通り、深いネットワークの方が頑健性が高い。
- 26. 結論
- 27. ３＋１行でまとめると • 画像の汚染と摂動に対するネットワークの頑健性を調査 • 上記の頑健性を図るための指標とデータセット 「ImageNet-C」 「ImageNet-P」を提供 • どのような手法が頑健性に効くのかを調査 • 「とりあえずResNet」より「とりあえずResNeXt」
Login to see the comments