Recommended
Recommended
More Related Content
What's hot
What's hot (20)
More from harmonylab
More from harmonylab (20)
Recently uploaded
Recently uploaded (9)
Noise or signal the role of image backgrounds in object recognition
- 1. Noise or Signal: The Role of Image Backgrounds in Object Recognition 2020/07/01 神戸瑞樹 Kai Xiao, Logan Engstrom, Andrew Ilyas, Aleksander M ̨adry MIT {kaix, engstrom, ailyas, madry}@mit.edu https://arxiv.org/abs/2006.09994
- 2. 概要 • 物体認識の背景依存について調査 • 背景だけでも結構分類できる • 敵対的な背景を用いると87.5％の画像で騙され る • 良いモデルほど背景の変化にロバスト 2
- 3. Introduction • 物体認識モデルは訓練データのロスを最小化す るように学習する • 画像とラベルの一般的な相関を利用することで精度 が上がる • 背景は相関を表す自然なソース • 以前の研究でも背景で認識している可能性が示唆 • この研究では背景をどのように利用しているか 理解を深めることが目的 • 背景と前景の影響を調べるデータセットを作成 • 背景が精度に影響 • より正確なモデルは背景にロバスト 3
- 4. ImageNet-9 • ImageNetから粗い9つのクラスに分けたデータ セット • dog, bird, vehicle, reptile, carnivore, insect, instrument, primate, and fish • WordNetの階層に従ってグルーピング • バウンディングボックスに従って前景，背景を分 け，バウンディングボックスがないものは削除 • そのままのクラス分けだとバウンディングボックス付 きの画像が少ない • 各クラス5045枚の訓練画像，450枚のテスト画像 4
- 5. Variation of ImageNet-9 • 背景の影響を理解するため前ページのオリジナ ルのIN-9から7つの派生形を作成 5
- 6. Variation of ImageNet-9 • 背景の影響を理解するため前ページのオリジナ ルのIN-9から7つの派生形を作成 6
- 7. Large dataset: IN-9L • バウンディングボックスないやつも含めた ImageNetの全画像を9クラスに分類し直した 7
- 11. 背景の依存度合い • IN-9Lで学習したものよりImageNetで学習したほ うがBG-GAPが小さく，背景のみでの精度も低い • クラス数やデータ数の差によるものではない • 理由は謎のまま 11
- 13. 敵対的背景 13
- 14. 敵対的背景 14
- 15. 敵対的背景 15
- 16. 背景への依存度の減少 • MIXED-RANDで学習 • 背景のみのテストで15％の精度 • 背景をいじったものはORIGINALで学習したものよ り良い精度 • 前景を重視するようになった 16
- 17. 背景への依存について • 精度に影響を与える要因について • 前景と背景のどっちを使って判断しているか調査 • MIXED-RANDとONLY-BG-Tを使用 • 背景が必要な割合が多い 17
- 19. 背景利用による精度向上 • ImageNetとIM-9の精度で正の相関 • ONLY-BGを見ると2つの可能性が示唆される • 背景が絶対必要 • 背景を使うように最適化されてしまう • 背景に依存しないために明示的な正則化が必要かも 19
- 20. 背景利用による精度向上 • モデルが良くなれば性能のギャップも小さくなる • 優れたモデルは背景を悪用してるが，背景の変化 にロバスト • 背景がなくてもいい制度が出せる可能性を示唆 20
- 21. まとめ • 分類器の背景依存について調査 • 背景の変化にロバストでない • 人間が認識可能な前景があるのにかなり背景に 頼っている • 敵対的な背景を用いると87.5％の画像で騙される • 背景にロバストなモデルが出来ている 21