論文紹介：Automated Classification of Model Errors on ImageNet
•
0 likes•14 views
Momchil Peychev, Mark Müller, Marc Fischer, Martin Vechev, " Automated Classification of Model Errors on ImageNet", NeurIPS2023 https://proceedings.neurips.cc/paper_files/paper/2023/hash/7480ed13740773505262791131c12b89-Abstract-Conference.html
![概要
◼ImageNet [Deng+, CVPR2009]に対するモデルの予測の誤りの解析論文
• 962のモデルにおいて、様々なタイプのエラーの分布を調査
◼自動で誤りの種類を分類するフレームワークを提案](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
Recommended
Recommended
More Related Content
More from Toru Tamaki
More from Toru Tamaki (20)
Recently uploaded
Recently uploaded (8)
論文紹介：Automated Classification of Model Errors on ImageNet
- 1. Automated Classification of Model Errors on ImageNet Momchil Peychev, Mark Niklas Müller, Marc Fischer, Martin Vechev NeurIPS 堀史門（名工大） 2024/4/18
- 2. 概要 ◼ImageNet [Deng+, CVPR2009]に対するモデルの予測の誤りの解析論文 • 962のモデルにおいて、様々なタイプのエラーの分布を調査 ◼自動で誤りの種類を分類するフレームワークを提案
- 3. 背景 ◼ImageNet • シングルラベル • 画像の1/5には複数の物体がある • マルチラベルを新しくつけてマルチラベル精度(MLA)を算出[Beyer+, arXiv2020] • 最先端のモデルがMLAが95％を超える • 残りのモデルの誤りを分析する研究が増加 • 対処法を特定するのに役立つ • 手作業での誤りの仕分けが多い
- 4. Categorizing ImageNet Errors ◼自動エラー分類パイプライン • モデルの誤りを6つのエラータイプに分類 • 深刻度の低い誤りから順に分類 • この方法で説明できない誤りは特に深刻なモデルの失敗 • 生物のクラスと人工物のクラスでは別々にモデルの誤りを分類して分析
- 5. Class Overlap ◼重複したクラスによる誤り • Tusker(牙を持つ動物) • African elephantのスーパーセット • Indian elephantとかなりの重複(メスは牙なし)がある • 真値のスーパーセットや等価なクラス予測を正解とする ◼Class OverlapによるTop-1 errorの割合と絶対数 • 人工物：精度が上がるにつれて誤りも多くなる傾向 • 生物：ラベリングバイアスを利用して精度が向上する傾向
- 6. Missing Multi-Label Annotations ◼画像中に複数の物体がある場合による誤り • multi-label accuracy (MLA) • ラベルが付けられた全てのクラスを正解とする ◼Missing Multi-Label AnnotationsによるTop-1 errorの割合と絶対数 • 精度が上がるにつれ誤りの割合が増加 • より精度が上がるとラベリングバイアスを利用し誤り減少
- 7. Fine-Grained Classification Errors ◼きめ細かな違いによる誤り • ImageNetの全1000クラスを手動でレビューしてスーパークラスを定義 ◼ Fine-Grained Classification ErrorsのMulti-Label Errorの割合と絶対数 • 生物のほうが人工物より誤りの割合が多い
- 8. Fine-Grained Out-of-Vocabulary(OOV) Errors ◼ImageNet内のどのクラスにも属さない物体がある場合による誤り • 分類器は画像中の目立つ物体を分類 • ImageNetのラベルセットにない場合，密接に関連するクラスを予測
- 9. Fine-Grained Out-of-Vocabulary(OOV) Errors ◼誤りの検出方法 • 予測画像と，CLIP[Radford+, ICML2021]による特徴量の類似度が最も大きい訓練画像 を10枚抽出 • 抽出した画像のいずれかの予測のスーパークラスが同じ場合 • 誤りでないとする • それ以外の場合 • 予測クラスやそのスーパークラス，WORDNETの関連クラスを収集 • CLIPにより収集したクラスのスコアを算出 • 最も高いスコアのクラスがImageNet内のクラスになければOOV error
- 10. Fine-Grained Out-of-Vocabulary(OOV) Errors ◼Fine-Grained OOV Errorsによるmulti-Label errorの割合と絶対数 • 人工物において誤りの割合が多く，MLAによってより急速に増加 • ImageNetのラベルが人工物よりも生物をよりカバー • MLAが約93％以上になると人工物に対するOOV errorの数が非常に早く減少
- 11. Non-Prototypical Instances ◼ImageNetの分布では異常値であるインスタンスによる誤り • 検出方法 • この誤りはモデルによる予測とは独立 • Non-Prototypicalな画像を分類 [Vasudevan+, NeurIPS2022] ◼Non-Prototypical Instancesによるmulti-Label errorの割合と絶対数 • MLAとの間には強い相関関係はない
- 12. Spurious Correlations ◼偽の相関による誤り • 検出方法 • ReaL multi-label annotations [Beyer+, arXiv2020]から同時に画像に現れるクラス のペアを取り出す • その中から以下の条件のペアを取り除く • Fine-Grained Classification Errorsの際につけたスーパークラスが同じペア • 1度だけ共に現れたことがあるクラスのペア • 間違った予測とその画像中のラベルのペアが含まれている時，Spurious Correlations
- 13. Spurious Correlations ◼Spurious CorrelationsによるMulti-Label Errorの割合と絶対数 • 誤りの割合は生物よりも人工物の方が多い • 人工物ではMLAとともに割合が増加 • 生物ではMLAの変化に対してほぼ一定
- 14. その他説明不可能な誤り ◼その他説明不可能な誤りによるMulti-Label ErrorとTop-1 errorの割合 • 生物よりも人工物の方がはるかに高い • 生物と人工物の両方でMLAとTop-1 Accuracyとともに減少
- 15. その他の誤りのデータセットごとの比較 ◼12個のデータセットを画像の数によって4つのカテゴリーに分類 • その他の説明不可能な誤りを分析 (Multi-Label Errorsの割合) • 事前学習データセットが大きいほど早く誤りが減少
- 16. その他の誤りのモデルごとの比較 ◼アーキテクチャの種類別に分類して分析 • パラメータの数で色分け (より大きなモデルは色が濃い) • より大きなモデルが高性能 • MLAが92％以上のモデルではモデルの失敗率はモデルのサイズに依存しない
- 17. 結論 ◼ImageNetのモデルの誤りを解析 ◼モデルの誤りを自動で仕分ける手法を提案し解析 ◼生物と人工物では誤りの傾向や種類が大きく異なる • 以下の傾向がモデルの精度が高くなるにつれて顕著 • 生物 • Fine-Grained Classification Errorsが課題 • 人工物 • Spurious CorrelationsやOOV Errors語彙外エラーが課題