Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

[DL輪読会]ICLR2020の分布外検知速報

724 views

Published on

2019/09/27
Deep Learning JP:
http://deeplearning.jp/seminar-2/

Published in: Technology
  • Be the first to comment

[DL輪読会]ICLR2020の分布外検知速報

  1. 1. 1 DEEP LEARNING JP [DL Papers] http://deeplearning.jp/ Out-of-Distribution 論⽂速報 in ICLR2020 Hirono Okamoto, Matsuo Lab
  2. 2. ICLR2020に投稿された論⽂が公開された n 分布外検知に関係する論⽂をいくつか眺めてみた(だけので想像で話しているかもしれません) n リンク: https://openreview.net/group?id=ICLR.cc/2020/Conference n タイトル⼀覧: n Out-of-Distribution Image Detection Using the Normalized Compression Distance n Deep Generative Classifier for Out-of-distribution Sample Detection n Learning Out-of-distribution Detection without Out-of-distribution Data n Improving Dirichlet Prior Network for Out-of-Distribution Example Detection n Zero-Shot Out-of-Distribution Detection with Feature Correlations n How the Softmax Activation Hinders the Detection of Adversarial and Out-of-Distribution Examples in Neural Networks n Out-of-Distribution Detection Using Layerwise Uncertainty in Deep Neural Networks n 所感: 今年めちゃくちゃOOD検知多い気がする(︖)・紹介するのは⼀部
  3. 3. そもそも分布外(Out-of-Distribution)検知とは? n あるカテゴリ以外のカテゴリを検知するという問題 が多い n 異常検知とは異なる(含めることができるが) n 似た問題設定 n Open set recognition: n In-distributionの分類 + OOD検知 n Generalized zero-shot learning: n In-distributionの分類 + OODの分類 ⼈が想像する異常検知
  4. 4. 背景: OOD検知の基本的な2つの問題設定 n 1: 教師なし異常検知(訓練分布のラベルが与えられない) n 2: 教師あり異常検知(訓練分布のラベルが与えられる) 訓練データ テストデータ 正常 異常 訓練データ テストデータ 正常 異常⽝ ⿃ 今回は2の論⽂に着⽬する
  5. 5. とくに今回⽐較された⼿法達 n A Baseline for Detecting Misclassified and Out-of-Distribution Examples in Neural Networks (ICLR 2017) n ソフトマックスの出⼒の最⼤値をOODの指標として使う n アイデア: OODは予測分類が曖昧になるはず n ex) 3クラスのとき,[0.9, 0.05, 0.05]→正常, [0.3, 0.3, 0.4]→異常 n A Simple Unified Framework for Detecting Out-of-Distribution Samples and Adversarial Attacks (NIPS 2018) n 訓練分布から離れたところのサンプルを検出できるように,ソフトマックス層の⼀層前の出⼒の分布 を正規分布であることを仮定し,そこからどれだけ離れているかという⽅法でOOD検知を⾏う n Predictive Uncertainty Estimation via Prior Networks (NIPS 2018) n (a): 正常データを正しく予測できるとき(confident) n (b): 正常データだが,どのラベルに属しているか わからないとき(known-unknown) n (c): 異常データ(unknown-unknown)
  6. 6. Out-of-Distribution Image Detection Using the Normalized Compression Distance n モチベーション: OODデータを全く使わず,モデルをretrainすることなくOOD検知したい n 既存研究: A Simple Unified Framework for Detecting OOD Samples and Adversarial Attacks n 最後から⼆番⽬の層において,マハラノビス距離を使ってOODを検知する n さらに,CNNの特徴マップのglobal average poolingを組み合わせる n しかし,組み合わせ⽅が,ロジスティック回帰であるため,turning⽤のOODが必要になってしまう n やったこと: 系列の類似度を測る⼿法(normalized compression distance)の導⼊ n 複数の指標からOODであることを判定することができる n 実験: OODを全く訓練時・テスト時に使ってないにもかかわらず強い Lee 2018について解説したスライド: https://www.slideshare.net/ssuser9eb780/nips-2018-139360134
  7. 7. Deep Generative Classifier for Out-of-Distribution Sample Detection n やったこと: クラス条件付きガウス分布を学習することによって,信頼度スコアを算出する n 既存研究: (Lee, 2018)とほぼ同じだが,これはガウス分布になるように改めて訓練している n 結果: そこまで良くない ⽩点: OOD ⾊点: 正常データ 左: softmax classifier 右: generative classifier 中⼼に近づける項 metric learningでいうcenter loss クロスエントロピー項
  8. 8. Learning Out-of-distribution Detection without Out-of-distribution Data n モチベーション: ハイパラチューニングをあるOODデータセットでした場合,他のOODデー タセットに汎化しない問題を解決したい → そもそもin-distributionのデータしか使わない n やったこと: 賢い n OODかIDのドメインを仮定した確率分布をモデルにうまく組み込んだ n 実験: 強い.まいった OOD判定
  9. 9. Improving Dirichlet Prior Network for Out-of-Distribution Example Detection n 関連研究: Estimating Predictive Uncertainty via Prior Networks n in-distributionだがあいまいなデータ と OOD を分類する⽅法を提案した n モチベーション: 関連研究のロス関数が若⼲雑なので,うまいことしたい n やったこと: ディリクレ分布のとんがり具合をコントロールする正則化項を追加した n 結果: 良さげではあるが...? prior networks スライド参考: https://www.slideshare.net/DeepLearningJP2016/dlestimating-predictive-uncertainty-via-prior-networks
  10. 10. Zero-Shot Out-of-Distribution Detection with Feature Correlations n モチベーション: モデルのretrainなし・OODにアクセスなしで,OOD検知をしたい n やったこと: n グラム⾏列使ってクラス条件付き異常を検知する n L番⽬の層のチャネルの相関を⾒ている n 結果: 良い 良い関連⼿法のまとめ
  11. 11. How the Softmax Activation Hinders the Detection of Adversarial and Out-of-Distribution Examples in Neural Networks n 所感: この現象は誰もが感じていたのではないだろうか
  12. 12. Out-of-Distribution Detection Using Layerwise Uncertainty in Deep Neural Networks n モチベーション: in-distributionだがあいまいなデータ と OOD をちゃんと分類したい n やったこと: 各層の不確かさをとって,それらを組み合わせてOODを判定した n 結果: 良さげ

×