2019/09/27 Deep Learning JP: http://deeplearning.jp/seminar-2/

1. 1
DEEP LEARNING JP
[DL Papers]
http://deeplearning.jp/
Out-of-Distribution 論⽂速報 in ICLR2020
Hirono Okamoto, Matsuo Lab

2. ICLR2020に投稿された論⽂が公開された
n 分布外検知に関係する論⽂をいくつか眺めてみた(だけので想像で話しているかもしれません)
n リンク: https://openreview.net/group?id=ICLR.cc/2020/Conference
n タイトル⼀覧:
n Out-of-Distribution Image Detection Using the Normalized Compression Distance
n Deep Generative Classifier for Out-of-distribution Sample Detection
n Learning Out-of-distribution Detection without Out-of-distribution Data
n Improving Dirichlet Prior Network for Out-of-Distribution Example Detection
n Zero-Shot Out-of-Distribution Detection with Feature Correlations
n How the Softmax Activation Hinders the Detection of Adversarial and Out-of-Distribution Examples in
Neural Networks
n Out-of-Distribution Detection Using Layerwise Uncertainty in Deep Neural Networks
n 所感: 今年めちゃくちゃOOD検知多い気がする(︖)・紹介するのは⼀部

3. そもそも分布外(Out-of-Distribution)検知とは?
n あるカテゴリ以外のカテゴリを検知するという問題
が多い
n 異常検知とは異なる(含めることができるが)
n 似た問題設定
n Open set recognition:
n In-distributionの分類 + OOD検知
n Generalized zero-shot learning:
n In-distributionの分類 + OODの分類
⼈が想像する異常検知

4. 背景: OOD検知の基本的な２つの問題設定
n 1: 教師なし異常検知(訓練分布のラベルが与えられない)
n 2: 教師あり異常検知(訓練分布のラベルが与えられる)
訓練データ テストデータ
正常 異常
訓練データ テストデータ
正常 異常⽝ ⿃
今回は2の論⽂に着⽬する

5. とくに今回⽐較された⼿法達
n A Baseline for Detecting Misclassified and Out-of-Distribution Examples in Neural Networks
(ICLR 2017)
n ソフトマックスの出⼒の最⼤値をOODの指標として使う
n アイデア: OODは予測分類が曖昧になるはず
n ex) 3クラスのとき，[0.9, 0.05, 0.05]→正常, [0.3, 0.3, 0.4]→異常
n A Simple Unified Framework for Detecting Out-of-Distribution Samples and Adversarial Attacks
(NIPS 2018)
n 訓練分布から離れたところのサンプルを検出できるように，ソフトマックス層の⼀層前の出⼒の分布
を正規分布であることを仮定し，そこからどれだけ離れているかという⽅法でOOD検知を⾏う
n Predictive Uncertainty Estimation via Prior Networks (NIPS 2018)
n (a): 正常データを正しく予測できるとき(confident)
n (b): 正常データだが，どのラベルに属しているか
わからないとき(known-unknown)
n (c): 異常データ(unknown-unknown)

6. Out-of-Distribution Image Detection Using the Normalized
Compression Distance
n モチベーション: OODデータを全く使わず，モデルをretrainすることなくOOD検知したい
n 既存研究: A Simple Unified Framework for Detecting OOD Samples and Adversarial Attacks
n 最後から⼆番⽬の層において，マハラノビス距離を使ってOODを検知する
n さらに，CNNの特徴マップのglobal average poolingを組み合わせる
n しかし，組み合わせ⽅が，ロジスティック回帰であるため，turning⽤のOODが必要になってしまう
n やったこと: 系列の類似度を測る⼿法(normalized compression distance)の導⼊
n 複数の指標からOODであることを判定することができる
n 実験: OODを全く訓練時・テスト時に使ってないにもかかわらず強い
Lee 2018について解説したスライド: https://www.slideshare.net/ssuser9eb780/nips-2018-139360134

7. Deep Generative Classifier for Out-of-Distribution Sample Detection
n やったこと: クラス条件付きガウス分布を学習することによって，信頼度スコアを算出する
n 既存研究: (Lee, 2018)とほぼ同じだが，これはガウス分布になるように改めて訓練している
n 結果: そこまで良くない
⽩点: OOD
⾊点: 正常データ
左: softmax classifier
右: generative classifier
中⼼に近づける項
metric learningでいうcenter loss
クロスエントロピー項

8. Learning Out-of-distribution Detection without Out-of-distribution Data
n モチベーション: ハイパラチューニングをあるOODデータセットでした場合，他のOODデー
タセットに汎化しない問題を解決したい → そもそもin-distributionのデータしか使わない
n やったこと: 賢い
n OODかIDのドメインを仮定した確率分布をモデルにうまく組み込んだ
n 実験: 強い．まいった
OOD判定

9. Improving Dirichlet Prior Network for Out-of-Distribution Example Detection
n 関連研究: Estimating Predictive Uncertainty via Prior Networks
n in-distributionだがあいまいなデータ と OOD を分類する⽅法を提案した
n モチベーション: 関連研究のロス関数が若⼲雑なので，うまいことしたい
n やったこと: ディリクレ分布のとんがり具合をコントロールする正則化項を追加した
n 結果: 良さげではあるが...?
prior networks スライド参考:
https://www.slideshare.net/DeepLearningJP2016/dlestimating-predictive-uncertainty-via-prior-networks

10. Zero-Shot Out-of-Distribution Detection with Feature Correlations
n モチベーション: モデルのretrainなし・OODにアクセスなしで，OOD検知をしたい
n やったこと:
n グラム⾏列使ってクラス条件付き異常を検知する
n L番⽬の層のチャネルの相関を⾒ている
n 結果: 良い
良い関連⼿法のまとめ

11. How the Softmax Activation Hinders the Detection of Adversarial
and Out-of-Distribution Examples in Neural Networks
n 所感: この現象は誰もが感じていたのではないだろうか

12. Out-of-Distribution Detection Using Layerwise Uncertainty in Deep Neural Networks
n モチベーション: in-distributionだがあいまいなデータ と OOD をちゃんと分類したい
n やったこと: 各層の不確かさをとって，それらを組み合わせてOODを判定した
n 結果: 良さげ