異常検知・OOD検知論文紹介 ICLR・NIPS・ICML

1. 最新の異常検知論⽂ (2019/10/05)
ぱんさん＠パンハウス別館 + 鶯⾕園

2. 異常検知とは︖
n 1: ある画像のよごれや傷などの異常を検知する (⼀般的な異常検知)
n 2: 訓練分布のカテゴリ以外のカテゴリを検知する (Out-of-distribution 検知)
n 似た問題設定
n Open set recognition: In-distributionの分類 + OOD検知
n Generalized zero-shot learning: In-distributionの分類 + OODの分類
1 2

3. OOD検知の基本的な２つの問題設定
n 1: 教師なしOOD検知 (訓練分布のラベルが与えられない)
n ⽣成的なアプローチ
n 2: 教師ありOOD検知 (訓練分布のラベルが与えられる)
n 識別的なアプローチが多い
訓練データ テストデータ
正常 異常
訓練データ テストデータ
正常 異常⽝ ⿃
異常データには基本的に前もってアクセスできない

4. 今回紹介する論⽂を⼀⾔でいうと
n ICML 2019: Anomaly Detection With Multiple-Hypotheses Predictions
n 鮮明な画像を出⼒するために複数の画像を予測し，画像中の傷やよごれを検知 (異常検知)
n NIPS 2019: Likelihood Ratios for Out-of-Distribution Detection
n ノイズをいれる and いれないモデルの尤度⽐を使ってOOD検知 (教師なしOOD検知)
n ICLR 2020: Learning Out-of-distribution Detection without Out-of-distribution Data
(under review)
n 分布内ドメインで条件づけた確率分布をNNでモデル化してOOD検知 (教師ありOOD検知)

5. n 問題意識:
n VAEなどのオートエンコーダベースの予測は画像がぼやけるため，画像中の異常を判定できない
n そもそもぼやけた画像は訓練データにはないため，それ⾃体も異常である
n 解決策:
n デコーダが複数の画像を予測することによって，鮮明な画像を出⼒する
n 出⼒した画像がデータ分布に近づくように敵対的学習を⾏う
n 実験:
n CIFAR-10を使って⼀つのクラス以外のクラスを異常としたときに性能がでることを確認
n メタルデータセットを利⽤して異常箇所を検知することができるのを確認
概要: Anomaly Detection With Multiple-Hypotheses Predictions

6. 関連論⽂: Learning in an Uncertain World: Representing Ambiguity Through
Multiple Hypotheses (ICCV 2017)
n 複数のモード or 不確実性があるときに⼀つの予測で出⼒しようとすると，それらを平均し
たようなぼやけた画像が出⼒されてしまう (図: SHP)
n 複数の予測を⾏うことによって，それぞれの予測ごとに鮮明な画像を出⼒させることができ
る (図: 3-MHP)
n 図:
n input: 時間ごとの⾞の位置
n target: ⾞が最終的に移動した位置
n ⼿法:
n 出⼒空間でボロノイ分割し，
複数の出⼒のロスを最⼩化する

7. イントロ: 既存⼿法の⽋点と提案⼿法による改善
n (a)はテスト画像で⾚枠は異常部分
n (b)はオートエンコーダによる再構成でぼやけるため，異常を発⾒するのが難しい
n (c)は提案⼿法による再構成で画像が鮮明に出⼒されている
n ⻘い画像はピクセルごとのNLLを測っており，これによって異常度を可視化できる

8. 提案⼿法: デコーダによる複数の出⼒
n デコーダの確率分布を利⽤して複数の出⼒を⾏う
n それぞれのピクセルごとにガウシアンを仮定
n 損失関数は3つの項で構成される
n WTA 損失項
n 潜在変数を正規分布に近づける項
n Discriminatorによる正則化項
n WTA損失最⼩化
n 最もサンプルの尤度が
⼤きくなる𝜃"を学習する
Discriminator
による正則化
エンコーダの
正則化
winner-takes-all
損失

9. 提案⼿法: 敵対的制約𝐿$
n Discriminatorによる正則化
n 出⼒した複数の予測が，本物のデータ
分布に近づくようにするため
n WTA損失は他の仮説に対して全く制約
を課していない
n Dは訓練時のみ利⽤ random sample image
データを再構成した
複数の仮説
最も良い仮説
の組み合わせ

10. 実験1: CIFAR-10
n あるクラスを正常・その他のクラスを異常としたときのAUROCのスコア
n まあまあ良い結果
平均AUROC

11. 実験2: Metal Anomaly data-set
n 定性的実験: VAEよりもConADの⽅が鮮明な画像を出⼒して，異常箇所も検知できている
n 定量的実験: ConADが基本的に良いAUROCスコア
VAE ConAD

12. n 問題意識:
n 深層⽣成モデルの尤度を⽤いてOOD検知する⽅法は，背景情報に強く影響をうける
n 解決策:
n ノイズを⼊れた尤度と⼊れなかった場合の尤度の⽐を利⽤することで，背景(background)情報を無
視し，物体(semantic)情報のみに注⽬する
n 実験:
n semanticな情報の尤度に着⽬できているかどうかの定性的な実験
n Fashion-MNISTをin-distribution，MNISTをOODとしたときにSOTAの性能がでることを確認
n DNAの系列データにおいても異常データを検知できることを確認
n ACGTの⽂字列データ
概要: Likelihood Ratios for Out-of-Distribution Detection

13. 関連論⽂: Do Deep Generative Models Know What They Don't Know? (ICLR 2019)
n 深層⽣成モデルで，あるデータ
セットの分布を学習する
n 学習に使っていない別のデータ
セットを⼊⼒としたときに，何
故か尤度がより⾼くなる現象が，
いくつかのデータセットやモデ
ルで起こる
n すなわち，OOD検知に⽣成モデ
ルは使えないのではないか︖
n → でも頑張るのが今回の論⽂
参考: https://qiita.com/exp/items/518950b80a9d06fe1fdb

14. イントロ: 背景情報をデータから取り除きたい
n 尤度は背景情報に強く影響をうけることを実験的に確認
n (a): Fashion-MNISTでモデルを学習したとき，MNISTの尤度はそれより⾼くなってしまう
n (b): 尤度とピクセル値が0の数の割合は相関している
n → 背景情報を取り除けば，(a)の現象を解決できる可能性がある︖

15. 提案⼿法: 尤度⽐を⽤いる
n ⼊⼒は background 要素 + semantic 要素 に分解できることを仮定
n このとき，それらの確率は独⽴であると仮定
n ノイズをいれて学習したモデルを 𝑝&'
(𝑥)，ノイズを⼊れずに学習したモデルを𝑝&(𝑥)とする
n ノイズはベルヌーイ分布(μ=0.1~0.2)で与える
n これらの尤度⽐は
n 背景において， であることを仮定すると，尤度⽐は，

16. 実験1: 尤度⽐がsemanticな情報を捉えられているか
n 尤度値は背景のピクセルのほうがsemanticなピクセルより⼤きくなってしまっている
n 尤度⽐の値はsemanticなピクセルのほうが⼤きい値を持つことがわかる

17. 実験2: 異常データとどのくらい分離できるかを定量的に実験
n 2つのデータセット(Fashion-MNISTとゲノムデータ)においてSOTAの検知精度を確認
in-distributionのラベル情報を使わずに
ここまで精度でるのはすごいが，
CIFAR10 vs SVHNだとそこまで精度はでてない →
model: LSTMmodel: pixelCNN++

18. n 問題意識:
n ハイパラチューニングをあるOODデータセットでした場合，他のOODデータセットに汎化しない
n OODは前もって定義することはできず，その選択は学習にbiasを与えてしまう
n 解決策:
n そもそもin-distributionのデータしか使わない
n 分布内で条件づけた確率分布をNNでモデル化してOOD検知する
n 実験:
n 異常データを検証として全く使わずにSOTA
n どのような異常データに対して苦⼿なのかを分析
概要: Learning Out-of-distribution Detection without Out-of-distribution Data

19. 関連論⽂: A Baseline for Detecting Misclassified and Out-of-Distribution
Examples in Neural Networks (ICLR 2017)
n max p(y|x): ソフトマックスの出⼒の最⼤値をOODの指標として使う
n アイデア: OODは予測分類が曖昧になるはず
n ex) 3クラスのとき，[0.9, 0.05, 0.05]→正常, [0.3, 0.3, 0.4]→異常
n 良い点: 改めてモデルを再訓練する必要がない・OODの検証⽤データが必要ない
⾊点: in-distribution
⽩点: out-of-distribution
実際これだけでも結構分離できる

20. 関連⼿法: ODIN・Mahalanobis
n ODIN: キャリブレーション⽅法
n Mahalanobis: 隠れ層の出⼒をガウス分布
で近似する
n ODIN・MahalanobisはOODの検証⽤
データが必要になる
n ハイパラ調整をしない⽅法で⽐較する
ここでは𝛼, = 1とする
T = 1000とする

21. 提案⼿法: ドメインで条件付けを⾏う
n ランダムノイズを訓練されたMNIST画像分類器に⼊れるとどうなるか︖
n → あるクラスに91％の確率で出⼒される (なぜ︖)
n ソフトマックスは指⽰関数のゆるい近似で，⼀様分布を出⼒するようには学習しないから? (Hendrycks, 2017)
n ドメインで条件付けすることを考えてないからでは︖(この論⽂の著者)
n 分類確率を次のように分解できる
n 𝑥~𝑝012のサンプルを考える
n 分⺟が⼩さいので結果
出⼒が⼤きくなるのでは?
n 𝑝(𝑦45, 𝑑45 𝑥 を学習したい
n OODかそうでないかというラベルが結局必要になる
n どうすればOODデータなしに学習できるのか︖
n 教師なし学習と同じ状況
n 右上の確率分布の分解の式の構造をモデルに組み込むことを考える
訓練データで
学習した分類器
同時分布の確率は低い
ex) 0.09
Inの確率は低くなる
ex) 0.1

22. 提案⼿法: 𝑝(𝑦45, 𝑑45 𝑥 を学習したい
n 𝑝(𝑦45, 𝑑45 𝑥 を学習したい
n 確率分布の分解の式の構造をモデルに組み込むことを考える
n ロジット(𝑓4(𝑥))を分解してモデル化を⾏う
n 𝑓4(𝑥): ラベルに関係する項
n 𝑓9
(𝑥): ソフトマックス⼀層前の出⼒
n 𝑔(𝑥): ラベルに関係しない項
n BN: バッチノーマライゼーション
n OODの判定
n g(x) = 1のときBaselineと同じ式になるので，Baselineの拡張といえる

23. 実験1: いつもOOD検知で使われるデータセット (CIFAR)
n 正直検知性能はかなり強い
n ただ，クラス分類の正解率は
若⼲下がってしまうという⽋
点もある

24. 実験2: 普段使われないデータセット (DomainNet)
n real-Aをin-distributionデー
タとして学習・その他を
OODとして検知する
n Semantic shiftに関しては
若⼲弱い

25. まとめ
n ICML 2019: Anomaly Detection With Multiple-Hypotheses Predictions
n 複数のモードを捉えるMHPを異常検知に利⽤することを提案．これにより，⼀つのモードしか捉
えられず，平均的な画像を出⼒するオートエンコーダと⽐べて鮮明な画像を出⼒が可能になり，
ピクセルごとの尤度を計算することでテストデータ画像中の傷を検知できることを確認した．
n NIPS 2019: Likelihood Ratios for Out-of-Distribution Detection
n ノイズをいれた場合とノイズをいれない場合の訓練データをそれぞれ深層⽣成モデルで学習し，
それらの尤度⽐を異常検知スコアとして利⽤することを提案．これにより，背景情報を無視し，
物体情報のみに着⽬した検知が可能になった．
n ICLR 2020: Learning Out-of-distribution Detection without Out-of-distribution Data
(under review)
n 分布内ドメインで条件づけた確率分布をベイズの定理で分解し，NNでモデル化することで，訓
練データのみでモデルを学習する⽅法を提案．これにより，OODデータを訓練または検証データ
として全く使わずにOODを検知することを可能にした．