Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Unsupervised Anomaly Detection with Generative Adversarial Networks to Guide Marker Discovery

867 views

Published on

2018年11月22日のDeep Learningゼミで発表した資料です.
論文タイトル:Unsupervised Anomaly Detection with Generative Adversarial Networks to Guide Marker Discovery
概要:GANを用いた教師なし学習による異常検知タスクを解決する「AnoGAN」を提案しています.
異常データが少ない場合や,アノテーションコストを削減することができます.

Published in: Engineering
  • Be the first to comment

  • Be the first to like this

Unsupervised Anomaly Detection with Generative Adversarial Networks to Guide Marker Discovery

  1. 1. DLゼミ 2018.11.22 発表者 M2 平間 友⼤ Unsupervised Anomaly Detection with Generative Adversarial Networks to Guide Marker Discovery Thomas Schlegl1,2 ⋆, Philipp Seeb¨ock1,2, Sebastian M. Waldstein2, Ursula Schmidt-Erfurth2, and Georg Langs1 1Computational Imaging Research Lab, Department of Biomedical Imaging and Image-guided Therapy, Medical University Vienna, Austria thomas.schlegl@meduniwien.ac.at 2Christian Doppler Laboratory for Ophthalmic Image Analysis, Department of Ophthalmology and Optometry, Medical University Vienna, Austria 論⽂URL:https://arxiv.org/abs/1703.05921 学会  :IPMI 2017
  2. 2. 背景 CNN(Convolutional Neural Network)などの識別モデルでは, 異常検知タスクにおいて異常データが少ないと ・汎化性能が低い ・学習・検証ができない などの問題がある. GAN(Generative Adversarial Networks)などの⽣成モデル を⽤いた教師なし学習によって異常検知タスクを解決する.
  3. 3. 各クラスが分類可能であるとするならば,データの分布は異なる https://qiita.com/NakaokaRei/items/231ec4efe42dfe79d1ff 識別モデルと⽣成モデル 識別モデル ・クラスとクラスを識別する境界線を探索 ⽣成モデル ・各クラスのどのように分布しているかを探索
  4. 4. https://qiita.com/NakaokaRei/items/231ec4efe42dfe79d1ff 識別モデルと⽣成モデル 識別モデル ⽣成モデル 境界線の決定が困難なため, 未知データを正しく分類できない ⼤量にあるデータの分布は表現できる →少ないクラスを表現しようとすると…? ・データ量に起因する2つのモデルの能⼒
  5. 5. 概要 「AnoGAN」 メインアイデア ・正常データのみ学習して表現できるようにした⽣成モデルは,正常データの 分布でしか写像できないのではないか? 上記仮説を⽴証するため,以下の学習を⾏い,異常度を算出する A.正常画像の分布を探索(通常のGANによる⽣成器の作成) B.⼊⼒画像を潜在空間に逆写像し,元画像と同じになるzの探索 →Aで⽣成器が正常画像の分布に従って⽣成するならば,  ⽣成器は⼊⼒された異常画像を写像した際,元画像と同じ画像にならない 入力 画像 Unsupervised Anomaly Detection with Generative Adversarial Networks to Guide Marker Discovery 逆写像
  6. 6. ・GANの価値関数 通常のGAN同様,⽣成器は実際の画像に近いものを⽣成し,識別器は 実際の画像と⽣成された画像を正しく識別する敵対学習を⾏う 学習アルゴリズム
  7. 7. GANは潜在空間zを観測空間に写像することはできるが,その逆写像は困難 潜在空間zは,以下の損失関数を最⼩化する  を勾配法で探索する 学習アルゴリズム ハイパーパラメータ λ=0.1 Γ: 500step 入力 画像 逆写像
  8. 8. 誤差関数 ・残差損失関数 実際の画像と⽣成画像の輝度値との差の絶対値の合計 値が0に近いほど元画像に近い ・識別損失関数 学習アルゴリズム 識別器の中間層の出⼒をf(x)とする ⽣成画像が学習したデータとどれくらい類似しているかの値 ・異常スコア 決定されたzを⽤いた異常度合い
  9. 9. 実験 ⽬的 ・健康な網膜画像のみを⽤いて学習し,疾患検出におけるAnoGAN性能評価 定性的評価 ・⽣成モデルがリアルな画像を⽣成できているか  健康,異常パターンを⽬視で確認 定量的評価 ・異常検出精度の算出  残差スコア,識別精度,ROC曲線 ⽐較⼿法 ・aCAE(adversarial convolutional autoencoder) ・GANR AnoGANの異常スコアを先⾏研究に置き換えたもの[13] [13] Yeh, R., Chen, C., Lim, T.Y., Hasegawa-Johnson, M., Do, M.N.: Semantic image inpainting with perceptual and contextual losses. arXiv:1607.07539 (2016)
  10. 10. データセット ・網膜の正常,異常データ  合計100万枚 ・64*64pxサイズ ・異常データ枚数は不明 網膜液,HRFなど10種類 実験 パラメータ ⽣成器,識別器 ・畳み込み層:4 ・フィルタサイズ:5*5 最適化⼿法 ・Adam 細かい設定は[12]を参考 [12] Radford, A., Metz, L., Chintala, S.: Unsupervised representation learning with deep convolutional generative adversarial networks. arXiv:1511.06434 (2015) 正常 異常
  11. 11. 実験結果 ⼊⼒画像 ⽣成画像 残差オー バーレイ 異常部分 の領域 学習画像 テスト画像(正常) テスト画像(異常) ※領域ラベルがついているのは網膜液(retinal fluid)のみ.⼀番右列はHRF(hyperreflective foci) ・リアルな正常画像を⽣成できている ・異常画像はうまく⽣成できていない → 仮説の⽴証 定性的評価
  12. 12. 実験結果 定量的評価 ROC曲線:異常スコアを閾値としたTPとFPの トレードオフ 右側の⾯積が広いほど良い推定モデル
  13. 13. 実験結果 定量的評価 R(x):残差スコア=実際の画像と⽣成画像の    輝度値との差の絶対値の合計 D(x):識別スコア=⽣成画像が学習したデータ    とどれくらい類似しているかの値 D^(x):基準の識別スコア (d):識別スコア (c):残差スコア 各スコアのLossと各クラスの度数分布
  14. 14. 考察・まとめ ・異常検知タスクにおける,異常データが少ない場合に有効な GANを⽤いたモデル「AnoGAN」を提案した ・学習に未知の異常データを⽤いていない  → まだ発⾒されていない異常の発⾒が期待できる ・教師なし学習なので,異常データのアノテーションコストを抑える ・異常検知タスクのみならず,データが不均衡の場合全般に適⽤できる ・多クラス分類においても適⽤できる
  15. 15. AnoGANをベースにした論⽂がICLR2018に2本投稿されていた ・論⽂名:Anomaly Detection with Generative Adversarial Networks for Multivariate Time Series ・URL:https://arxiv.org/abs/1809.04758 ・概要  ー⼊⼒画像とより近似した画像を⽣成する ため,潜在空間を探索時に⽣成器⾃体も学習  ー異常スコアの⾒直し
  16. 16. AnoGANをベースにした論⽂がICLR2018に2本投稿されていた ・論⽂名:Efficient GAN-Based Anomaly Detection ・URL:https://arxiv.org/abs/1802.06222 ・概要  潜在空間への逆写像も同時に学習  計算時間を⼤幅に短縮

×