SlideShare a Scribd company logo
1 of 7
Download to read offline
最新事例紹介資料
2018/08/24
岐阜大学 加藤研究室 中塚俊介
◼ Domain Generalization with Adversarial Feature Learning
Haoliang Li, Sinno Jialin Pan, Shiqi Wang, Alex C. Kot
http://openaccess.thecvf.com/content_cvpr_2018/html/Li_Domain_Generalization_With_CVPR_2018_paper.html (CVPR2018)
◼ Attention-GAN for Object Transfiguration in Wild Images
Xinyuan Chen, Chang Xu, Xiaokang Yang, Dacheng Tao
https://arxiv.org/abs/1803.06798 (ECCV2018)
◼ Adversarially Learned One-Class Classifier for Novelty Detection
Mohammad Sabokrou, Mohammad Khalooei, Mahmood Fathy, Ehsan Adeli
http://openaccess.thecvf.com/content_cvpr_2018/html/Sabokrou_Adversarially_Learned_One-Class_CVPR_2018_paper.html (CVPR2018)
◼ AVID: Adversarial Visual Irregularity Detection
Mohammad Sabokrou, Masoud Pourreza, Mohsen Fayyaz, Rahim Entezari, Mahmood Fathy, Jürgen Gall, Ehsan Adeli
https://arxiv.org/abs/1805.09521
2
目次
TL;DR
◼ Classificationにおいて,取りうるすべての背景を集めるのは難しい
 見たことない背景等に対応できない
◼ Domain Generalizationによって,
ラベル付けられた複数ドメインのデータセットからユニバーサルな特徴を抽出
◼ 従来の研究では,ソースドメインにOverfittingしてしまう傾向があった
 AAE+MMDで解決
3
Domain Generalization with Adversarial Feature Learning
Seen Domainで見たことの無い背景を持つ
Unseen Domainの自転車も自転車であると判定できるか?
色々な背景 → 色々なワーク
クラス分類 → 傷の種類分け
と考えれば,知識の転移ができるのでは?
◼ AAEで特徴空間をラプラシアン分布に近づけるよう正則化
 ソースドメインへのOverfittingを抑制
◼ MMDを使って,ドメイン不変な特徴を抽出
 クラスが同じなら,ドメインが異なっていても特徴が近くなるような制約
4
Domain Generalization with Adversarial Feature Learning
◼ CycleGANで変換するときに,背景等の情報も変換されてしまう
◼ Objectに対するAttentionを算出し,Attentionが大きい箇所だけ変換する
5
Attention-GAN for Object Transfiguration in Wild Images
( , , , ) ( , , , )
( , ) ( , ) ( , )cyc cyc sparse sparse
GAN y GAN x
cyc cyc A A x y A A x y
L L G D x y L F D x y
L G F L A A L A A  
= +
+ + +
変換した画像と原画像を重み付き (Attention) で足し合わせ
Attention の一貫性を保つLoss
AttentionがなるべくSparseになるように
( ) ( ) ( ) (1 ( ))x x xG x A x T x A x x= + −
1 1
( , ) ( ) ( ( )) ( ) ( ( ))cycA x y x X x y y Y y xL A A E A x A G x E A y A F y 
   = − + −
   
1 1
( , ) ( ) ( )sparseA x y x X x y Y yL A A E A x E A y 
  = +   
◼ AutoEncoder (Denoising) + GAN
◼ Discriminatorの判定結果を異常度にする
 Dis(En(x))
6
Adversarially Learned One-Class Classifier for Novelty Detection
Encoderを通した方が分離性能が上がる
◼ Pixel baseとPatch baseの両方で異常判定を行う
 Pixel: Reconstruction
 Patch: Discriminated Map
◼ 2つのネットワーク
 Inpainting Network (Denoising AutoEncoder)
 Detection Network (Discriminator)
7
AVID: Adversarial Visual Irregularity Detection
2つのネットワークの出力で異常領域を決定
Discriminatorはスカラーでなく,マップを出力
 true: 正常画像 X
 fake: 正常画像にノイズを加えてDenoise I X + ε
X
X + ε
add noise
I(X)
true
fake
22
min max log ( ) log ( ( ))d d
X P X P NI D
E D X E y D I X+
    + −      
1 1 1 1 1
1 1 1 1 1
1 1 1 1 1yは1 fill のマップ

最新事例紹介資料 異常検知(2018.08.24)

  • 2. ◼ Domain Generalization with Adversarial Feature Learning Haoliang Li, Sinno Jialin Pan, Shiqi Wang, Alex C. Kot http://openaccess.thecvf.com/content_cvpr_2018/html/Li_Domain_Generalization_With_CVPR_2018_paper.html (CVPR2018) ◼ Attention-GAN for Object Transfiguration in Wild Images Xinyuan Chen, Chang Xu, Xiaokang Yang, Dacheng Tao https://arxiv.org/abs/1803.06798 (ECCV2018) ◼ Adversarially Learned One-Class Classifier for Novelty Detection Mohammad Sabokrou, Mohammad Khalooei, Mahmood Fathy, Ehsan Adeli http://openaccess.thecvf.com/content_cvpr_2018/html/Sabokrou_Adversarially_Learned_One-Class_CVPR_2018_paper.html (CVPR2018) ◼ AVID: Adversarial Visual Irregularity Detection Mohammad Sabokrou, Masoud Pourreza, Mohsen Fayyaz, Rahim Entezari, Mahmood Fathy, Jürgen Gall, Ehsan Adeli https://arxiv.org/abs/1805.09521 2 目次
  • 3. TL;DR ◼ Classificationにおいて,取りうるすべての背景を集めるのは難しい  見たことない背景等に対応できない ◼ Domain Generalizationによって, ラベル付けられた複数ドメインのデータセットからユニバーサルな特徴を抽出 ◼ 従来の研究では,ソースドメインにOverfittingしてしまう傾向があった  AAE+MMDで解決 3 Domain Generalization with Adversarial Feature Learning Seen Domainで見たことの無い背景を持つ Unseen Domainの自転車も自転車であると判定できるか? 色々な背景 → 色々なワーク クラス分類 → 傷の種類分け と考えれば,知識の転移ができるのでは?
  • 4. ◼ AAEで特徴空間をラプラシアン分布に近づけるよう正則化  ソースドメインへのOverfittingを抑制 ◼ MMDを使って,ドメイン不変な特徴を抽出  クラスが同じなら,ドメインが異なっていても特徴が近くなるような制約 4 Domain Generalization with Adversarial Feature Learning
  • 5. ◼ CycleGANで変換するときに,背景等の情報も変換されてしまう ◼ Objectに対するAttentionを算出し,Attentionが大きい箇所だけ変換する 5 Attention-GAN for Object Transfiguration in Wild Images ( , , , ) ( , , , ) ( , ) ( , ) ( , )cyc cyc sparse sparse GAN y GAN x cyc cyc A A x y A A x y L L G D x y L F D x y L G F L A A L A A   = + + + + 変換した画像と原画像を重み付き (Attention) で足し合わせ Attention の一貫性を保つLoss AttentionがなるべくSparseになるように ( ) ( ) ( ) (1 ( ))x x xG x A x T x A x x= + − 1 1 ( , ) ( ) ( ( )) ( ) ( ( ))cycA x y x X x y y Y y xL A A E A x A G x E A y A F y     = − + −     1 1 ( , ) ( ) ( )sparseA x y x X x y Y yL A A E A x E A y    = +   
  • 6. ◼ AutoEncoder (Denoising) + GAN ◼ Discriminatorの判定結果を異常度にする  Dis(En(x)) 6 Adversarially Learned One-Class Classifier for Novelty Detection Encoderを通した方が分離性能が上がる
  • 7. ◼ Pixel baseとPatch baseの両方で異常判定を行う  Pixel: Reconstruction  Patch: Discriminated Map ◼ 2つのネットワーク  Inpainting Network (Denoising AutoEncoder)  Detection Network (Discriminator) 7 AVID: Adversarial Visual Irregularity Detection 2つのネットワークの出力で異常領域を決定 Discriminatorはスカラーでなく,マップを出力  true: 正常画像 X  fake: 正常画像にノイズを加えてDenoise I X + ε X X + ε add noise I(X) true fake 22 min max log ( ) log ( ( ))d d X P X P NI D E D X E y D I X+     + −       1 1 1 1 1 1 1 1 1 1 1 1 1 1 1yは1 fill のマップ