5. ◼ CycleGANで変換するときに,背景等の情報も変換されてしまう
◼ Objectに対するAttentionを算出し,Attentionが大きい箇所だけ変換する
5
Attention-GAN for Object Transfiguration in Wild Images
( , , , ) ( , , , )
( , ) ( , ) ( , )cyc cyc sparse sparse
GAN y GAN x
cyc cyc A A x y A A x y
L L G D x y L F D x y
L G F L A A L A A
= +
+ + +
変換した画像と原画像を重み付き (Attention) で足し合わせ
Attention の一貫性を保つLoss
AttentionがなるべくSparseになるように
( ) ( ) ( ) (1 ( ))x x xG x A x T x A x x= + −
1 1
( , ) ( ) ( ( )) ( ) ( ( ))cycA x y x X x y y Y y xL A A E A x A G x E A y A F y
= − + −
1 1
( , ) ( ) ( )sparseA x y x X x y Y yL A A E A x E A y
= +
6. ◼ AutoEncoder (Denoising) + GAN
◼ Discriminatorの判定結果を異常度にする
Dis(En(x))
6
Adversarially Learned One-Class Classifier for Novelty Detection
Encoderを通した方が分離性能が上がる
7. ◼ Pixel baseとPatch baseの両方で異常判定を行う
Pixel: Reconstruction
Patch: Discriminated Map
◼ 2つのネットワーク
Inpainting Network (Denoising AutoEncoder)
Detection Network (Discriminator)
7
AVID: Adversarial Visual Irregularity Detection
2つのネットワークの出力で異常領域を決定
Discriminatorはスカラーでなく,マップを出力
true: 正常画像 X
fake: 正常画像にノイズを加えてDenoise I X + ε
X
X + ε
add noise
I(X)
true
fake
22
min max log ( ) log ( ( ))d d
X P X P NI D
E D X E y D I X+
+ −
1 1 1 1 1
1 1 1 1 1
1 1 1 1 1yは1 fill のマップ