5. 5
Generative model
GAN: generative adversarial networks
Z: 𝒰(0,1)
G
(generator)
D
(discriminator)
Real
Fake
Real
Discriminator training
Generator training
Real data
Fake data
9. 9
Anomaly detection
Expect normal case
Anomaly detection
• 비정상적인 관측 데이터를 찾아내는 것
• 1 class classification (normal / abnormal)
문제점
• 솔루션 설계에서 비정상 데이터를 거의 고려하지 않거나
보통 비정상 데이터가 관측될 경우가 정상 집단에 비해 거의 없음
• 예를 들어, MRI T1 영상 기준으로 제작된 프로그램에 T2 영상을 입력하거나..
개인용 얼굴 분석기에 다른 사람의 얼굴이 입력된다거나..
10. 10
Anomaly detection
정상 데이터만으로 비정상 데이터를 찾을 수 있을까?
model
training data
query data
encoded or decoded feature space에서 anomaly data는 outlier로 나타나지 않을까?
근데, 그 형태가 나타나는 feature space를 찾을 수 있나..?
è 정상 데이터만의 특징을 가지는(생성할 수 있는) 모델이 있으면 차이를 나타낼 수 있지 않을까?
11. 11
Anomaly detection
정상 데이터만으로 비정상 데이터를 찾을 수 있을까?
model
‘1’ generator
‘1’ discriminator
‘1’ 이미지 데이터를 생성/판별 하는 모델로 ‘7’을 만들 수 있을까?
잘 학습된 모델이라면 7을 완벽하게 만들 수 없다.
만들어 내지 못하는 그 부분이 Anomaly area !!
query data
similar data
difference
12. 12
AnoGAN
Step for anomaly detection
model
‘1’ generator
‘1’ discriminator
‘1’ GAN 학습
(G, D)
Fixed
G
Step 1. GAN 학습
𝑧
𝒰(0,1)
Fixed
D
query
𝓛
backprop
update Z
Step 2. 비정상 data, 영역 추론
G, D 고정하고 Loss 로 Z 를 변경
Z 는 G의 결과 ( ‘1’ ) 가
query 이미지 ( ‘7’ ) 와
비슷해 지도록 업데이트됨
13. 13
AnoGAN
Anomaly score: loss function
Fixed
G𝑧
𝒰(0,1)
Fixed
D
query
𝓛
Residual loss
ℒR 𝑧S = T 𝑥 − 𝐺 𝑧S
ℒ- 𝑧S = T 𝐹(𝑥) − 𝐹 𝐺 𝑧S
𝐹(. ) : 𝐷’s intermediate layer output
Discriminator loss
+
𝑤X ∗ ℒ-
𝑤Z ∗ ℒR
𝑤Z = 0.9
𝑤X = 0.1
Anomaly
score
Loss 는 ℒR 과 ℒ- , 두 가지의 weighted sum으로 표현
ℒR 은 물리적 유사도, ℒ- 은 discriminator로 표현된 특징 공간에서의 유사도를 의미
27. 27
Discussion
• 완벽하지 않지만 어느 정도 query image에서 ‘1’인 부분을 찾아낸다.
• 𝑧~𝑝> 의 모든 z 가 ‘1’을 표현하는 것은 아니다.
[이건 아마 데이터 부족..?]
[z dimension을 100 à 50으로 낮추면 어떻게 될까?]
• 𝑧~𝑝> 에서 𝑧~𝑝> 와 같이 𝑧 의 분포를 변경하면 similar image가 변한다.
ex) 𝑧~𝒰(0,1) 에서 𝑧~𝒰(−∞, ∞) 로 변경했더니 MNIST의 경우 similar
가 query 를 기존보다 따라가는 경향을 보임 (당연한가..?)
[그럼 학습된 generator에서 z 분포를 변경하는 것만으로 학습하지 못한 이미지의 표현이 가능한가?]
• z 는 랜덤 값인데 비해 z 학습 과정에서 iteration 수가 상수이기 때문에
매번 다른 결과를 보인다.
[local minima는 존재하는가? iter 를 무한히 할 때 G(𝑧~𝑝>) 가 같은 결과로 수렴하는지?]
query images
predictions
anomaly region
