Chapter 20 - GAN

1. 20.
DEEP GENERATIVE MODELS
- Generative Adversarial Networks
하인준 , 전희선

2. Generative Adversarial Networks
데이터를 생성(generate)
적대적 시스템 (게임 이론)
정(Thesis)과 반(Antithesis)의 대립 통해
단순 산술적 중앙값이 아닌
새로운 차원으로 발전된 최적값을
찾아내고자 하는 시스템

3. Generative Adversarial Networks
데이터를 생성(generate)
적대적 시스템 (게임 이론)

4. Generative Adversarial Networks
Discriminator 분포
↓
↓
1
0
실제 데이터와의 유사도를
0~1 사이의 likelihood로
Generator로
만들어진
Fake data
분포
실제 data와의 차이 최소화
판별 성능 최대화
목적함수
min
𝐺
max
𝐷
𝑉(𝐷, 𝐺)

5. GAN 목적 함수
실제 데이터 x를
넣었을 때의 Discriminator output
min
𝐺
max
𝐷
𝑉(𝐷, 𝐺) = 𝔼 𝑥~𝑝 𝑑𝑎𝑡𝑎(𝑥) 𝑙𝑜𝑔𝐷 𝑥 + 𝔼 𝑧~𝑝 𝑥(𝑧) log(1 − 𝐷 𝐺 𝑧 )
Fake image G(z)를
넣었을 때의 Discriminator output
실제 데이터를 잘 맞출 likelihood

6. 𝐽 = min
𝐺
max
𝐷
𝑉(𝐷, 𝐺) = 𝔼 𝑥~𝑝 𝑑𝑎𝑡𝑎(𝑥) 𝑙𝑜𝑔𝐷 𝑥 + 𝔼 𝑧~𝑝 𝑥(𝑧) log(1 − 𝐷 𝐺 𝑧 )
Discriminator가 판결을 아주 잘 할 경우 D(x) = 1 J = 0 D(G(z)) = 0
Generator가 생성을 아주 잘 할 경우 D(x) = 0 J = -inf D(G(z)) = 1
Discriminator의 목표!
Generator의 목표!
GAN 목적 함수

7. GAN 목적함수 증명 준비

8. GAN 목적함수 증명

9. GAN 목적함수 증명

10. Generative Adversarial Networks
max
𝐷
𝔼 𝑥~𝑝 𝑑𝑎𝑡𝑎(𝑥) 𝑙𝑜𝑔𝐷 𝑥 + 𝔼 𝑧~𝑝 𝑥(𝑧) log(1 − 𝐷 𝐺 𝑧 )
min
𝐺
𝔼 𝑧~𝑝 𝑥(𝑧) log(1 − 𝐷 𝐺 𝑧 )
Gradient ascent
Gradient descent
Problem : 학습이 잘 되지 않음
(향상시켜야 하는 부분인
log(1-D(G(z)) 값이 높은 쪽, 즉 D(G(z)) ≒ 0의
gradient가 작음)

11. Generative Adversarial Networks
max
𝐷
𝔼 𝑥~𝑝 𝑑𝑎𝑡𝑎(𝑥) 𝑙𝑜𝑔𝐷 𝑥 + 𝔼 𝑧~𝑝 𝑥(𝑧) log(1 − 𝐷 𝐺 𝑧 )
m𝑎𝑥
𝐺
𝔼 𝑧~𝑝 𝑥(𝑧) log 𝐷 𝐺 𝑧
Gradient ascent
Gradient ascent
Solution! 1-log log로 변경해서
gradient ascent로 변경

12. GAN 알고리즘

13. DCGAN

14. DCGAN