Paper review for "Temporal Generative Adversarial Nets with Singular Value Clipping"

1. Temporal Generative Adversarial Nets
with Singular Value Clipping
작은논문읽기 모임 2018-2-2nd
영상 및 비디오 패턴 인식 연구실 이형민

2. 연구 분야
• Video Generation
 Frame Interpolation
 Frame Extrapolation(Future Frame Prediction)
 Image Animation
• Video-Sound Fusion
 Sound of Pixel
 Cocktail Party Effect
• Simple Video Processing
 Image Processing  Video
공통점: Video, Time Axis

3. GAN
Generator Discriminator
Generator Discriminator

4. GAN with Temporal Data?
Image
Video

5. GAN with Temporal Data?
Spatial 축과 Temporal 축이 전부 동일하게 취급된다!!

6. Temporal GAN

7. Temporal GAN
• 3d Convolution
• (channel, time, height, width)

8. Future Research Ideas
• Frame Interpolation
논문은 많이 읽었는데 아이디어 구체화가 안됨
• Text-Guided Image Animation
Model의 창의와 자유도를 제한하면서 인간이 원하는 방향을 제시하는 방식에 흥미가 생겼음.
• Motion Deblurring using Frame Interpolation
Video는 자연이 Labeling 해준 천연 Dataset
Video Frame Rate를 높여서 인위적으로 Motion Blurred Image를 형성한 뒤, 역으로 학습시키는 아이디어