Download as PDF, PPTX
![Recurrent Generation
import math
import numpy as np
import matplotlib.pyplot as plt
%matplotlib inline
def sigmoid(a):
return 1/(1+math.exp(-a))
N = 200
random_y = np.random.randn(N) / 5000
_x = np.random.randn(N)
plt.figure()
plt.xlim(-6, 6)
plt.scatter(_x, random_y)
_x2 = _x * 6
plt.figure()
plt.xlim(-6, 6)
plt.scatter(_x2, random_y)
sigmoid1 = [sigmoid(m) for m in _x]
plt.figure()
plt.xlim(-6, 6)
plt.ylim(0, 1)
plt.scatter(_x, sigmoid1, c='red')
sigmoid2 = [sigmoid(m) for m in _x2]
plt.figure()
plt.xlim(-6, 6)
plt.ylim(0, 1)
plt.scatter(_x2, sigmoid2, c='red')
x x * 6
sigmoid(x) sigmoid(x * 6)](https://image.slidesharecdn.com/v072-170426075401/85/NDC2017-VAE-54-320.jpg)
More Related Content
![[IGC 2017] 펄어비스 민경인 - Mmorpg를 위한 voxel 기반 네비게이션 라이브러리 개발기](https://cdn.slidesharecdn.com/ss_thumbnails/mmorpgvoxel-170905061528-thumbnail.jpg?width=640&height=640&fit=bounds)
![[IGC2018] 캡콤 토쿠다 유야 - 몬스터헌터 월드의 게임 컨셉과 레벨 디자인](https://cdn.slidesharecdn.com/ss_thumbnails/3-181023023843-thumbnail.jpg?width=640&height=640&fit=bounds)
![[NDC 2010] 그럴듯한 랜덤 생성 컨텐츠 만들기](https://cdn.slidesharecdn.com/ss_thumbnails/hsf4fdvtjgcprbeczm9r-signature-8b01151cfddd883a338efa8a6603d585034336564338d911ab6e95aca4592fa0-poli-150122014503-conversion-gate02-thumbnail.jpg?width=640&height=640&fit=bounds)
![[IGC 2017] 넥슨코리아 오현근 - 평생 게임 기획자 하기](https://cdn.slidesharecdn.com/ss_thumbnails/igc2017in-170905063633-thumbnail.jpg?width=640&height=640&fit=bounds)
![[IGC 2017] 블루홀 최준혁 - '플레이어언노운스 배틀그라운드' DEV 스토리](https://cdn.slidesharecdn.com/ss_thumbnails/igcpubgdevstoryfinalforsharing-170906062941-thumbnail.jpg?width=640&height=640&fit=bounds)
![[NDC2017 정서연] 몬스터 슈퍼리그 리텐션 15% 개선 리포트 - 숫자보다 매력적인 감성 테라피](https://cdn.slidesharecdn.com/ss_thumbnails/15-170425123125-thumbnail.jpg?width=640&height=640&fit=bounds)
![[NDC17] 왓 스튜디오 서비스파트](https://cdn.slidesharecdn.com/ss_thumbnails/random-170427100335-thumbnail.jpg?width=640&height=640&fit=bounds)
![[NDC2017 : 박준철] Python 게임 서버 안녕하십니까 - 몬스터 슈퍼리그 게임 서버](https://cdn.slidesharecdn.com/ss_thumbnails/ndc17python-0425v08-170426123108-thumbnail.jpg?width=640&height=640&fit=bounds)
Similar to [NDC2017] 딥러닝으로 게임 콘텐츠 제작하기 - VAE를 이용한 콘텐츠 생성 기법 연구 사례
![[2A4]DeepLearningAtNAVER](https://cdn.slidesharecdn.com/ss_thumbnails/2a4deeplearningatnaver-140929210707-phpapp01-thumbnail.jpg?width=640&height=640&fit=bounds)
![[NDC2016] 신경망은컨텐츠자동생성의꿈을꾸는가](https://cdn.slidesharecdn.com/ss_thumbnails/random-160427135746-thumbnail.jpg?width=640&height=640&fit=bounds)
[NDC2017] 딥러닝으로 게임 콘텐츠 제작하기 - VAE를 이용한 콘텐츠 생성 기법 연구 사례
- 1. 넥슨 신규개발본부 Blast팀 김환희 VAE를이용한 콘텐츠 생성 기법 연구 사례 딥러닝으로 게임 콘텐츠 제작하기
- 2. 발표자 소개 6년차 게임기획자 NDC2014<기획자가 유니티를 만났을 때 : 자체 툴 제작을 해보자> NDC2016 <신경망은 컨텐츠 자동생성의 꿈을 꾸는가 : 딥러닝을 이용한 SRPG 맵 평가 사례 연구>
- 3. 안내 이 발표는 개인연구 프로젝트입니다.
- 4. 목차 1. 계기 2. Autoencoder 3.Variational Autoencoder 4. 생성 사례
- 5. 1. 계기 - 왜이 주제를 선택했는가
- 6.
- 7. 기술의 빠른 발전 http://fvae.ail.tokyo/ •<FACIAL VAE: Conditional VAE-GAN with Attribute Inference for Faces>
- 8.
- 9. 기술의 빠른 발전 •<Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks> https://www.semanticscholar.org/paper/Unsupervised-Representation-Learning-with-Deep-Radford- Metz/35756f711a97166df11202ebe46820a36704ae77
- 10. 기술의 빠른 발전 •<BEGAN: Boundary Equilibrium Generative Adversarial Networks> https://github.com/Heumi/BEGAN-tensorflow
- 11. 기술의 빠른 발전 •<BEGAN: Boundary Equilibrium Generative Adversarial Networks> https://github.com/Heumi/BEGAN-tensorflow
- 12. 개인적인 필요 • 컨텐츠제작 시간, 능력 부족
- 13. 딥러닝을 이용한 생성모델 • VAE (Variational Auto-Encoder) • GAN (Generative Adversarial Networks) • PixelRNN https://blog.openai.com/generative-models/
- 14. GAN (Generative Adversarial Networks)•적대적 생성 모델 • 이미지를 생성하는 생성자(Generator, G)와 이미지의 진짜/가짜를 판단하는 판별자(Discriminator, D)가 상호 경쟁하며 발전 https://medium.com/@devnag/generative-adversarial-networks-gans-in-50-lines-of-code-pytorch-e81b79659e3f
- 15. Pixel RNN(Recurrent Neural Networks)•픽셀 단위로 반복 학습 • 제한된 정보를 이용해서 다음 상태를 예측 https://arxiv.org/abs/1601.06759
- 16. 딥러닝을 이용한 생성모델 • VAE (Variational Auto-Encoder) • GAN (Generative Adversarial Networks) • PixelRNN
- 17. 딥러닝을 이용한 생성모델 • VAE (Variational Auto-Encoder) • GAN (Generative Adversarial Networks) • PixelRNN
- 18. 2. Autoencoder - 자기자신을 재생산
- 19. 일반적인 딥러닝 모델- 분류 cat dog horse table flower 93% 46% 12% 20% 18%
- 20. 일반적인 딥러닝 모델- 분류 cat dog horse table flower 93% 46% 12% 20% 18% X Yf
- 21.
- 22.
- 23. 수학적으로는 f(x) =x 와 비슷 https://ocw.mit.edu/ans7870/18/18.013a/textbook/HTML/chapter01/section04.html
- 24.
- 25.
- 26.
- 27.
- 28. 이미지의 차이를 줄이는쪽으로 학습 • 이미지의 차이(error) = MSE = Mean Squared Error https://blog.insightdatascience.com/isee-removing-eyeglasses-from-faces-using-deep-learning-d4e7d935376f
- 30. 3. Variational Autoencoder -자기 자신을 재생산 + 약간의 변화
- 31.
- 32. Autoencoder + α(variational) http://kvfrans.com/variational-autoencoders-explained/
- 33. 압축된 정보 =latent variable https://www.slideshare.net/TJTorres1/deep-style-using-variational-autoencoders-for-image-generation
- 34. Unit Gaussian →latent variable • 평균μ, 분산σ2, 표준편차σ를 가지는 분포의 형태 https://www.slideshare.net/TJTorres1/deep-style-using-variational-autoencoders-for-image-generation
- 35. Unit Gaussian • 분산=1(Unit)인 정규분포 http://cshlife.tistory.com/217
- 36. Error = KL-div+ MSE https://www.slideshare.net/TJTorres1/deep-style-using-variational-autoencoders-for-image-generation
- 37. KL-div • Kullback–Leibler divergence •Cross-entropy
- 38. KL-div • Kullback–Leibler divergence •Cross-entropy 사람 이름 차이 Solomon Kullback Richard Arthur Leibler
- 39. KL-div • Kullback–Leibler divergence •Cross-entropy : 정보량의 차이 http://blog.evjang.com/2016/08/variational-bayes.html
- 40.
- 41.
- 42.
- 43. 4. 생성 사례 -Dungeon Shape, 캐릭터 Portrait, Sprite 등
- 44. 개발 환경 • Tensorflowv1.0.1 (windows 10) • Python 3.5 • GTX1070 • Javascript (Web Demo)
- 45. Network Overview • VAENetwork + recurrent generation • Pooling Layer 대신 Convolution Layer 에서 stride=2 (2칸씩 건너뛰기) • Kevin frans 의 코드 참고 http://deeplearning.net/software/theano/tutorial/conv_arithmetic.html
- 46.
- 47. Network - Encoder Input 64,64,c EncoderDense(μ) 800 Dense(σ) 800
- 48. • 이미지를 800개의가우시안 분포로 변환(압축) Network - Encoder Input 64,64,c Encoder Dense(μ) 800 Dense(σ) 800
- 49.
- 50. Network - Decoder •Random = 표준정규분포 난수 • Sample = μ + σ * Random(mean=0,std=1) = 정규분포 난수 >>> import numpy as np >>> print(np.random.normal(0,1)) -0.3835458243630663 https://www.mathsisfun.com/data/images/standardizing.svg
- 51.
- 52.
- 53.
- 54. Recurrent Generation import math importnumpy as np import matplotlib.pyplot as plt %matplotlib inline def sigmoid(a): return 1/(1+math.exp(-a)) N = 200 random_y = np.random.randn(N) / 5000 _x = np.random.randn(N) plt.figure() plt.xlim(-6, 6) plt.scatter(_x, random_y) _x2 = _x * 6 plt.figure() plt.xlim(-6, 6) plt.scatter(_x2, random_y) sigmoid1 = [sigmoid(m) for m in _x] plt.figure() plt.xlim(-6, 6) plt.ylim(0, 1) plt.scatter(_x, sigmoid1, c='red') sigmoid2 = [sigmoid(m) for m in _x2] plt.figure() plt.xlim(-6, 6) plt.ylim(0, 1) plt.scatter(_x2, sigmoid2, c='red') x x * 6 sigmoid(x) sigmoid(x * 6)
- 55. Network - Decoder •Recurrent Generation Original Generated (step=6)
- 56.
- 57. • 샘플링된 데이터에서이미지 데이터를 만들어냄 (복원) Network – Decoder Output 64,64,c Dense(μ) 800 Dense(σ) 800 Sample 800 Random 800 Decoder
- 58. Play with Data •목표 - Latent Variable 탐색 - Shape morphing (e.g. Town → Maze) - Online Demo
- 59. Data1 : DungeonShape http://imgur.com/tYeJX8W
- 60. Dungeon Shape • 64x 64, Binary Image roomsAndCorridor openCave diamondMine town division maze
- 61. Dungeon Shape • ProceduralGeneration • N = 50,000 openCave diamondMine town division mazeroomsAndCorridor
- 62. Dungeon Shape • t-SNE •고차원→저차원 • 800D→2D
- 63. • t-SNE • 일부분확대 Dungeon Shape
- 65.
- 66.
- 67.
- 68.
- 69.
- 70.
- 71.
- 75.
- 76. Interpolation • Linear Interpolation(Lerp) • Spherical linear Interpolation (Slerp) http://www.geeks3d.com/20140205/glsl-simple-morph-target-animation-opengl-glslhacker-demo/
- 77.
- 78.
- 79.
- 80. • random (threshold= 0.5)
- 81. Online Demo • mattya,carpedm20 의 코드 참고 https://github.com/mattya/chainer-DCGAN https://github.com/carpedm20/DCGAN-tensorflow
- 82. Data2 : CharacterPortrait • Game Character Hub 의 Face Set • N = 50,000 • 128 px → 108 px (crop) → 64 px (resize)
- 86.
- 87.
- 88. Character Portrait • t-SNE •Y값 없으므로 단색
- 89.
- 90.
- 91.
- 92.
- 93.
- 94. Analogy • 유추 • A: B = C : ? • ? = (B + C) – A <Sampling Generative Networks>, Tom White J-Diagram http://www.nibcode.com/en/psychometric-training/abstract-reasoning-test/
- 95.
- 96. Analogy A B C ?= (B + C) – A
- 97. Analogy A B C ?= (B + C) – A
- 98. Analogy A B C ?= (B + C) – A
- 99.
- 100. Data3 : CharacterSprite • Game Character Hub: Portfolio Edition 의 Character Set • N = 450,000 = 50,000 x 9 (frames) • 64 x 64
- 102.
- 103. Mean Calculation ? 3rd frame3rd frame mean 5th frame mean
- 104. Mean Calculation 3rd frame3rd frame mean 5th frame mean guessed
- 105. Mean Calculation 3rd frame3rd frame mean 5th frame mean guessed real
- 106.
- 107.
- 108. Experiment 3rd frame +3rdframe mean +3rd frame mean +3rd frame mean +3rd frame mean +3rd frame mean +3rd frame mean -3rd frame mean -3rd frame mean -3rd frame mean -3rd frame mean -3rd frame mean -3rd frame mean
- 109.
- 110. 결론 & 논의 •레벨 디자인 같은 데이터는 실사용 가능 • 이미지 데이터는 실사용 무리 → 멀지 않은 미래에 가능할 듯 (BEGAN 등) • Original 데이터는 많을수록 좋음 • 이 방법으로는 최소 N > 2,000 • Latent variable 탐색 방법은 발전의 여지가 많음
- 111. 더 알아보기 • VAE-GAN •BEGAN • PixelVAE
- 112.
- 113.
- 116.
- 117.
- 118. Data3 : KoreanFont • 142개 무료 폰트 활용 • 표준 글자 2,442자 사용 (특수문자 포함)