The document describes a project to build a customized 2nd generation prediction model using GAN. The goals of the project were to implement an optimized model for predicting East Asian children's appearances and allow adjusting the gender ratio and age range of predictions. The project team collected datasets, trained a StyleGAN2-ada model, and tested it on various gender ratios and celebrity couples. The model was able to naturally generate Asian facial features but had limitations predicting younger ages and certain hairstyles. Future work could focus on adding more male and child data to improve accuracy.
2. 01
Index
02
03
04
05
Introduction 주제 선정 이유, 기존 서비스의 한계점
프로젝트 목표
Preparation 데이터 수집 및 전처리
구축 환경
Model
Result
Outroduction
모델 선정 및 학습
결과 시연
의의 및 한계, 발전방향,
참고문헌, 더보기
4. 01 Introduction
내 최애랑 결혼하게 되면 애기는
최애 닮았으면 좋겠다..ㅎ..(미래설계)
이번에 손예진 현빈 사귄다 던데
결혼하면 2세 유전자 대박일듯ㅇㅇ
포토샵 프로그램을 이용하여 남녀 합성 및 2세 모습 예측
2세 예측 플랫폼(웹, 앱) 증가
자신의 2세 또는 연예인 커플 2세에 대한 관심 확산
주제 선정
민지 하랑 혜원
정민
5. 01 Introduction
- 부모의 비율과 특성 조절의 경우 대부분 유료 서비스
- 서양인을 기반으로 만들어져 동양인 예측의 경우 부자연스럽거나, 서양인을 닮은 아이가 예측 됨
기존 플랫폼의 문제점 (Baby Maker 어플 참조)
- 나이변화의 폭이 매우 좁음(3-5세), 넓을 경우에는 유료 서비스
+ +
6. 01 Introduction
- 남녀 사진 반영 비율 조절
- 동양인에 최적화된 2세 예측 모델 구현
프로젝트 목표
- 나이변화 폭 기존보다 넓게 재설정(5-20세)
- 예측한 2세 성별 선택 가능
12. 03 Model
학습 구조
StyleGAN2-ada Network pkl
획득!
StyleGAN2-ada
Encoder
Aligned image
256 x 256
Latent 획득!
StyleGAN2-ada
Generator
Direction
vector
M F
B
13. 03 Model
학습 구조
StyleGAN2-ada Network pkl
획득!
StyleGAN2-ada
Encoder
Aligned image
256 x 256
Latent 획득!
다시 256*256으로
StyleGAN2-ada
Generator
Direction
vector
M F
B
1. 얼굴의 기울기를 조절
2. 배경을 지우기
3. 얼굴 위주로 crop
4. 1024*1024로 resize
Landmark Library
45. 05 Outroduction
한계점
- 남자, 어린아이 데이터가 여자데이터에 비해 제한적
전체적으로 나이가 어려질 수록 사진이 희미해 짐
남자아이가 더 흐릿함
진하고 긴 머리스타일의 경우 제거에 어려움이 있음
- 3-5세의 매우 낮은 연령대는 잘 생성되지 않음
- 낮은 배경 반영률 + 이전보다 사진과 머리,피부 톤이 더 어두워 지기도 함
- 데이터셋에 따른 결과물의 완성도 차이 발생
46. 05 Outroduction
의의
- 256x256 data, StyleGAN2-ada 모델 사용 : 효율성 증대
- 실제 자녀와 비슷한 모습으로 예측
- 자녀의 성별 선택 및 남녀 비율 조절, 화장 제거 가능
- 동양인 데이터를 추가하여 동양인에 최적화되면서도 서양인에게도 적절하게 적용되는 모델 구현
47. 05 Outroduction
발전 방향
- 남자, 아이 데이터셋을 추가하여 성별, 나이 변환 정확도 향상
- 배경 구현 능력 향상
- 해당 주제 관련 무료서비스 플랫폼 배포
- 성별, 나이를 제외한 헤어스타일, 표정, 주름, 쌍꺼풀 등
다양한 특징 변환 반영 시도
48. 05 Outroduction
A Style-Based Generator Architecture for Generative Adversarial Networks, T. Karras, S. Laine, T. Aila, CVPR, 2018
Analyzing and Improving the Image Quality of StyleGAN, T. Karras, S. Laine, M. Aittala, J. Hellsten, J. Lehtinen, T. Aila, CVPR, 2020
Training Generative Adversarial Networks with Limited Data, T. Karras, S. Laine, M. Aittala, J. Hellsten, J. Lehtinen, T. Aila, NeurIPS, 2020
Reference
49. 05 Outroduction
Reference
https://www.kaggle.com/lukexng/aisanfaces/version/1
https://github.com/NVlabs/ffhq-dataset
Azure Face API https://azure.microsoft.com/ko-kr/services/cognitive-services/face/
T. Karras, S. Laine, M. Aittala, J. Hellsten, J. Lehtinen, T. Aila, CVPR, 2020, stylegan2, https://github.com/NVlabs/stylegan2(2019)
T. Karras, S. Laine, M. Aittala, J. Hellsten, J. Lehtinen, T. Aila, NeurIPS, 2020, stylegan2-ada, https://github.com/NVlabs/stylegan2-ada(2020)
Aydao, 2020, Stylegan2-Surgery, https://github.com/aydao/stylegan2-surgery
Puzer, 2019, StyleGAN Encoder, https://github.com/Puzer/stylegan-encoder(2019)
rolux, 2019, StyleGAN2 - Official TensorFlow Implementation, https://github.com/rolux/stylegan2encoder(2019)
51. 05 Outroduction
더 보기
2세 예측 프로그램 이용해 보기 https://bit.ly/39LA7Ow
GitHub 보러 가기 https://bit.ly/2NjN0Yh
더 많은 결과를 보고 싶다면?
회고록 보러 가기 https://bit.ly/3qE16SU