제 12회 보아즈(BOAZ) 빅데이터 컨퍼런스 -꽤 GAN찮은 헤어 살롱
•
0 likes•1,398 views
꽤 GAN찮은 헤어 살롱 :GAN모델을 활용한 머리스타이 합성 및 염색 12기 이가경 13기 국주현 남혜린 우윤희 차지이 [국내 최초 빅데이터 연합동아리 BOAZ] 유튜브 - https://www.youtube.com/channel/UCSniI26A56n2QZ71opJtTUg 페이스북 - https://www.facebook.com/BOAZbigdata 인스타그램 - http://www.instagram.com/boaz_bigdata 블로그 - https://blog.naver.com/boazbigdata
Recommended
More Related Content
What's hot
What's hot (20)
Similar to 제 12회 보아즈(BOAZ) 빅데이터 컨퍼런스 -꽤 GAN찮은 헤어 살롱
Similar to 제 12회 보아즈(BOAZ) 빅데이터 컨퍼런스 -꽤 GAN찮은 헤어 살롱 (10)
More from BOAZ Bigdata
More from BOAZ Bigdata (20)
제 12회 보아즈(BOAZ) 빅데이터 컨퍼런스 -꽤 GAN찮은 헤어 살롱
- 1. 꽤 GAN찮은 헤어살롱
- 2. 차례 ◆ 헤어 스타일 생성 및 염색 모델의 필요성 필요성 01 데이터 수집 및 라벨링 Dataset 02 Multi-domain, Multi-modal 합성 모델 StarGAN2 03 StarGAN의 단점을 보완하자! SEAN 04 최종결과 및 의의와 한계점 결과 및 논의 05
- 3. 필요성 헤어 스타일 생성 및 염색 모델의 필요성
- 4. 자신에게 어울리는 스타일에 대한 관심 확산 실제 소비자들의 니즈를 반영한 어플 출시 → 필요성 : 헤어 스타일에 대한 관심 확산 앞머리를 기르면 어떨까? 염색은 처음인데.. 어울릴까?
- 5. ▪ 헤어 스타일 별로 고정된 틀이 존재해, 다양한 분위기 연출이 어려움. ▪ 어플이 제공하지 않는 헤어 스타일은 체험이 불가함. ▪ 위치를 기반으로 합성하는 방식으로, 부자연스러운 부분이 많음 필요성 : 기존 어플의 문제점 염색앞머리O
- 6. 프로젝트 목표 ▪ 동양인 데이터에 최적화 된 데이터셋 / 모델 구축 ▪ 다양한 헤어스타일 이미지 생성 ▪ 헤어 스타일 외의 부분(ex.피부색, 배경 등) 변형 최소화
- 7. GAN : Generative Adversarial Network G(z) D(x) Real Fake Random Vector Fake Image Real Image Is D correct?
- 8. Dataset 데이터 수집 및 라벨링
- 9. 수집 동양인 얼굴 데이터셋 80,000장 크롤링 약 2000장 Dataset 약 82,000장의 얼굴 사진 확보 라벨링 색 / 앞머리 / 스타일에 대해 사진 분류 모델 : Resnet34_CBAM 데이터셋 : 약 3000장 (1500장 x 2 → by Augmentation) Validation accuracy : 색 – 95% / 앞머리 – 99% / 스타일 - 93%
- 10. Dataset 앞머리 있음 앞머리 없음흑발 금발 단발 숏컷롱 펌긴 생머리 라벨링 결과 색 흑발 - 79109장 / 금발 – 2850장 / 기타 앞머리 있음 – 59986장 / 없음 - 22173장 스타일 긴 생머리 - 19286장 / 롱 펌 - 9673장 / 단발 - 7048장 / 숏컷 - 28426장 / 기타
- 12. 스타일 변형 염 색 전체 프로세스 StarGAN2 Face Parsing SEAN SEAN 새로운 헤어 스타일 이미지 생성 염색 헤어 스타일 외 변화 복구
- 13. StarGAN-v2(2020) Architecture Generator Mapping Network Style Encoder Discriminator
- 14. ▪ 여러 도메인, 스타일에 대해 하나의 모델로 처리 가능함 ▪ PGGAN 기반의 Generator → 고화질 사진을 생성할 수 있음 ▪ Adaptive Instance Norm 사용 → 스타일을 가져오고, 입히는 태스크에 적합 StarGAN-v2(2020) : 모델 선정 이유
- 15. StarGAN-v2(2020) : 다양한 실험 - 100,000 Iteration (Tesla V100) - 결과: 생성된 머리 스타일이 다양하지 않고, 이미지의 색감만 변화 - 원인: Batch size가 작음 Batch Size 4/ 512x512 학습 실험 1 Batch Size 7/ 256x256 학습 실험 2 - 100,000 Iteration (Tesla V100) - 결과: 도메인 별 비교적 다양한 스타일 확보
- 16. StarGAN-v2(2020) 결과 : Reference가 있는 경우 SourceReference 앞머리 O Reference 앞머리 X Source
- 17. Source StarGAN-v2(2020) 결과 : Reference가 있는 경우 긴 생머리 롱 펌 Reference Reference Source
- 18. Source Source StarGAN-v2(2020) 결과 : Reference가 있는 경우 단발 숏컷 Reference Reference
- 19. Source StarGAN-v2(2020) 결과 : Reference가 있는 경우 금발 → 데이터가 부족해 안정적인 학습이 어려웠음. 그 결과, 이미지 생성 결과가 좋지 않음. Reference
- 20. StarGAN-v2(2020) 실험결과 : 랜덤 벡터를 이용한 경우 앞머리 O 앞머리 X Source Source
- 21. Source Source 긴 생머리 롱 펌 StarGAN-v2(2020) 실험결과 : 랜덤 벡터를 이용한 경우
- 22. Source Source 단발 숏컷 StarGAN-v2(2020) 실험결과 : 랜덤 벡터를 이용한 경우
- 23. Source 금발 StarGAN-v2(2020) 실험결과 : 랜덤 벡터를 이용한 경우 → Refernce가 있는 경우와 마찬가지로 데이터 부족으로 인한 문제 발생
- 24. StarGAN-v2 모델의 한계 목표는 다양한 헤어 스타일 생성 및 헤어 스타일 외 부분 변형 최소화 ▪ 헤어 스타일 외에도 피부색, 화장 등 다른 요소도 변함 ▪ 다양한 색상의 염색이 불가능함 : 모든 색상에 대해 데이터를 충분히 모으기 어려움
- 26. SEAN(semantic region-adaptive normalization,2020) Segmentation map Style vector Number of label Conv- Layers Tconv- Layers Region-wise average pooling Generator Architecture
- 28. SEAN(2020) : 염색 Architecture Style Encoder + = Style vector ① Style Encoder Style vector ② Mixed vector Generator
- 29. 결과 SEAN(2020) : 염색 + = + =
- 30. SEAN : 헤어 스타일 외 변형 최소화 Star GAN v2 Style vector Style Encoder Face parsing Generator Architecture
- 31. 결과 SEAN : 헤어 스타일 외 변형 최소화 앞머리 O 숏컷 Source
- 32. 결과 SEAN : 헤어 스타일 외 변형 최소화 앞머리 X 긴 생머리 Source
- 33. 결과 및 논의 최종 결과 및 의의와 한계점
- 34. 최종 결과 Source 앞머리 O 단발긴 생머리 Source 앞머리 O 단발롱 펌
- 35. 최종 결과 Source 앞머리 X 숏컷단발 Source 앞머리 X 숏컷단발
- 36. - 두 가지 모델의 혼합사용으로 인해 다소 많은 리소스 필요 - 데이터 재학습으로 인한 도메인 확장의 어려움 프로젝트의 의의 및 한계점 - SEAN 모델을 통해 Train data의 한계를 극복 - 머리 스타일 변화에 충실한 모델을 생성 의의 한계
- 37. 더 알아보기 더 많은 결과 Github https://github.com/HyelinNAM/Hair-synthesis-using-GAN https://bit.ly/BOAZhair
- 38. Reference 1. S. Woo, J. Park, J.-Y. Lee, I. Kweon, CBAM: Convolutional Block Attention Module, ECCV, 2018 2. Goodfellow, J. Pouget-Abadie, M. Mirza, B. Xu, D. Warde-Farley, S. Ozair, A. Courville, Y. Bengio, Generative Adversarial Networks, NeurlPS, 2014 3. A. Radford, L. Metz, S. Chintala, Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks(DCGAN), ICLR, 2016 4. T. Karras, T. Aila, S. Laine, J. Lehtinen, Progressive Growing of GANs for Improved Quality, Stability, and Variation, ICLR, 2018 5. P. Zhu, R. Abdal, Y. Qin, P. Wonka, SEAN: Image Synthesis with Semantic Region-Adaptive Normalization, CVPR, 2020 6. Y. Choi, Y. Uh, J. Yoo, J.-W. Ha, StarGAN v2: Diverse Image Synthesis for Multiple Domains, CVPR, 2020
- 39. Reference 1. http://www.seeprettyface.com/mydataset.html 2. Luuuyi, Devloper0hye. 2019. CBAM.PyTorch. https://github.com/luuuyi/CBAM.PyTorch. (2020) 3. Y. Choi, Y. Uh, J. Yoo, J.-W. Ha. 2020. StarGAN-v2. https://github.com/clovaai/stargan-v2. (2020) 4. P. Zhu, R. Abdal, Y. Qin, Peter Wonka. 2020. SEAN. https://github.com/ZPdesu/SEAN. (2020). 5. Zllrunning. 2019. Face-parsing. https://github.com/zllrunning/face-parsing.PyTorch. (2020)