데이터 분석 프로젝트를 진행한 기린그림 팀에서는 아래와 같은 프로젝트를 진행했습니다.
기린그림 팀은 사용자의 글씨체를 학습하여 나만의 폰트로 일기를 쓰고, 사진을 업로드 하면 직접 그림을 그린 것처럼 변환하여 그림일기를 쓸 수 있도록 하는 프로젝트를 진행 했습니다.
16기 김유진 이화여자대학교 과학교육과
17기 김송성 고려대학교 통계학과
17기 박종은 연세대학교 언더우드국제학부
17기 여해인 동덕여자대학교 컴퓨터학과
17기 이보림 중앙대학교 소프트웨어학부
3. 사용자의 글씨체를 학습하여 나만의 폰트로 일기를 쓰고, 사진을 업로드 하면
직접 그림을 그린 것처럼 변환하여 그림 일기를 쓸 수 있도록 하는 프로젝트
폰트팀 (김송성, 이보림, 박종은)
사용자만의 필기체를 최대한 간편하게 폰트로 구현하여, 사용자가 손으로 직접 쓴 듯한
일기를 제공하는 것
그림팀 (여해인, 김유진)
사용자가 사진을 업로드하면, 사진을 바탕으로 직접 그림 일기를 그린 것처럼 그림일기
스타일의 이미지를 생성하여 제공하는 것
6. YOLO-v5
대표적인 단일 단계 방식의 객체 탐지 알고리즘으로, 속도가 빠르기
전체 이미지를 한번에 학습하기 때문에, 낮은 background error를 가짐
선정 이유 :
때문에 모바일 환경에 적합할 것이라고 생각
(Detection)
7. Biomedical 분야에서 이미지 분할(Image Segmentation)을 목적으로
UNET 으로 edge detection 수행
제안된 End-to-End 방식의 Fully-Convolutional Network 기반 모델
UNET
(Auto-Painter)
8. Raw input를 그대로 받음으로써 공간적/지역적 정보를 유지한 채
CNN의 중요 포인트는 이미지 전체보다는 부분을 보는 것, 그리고
특성(feature)들의 계층을 쌓음.
이미지의 한 픽셀과 주변 픽셀들의 연관성을 살리는 것임.
CNN
(Auto-Painter)
9. 객체 탐지 (object detection), 세그먼테이션
(segmentation), 키포인트 탐지 (keypoint
detection) 등의 컴퓨터 비전(computer vision)
분야의 task를 목적으로 만들어진 데이터셋
330K images (>200K labeled)
1.5 million object instances
80 object categories
91 stuff categories
5 captions per image
250,000 people with keypoints
Detection model : COCO Dataset
14. 그림일기 형태의 스캐치를 만드는 과정을 GAN 모델을 활용하여 end-to-end로
구현하려고 시도했지만, 잘 되지 않음.
👎 데이터셋의 한계 : 전체적인 풍경 위주의 그림보다는 물체 위주의 스케치
데이터만 존재함. → 스케치 필터+ 스케치 이미지 검색으로 기능을 대신함.
15. 그림일기 형태의 스캐치를 만드는 과정을 GAN 모델을 활용하여 end-to-end로
구현하려고 시도했지만, 잘 되지 않음.
👎 데이터셋의 한계 : 전체적인 풍경 위주의 그림보다는 물체 위주의 스케치
데이터만 존재함. → 스케치 필터+ 스케치 이미지 검색으로 기능을 대신함.
18. 자동 채색 모델의 한계점 : Edge 가 흐릿한 경우에는
edge detection 에 실패해서 채색이 잘 이루어지지 않음
19.
20. 한글 11,172자 -> 막대한 시간 필요함
폰트 제작에 필요한 시간 대폭 감소
대표 글자
399자 입력
나머지
10,773자 출력
손글씨 특징 학습
21. 1. 컴퓨터 폰트 학습하는 pre-train 단계
2. 실제 사람의 손글씨 학습하는
Transfer learning 단계
입력한 대표 글자의 특징 잘 학습하여 비슷한 스타일의 다른
글자를 생성해내도록 모델 학습
Style Transfer
Style Transfer
24. 입력 데이터 : 고딕체
출력 데이터 : 스타일 변환된 새로운 글자
Encoder와 Decoder로 구성
Encoder : 고딕체 글자의 특징을 효과적으로 추출하는 데 집중
Decoder : Encoder가 추출한 글자 특징 벡터와 style vector를 입력 받아
글자를 스타일에 맞게 복원
Generator의 구조
Style Vector
30. 데이터 전처리
Erosion 연산, 이미지 균일화
https://www.dbpia.co.kr/Journal/articleDetail?nodeId=NODE10569094
전처리를 통해 향상된 DM-Font 기반의 사용자 손글씨 글꼴 제작 시스템
Erosion :
흰색부분 침식(검은 글자 팽창)
Dilation :
흰색부분 팽창(검은 글자 침식)
31. 데이터 전처리 기준 : 껺, 흕, 뇶, 쁋, 찼
base
base + erosion
base +
이미지균일화
base + erosion
+ 이미지균일화