데이터 분석 프로젝트를 진행한 Find Your Style 팀에서는 사용자가 좋아하는 룩의 사진을 올리면 이에 맞는 스타일을 찾아 어울리는 여성 패션 상품을 추천해주는 프로젝트를 진행했습니다. 16기 강하영 동덕여자대학교 정보통계학과 16기 김지수 성신여자대학교 통계학과 16기 남유지 숙명여자대학교 컴퓨터과학전공 15기 김희현 성균관대학교 데이터사이언스융합전공 16기 박은지 숙명여자대학교 소비자경제학과

1. 사용자이미지 라벨링을통한의류추천시스템
FindYourStyle
16기 엔지니어링 강하영
16기 분석 김지수
16기 분석 김희현
16기 분석 남유지
16기 분석 박은지

2. 서비스소개
FindYourStyle
모델소개
Segmentation
Multi-labelClassfication
Recommendation
서비스구현
질의응답

3. F.Y.S
강하영 김희현
김지수 남유지 박은지

4. 서비스소개

5. 서비스소개
Find Your Style
사용자 이미지 라벨링을 통한 여성 의류 추천 서비스
Segmentation Multi-label
classification
Recommendation
Image Results
[1,7,12,3,1,0,8,1,1]
[3,5,15,2,1,1,3,0,1]
item_id sim Top_k
target 1
1001 0.8333 1
1004 0.8333 2

6. Segmentation

7. 모델 소개
Mask Rcnn
이미지를 입력으로 받아 각 객체에 대해 bounding box와 segmentation mask를 생성
• Mask rcnn = Faster R-CNN + mask branch
• Mask: 각 object에 대한 픽셀 단위 segmentation mask
선택 이유
1. 다양한 형태의 의류 → 다양한 형태에도 정교한 객체 탐지 기대
2. Bbox detection과 pixel 단위 segmentation 두가지 task를 동시에 사용 가능
3. COCO 2016 challenge 1등

8. 학습데이터
AI Hub K-fashion
이미지에서 패션 영역과 속성, 스타일 정보를 인식 및 도출 가능한 한국형 패션 이미지 데이터 셋
• 총 1,200,000건 데이터
• 대분류 10가지, 세부속성 186가지, 스타일 23가지 레이블링 정보
학습 환경
• Train data 29만개
• 스타일: 스트리트, 모던, 매니시, 리조트, 로맨틱, 레트로
• 100 에폭 학습

9. 입력&출력
입력
• 원본 이미지
• 입력 피클 파일: json 파싱
• 좌표, item, item_id, image_id, image_name,
width, height
출력
• 아이템 별 크롭 이미지
• 출력 피클 파일
• Rois, class_id, class_name, original, image_id

10. 예측결과
무신사 이미지 입력
크롭이미지
예측피클파일
mAP(IOU>=25%)
Mask R-CNN(ResNet-101-FPN) 0.19

11. Multi-label
Classification

12. 모델소개
의류 특징
Item dress, top, bottom, outer
색상 골드, 그레이, 그린,…
카테고리 가디건, 니트웨어, 드레스,…
옷깃 밴드칼라, 보우칼라, 세일러칼라,…
소매기장 7부소매, 긴팔, 민소매,…
핏 노멀, 루즈, 벨보텀,…
기장 노멀, 니렝스, 롱,…
넥라인 노카라, 라운드넥, 보트넥,…
스타일 레트로, 로맨틱, 리조트,…
멀티 라벨 분류를 위해
pre-trained ResNet50
딥러닝 모델 사용

13. 모델소개
Multi-Head Deep Learning Models
각 라벨에 대해 두 개 이상의 값을 가질 수 있어 신경망의 각 출력 헤드에 두개 이상
의 출력 feature 가 있음
• ImageNet dataset 으로 사전 학습된 Resnet50 사용
선택 이유
1. K-fashion 데이터: Multi-label 데이터
2. Multi-label 분류: multi-head 또는 multi-output
딥러닝 모델이 적합

14. 입력&출력
outer
[Item, 색상, 카테고리, 옷깃, 소매기장, 핏, 기장, 넥라인, 스타일, 소재, 프린트, 디테일]
top, dress
[Item, 색상, 카테고리, 옷깃, 소매기장, 핏, 기장, 넥라인, 스타일]
bottom
[Item, 색상, 카테고리, 핏, 기장, 스타일, 소재, 프린트, 디테일]

15. 분류결과
입력 이미지 출력: 인코딩 된 리스트
outer
[Item, 색상, 카테고리, 옷깃, 소매기장, 핏, 기장, 넥라인,
스타일, 소재, 프린트, 디테일]
top, dress
[Item, 색상, 카테고리, 옷깃, 소매기장, 핏, 기장, 넥라인, 스타일]
bottom
[Item, 색상, 카테고리, 핏, 기장, 스타일, 소재, 프린트, 디테일]

16. 분류결과
Dress
Bottom Outer
Top
[ Loss ]

17. Recommendation

18. 일반적인추천시스템
일반적으로 사용자 정보, 상품 정보를 모두 활용하여 추천 시스템 구축

19. 일반적인추천시스템
일반적으로 사용자 정보, 상품 정보를 모두 활용하여 추천 시스템 구축
But 우리는 사용자 정보가 전혀 없음

20. 해결방법
임의로 사용자 정보를 구축 시도
• 패션 플랫폼에서 리뷰 크롤링, 학습 데이터와 특징이 동일한 상품에 임의의 리뷰 생성
실제 판매 상품1의 실제 리뷰
학습 데이터의 유사상품
임의 리뷰 부여

21. 해결방법
문제점
• 특징이 유사하다고 같은 상품 아님
• 정확하지 않은 리뷰 데이터가 오히려 노이즈
• 단순히 별점으로는 CF 구현에 한계가 있음
그래서…
• 데이터셋이 갖고있는 상세한 상품 정보를 더 활용하자
• Contents Based Filtering 구현 선택

22. FeatureEmbedding
아이템 별 feature 개수에 따라 가중치를 반영한 인코딩
총 8개 feature 사용
item_id
색상 카테고리 옷깃 핏
베이지 블랙 블라우스 가디건 보우칼라 라운드넥 노멀 루즈
1001 0.33 0.33 0.33
1002 0.25 0.25 0.25 0.25
1003 0.5 0.5
N 0.5 0.5
item_id 색상 카테고리 옷깃 핏
1001 베이지 블라우스 NaN 루즈
1002 블랙 가디건 라운드넥 노멀
1003 NaN NaN 보우칼라 루즈
N 블랙 NaN NaN 노멀
108개 column 생성
1 색상 골드, 그레이, 그린, 네온, 네이비, 라벤더, 레드, 민트, 베이지, 브라운, 블랙, 블루, 스카이블루, 실버, 옐로우, 오렌지, 와인, 카키, 퍼플, 핑크, 화이트
2 카테고리 가디건, 니트웨어, 드레스, 래깅스, 베스트, 브라탑, 블라우스, 셔츠, 스커트, 재킷, 점퍼, 점프수트, 조거팬츠, 짚업, 청바지, 코트, 탑, 티셔츠, 패딩, 팬츠, 후드티
3 카라 밴드칼라, 보우칼라, 세일러칼라, 셔츠칼라, 숄칼라, 차이나칼라, 테일러드칼라, 폴로칼라, 피터팬칼라
4 소매기장 7부소매, 긴팔, 민소매, 반팔, 없음, 캡
5 핏 노멀, 루즈, 벨보텀, 스키니, 오버사이즈, 와이드, 타이트
6 기장 노멀, 니렝스, 롱, 맥시, 미니, 미디, 발목, 크롭, 하프
7 넥라인 노카라, 라운드넥, 보트넥, 브이넥, 스위트하트, 스퀘어넥, 오프숄더, 원숄더, 유넥, 터틀넥, 홀터넥, 후드
8 스타일 레트로, 로맨틱, 리조트, 매니시, 모던, 스트리트

23. 유사도계산
타겟 아이템에 대해 모든 아이템 간 코사인 유사도 계산
→ 유사도 기반 Top K개 상품 추천
item_id
색상 카테고리 옷깃 핏
베이지 블랙 블라우스 가디건 보우칼라 라운드넥 노멀 루즈
target item 0.33 0.33 0.33
1001 0.33 0.33 0.33
1002 0.25 0.25 0.25 0.25
1003 0.5 0.5
N 0.5 0.5
item_id sim Top_k
target 1
1004 0.833333 1
1006 0.833333 2
1008 0.833333 3

24. 추천결과
입력 이미지 추천된 아이템
유사도 색상 카테고리 옷깃 소매기장 핏 넥라인 스타일
0.8333 화이트 블라우스 보우칼라 긴팔 루즈 NaN 레트로
0.8333 베이지 블라우스 보우칼라 긴팔 루즈 NaN 모던
0.8333 베이지 블라우스 보우칼라 긴팔 루즈 NaN 페미닌
색상 카테고리 옷깃 소매기장 핏 넥라인 스타일
베이지 블라우스 보우칼라 긴팔 루즈 NaN 레트로

25. 서비스구현

26. 상품데이터구축
• 패션 플랫폼 ‘무신사’에서 여성 의류 코디 사진 7천여건 크롤링
• 해당 코디 상품의 아이템 링크 크롤링
코디이미지 (7344건) 상품 정보 (14277건) 실제 상품 데이터셋 구축
image_id item_id item_link
1000 1001
https://store.musinsa.com/app/good
s/2200957/0
1000 1002
https://store.musinsa.com/app/good
s/2195282/0
1000 1003
https://store.musinsa.com/app/good
s/2228297/0

27. 웹사이트구축

28. 웹사이트구축

29. 웹사이트구축
cvv
cvv

30. 서비스한계&비전
Segmentation
• 하드웨어 한계 → k-fashion 데이터의 일부만 사용하여 학습. 실제 시장에는 훨씬 많은 스타일이 존재
Multi-label classification
• Feature의 많은 조합 → 모든 조합을 학습시키지 못해 loss가 크다
Recommendation
• 아이템 임베딩 방식의 한계 → 오토인코더 등 이미지 및 특성 기반 임베딩으로 발전 가능

31. 감사합니다