FASHION-HOW IV baseline

1. 자율성장 인공지능 경진대회
FASHION-HOW 베이스라인

2. Data Base 구성
(Sub-task 1-4)

3. Sub-task 1
Fashion Image
Attribute Classification

4. • 총 label 개수
• 일상성(Daily): 6개, 위 그림에서 ‘교복 스타일’을 제외한 label
• 성(Gender): 5개, ‘밀리터리 스타일’을 제외한 label
• 장식성(Embellishment): 3개
• 한 image에 대해 일상성, 성, 장식성에 대한 각각의 label 하나
씩 annotation 되어야 함
• Label과 더불어 같이 제공되어야 하는 것이 의상 위치에 대
한 bbox 좌표
• Bbox_xmin, Bbox_ymin, Bbox_xmax, Bbox_ymax
(xmin, ymin)
(xmax, ymax)
Daily Total Train Test Ratio Name
0 708 566 142 0.20056497 실내복 스타일
1 8361 6489 1872 0.22389666 가벼운 외출 스타일
2 1323 1036 287 0.21693122 오피스룩
3 2027 1609 418 0.20621608 격식차린 스타일
4 694 541 153 0.2204611 이벤트 스타일
5 556 428 128 0.23021583 운동복 스타일
13669 10669 3000 0.21947472
Gender Total Train Test Ratio Name
0 1152 876 276 0.23958333 매니쉬 스타일
1 3342 2639 703 0.21035308 유니섹스 스타일
2 3324 2570 754 0.22683514 걸리쉬 스타일
3 5203 4077 1126 0.21641361 우아한 스타일
4 648 507 141 0.21759259 섹시한 스타일
13669 10669 3000
Embellishment Total Train Test Ratio Name
0 7615 5917 1698 0.22298096 장식이 없는 스타일
1 3963 3126 837 0.21120363 포인트 장식이 있는 스타일
2 2091 1626 465 0.22238164 장식이 많은 스타일
13669 10669 3000
Sub-task 1 : Fashion Image Attribute Classification

5. Sub-task 2
Imbalanced Classification

6. Color Total Train Test Name
0 501 401 100 red
1 165 65 100 coral
2 166 66 100 orange
3 619 519 100 pink
4 377 277 100 purple
5 1051 951 100 brown
6 963 863 100 beige
7 905 805 100 ivory
8 203 103 100 yellow
9 143 43 100 mustard
10 568 468 100 sky blue
11 444 344 100 royal blue
12 1101 1001 100 navy
13 420 320 100 green
14 401 301 100 khaki
15 1200 1100 100 white
16 1591 1491 100 gray
17 3083 2983 100 black
13901 12101 1800
• 총 label 개수: 18
• 위 그림에서 ‘라임 그린’을 제외한 모든 label
• 기존 testset은 Label별 image 개수를 100개로 통일
• Label과 더불어 같이 제공되어야 하는 것이 의상 위치
에 대한 bbox 좌표
• Bbox_xmin, Bbox_ymin, Bbox_xmax, Bbox_ymax
(xmin, ymin)
(xmax, ymax)
Sub-task 2 : Imbalanced Classification

7. Sub-task 3
Continual Learning

8. 연속 학습을 위한 DB 구성 조건
연속 학습은 서로 다른 여러 개의 문제들이 순차적으로 입력되는 상황에서의 학습 방식
따라서, 연속 학습이 가능한 상황을 마련하기 위하여 서로 독립적인 여러 개의 문제(task)를 가지도록 DB 구성
이러한 이유로, 뒤에 설명되는 DB(패션 아이템 메타데이터 DB/훈련용 대화 DB/평가용 대화 DB)는 모두 각각의
task에 대하여 독립적으로 구성되어 있으며, 그 형식은 모두 동일함
각 task는 패션 도메인의 TPO(Time/Place/Occasion) 정보에 기반하여 생성되었음
DB 구성 (1/4)

9. 패션 아이템 이미지에 따른 메타데이터 DB
메타데이터는 “패션 아이템의 이름 – 항목 – 패션 아이템의 종류 – 특징 종류 – 특징 기술” 형태로 구성
DB 구성 (2/4)

10. DB 구성 (3/4)
훈련용 대화 DB
“발화번호 – <CO>|<US>|<AC> – 발화 – TAG”로 구성
<AC>는 추천된 패션 코디네이션을, <CO>는 코디 에이전트를, <US>는 사용자를 말함

11. DB 구성 (4/4)
연속 학습 평가용 대화 DB
“; 대화번호”, “US|CO 발화“, “R1|R2|R3 패션 코디네이션” 으로 구성
US는 사용자를, CO는 코디 에이전트를 말함
R1은 1순위, R2는 2순위, R3는 3순위의 후보 패션 코디네이션을 말함
적색 부분의 대화와 청색 부분의 패션 코디네이션들로 구성

12. Sub-task 3
Zero-Shot Learning

13. DB 구성 (1/4)
패션 아이템 이미지에 따른 메타데이터 DB
메타데이터는 “패션 아이템의 이름 – 항목 – 패션 아이템의 종류 – 특징 종류 – 특징 기술” 형태로 구성

14. DB 구성 (2/4)
훈련용 대화 DB
“발화번호 – <CO>|<US>|<AC> – 발화 – TAG”로 구성
<AC>는 추천된 패션 코디네이션을, <CO>는 코디 에이전트를, <US>는 사용자를 말함

15. DB 구성 (3/4)
연속 학습 평가용 대화 DB
“; 대화번호”, “US|CO 발화“, “R1|R2|R3 패션 코디네이션” 으로 구성
US는 사용자를, CO는 코디 에이전트를 말함
R1은 1순위, R2는 2순위, R3는 3순위의 후보 패션 코디네이션을 말함
적색 부분의 대화와 청색 부분의 패션 코디네이션들로 구성

16. …
Classifier
Feature
Extractor
Batchnorm
ReLU
Batchnorm
ReLU
Batchnorm
ReLU
Conv
Conv
Conv
Conv
Batchnorm
ReLU
Batchnorm
ReLU
Batchnorm
ReLU
Conv
Conv
Conv
Conv
Daily
Feature
Extractor
Batchnorm
ReLU
Batchnorm
ReLU
Batchnorm
ReLU
Conv
Conv
Conv
Conv
Batchnorm
ReLU
Batchnorm
ReLU
Batchnorm
ReLU
Conv
Conv
Conv
Conv
Shape stream
…
Classifier
Gender
…
Classifier
Embellishment
Texture stream
Concatenate
DB 구성 (4/4)
패션 아이템의 이미지 특징 DB
아래 그림과 같은 이미지 특징 추출 모델은 패션 아이템의 형태 특징과 감성 특징을 나누어 획득
3개의 감성 특징(일상성, 성, 장식)과 형태 특징에 대한 2,048 사이즈의 벡터로 저장됨 à (4,2048) 사이즈의
numpy array 포맷