해시태그

1. 다중 레이블 이미지를 활용한 CNN기반 이미지
어노테이션 시스템의 개선
김택수 , 김상범 네이버
taeksoo.kim@navercorp.com,
sangbum.kim@navercorp.com
제27회 한글 및 한국어 정보처리 학술대회 논문집 (2015년)
발표 자료 박천덕 한림대학교

2. 요약
• 제목을 간단히 하면
– 다중 레이블 이미지를 활용한 CNN기반 이미지 어노테이션 시스템의 개선 ( x )
– 딥러닝을 이용한 자동 태그 생성 알고리즘 ( o )
• 데이터? SNS 인스타그램, 해시태그(#)!
• 학습 알고리즘 분리
– 단 한 개의 해시 태그일 때
– 여~러개의 해시 태그일 때 다르게 학습

3. 레이블 시스템
• 뉴럴 네트워크를 이용해 구한 레이블 확률
– 어노테이션 예측

4. 네트워크 구조
• 입력 : 컬러 이미지 (224x224x3)
• 출력 : 100개의 레이블 확률
– {0.0001 , 0.002 , 0.003 , … 0.7, 0.11 }

5. 태그
• SNS에서 사진을 대표하는 단어

6. 태그s

7. 네트워크 구조 변경

8. 선택적 학습 방법
• 왼쪽) 해시 태그 여러 개 : W1, W2 모두 학습
• 오른쪽) 해시 태그 한 개 : W1 만 학습
• 녹색 중간 층 : 1,000 개 노드
• 마지막 층 : 22,808 개 노드

9. 학습
• 데이터
– 40만장의 SNS이미지(다중 레이블)
– 380개 클래스의 34,221장(단일 레이블)
• 파라미터 FineTuning
1. 기존 AlexNet에서 학습시킨 가중치 사용 (Caffe Zoo model)
• 학습률을 0으로 두어 변경시키지 않음
2. 다중 레이블 데이터 학습(W1,W2 모두 학습)
3. 단일 레이블 데이터 학습(W1만 학습, W2 고정)

10. 성능
• hit@k
– 평가 이미 지에 대한 상위 k개의 어노테이션 중 정답
이 존재한 비율
• #뉴욕 #우드버리 #아울렛 #생로랑 #가방 #갖고싶다 #탐난다 #비싸
다

11. 성능
• 단일 레이블 학습 데이터가 성능을 높이게 도와
주었다
– 단일 레이블은 이미지를 대표하는 단어이기 때문