안녕하세요 딥러닝 논문읽기 모임입니다 오늘 업로드된 논문 리뷰 영상은 2020 ACL 에서 발표된 Fine-grained Interest Matching For Neural News Recommendation 라는 제목의 논문입니다.
오늘 소개 드릴 논문은 사용자의 흥미에 맞게 뉴스를 추천해주는 추천시스템 논문입니다. 매일 쏟아지는 뉴스의 양이 방대하여 사용자들이 자신의 흥미에 알맞는 뉴스를 찾기 어렵습니다 따라서 뉴스추천 시스템이 필요한 기술로 자리 잡고 있습니다. 오늘 소개드릴 논문은 Conventional한 방식의 Feature Engineering 방식이 아닌, HDC라는 Convolution Network를 사용하여 좀더 깊이 있게 사용자의 잠재적인 흥미 분야를 파악하고 뉴스와 후보를 좀더 다양한 레벨에서 추천하는 방식을 제안합니다.
오늘 논문의 밑바닥부터 디테일한 부분까지 , 펀디멘탈팀 김지연님이 리뷰 도와주셨습니다.
Indian Call Girls in Abu Dhabi O5286O24O8 Call Girls in Abu Dhabi By Independ...
Fine –grained interest matching for neural news recommendation
1. ⓒSaebyeol Yu. Saebyeol’s PowerPoint
Fine –grained Interest Matching
For Neural News Recommendation
펀다멘탈팀
김지연, 김동희, 김창연, 송헌, 이근배, 이재윤
2. ⓒSaebyeol Yu. Saebyeol’s PowerPoint
• 새로 생성되는 방대한 뉴스의 양
• 각 개인의 다양한 흥미 분야
• 기존 추천시스템의 구조적인 한계
개인 맞춤 뉴스 추천 시스템
3. ⓒSaebyeol Yu. Saebyeol’s PowerPoint
Related Work
Part
2
Conventional Methods Deep Learning Methods
• User-News Feature engineering
(Phelan et al 2011)
• Topic category and Feature by Bayesian
(Liu et al 2013 etc.)
• location based news recommendation
(Son et al 2013)
• Distiling Semantic Feature through auto-
encoder + RNN
( Okura et al)
• Extract entity thorugh knowledge graph
(Wu et al 2018 )
• GRU network to long0term user
preference
(An et al.)
4. ⓒSaebyeol Yu. Saebyeol’s PowerPoint
기존 추천 시스템
• 뉴스 검색 기록의 1차원 벡터화
• 뉴스 기록에 잠재된 사용자의 흥미를 후보 뉴
스군에 매칭 하기 어려움
• Okura et al 2017, Wu et al 2019,
FIM
• 기존 추천 시스템의 문제 해결
1. 1차원의 벡터대신 convolution 사용으로
사용자에 대한 관심에 알맞는 뉴스 추천
가능
2. 각 뉴스와 후보 뉴스를 단어 , 문장 대한
더 많은 정보 학습
5. ⓒSaebyeol Yu. Saebyeol’s PowerPoint
사용자의 특성을 추출하는 대신, 뉴스를 다양한 레벨에서
Matching시켜, 다양한측면에서비교하여더욱정확한정
보를추려낼수있다.
“
6. ⓒSaebyeol Yu. Saebyeol’s PowerPoint
Overview
>> >> >>
Step 1 Step 2 Step 3 Step 4
Problem
Definition
• 사용자별뉴스검
색기록추출
• WordEmbeeding
News
Representation
• Hierarchical
dilated
convolution
• 3D matrix 형태뉴
스 변형
Part
1
Cross
Matching
Matrices
• 후보뉴스 X 뉴
스 기록
Click
Prediction
Module
• Convolution
Aggregate
• 3D CNN
7. ⓒSaebyeol Yu. Saebyeol’s PowerPoint
Step 1 : 문제 정의
Part
1
1 사용자 u 에대한뉴스검색기록 𝑆𝑢= {𝑑1,…𝑑𝑛}
3 후보영화𝐶𝑖,예측값 : 𝑦𝑖 ⊆{0,1}정의
4
g:𝑆𝑢,𝐶 𝑦̂
사용자의뉴스탐색기록u와,후보영화를입력했을때,예측값이나올함수g
제목, Category, Subcategory d = emb([x1,…𝑥𝑛])
2
8. ⓒSaebyeol Yu. Saebyeol’s PowerPoint
Dataset Setting
Microsoft News dataset
Glove Embedding
20 length of sent + cat + subcat
50개의 뉴스 검색 리스트
9. ⓒSaebyeol Yu. Saebyeol’s PowerPoint
• d-dimension embedding d_i
• Heirarchcial dilated convolution Layers
• 텍스트에서 다양한 의미를 찾을수 있다
• Standard Convolution 과 차이점 :
• 𝛿 만큼의 element 를 filed에서 스킵하
면서 학습 , 다양한 의미파악을 위해
Multi level 𝛿 사용
• 각 layer 마다 Normal Batch 적용
• 넓은 View , 적은 계산 비용 , no loss in
information
Step 2-1 :
Hierarchical dilated convolution
12. ⓒSaebyeol Yu. Saebyeol’s PowerPoint
• 앞서 내적한 문서 I X 후보뉴스 의 3D convolutions 들
을요약하기위해,모두 조합하여3Dmatching image
Q로만들어줌
Step4:Convolution Aggregate
13. ⓒSaebyeol Yu. Saebyeol’s PowerPoint
• 3D convolution
• filters: 32-[3,3,3], 16-[3,3,3]
• Stride : [1,1,1]
• max pooling network 로 전체 이미지에서 의미
있는 (특이한) 시그널을 찾음 [3,3,3]
• Output : 사용자의 기록 리스트와 후보 뉴스에
대한 Matching 벡터
• 추천시스템의 결과 : 후보 뉴스의 추천 랭킹
• 해당 후보 뉴스의 Click probability 계산
• Optimizer : Adam , mini-batch 100 , initial
learning rate 1e-3
Step 2-1 :
Click Prediction Module
15. ⓒSaebyeol Yu. Saebyeol’s PowerPoint
ComparisonMethods
Part
3
• Neural > Traditional
• Deep Neural Model 이사용자와뉴스사이
의의미있는Feature을더잘분석
• FIM > Neural > Taditional
• SOTA