200108 Kihwan Kim

1. A Psychologically-Informed Approach
to Similar Item Retrieval
Amy A. Winecoff, Florin Brasoveanu, Bryce Casavan,
Pearce Washabaugh, Matthew Graham
True Fit Corporation
RecSys’19

2. Background
•Item similarity은 추천시스템에 사실상 필수적으로
사용
• 추천 생성
• Diversity 계산

3. Motivation
•수학적 가정: 대칭성
• Sim(a,b) = Sim(b, a)
• 예시: Jaccard similarity

4. Motivation
•사람의 유사도 판단은 비대칭성
• Amos Tversky. 1977. Features of Similarity. Psychological Review 84, 4 (1977), 327–352.
• 인용 9369회
=> 비대칭성을 갖는 similarity metric을 RS에 적용하
자

5. Motivation
•Similarity metric들은 각 item features가 모두 똑같
은 weigh를 갖음
=> Item features마다 다른 weight를 갖게 하자

6. Related Work
• Amos Tversky. 1977. Features of Similarity. Psychological Review 84, 4 (1977), 327–352.
• 인용 9369회
• 위 논문이 metric을 이미 제시함: Tversky's contrast model
아이템 A의
차별점
아이템 A와 B
의
공통점
아이템 B의
차별점

7. Related Work
• Amos Tversky. 1977. Features of Similarity. Psychological Review 84, 4 (1977), 327–352.
• 인용 9369회
• 위 논문이 metric을 이미 제시함: Tversky's contrast model
아이템 A의
차별점
아이템 A와 B
의
공통점
아이템 B의
차별점

8. Hypothesis
H1: Psychologically informed similarity function would better
capture users’ behavior than a standard similarity function
H2: Item features do not contribute equally to user's similarity
judgments

9. Study Design
맨 위의 아이템을 사야 하는데,
품절일 경우,
밑의 두 가지 대안들 중에서 어떤 것을 살
까?
Target
Alternative 1 Alternative 2

10. Study Design
4가지 주요 요소
• sleeve length
• dress length
• pattern style
• color family
3가지 보조 요소
• dress
• neckline
• dress silhouette

11. Study Design
4가지 주요 요소
• sleeve length
• dress length
• pattern style
• color family
=> 패션 전문가가 선정한
8가지 Target Config

12. Study Design
4가지 주요 요소
• sleeve length
• dress length
• pattern style
• color family
=> 패션 전문가가 선정한
8가지 조합

13. Participants
• 8가지 조합들 중 3개가
각 피험자들에게 Task로 주어짐
• 381명이 MTurk에서 실험에 참가
• 172명만이 끝까지 Task를 완료
• 그중 15명은 Outlier로 제거
• 총 157명으로 Result를 구함

14. Participants
• 그중 17명은 Outlier로 제거
• 2가지 집중력 체크용 함정 문제
• Control: 대안 중 하나가 4가지 주요 요소가 전부 동일
• Catch: 대안 중 하나가 아예 같은 이미지
• 총 문제는 5개가 됨
• 3문제 (실험) + 2문제 (집중력 체크)

15. Target
Alternative 1 Alternative 2
Model optimization
델타 S를 독립변수로 하고,
Alternative 1과 2중에서 어떤 것을 골랐는지를 종속변수로 하는
로지스틱 회귀 모형을 학습하여,
기존에 널리 사용되는 Sim metric인 Jaccard similarity와
저자들이 더 나을 것이라고 추측하는 Tversky's contrast model을 비교하고자

16. Model optimization

17. Model optimization
Cross Entropy
Loss

18. Result
• α ≠ β: 사용자의 similarity judgments는 비대칭적이다. (H2 확
인)
• θ > α and θ > β: 공통점이 차별점에 비해 더 중요하다.

19. Result

20. Result
• 두 로지스틱 회귀 모델의 유의한 성능 차이 (H1 확인)
χ2(0)=74.8; p <0.001 (단측 카이 제곱 검정)
• 두 metric이 매우 높은 상관관계를 보였음에도,
모델의 유의한 성능차가 존재함
Pearson’s r=0.974, t(1714) = 174.8, p < 0.001

21. Result

22. Conclusion
A psychologically-informed similarity function
outperforms a psychologically-naive similarity
function in predicting users' similarity judgments.

23. 이 논문을 보고 떠오른 연구 아이디어
• Psychologically-informed similarity metric이
사용자경험에 더 좋은 영향을 줄까?
• 인지적 bias를 고려한 다른 metric의 개발

24. 여러분께 도움될 것 같은 점들
jsPsych, a JavaScript library designed for developing psychology tasks
a
Joshua R De Leeuw. 2015. jsPsych: A JavaScript library for creating behavioral experiments in a Web browser.
Behavior Research Methods

25. jsPsych, a JavaScript library designed for developing psychology tasks
a
Joshua R De Leeuw. 2015. jsPsych: A JavaScript library for creating behavioral experiments in a Web browser.
Behavior Research Methods
여러분께 도움될 것 같은 점들
psiTurk, an open source framework for posting MTurk tasks
and managing workers through the MTurk API
a
Todd Gureckis, Jay Martin, John McDonnell, Alexander Rich, Doug Markant, Anna Coenen, David Halpern, Jessica
Hamrick, and Patricia Chan. 2016. psiTurk: An open-source framework for conducting replicable behavioral
experiments online. Behavior Research Methods 48, 3 (sep 2016), 829–842.

26. 끝