User Attitudes towards Algorithmic Opacity and Transparency in Online Reviewing Platforms by Motahhare Eslami et al. (CHI 2019)

1. User Attitudes towards Algorithmic
Opacity and Transparency in
Online Reviewing Platforms
+ Motahhare Eslami et al.
- CHI 2019
/ 김민주
02/12/2021

2. 2
1 Why This Paper
2 Background
3 Method
4 Findings
5 Contribution
6 Takeaway

3. 4
02 Background
“ 당신도 모르게 당신의 댓글이 ‘비추천’처리 됐다는걸 아시나요? ”
• Yelp란? 음식점, 상점, 병원 등 복합 리뷰 플랫폼
• Yelp의 리뷰 필터링 알고리즘은 동작 원리 뿐만
아니라 그 존재 자체도 잘 드러나 있지 않음
- 필터링된 리뷰 -> ‘추천하지 않는 리뷰’
- 로그인: ‘추천하지 않는 리뷰’처리된 본인의 리뷰도
평소처럼 정상적으로 보임
- 로그아웃 or 다른 계정 로그인: ‘추천하지 않는’ 리뷰
로 처리된 본인의 리뷰가 보임
• 비즈니스 오너가 Yelp의 광고 요청을 거절할 시…
- 불리한 리뷰는 평소보다 필터링이 안되고, 긍정적 리
뷰는 평소보다 필터링 되는 경향이 있단걸 발견
• 여전히, 악용의 소지/영업 기밀 등의 이유로 알고
리즘에 대해 세부적인 공개를 거부하고 있음

4. 5
03 Method
RQ1: Yelp의 리뷰 필터링 알고리즘의 존재와 작동 원리에 대해 얼마나 인지하고 있는가?
RQ2: Yelp의 리뷰 필터링 알고리즘에 대한 사용자의 인식도에 영향을 미치는 요인이 무엇인가?
RQ3: 알고리즘에 투명성을 높이는 것이 사용자의 행동을 어떻게 바꾸는가?
“ 알고리즘의 존재/작동원리에 대한 인식과 투명성의 효용 탐구 ”
인터뷰
: 15명 Yelp 사용자
알고리즘 관련 데이터 수집 및 분석
: 458개 포스트 by 242 사용자
Study 1 Study 2

5. 6
04 Findings
“ 알고리즘을 인식하기 힘들 뿐이지, 알고리즘의 필요성은 인정함 ”
• Yelp의 리뷰 필터링 알고리즘의 ‘존재’에 대한 인식
• 모든 사용자가 ‘Yelp의 리뷰 필터링 알고리즘’의 존재가 분명하게 드러나야함
‣ “ 의도적으로 Yelp가 알고리즘의 존재를 잘 인지하지 못하게 만드는 것 같아요. 알고리즘을 드러낼
의도였다면, filtered review link도 왜 일부로 Faint link로 디자인 했겠어요?”
• 최소한 사용자에게 그들이 작성한 리뷰 중 어떤게 필터링 되었는지 보여주어야 함
‣ “유튜브는 실제로 제한되거나 필터링된 것들 알려주고 있어요. 이런 식으로, 필터링 된 것을 알려주
어서 사용자가 직접 제어할 수 있는 기회(호소할 권리)를 주어야 해요.”
• 사용자가 스스로 판단할 자유와 기회를 주어야 함
‣ “사용자가 어떤 리뷰가 잘못된건지 아닌지를 스스로 판단하게 해야하지, 읽을 기회 자체를 박탈하면
안돼요. 미국적인 시각이지만 이는 사용자의 언론의 자유를 박탈하는 것 같아요.”
• 리뷰 작성에 대한 의욕 저하 및 부담감 상승
‣ “ 어차피 써도 필터링에 의해 지워진다면, 리뷰 쓰는게 시간낭비 아닌가요?”
‣ “ 막 플랫폼에 입문한 사람 입장에서, 이런 필터링 알고리즘은 의욕을 저하시키고 부담스러워요 ”
• 하지만 알고리즘의 존재를 인식할 수 있는지에는 의문을 제기했지만, 이런 필터링 알고리즘
의 필요성에는 대부분 동의 for 가짜/ 광고/ 악의적인 리뷰를 검증하기 위해
RQ1: Yelp의 리뷰 필터링 알고리즘의 존재와 작동 원리에 대해 얼마나 인지하고 있는가?

6. 7
04 Findings
“ 필터링 알고리즘에 대해 사용자마다 각각 다르게 파악하고 있음 ”
• Yelp의 리뷰 필터링 알고리즘의 ‘작동 원리’에 대한 인식
• Yelp의 리뷰 필터링 알고리즘: 불만인 사용자
‣ 자신들이 가지고 있는 folk theory에 따라 작동방식에 대해 의문을 제기함
‣ “운영의 불투명성이 필터링된 리뷰에 대해 만족스러운 답변을 안해줘요. 그냥 알고리즘에 의해서 그
렇게 처리된 거라고 하니까. … 설명을 안해주는 건지 시스템이 설명불가능해서 못해주는건지…”
• Yelp의 리뷰 필터링 알고리즘: 만족스러운 사용자
‣ “지금 이렇게 필터링 알고리즘이 어떻게 돌아가는지 모르는게 좋은 것 같아요. 통계적으로 많은 리뷰
가 거짓/악의적으로 작성된다는 통계를 보니 알고리즘을 공개하지 않는게 이해가 되더라고요.”
‣ “알고리즘이 공개된다면, 악성 사용자들이 악용할 수 있으니 더 투명하게 공개하면 안될 것 같아요.”
• 알고리즘의 ‘작동 원리’에서의 변화를 요구하는 목소리가 많음
• 필터링 과정에 인간이 개입할 수 있게 하기: 리뷰가 진실되다고 느껴진다면, 다시 복원
• 필터링 변수를 고도화 하기: 사용자 계정의 연령, IP
• 무조건적인 평등보다는 소규모 비즈니스를 위한 ‘형평성’을 고려하기
RQ1: Yelp의 리뷰 필터링 알고리즘의 존재와 작동 원리에 대해 얼마나 인지하고 있는가?

7. 8
04 Findings
* Folk Theory란?사람들 사이에서 형성된 custom/믿음/가설/추측
• Folk Theory - (1) 평소 활동
i) Yelp를 활발하게 사용했을수록, 정상적인 사용자라고 분류되어 필터링 X
ii) 사용자의 프로필을 완성시켜놓아야, 유령계정 취급을 안당해 필터링 X
iii) 평소 본인의 리뷰가 Feedback을 잘 받는다면 필터링 X
• Folk Theory - (2) 리뷰 자체
i) 리뷰 내의 단어가 한 쪽으로 지나치게 치우치거나 과정되면 필터링 O
ii) 내용이 빈약하고 지나치게 생략적인 것보다 자세하게 기술되어야 필터링 X
RQ1: Yelp의 리뷰 필터링 알고리즘의 존재와 작동 원리에 대해 얼마나 인지하고 있는가?
“ 알고리즘의 ‘작동 방식’에서의 변화를 요구하는 목소리가 많음 ”

8. 04 Findings
“ 알고리즘에 대한 인식에 영향을 미치는 요소가 사용자마다 다름 ”
: 플랫폼 이용정도와 개인의 편익에 따라 알고리즘에 대한 사람들의 인식이 달라짐
RQ2: Yelp의 리뷰 필터링 알고리즘에 대한 사용자의 인식도에 영향을 미치는 요인이 무엇인가?
• 도전자(n=69): 알고리즘에 이의를 제기하는 사람
• 방어자(n=61): 알고리즘을 옹호하는 사람
• 플랫폼의 이용정도(engagement level)
- 많이 사용할수록 알고리즘을 더 잘 인지하면서, 왜 알고리즘이 시스템에
필요한지 더 잘 이해할 확률 高
• 개인의 편익(personal gain)
• 엘리트 사용자: 알고리즘 방어자
- 한번 엘리트 사용자로 판단되면, 알고리즘에 의해 리뷰가 필터링되
는 일이 거의 없음
- 여러 혜택으로 Yelp 플랫폼의 일부인 것처럼 세뇌
• 비즈니스 운영자: 알고리즘 도전자
- 금전적인 손해로 직결됨
• 하이브리드(n=20)
ex) 알고리즘의 존재 불투명성에는
반대하지만, 알고리즘 작동 원리에
는 옹호하는 사람
9

9. 10
04 Findings
“ 이제 필터링 알고리즘이 있단걸 알았으니 다르게 행동하겠어요! ”
• 대부분의 사용자가 필터링 알고리즘의 존재에 무지했음(15명 中 13명)
‣ “Yelp review filtering이란게 존재하는 지도 몰랐어요!”
• 알고리즘의 존재를 깨달은 후 행동의 변화가 생김
• 알고리즘 의식하며 리뷰를 작성함(15명 中 6명)
‣ “이젠, 알고리즘에 필터링된다는 걸 알기 때문에… 사진을 좀 더 추가하고 길게 쓰면 필터링이 잘 안
되더라고요?”
• 굳이 Yelp를 쓰기보다는 다른 플랫폼을 사용하겠음(15명 中 7명)
‣ “Yelp 사용하는걸 고민해봐야겠어요, 제 리뷰가 보이지도 않는다면 리뷰를 굳이 Yelp에다가 쓸 이유
가 있나요? 다른 플랫폼도 많은데…)
RQ3: 알고리즘에 투명성을 높이는 것이 사용자의 행동을 어떻게 바꾸는가?

10. 11
05 Conclusion
“ 투명한 알고리즘 좋다하지만, 어느정도로 어떻게 투명하게…? ”
1 모든 사용자가 알고리즘의 ‘존재’한다는 사실은 누구나 쉽게 알 수 있기를 원함
- 알고리즘이 있다는 사실을 숨기려 하는 것은 ‘기만’이라고 생각하며 플랫폼에 대한 실망/탈퇴로 이어짐
- 하지만, Facebook News Feed 경우처럼 ‘Top stories’, ‘Most recent’ -> 인지하게 만드는 데 어려움 多
2 알고리즘의 ‘작동 원리’를 전적으로 투명하게 공개하는 것은 리스크가 高
- 100% 투명함은 사용자로 하여금 시스템을 농락(gaming)하게끔 유도하며, 오히려 시스템과의 인터액션에
부정적 영향을 미칠 수 있음
- 이를 핑계로, 기업들은 이를 빌미로 알고리즘을 전적으로 ‘블랙박스’ 안에 넣어버리고 공개하고 있질 않음
- 하지만 오히려 알고리즘의 밀실화는, 사용자로하여금 잘못된 미신(ex. 시스템이 고의적으로 사용자를 차별
함)을 생성해내는 부작용으로 이어질 수 있음
3 ‘사용자 주도적’ 알고리즘 투명성을 시험할 기회를 주어, 자연스럽게 알고리즘 신뢰도 증진
- 플랫폼에 사용자 참여 가능한 자체 감사 시스템을 제공을 통해, 사용자 간 포럼/토론 가능하게 함
- 알고리즘 Bug Bounty를 통해, 사용자들이 알고리즘의 오류, 편향 들을 직접 테스트하게 함
- 자연스럽게, 사용자에게 더 많은 권한을 주면서 시스템에 대한 신뢰도를 높일 수 있음