by Soomin Kim, Changhoon Oh, Won ik Sho, Donghoon Shin, Bongwon Suh, Joonhwan Lee

1. Trkic G00gle: Why and How Uzers
Game Tr@nsaltion Aig0rithnms
# CSCW 2021
# Soomin Kim, Changhoon Oh, Won ik Sho, Donghoon Shin, Bongwon Suh,
Joonhwan Lee
# 20211111 김민주

2. Index
• Why this paper
• Background
• Research Goal
• Study 1, 2, 3
• Discussion

3. Why this paper
어떤 이유로 우회된 전략을 펼치는가?
우회 전략에는 어떤 행동 전략이 있는가?
사용자의 우회전략으로 인한 시스템 왜곡을 예방하고,
사용자들이 authentic behavior을 보이게 하려면 어떻게 해야하는가?
“ 알고리즘을 파악하고 자신만의 멘탈모델을 수립해,
그것에 맞추어 길들이는 사용자들! ”

4. • 일상 속에서 AI system은 너무나도 보편화 되어 있음
ex) Youtube, Amazon …
• 그만큼, 이제 사용자들도 원하는 결과를 얻기 위해 개인화된 행동 전략을 취
하고 있음
ex1) 특정 페이지 자주 방문하기
ex2) 자신의 프로필 세팅을 변경하기
• 개인화된 행동 전략을 통해 AI 시스템을 교묘하게 우회하고 있음
• “Trick”, “Game”, “Astroturf”
Background
“ 자신의 입맛대로 AI system을 customizing하기 시작한 사용자 ”
“ 번역기를 우회하며 우리끼리만 알게끔 작성된 tricky 리뷰의 등장 ”
• 번역 알고리즘의 보편화: 숙박 플랫폼, 지역 비즈니스 플랫폼, 상업 플랫폼
• ex) Airbnb, GoogleMap, Amazon …
• 왜 호스트나/사업주를 속이기 위해 tricky 리뷰를 남기는 지에 대한 충분한
연구가 이루어지지 않아 왔음
• 알고리즘을 게이밍하는 사용자의 동기를 이해해서, 온라인 리뷰 커뮤니티와
알고리즘 기반 인터페이스를 디자인 하는데 인사이트를 얻고자 함

5. Background

6. *Appendix
Host(주인장)
• Airbnb와 같은 서비스를 제공하는 자, 관리자, 주인
• 알고리즘/리뷰러/잠재 이용자들과 상호작용함
• 번역기로 외국어 리뷰 관리 가능
• 댓글들 검토/검열해 잠재 고객에게 자신의 airbnb가 매력적이게 조작/관리
Reviewer(리뷰러)
• 자신의 이용 경험을 바탕으로 리뷰 작성
• 잠재 고객에게 서비스에 대해 솔직하게 알려줌과 동시에, 호스트에게 불이익을 주기도 함
• 호스트나 다른 사람의 댓글 눈치를 보며 부정적 정보를 과소보고하는 경향이 있음
• 번역 알고리즘을 교묘하게 우회하며 암호화한 댓글로 자신의 메세지를 전달하려 함
Potential Customer(잠재 고객)
• 호스트의 정보와 리뷰를 기반으로 결정 내림
• 가짜 리뷰로 인해서 정확한 정보 획득에 어려움 느낌

7. Research Goal
RQ1. 왜 리뷰러들은 번역기를 속이려고 암호화해서 남기는가?
RQ2. 리뷰러들은 번역기를 속이려고 어떤 암호화 전략들을 사용하는가?
RQ3. 잠재적 고객들은 번역-불가능한 암호화된(tricky) 리뷰들을 보고
어떤 식으로 인지하고 파악하는가?
“ 암호화된 리뷰에 대한 이유, 생성 전략, 그리고 영향력에 대해 탐구 ”
‣ 본 연구는 번역-불가능한 tricky 리뷰에 대한 사례를 조사하고, 이런 리뷰
를 통해 어떻게 사용자들 간의 상호작용을 하고 서로에게 영향을 미치는
지에 대해 탐구함

8. Study 1
“ RQ1. 왜 리뷰러들은 번역기를 속이려고 암호화해서 남기는가? ”
• Method
• ‘Tricky 리뷰’ 경험이 있는 사용자 대상 심층 반구조화 인터뷰: 14명
• 21-35세, 여성 8명/남성 6명, 한국 6명/중국 4명/프랑스 2명/일본 2명
• 작성했던 리뷰를 직접 검토함
• 인터뷰 내용: 왜 그런 리뷰를 작성했는지 동기에 대해 질문
• Result
• ‘Tricky 리뷰’를 작성하는 이유는 다음과 같이 4가지로 분류할 수 있음
(i) 검열을 피하기 위해서: 호스트가 부정적 리뷰를 지울 것이라는 우려 有
(ii) 관계적 부담을 줄이기 위해서: 나쁜평을 쓰는게 호스트에세 미안함. 그래서
별점은 높게 주지만 아는 사람들끼끼리만. 알 수 있도록 암호화해서 남김
(iii) 평판을 관리하고 프라이버시를 보호하기 위해서: 서비스 상에서 불이익을
받을까봐. 호스트가 자신의 연락처를 알고 있어서
(iv) 다른 사용자에게 진짜 필요할만한 정보를 제공하고 싶어서: 다른 이용자가
겪을 2차 피해/불편을 막고 싶어서. 같은 국민에 대한 배려

9. Study 2
“ RQ2. 리뷰러들은 번역기를 속이려고 어떤 암호화 전략들을 사용하는가? ”
• Method
• 한글 리뷰들로 한정해 리뷰 분석 진행
• 총 87개의 리뷰 데이터 수집: 인터뷰 참가자(15개), Airbnb와 google map 검
색(43개), 공개 모집(29건)
• Result
• 총 5가지 암호화 전략이 존재했음
(i) morphological 형태학적
(ii) morpho-phonological 형태-음향학적
(iii) optical 광학/시각적
(iv) semantic 의미론적
(v) mixed tricks 복합적 전략
• 87개의 리뷰 중 70개는 긍정/부정적 반응이 모두 포함되어 있었음
• 이 중, 61개는 호스트의 답글이 달렸는데, 호스트 역시 tricky 리뷰 이해에 있어
어려움을 겪고 있음
‣ 25개는 ‘긍정적 답글’
‣ 23개는 ‘리뷰를 이해하지 못했다는 답글’

10. Study 2
“ RQ2. 리뷰러들은 번역기를 속이려고 어떤 암호화 전략들을 사용하는가? ”
• Method
• 한글 리뷰들로 한정해 리뷰 분석 진행
• 총 87개의 리뷰 데이터 수집: 인터뷰 참가자(15개), Airbnb와 google map 검
색(43개), 공개 모집(29건)
• Result
형태학적
형태-음향학적
광학/시각적
의미론적
복합적

11. Study3
“ RQ3. 잠재적 고객들은 번역-불가능한 암호화된(tricky) 리뷰들을 보고
어떤 식으로 인지하고 파악하는가? ”
• Method
• 2(해석 가능 vs 불가능) * 3(긍정 vs 부정 vs 긍-부정)matrix
• 참가자 180명: 29.89세, 남성/여성
• Informativeness(정보 제공성): 7점 리커트 척도로 평가
• Authenticity(진실성): 2개의 설문지에 대해 7점 리커트 척도
• Trustworthiness(신뢰성): 2개의 설문지에 대해 7점 리커트 척도
• open-ended questions을 통해, 어떻게 인식하는지 사회적/심리적 요인 분석

12. Study3
“ RQ3. 잠재적 고객들은 번역-불가능한 암호화된(tricky) 리뷰들을 보고
어떤 식으로 인지하고 파악하는가? ”
• ANOVA Result
• Informativeness(정보 제공성)
• positive review > negative review > positive+negative
• 정보의 valence 정보가 informativess에 큰 영향 미쳤음
• Authenticity(진실성)
• 기계의 해석가능성과 valence가 authenticity에 큰 영향을 미치는 요소임
• Trustworthiness(신뢰성)
• 해석 불가능한 리뷰를 더 신뢰함 only when Negative review
• Qualitative Result
• 부족한 가독성이 ‘정보제공성’ 저해함
• 번역 불가능한 리뷰는 리뷰어의 노력을 나타내기에 ‘신뢰성’ 상승시킴
• 좋은 동기를 가진 ‘좋은 사마리아인’: ‘진실성’을 상승시킴
• 호스트와 알고리즘에 대항해, 게스트들 만의 ‘동질감/유대감’을 가짐

13. Discussion
인간-알고리즘 상호작용을 이해하기 위해, 모델 주변에서 일어나는 상호
작용까지도 고려해야함
‣ P2P 커뮤니티의 경우 특히나 사용자의 참여/상호작용이 활발하니, 사
용자로 하여금 타사용자의 행동에 도움이 되는 콘텐츠를 작성하고 공유
하도록 고려해서 설계해야함
1
2
3
좋은 리뷰 문화를 촉진하기 위해서는, 더욱 익명화되고 세분화된 리뷰 시
스템을 고안해야 함
‣ Tricky 리뷰를 보다 세련되고 타겟화된 방식으로 적절하게 제공해야 함
ex. 한국 사용자에게 한국어 리뷰를 우선적으로 제시하도록
‣ 솔직한 리뷰를 남길 수 있는 커뮤니티 양성하도록 인터페이스 설계
‣ 익명이 더 보장되어 자유로운 의견 표현이 가능하도록 해야함
‣ 더 세분화된 요소들을 도입해 다차원적으로 숙소를 평가해야함
‣ 사용자 기반 리뷰 큐레이팅 시스템
인간 기반 휴리스틱과 사용자 생성 예제를 통한 번역 알고리즘의 고도화
‣ 크라우드 소싱 방식을 통한 라벨링: 사용자로 하여금 tricky 리뷰에 대
한 라벨을 붙이게 하는 것은 또 하나의 웃음 포인트/즐거운 작업

14. Let’s think about…
“ 정말 5점이라고 생각해서 5점을 준 것일까? 별점과 괴리감 있는 리뷰”