Paper by Daniel Klug, Yiluo Qin, Morgan Evans, Geoff Kaufman WebSci 2021

1. Trick and Please
: A Mixed-Method Study on User
Assumptions about the TikTok Algorithm
+ Daniel Klug, Yiluo Qin, Morgan Evans, Geoff Kaufman (CMU)
- WebSci 2021
/ 김소담
석사 과정 김소담
16/12/2021

2. 2
1 Why This Paper
2 Background
3 Method
4 Results
5 Takeaway
목차

3. 알고리즘 경험과 assumption을 데이터로 검증하다!
•동영상 ; 유튜브, 틱톡
•모호한 추천 알고리즘
•하지만 다들 추천에 엄청나게 기댄다
•추천 알고리즘을 / 어떻게 받아들여서
어떻게 조련하는가? Trick and Please
3
이 논문은 …
01 Why This Paper

4. 틱톡 알고리즘 경험은 다르다
: 영상을 보고, 만들며 알고리즘을 추정한다
• 틱톡으로 대표되는 숏폼 영상 공유 앱은 영상 플랫폼(ex. 유튜브), SNS(ex. 인스타그램)과 구별되는
특징을 가짐
- 사용자는 시청자이며 동시에 크리에이터
- 사용자가 만드는 영상 콘텐츠를 통해 소통하도록 디자인됨 (영상 콘텐츠를 둘러싼 소통x)
• 사용자들 간 영상 기반 인터액션은 틱톡의 추천 알고리즘에 의한 큐레이션에 크게 의존함
- ‘For you’페이지 : 그 흐름을 예상할 수 없는 자동 추천 영상이 끊임없이 재생됨
• 콘텐츠를 소비하는 동시에 만드는 SNS의 알고리즘에 대한 이해와 경험에 대한 연구는 부족함
1) 짧은 영상을 만들고, 소비하는 사용자 경험을 통해 틱톡 알고리즘을 어떻게 추정하고 있는 지 탐구
2) 틱톡의 인기 동영상 데이터 분석을 통해 사용자의 추정과 알고리즘이 어떻게 동작하는 지 검증
연구 목표
4
02 Background
시청자
알고리즘 경험
크리에이터
알고리즘 경험

5. 인터뷰를 통해 사용자 경험을 발견하고, 데이터 분석으로 검증하다
1 틱톡 사용자 인터뷰 2
5
03 Method
틱톡의 인기 동영상 데이터 분석
• 목적 : 인터뷰를 통해 도출한 틱톡 사용자
가 추정한 알고리즘 작동을 데이터를 통
해 검증
• 데이터 수집 : 틱톡의 trending section
의 영상 메타데이터 16일 간 수집
(300,617개의 영상; 일 평균 2만개)
• 목적 : (1) 틱톡 알고리즘에 대한 추정
(2) 영상을 만들고, 올리는 과정과 전
략 조사
• 미국의 틱톡 사용자 28명을 대상으로
반구조화 인터뷰 진행 (18~25세)
• 인터뷰 내용은 세 명의 연구자가 오픈
코딩 (175개의 코드, 33개 카테고리)
좋아요 수

6. 6
틱톡 사용자는 영상 댓글수, 게시 시간, 해시태그가 추천에 중요하다고 추정
05 Results
인터뷰 결과,
• 대부분의 참가자는 자신의 영상이 인기를 끌며 더 많은 사람들의 for you 추천 페이지에 오르게 하
기 위해 알고리즘이 어떻게 작동하는 지 이해하려 함
• 영상 소비자로서 마주한 알고리즘 : 호의적인 경험의 연속
- 자신의 for you 추천에 보이는 영상들이 항상 흥미로웠기에 알고리즘이 나에게 맞추고 있다고 인지함
• 영상 창작자로서 마주한 알고리즘 : 불규칙, 예측할 수 없어 혼란스러움
- 영상을 만들고, 공유할 때 역시 영상 소비자로서 느낀 알고리즘의 작동과 유사해 예측 가능하기를 기대함
- 영상이 공유되는 과정의 패턴을 전혀 관찰할 수 없고, 이해할 수 없음
틱톡 알고리즘에 의한 ‘for you’ 페이지 추천에 결정적이라 추정하는 세 가지 주요한 요소 도출
영상 참여 (댓글, 공유, 좋아요) 게시 시간 해시태그 추가 & 쌓기

7. 7
05 Results
• 많은 참가자가 댓글 수가 추천 —> 높은 영상 조회수에 결정적 영향을 끼친다고 확신함
• 댓글과 참여를 이끌어내기 위해 영상 안에서 직접 사용자에게 요청하곤 함
틱톡 인기 동영상 데이터 검증 결과,
• 세 가지 참여 행동 데이터(각 영상의 댓글 수,
좋아요 수, 공유 수)와 영상의 조회수 간 양의
상관관계 발견
1. 영상 참여 (댓글, 공유, 좋아요) Video Engagement

8. 8
05 Results
• 특정한 시간대에 영상을 업로드 하는 것이 조회수와 영상 참여를 더 많이 증가시켜 인기 동영상을 만든
다고 믿음
• the assumption of immediacy : 알고리즘 작동이 현재 활성 사용자의 활동과 직접적 연관이 있다고
추측함을 의미함 —> 촬영 후 기다렸다가 현재 활성 사용자가 많은, 영상 수요가 높은 시간에 게시한다!
• 정 반대로, 조회수를 얻기에 시간이 필요하다고 믿는 참가자도 있음
틱톡 인기 동영상 데이터 검증 결과,
• 인기 영상 중 조회수 상위 10% 그룹과 하위 90%그룹 간 게시 시간에서 유의미한 차이 발견
• 조회수 상위 10%
: 6am - 4pm에 몰려있음
• 조회수 하위 90%
: 12am - 4am에 몰려있음
2. 게시 시간 Posting Time

9. 9
05 Results
• 사용자들은 해시태그가 알고리즘의 선택을 받아 for you 페이지로 가는 핵심 피쳐라고 추정함
• 그들의 영상 내용과 상관없이, 게시 할 때 틱톡이 제안하는 ‘지금 인기있는 해시태그’를 꼭 추가함
• #fyp, #foryou와 같이 추천 알고리즘과 영상 피드 그 자체를 겨냥한 해시태그 사용도 흔하게 사용되는
전략임
• 인기있는 해시태그 여러 개를 최대한 많이 쌓아올리듯 추가함
3. 인기있는, 알고리즘 연관 해시태그 추가 Adding Trending Hashtags
해시태그 쌓기 Piling up Hashtags
틱톡 인기 동영상 데이터 검증 결과,
• Hashtag hotness 측정 : 하나의 해시태그 당 절대적인 조회수를 계산
• 하나의 영상에 포함된 모든 해시태그 hotness의 총점과 영상 조회수 간의 유의미한 관계 없음
• 특정 해시태그가 동영상을 인기있게 만들 지 예측할 수 없음

10. - 사용자가 갖고 있는 알고리즘에 대한 이해가 그 다음의 사용자 전략/
행동(practice)를 결정한다!
- 그런데, 알고리즘에 대한 User understanding 세 항목은 인스타,유
튜브와 크게 다르지 않은 거 같은데 …
- 다른 플랫폼은 알고리즘에 대한 이해가 콘텐츠 생성에 어떤 영향을 미
칠까?
- '알고리즘 불신의 시대’ : 우리는 유튜브 / 틱톡 추천 알고리즘을 신뢰
하는가?
- 알고리즘 판뒤집기; 새로운 맞춤 동영상 —> 더욱 신뢰하지 않게 됨
- 불신의 경험이 만드는 새로운 practice는 없을까?
1
방법론 : 질적 연구의 결과를 이미 쌓인 데이터로 검증하는 접근
- Quasi-experiment
- 검증에 적합한 오픈소스 데이터 찾기 …
2
10
06 Takeaway
User Understanding - User Practice - Algorithm Analysis