Paper by Eslam Hussein, Prerna Juneja, and Tanushree Mitra (Virginia Tech) CSCW Journal (May 2020)

1. Measuring Misinformation
in Video Search Platforms
: An Audit Study on YouTube
+ CSCW Journal (May 2020)
- Eslam Hussein, Prerna Juneja, and Tanushree Mitra (Virginia Tech)
/ 김소담
석사 과정 김소담
16/09/2021

2. Table of Contents
1 Why This Paper
2 Background
3 Method
4 Results
5 Takeaway

3. 3
01 Why this paper
•사용자와의 상호작용이 반영된 알고리즘 추천 결과로 알고리즘의 작동을 해석
•알고리즘 경험과 Social Implication
•영상 플랫폼이 유통하고 소비를 유도하는 가짜뉴스, 음모론 정보
—> Amplifying Misinformation
•변수를 통제한 알고리즘 추천 환경을 만들고 + 추천 결과(정보의 질과 양)를 정
량적으로 해석하는 Algorithm Audit Study 방법론
추천 알고리즘 경험을 측정한다

4. 4
02 Background
신빙성 없는 정보가 난무하는 유튜브,
개인화된 알고리즘은 이러한 정보 행동에 어떤 역할을 하는가?
•우리는 정보에 대한 니즈를 “검색 엔진”으로 충족하곤 함
•그러나, 검색 결과의 신빙성에 대한 고려는 부족
•Conspiracy Ecosystem인 유튜브 : 음모론, 가짜 뉴스 선전 + 사회적 편견 재생산
•본 연구에서는 Misinformation을 가짜 음모론이라 정의
•특정 사건의 배후에 대해 많은 사람이 믿고 있지만 명백히 사실이 아니라 밝혀진 정보
연구 질문
유튜브 알고리즘이 사용자에게 제시하는 잘못된 정보의 양에 있어서
개인화 변수(연령, 젠더, 지역 / 시청기록)는 어떤 효과를 가져오는가?

5. 추천 결과
1) 검색 결과 2) Up-Next 3) Top5 추천
5
02 Background
유튜브 알고리즘이 사용자에게 제시하는 잘못된 정보의 양에
있어서 개인화 변수(연령, 젠더, 지역 /. 시청기록)의 효과는 무
엇인가?
잘못된 정보의 양
잘못된 정보의 견해
사용자
연령, 젠더, 지역
시청한 영상의 견해
세부 연구 질문
RQ1: 어떤 효과?
RQ3 : 주제별 차이?
RQ2 : 어떤 효과?
검색 행동
(쿼리의 주제)
핵심 연구 질문

6. 6
03
다섯 가지 영상 주제 선정
검색 쿼리 세트의 구성
두 세트의 Audit 실험
디자인 & 시행
실험 데이터
질적 코딩 & 정량화
Method
효과 검증
•2,943개의 동영상 수집
•영상의 견해 질적 코딩하여 라벨링
: -1(Debunking) / 0 (Neutral) / 1 (Promoting)
집단 간 비교
통계 분석
Search Audit
Watch Audit
시청 기록이 있는 계정의
추천 결과 수집
새 계정의 추천 결과 수집
•다섯개의 음모론 주제 선정
•각 주제별 약 10개씩 총 49개의
검색 쿼리 세트 선정
1 2
3 4

7. Misinformation 주제 선정
: 다섯가지 가짜 음모론
7
Method (1) 검색 쿼리 세트 구성
03
9/11 테러 음모론
비행운 유해물질 음모론
지구 평평설
달 착륙 음모론
백신 음모론
•위키피디아와 선행 연구를 참조
•선정 기준 : 영향력이 큰 “가짜 음모론”
•특정 사건의 수상한 배후에 대해 많은 사람이 믿
고 있지만 명백히 사실이 아니라고 입증된 것
실험에서 검색을 수행할
쿼리 세트 선정
추천 결과를 측정할 실험 대상으로
영향력이 큰 가짜 음모론의 주제와 검색 쿼리를 구성함
•1) 실험에서 검색 시 2) 실험 결과로 수
집한 동영상 분석 시 사용할 키워드
•유튜브 자동완성 검색어 목록, 구글 트렌
드 토픽 연관 쿼리에서 수집하여 총 49개
트렌디한 쿼리 일반적이고 영향력 큰 쿼리

8. 유튜브 계정에 각기 다른 개인화 변수를 적용하여
검색 / 추천 알고리즘의 각 결과를 수집하는 두 세트의 Audit실험 진행
8
Method (2) Audit 실험
03
•Audit Methodology : 온라인 플랫폼에서의 편견, 차별, 잘못된 정보를 파악/탐구/정량
화하는 연구 방법론. 알고리즘 하의 사회적 문제 행동을 드러내고자 함.
개인화
요소
독립 변수 종속 변수
실험1
연령
젠더
연령 4그룹 X 젠더 2그룹
SERP
(검색 결과 상위 영
상 20개) 기반
misinforamtion
점수
실험2 지역
음모론 주제 5개 X IP
address 2그룹
SERP 기반
misinforamtion
점수
1. Search Audit 목표 : 개인화 요소 중 인구통계학적 변수의 효과 검증

9. 유튜브 계정에 각기 다른 개인화 변수를 적용하여
검색 / 추천 알고리즘의 각 결과를 수집하는 두 세트의 Audit실험 진행
9
03
1. Search Audit
•Audit Methodology : 온라인 플랫폼에서의 편견, 차별, 잘못된 정보를 파악/탐구/정량
화하는 연구 방법론. 알고리즘 하의 사회적 문제 행동을 드러내고자 함.
개인화
요소
독립 변수 종속 변수
실험1
연령
젠더
연령 4그룹 X 젠더 2그룹
SERP
(검색 결과 상위 영
상 20개)
실험2 지역
음모론 주제 5개 X IP
address 2그룹
SERP
49개 쿼리 모두 검색
하나의 쿼리 검색 후 20분 휴식
각 그룹마다 새 계정 로그인하여 진행
848개의 동영상 데이터 수집 (중복 제거)
목표 : 개인화 요소 중 인구통계학적 변수의 효과 검증
Method (2) Audit 실험

10. 10
03
개인화 요소 독립 변수 종속 변수
실험3
연령, 젠더 연령 4그룹 X 젠더 2그룹 SERP,
Up-Next,
Top5에 제
시된 영상
점수
시청 기록
시청한 영상의 견해 3그룹
(옹호 / 중립 / 진실 폭로 )
X 음모론 주제 5개
총 120개 계정
실험4
지역 IP address 2그룹 SERP,
Up-Next,
Top5에 제
시된 영상
점수
시청 기록
시청한 영상의 견해 3그룹
(옹호 / 중립 / 진실 폭로 )
X 음모론 주제 5개
총 30개 계정
2. Watch Audit
유튜브 계정에 각기 다른 개인화 변수를 적용하여
검색 / 추천 알고리즘의 각 결과를 수집하는 두 세트의 Audit실험 진행
목표 : 개인화 요소 중 행동 변수인 시청 기록의 효과 검증
Method (2) Audit 실험

11. 11
03
2. Watch Audit
유튜브 계정에 각기 다른 개인화 변수를 적용하여
검색 / 추천 알고리즘의 각 결과를 수집하는 두 세트의 Audit실험 진행
시청 단계
검색 단계
Method (2) Audit 실험
2,479개의 동영상 데이터 수집 (중복 제거)
목표 : 개인화 요소 중 행동 변수인 시청 기록의 효과 검증
: Up-Next, Top5 데이터 수집
: SERP 데이터 수집

12. 검색과 추천 결과에서의 misinformation 증폭 정도 분석을 위한 질적 코딩
12
03 Method (3) 실험 데이터 분석
•Audit을 통해 수집한 2,943개의 동영상 6명의 연구자가 질적 코딩하여 영상의 견해를 세 그
룹으로 분류하고 노멀라이징 점수 부여함
•1 ( 옹호 Promoting) / 0 (중립 Neutral) / -1 (진실 폭로 Debunking)

13. Results
13
04
신빙성 없는 음모론 정보는
시청 기록 기반의 검색 결과, 추천 알고리즘을 통해 증폭됨
RQ 1
RQ 2
•연령, 젠더, 지역 변수의 효과
•음모론 정보의 증가 여부에 대해 유의미한 결과 없음
•시청기록의 효과 —> 통계적으로 유의미하다!
•검색 결과 (SERP) : 백신 음모론 주제만 음모론 정보 증폭됨
•추천 결과 (Up-Next, Top5) : 모든 주제에서 유의미하게 증폭됨
•추천 알고리즘의 필터 버블 효과 발견
•음모론 옹호 견해 영상의 시청 기록 —> Up-Next, Top5에서 더 많
은 옹호 견해 영상 추천 (백신 음모론을 제외한 4개 주제)
•그러나, 백신 음모론은 검색 결과 알고리즘에서 필터 버블 효과 검증
•이는 플랫폼 차원에서 개입하는 특정한 주제가 있음을 시사함. 백신
음모론과 같은 의학 정보는 알고리즘을 통제하여 음모론 영상을 덜
노출시킴
=알고리즘은 주제뿐 아니라 견해까지 감쪽같이 알아차린다

14. Results
14
04
RQ 3
•잘못된 음모론 정보가 추천되는 정도는 음모론 주제마다 유의미하게 다름
•검색 결과 (SERP) : 비행운 음모론의 증폭이 가장 유의미함
•추천 결과 (Up-Next, Top5) : 9/11 테러 음모론의 증폭이 가장 유의
미함
신빙성 없는 음모론 정보는
시청 기록 기반의 검색 결과, 추천 알고리즘을 통해 증폭됨

15. Takeaway
15
05
•흥미로운 주제 ; Misinformation 추천
정보의 게이트키퍼로서의 알고리즘
•추천 알고리즘 경험을 측정할 수 있는 방법론 배움
•본 연구에 적용된 사용자 행동/인터액션은 통제된 “시청 기록”뿐
•알고리즘보다 <사용자 경험>에 더 가까우려면,
•통제되지 않은 환경 + 하나 이상의 행동들
•타 검색과 구별되는 <영상 검색 행동>의 특이점?
•쿼리 입력 후 결과를 타고 타고 이동할 때 이미지와 메타데이터(제목 등) 모두
고려함
•내가 원하는 특정한 정보가 영상에 등장하는 지, 언제 등장하는 지 알 수 없는
채로 영상을 선택해야 함