Korea Community Day 2019 ( https://kcd2019.festa.io )에서 발표한 자료를 공유합니다.
"변화는 행동을 채움으로 시작된다 (커뮤니티 지속하기/여남뉴스 개발기)" 주제로 발표하였습니다.
널채움은 씨빅해킹 모임으로 다음의 목표를 기준으로 활동합니다.
"하는일 없이 꾸준히 감자 먹으러 모이는 ㅆㅂㅎㅋ 점조직 모임"
변화를 위해서는 사람이 힘이 필요한 만큼, 꾸준히 모이는 것을 힘으로 새로운 아이디어를 자유롭게 나누고 각자 하고 싶은 일을 해보고자 합니다.
Community Flywheel: 커뮤니티 플라이휠, 유저 콘텐츠로 굴려내기 (2022 ver)YunhuiJeong1
2020년 12월, '힙한 서비스의 비밀' 세미나의 연사로서 [커뮤니티 플라이휠, 유저 콘텐츠로 굴려내기]라는 주제로 발표를 진행했는데요, 이후에도 꾸준히 너무나 좋은 반응들을 보여주셔서, 2022년 업데이트 버전으로 자료를 공유드려요! 여러분들의 서비스에 대한 고민을 작게나마 덜어드렸으면 좋겠습니다.
'다들 플라이휠이라는 개념은 한번쯤 들어보셨을 것 같아요. 어떻게 커뮤니티 서비스에 플라이휠을 도입할 수 있을지 UX 실사례들 및 주요 지표들을 함께 담아보았어요'
오늘 선형이론을 가르치고 검색 알고리즘을 뿌리뽑는 시간아니다. 다만, 페이지링크에서 엣지랭크로 이동한 검색은 무엇이 달라진 것인지? 이런 변화에서 관계를 추천하는 민주적 가치 사회적가치가 검색 기술로 달성된것인지? 그렇다면 언론이 숭고하게 지켜야할 가치는 어떤 알고리즘으로 견고하게 가져갈지? 엣지 랭크에 변수처럼 우린 언론 가치 변수로 무엇을 넣는 것을 상상할지? 가치와 의미 부재의 시대에 상실도 것들을 그리워하며....
Korea Community Day 2019 ( https://kcd2019.festa.io )에서 발표한 자료를 공유합니다.
"변화는 행동을 채움으로 시작된다 (커뮤니티 지속하기/여남뉴스 개발기)" 주제로 발표하였습니다.
널채움은 씨빅해킹 모임으로 다음의 목표를 기준으로 활동합니다.
"하는일 없이 꾸준히 감자 먹으러 모이는 ㅆㅂㅎㅋ 점조직 모임"
변화를 위해서는 사람이 힘이 필요한 만큼, 꾸준히 모이는 것을 힘으로 새로운 아이디어를 자유롭게 나누고 각자 하고 싶은 일을 해보고자 합니다.
Community Flywheel: 커뮤니티 플라이휠, 유저 콘텐츠로 굴려내기 (2022 ver)YunhuiJeong1
2020년 12월, '힙한 서비스의 비밀' 세미나의 연사로서 [커뮤니티 플라이휠, 유저 콘텐츠로 굴려내기]라는 주제로 발표를 진행했는데요, 이후에도 꾸준히 너무나 좋은 반응들을 보여주셔서, 2022년 업데이트 버전으로 자료를 공유드려요! 여러분들의 서비스에 대한 고민을 작게나마 덜어드렸으면 좋겠습니다.
'다들 플라이휠이라는 개념은 한번쯤 들어보셨을 것 같아요. 어떻게 커뮤니티 서비스에 플라이휠을 도입할 수 있을지 UX 실사례들 및 주요 지표들을 함께 담아보았어요'
오늘 선형이론을 가르치고 검색 알고리즘을 뿌리뽑는 시간아니다. 다만, 페이지링크에서 엣지랭크로 이동한 검색은 무엇이 달라진 것인지? 이런 변화에서 관계를 추천하는 민주적 가치 사회적가치가 검색 기술로 달성된것인지? 그렇다면 언론이 숭고하게 지켜야할 가치는 어떤 알고리즘으로 견고하게 가져갈지? 엣지 랭크에 변수처럼 우린 언론 가치 변수로 무엇을 넣는 것을 상상할지? 가치와 의미 부재의 시대에 상실도 것들을 그리워하며....
[SocialCoding2020] Online news comments analysis revealing public opinion manipulators
1. 온라인 뉴스 댓글 플랫폼을
흐리는 어뷰저 분석기
2020.06.04
문지형
[Social Coding]
2. 안녕하세요
저는 사람을 향한 데이터 분석 / 모델링을 하고 싶은
Machine Learning Researcher 입니다.
오늘 발표할 분석기 또한
더 나은 온라인 플랫폼이 되길 바라는 마음으로 진행한
개인 프로젝트입니다.
2
3. 프로젝트를 시작하게 된 계기
사회적으로 문제가 되었던 댓글 어뷰징을 데이터로 해결해보고 싶었기
때문입니다.
3
4. 프로젝트를 시작하게 된 계기
사실, 처음 기획은 여러 정보를 담은 시각화 페이지를 만드는 것이었습니다.
“댓글이 하루 동안 쌓일 것이므로, 그 다음 날 댓글 정보를 가공해서 가장
많이 언급된 주제/키워드를 보여주면 어떨까?”
“댓글의 내용을 토대로 진보/보수 를 구분해서 어떤 정치색의 댓글이
많은지 보여주면 어떨까?”
“어뷰저로 의심되는 유저는 제거하고 집계하거나, 이 유저들을 표시해서
사람들이 이 사람들의 댓글에 좌지우지 되지 않도록 도와주는 것은 어떨까?”
4
5. 프로젝트를 시작하게 된 계기
사실, 처음 기획은 여러 정보를 담은 시각화 페이지를 만드는 것이었습니다.
“댓글이 하루 동안 쌓일 것이므로, 그 다음 날 댓글 정보를 가공해서 가장
많이 언급된 주제/키워드를 보여주면 어떨까?”
“댓글의 내용을 토대로 진보/보수 를 구분해서 어떤 정치색의 댓글이
많은지 보여주면 어떨까?”
“어뷰저로 의심되는 유저는 제거하고 집계하거나, 이 유저들을 표시해서
사람들이 이 사람들의 댓글에 좌지우지 되지 않도록 도와주는 것은 어떨까?”
à 어뷰저를 구분하고 분석에 포함시키지 않는 것이 제일 먼저 할 일!
5
7. 데이터 수집
• 수집 기간:
• 2006.04.26 ~ 2018.05.25 (수집 시점: 2018.10)
• 수집 내용:
• 네이버 뉴스의 6개 분야별 (정치, 경제, 사회, 생활/문화, 세계, IT/과학) 가장
많이 본 뉴스 30건, 뉴스 기사 제목, 내용 및 그에 달린 댓글과 아이디
7https://github.com/zaemyung/crawl-naver-news-and-comments
16. 어뷰저? 그 모호한 단어
먼저, 어뷰징의 목적과 어뷰징이 문제가 되는 상황에 대해 정리해보았다.
• 어뷰징의 목적:
어뷰저들의 목표는 네이버의 댓글 정렬 기준에 맞추어 10위권 내에 드는
것이다. 네이버 뉴스의 UI 상, top 10 내에 들면 그 기사를 읽는 누구나 쉽게 그
댓글의 내용에 접하게 되기 때문이다. 그리고 그 내용이 대중을 대표한다고
생각하기 때문에 쉽게 타인의 생각에 영향을 미칠 수 있다.
• 어뷰징이 문제가 되는 상황:
어뷰징이 문제가 되는 경우는 일반적인 환경에서는 top 10 내에 들지 못했을
댓글이 어떤 조직적인 세력에 의해 강제로 top 10 내에 드는 상황이다. 우리는
top 10 댓글이 플랫폼 참여자들의 생각을 대표하는 댓글이길 기대하지만 그
기대가 깨짐으로써 문제가 발생한다.
16
17. 그래서 어뷰저는
1. 어뷰징의 목적을 달성한 유저
• 타인의 생각에 영향을 미칠 수 있도록, 작성한 댓글이 top 10 내에 한 번
이상 들었어야 한다.
• 실제 어뷰저였어도 top 댓글이 아니어서 타인에게 영향을 미치지 못했다면
어뷰저라고 불릴 자격(?)이 없다. (안습)
2. 자연적으로 발생하기 어려운, 다시 말해, 특정 세력이 배후에 있지
않고서는 등장하기 힘든 패턴이 발견된 유저
17
18. 댓글이 Top 10 내에 들었던 유저
• 정치뉴스
• 어떤 유저는 정치뉴스에 작성한 댓글이 369 번 Top 10 내에 랭크되었다.
• 사회, 경제, 문화, IT, 세계 뉴스에서도 같은 방법을 적용
18
19. 댓글이 Top 10 내에 들었던 유저
top user들은 크게 두가지 부류로 나뉠 것이다.
첫번째, 골수 네이버 뉴스 플랫폼 애용자
• 네이버 뉴스 플랫폼에서 높은 순공감을 받을 수 있는 전략이 학습되었을
것이다.
• 기사가 나오고 얼마 지나지 않아 댓글을 남기거나, 그 당시 분위기에 맞는
댓글의 내용을 남기거나,
• 사실로 보여지는 데이터와 함께 댓글을 작성하거나 하는 등 자신만의 전략이
있을 것이다.
두번째, 어뷰저
• 전략과 무관하게, 보이지 않는 집단에 의해 높은 순공감을 받았을 것이다.
19
20. 댓글이 Top 10 내에 들었던 유저
top user들은 크게 두가지 부류로 나뉠 것이다.
첫번째, 골수 네이버 뉴스 플랫폼 애용자
• 네이버 뉴스 플랫폼에서 높은 순공감을 받을 수 있는 전략이 학습되었을
것이다.
• 기사가 나오고 얼마 지나지 않아 댓글을 남기거나, 그 당시 분위기에 맞는
댓글의 내용을 남기거나,
• 사실로 보여지는 데이터와 함께 댓글을 작성하거나 하는 등 자신만의 전략이
있을 것이다.
두번째, 어뷰저
• 전략과 무관하게, 보이지 않는 집단에 의해 높은 순공감을 받았을 것이다.
20
이 둘을 구분짓는 특징은 무엇일까?
21. 댓글이 Top 10 내에 들었던 유저
top user들은 크게 두가지 부류로 나뉠 것이다.
첫번째, 골수 네이버 뉴스 플랫폼 애용자
• 네이버 뉴스 플랫폼에서 높은 순공감을 받을 수 있는 전략이 학습되었을
것이다.
• 기사가 나오고 얼마 지나지 않아 댓글을 남기거나, 그 당시 분위기에 맞는
댓글의 내용을 남기거나,
• 사실로 보여지는 데이터와 함께 댓글을 작성하거나 하는 등 자신만의 전략이
있을 것이다.
두번째, 어뷰저
• 전략과 무관하게, 보이지 않는 집단에 의해 높은 순공감을 받았을 것이다.
21
작성 댓글이 Top 10 내에 들 확률!
22. 작성 댓글이 Top 10 내에 들 확률
• 골수 애용자들의 전략이 아무리 뛰어나더라도 100%의 확률로 통하지는
않았을 것이다.
• 때로는 일찍 댓글을 작성했음에도 뒤늦게 작성한 댓글이 폭발적인 공감을
이끌어내서 top 10에 들지 못했을 수도 있고,
• 당시의 전반적인 분위기에 탑승하는 댓글을 남겼음에도 다른 댓글 중에
두드러지지 못해 공감을 받지 못했을 수도 있다.
• 반면, 어뷰저는 top 10 성공률이 굉장히 높을 것이다.
• 특정 댓글을 무조건 top 10 내에 들게 하는 것이 목적이므로 성공률을 낮출
요인이 없다.
22
23. 작성 댓글이 Top 10 내에 들 확률
가설:
• 어뷰저는 댓글을 작성한 경우 대부분 Top 10 내에 들었을 것이다.
à 작성 댓글이 Top 10 내에 들 확률 >= 90%
• 골수 애용자들은 90% 정도까지는 아니지만 그래도 2-30% 정도는 될 것
23
mean: 25.0, std: 20.5
24. 어뷰저 의심 유저 A
회색 line: 정치면 기사 댓글
파란색 line: 이 작성자가 쓴 전체 댓글 수
초록색 line: 이 작성자가 쓴 댓글 중 top 10 내에 들었던 댓글 수
24
25. 어뷰저 의심 유저 A
• 중복 댓글이 여기저기 보인다
25
title article date top comments
朴대통령, ‘29일까지 대면조사’ 檢 요청에 사흘째 묵묵부답
2016-11-25
15:12:00
대통령인 자가 자신의 관할하에 있는 검찰을 부정한다
면 곧 국가도 부정하겠다는 의미다. 이런 대통령은 더
이상 대한민국 대통령이 아니다.
차은택 변호인 “차씨, 최순실 지시로 김기춘 실장 공관서
면담”
2016-11-27
16:04:00
김기춘의 진두지휘하에 박근혜 정권의 모든 불법들이
자행되었다. 정말 악마같은 인간이다.
변호인 “차은택, 崔 지시로 김기춘 만나…우병우 장모와
골프도”(종합)
2016-11-27
16:46:00
김기춘의 진두지휘하에 박근혜 정권의 불법들이 자행
되었다. 구속수사해서 감옥에서 못나오게 만들어야 한
다. 공작정치부터 공안탄압 정경유착의 죄를 물어야
한다.
청문회장도 지배한 ‘촛불민심’…與野 ‘재벌 봐주기’ 없었다
2016-12-06
12:34:00
뇌물이었다는 진술을 이끌어내기에는 힘들것 같다. 지
들이 감옥갈 일이니까… 강요죄는 확실할듯…
재벌 총수들 “청와대 거절 어려워”…하나같이 대가성 부인
2016-12-06
12:45:00
뇌물이었다는 진술을 이끌어내기에는 힘들것 같다. 지
들이 감옥갈 일이니까… 강요죄는 확실할듯…
26. 어뷰저 의심 유저 A
• 중복 댓글이 여기저기 보인다
26
title article date top comments
박한철 前소장 한표, ‘캐스팅보트’ 될뻔한 아슬아슬 상황 나
올까
2017-03-04
08:00:00
탄핵 기각에 표 던지면 그게 판사냐? 재판정에서 궤변
을 늘어놓은 박측 대리인들의 안하무인에 손을 들어준
다면 판사이기를 포기하고 박근혜 부역에 동참하겠다
는 선언일 뿐이다.
85시간 재판, 속기록 3000쪽…탄핵심판 이번주 결론날까
2017-03-05
09:00:00
탄핵 기각에 표 던지면 그게 판사냐? 재판정에서 궤변
을 늘어놓은 박측 대리인들의 안하무인에 손을 들어준
다면 판사이기를 포기하고 박근혜 부역에 동참하겠다
는 선언일 뿐이다.
[리얼미터] 다자 文 42.6% vs 安 37.2%…양자 文
47.6% vs 安 43.3%
2017-04-10
09:15:00
여론몰이에 흔들릴 국면이 아니다. 무쏘의 뿔처럼 나
아가면 야합은 흩어지고 굳건함이 승리할 것이다.
文 “김부겸 동지 미안하다…꼭 국민통합 해내겠다”
2017-04-22
08:01:00
김부겸의 진심이 느껴지고 그를 위로하고 뜻을 같이
하는 문재인의 진심도 느껴진다. 남자들에게 이런 동
지애는 죽음도 불사하게 만드는 마력과도 깉다. 조~오
타!!!
27. 어뷰저 의심 유저 A
• 중복 댓글이 여기저기 보인다
27
title section article date top comments
[현장영상] 박근혜 前 대통령 법원으로
출발
society 2017-03-30 10:18:00
최고의 보안과 경호를 철저히 받을
수 있는 구치소를 거쳐 교도소로 직
행하면 나라도 안정되고 국민들도 평
안하고 박근혜 자신도 언론의 감시로
부터 벗어날수 있다.
구속 갈림길에 선 박근혜 ‘웅변 대신
침묵’ 선택
politics 2017-03-30 10:22:00
최고의 보안과 경호를 철저히 받을
수 있는 구치소를 거쳐 교도소로 직
행하면 나라도 안정되고 국민들도 평
안하고 박근혜 자신도 언론의 감시로
부터 벗어날수 있다.
28. 어뷰저 의심 유저 B
회색 line: 정치면 기사 댓글
파란색 line: 이 작성자가 쓴 전체 댓글 수
초록색 line: 이 작성자가 쓴 댓글 중 top 10 내에 들었던 댓글 수
28
29. 어뷰저 의심 유저 B
• 중복 댓글이 여기저기 보인다
29
title article date top comments
정상회담 돌발 변수는 ‘사드’…청 “모든 가능성 준비”
2017-06-25
20:20:00
국익과국가안보가최우선입니다~~~~
송영무 “사드, 비준 아닌 국회 검증…고액연봉·음주운전 송
구”(종합)
2017-06-28
12:18:00
이유미녹취록에맛짱구치고놀아난언론은×
이유미-이준서 중 한 명은 거짓말…윗선 수사 불가피
2017-06-28
20:52:00
이유미녹취록에맛장구치고놀아난언론은~~~~????
軍, 송영무 인사청문회서 공개된 ‘군사기밀 유출’ 조사 착수
2017-06-29
12:24:00
자유당놈들답다도둑놈들
文대통령, 내일 트럼프와 만난다…취임 후 첫 韓美정상회
담
2017-06-29
13:54:00
국익과국가안보가최우선입니다부디좋은결과있으시길
~
트럼프, 文대통령 부부에 백악관 사적공간 ‘트리티 룸’ 깜짝
공개(종합)
2017-06-30
13:23:00
문재인대통령님~멋저부러요~♡♡♡
한반도 이슈서 ‘주도권’ 확보 성과…한미FTA 재협상 ‘숙
제’(종합)
2017-07-01
10:05:00
국익과국가안보가최우선입니다부디좋은결과있으시길
~~~~~~~~♡♡
30. 결론
• 어뷰저를 정의해보았다.
• Top 10 댓글에 “자주” 올라왔던 유저
• 자주 à 작성 횟수 대비 90% 이상
• 이 기준에 해당되는 유저의 댓글을 보았더니
• 중복이 자주 보였다.
• 별 내용이 아니었다.
어뷰저를 잡은 것 같다
30
31. 그런데 상황이 변했다
N 사는 댓글 정책을 변경했다.
1. 댓글 작성자 닉네임과 프로필 사진 공개
2. 댓글 작성자의 댓글 이력 공개
1. 게시 중인 댓글
2. 최근 삭제한 댓글 비율
3. 그 동안 쓴 댓글수와 공감수
31http://www.hani.co.kr/arti/economy/it/933142.html
32. 아직 어뷰징이 문제일까?
• 혐오가 극명하게 보이는 댓글이 문제인 것은 아닐까?
• 관련 연구: https://github.com/kocohub/korean-hate-speech
• 댓글의 팩트체크가 중요한 것은 아닐까?
• 기사 내용과 관련있는 댓글을 우선으로 보여주는 것이 좋은 것 아닐까?
• 유저별로 댓글의 정치색을 트래킹해보는 것이 중요한 것은 아닐까?
• 관련 연구: https://www.aclweb.org/anthology/D19-5548/
32