유튜브, 페이스북, 넷플릭스등 성공한 컨텐츠 플랫폼에서 추천 솔루션은 중요한 역할을 합니다.
특히 기본 홈 스크린은 대부분 유저선호/시간/맥락에 따른 맞춤형 추천을 제공합니다.
왜 그럴까요? 이 질문의 답을 찾기 위한 웹툰 서비스의 유저 분석 사례를 이야기 하려 합니다.
"유저가 좋은 컨텐츠를 만났을 때"
일본 대표 만화 플랫폼 인 픽코마(카카오재팬)의 UX에는 다양한 추천 솔루션이 적용되어 있습니다.
이 추천 솔루션의 목표는 유저의 작품 첫 에피소드 열람 즉 유저의 작품 탐색을 높이는 것입니다.
왜 이런 목표를 정했을 까요? 결론은 좋은 작품 탐색 경험은 유저를 만족시키기 때문입니다.
이 강연에서는 유저의 작품 탐색과 활용이 유저의 만족도와 어떠한 상관관계가 있는지
유저 군집화, 인게이지먼트 퍼널, 리텐션 관점에서 꼼꼼하고 깊이 있게 분석한 사례를 공유하고자 합니다.
추천 시스템 그리고 유저 만족도의 정량적 분석에 관심있는 분이라면 좋은 인사이트를 얻게 되리라 생각됩니다.
우리는 지금 무엇을 하고있는지를 고민하나요? 아니면 무엇이 되어가고 있는지를 고민하나요? 네 맞습니다. 우리는 매년 무엇을 할지 고민합니다. 그런데 중요한것은 방향 즉 어디를 가고 있는지 입니다.
그래서 넷플릭스의 추천 시스템이 어디를 향해 가고 있는지를 살펴보고 추천시스템의 향해 가야할 Goal에 대하여 같이 이야기를 해보고자 합니다
우리는 지금 무엇을 하고있는지를 고민하나요? 아니면 무엇이 되어가고 있는지를 고민하나요? 네 맞습니다. 우리는 매년 무엇을 할지 고민합니다. 그런데 중요한것은 방향 즉 어디를 가고 있는지 입니다.
그래서 넷플릭스의 추천 시스템이 어디를 향해 가고 있는지를 살펴보고 추천시스템의 향해 가야할 Goal에 대하여 같이 이야기를 해보고자 합니다
데이터 분석에 필요한 기본 개념: 지표, Funnel 등 데이터를 이해하기 위한 멘탈 모델(Mental Model)Minwoo Kim
- 강의록 전문 읽기: http://bit.ly/2KKtzRA
데이터 분석(데이터 사이언스 말고, 통상적으로 스타트업에서 '데이터 분석'이나 '그로스'에 쓰는 데이터 분석)을 공부하려면, 어떤 기본 개념을 가지고 계시면 좋을지에 대해 만들어 본 강의 자료입니다.
카우앤독에서 지인 위주로 꾸린 강의에서 꽤 좋은 평가를 받았으나, 강의안 준비가 너무 힘들어서 실제 유료 강의로 이어지지는 않은 비운의 슬라이드...
멘탈 모델이란 무엇인지, 지표는 무엇이며 퍼널(Funnel)은 무엇인지, 등등의 이야기를 합니다. 기승전 결론은 SQL 배우세요. (https://brunch.co.kr/@minu-log/4)
제 15회 보아즈(BOAZ) 빅데이터 컨퍼런스 - [YouPlace 팀] : 카프카와 스파크를 활용한 유튜브 영상 속 제주 명소 검색 BOAZ Bigdata
데이터 엔지니어링 프로젝트를 진행한 YouPlace팀에서는 아래와 같은 프로젝트를 진행했습니다.
<aside>
이젠 검색도 유튜브 시대
제주여행을 계획할 때 브이로그 영상을 많이 참고하실텐데요
수많은 영상들과 영상 속 분산된 명소들을 하나 하나 찾으려 생각하면 막막하지 않으셨나요?
이러한 고민을 갖고 계신 분들을 위해, 유튜브 브이로거들이 찾아간 여행 명소들을 지도에서 한 눈에 파악할 수 있도록 만들었어요
(github : https://github.com/Boaz-Youplace)
16기 엔지니어링 고은서 | 중앙대학교 소프트웨어학부
16기 엔지니어링 류정화 | 성신여자대학교 융합보안공학과
16기 엔지니어링 송경민 | 국민대학교 소프트웨어학과
윤석진 : 조직의 데이터 드리븐 문화를 위해 극복해야하는 문제들
발표영상 https://youtu.be/X29liXyIo3s
---
PAP가 준비한 팝콘 시즌1에서 프로덕트와 함께 성장하는 데이터 실무자들의 이야기를 담았습니다.
---
PAP(Product Analytics Playground)는 프로덕트 데이터 분석에 대해 편안하게 이야기할 수 있는 커뮤니티입니다.
우리는 데이터 드리븐 프로덕트 문화를 더 많은 분들이 각자의 자리에서 이끌어갈 수 있도록 하는 것을 목표로 합니다.
다양한 직군의 사람들이 모여 프로덕트를 만들듯 PAP 역시 다양한 멤버로 구성되어 있으며, 여러분들의 참여로 만들어집니다.
---
공식 페이지 : https://playinpap.oopy.io
페이스북 그룹 : https://www.facebook.com/groups/talkinpap
팀블로그 : https://playinpap.github.io
박동혁 : 마케터에게 필요한 Data Literacy
발표영상 https://youtu.be/YWbJxCg7y2k
---
PAP가 준비한 팝콘 시즌1에서 프로덕트와 함께 성장하는 데이터 실무자들의 이야기를 담았습니다.
---
PAP(Product Analytics Playground)는 프로덕트 데이터 분석에 대해 편안하게 이야기할 수 있는 커뮤니티입니다.
우리는 데이터 드리븐 프로덕트 문화를 더 많은 분들이 각자의 자리에서 이끌어갈 수 있도록 하는 것을 목표로 합니다.
다양한 직군의 사람들이 모여 프로덕트를 만들듯 PAP 역시 다양한 멤버로 구성되어 있으며, 여러분들의 참여로 만들어집니다.
---
공식 페이지 : https://playinpap.oopy.io
페이스북 그룹 : https://www.facebook.com/groups/talkinpap
팀블로그 : https://playinpap.github.io
[힙서비콘 1기]
retention is king. 리텐션은 서비스에서 굉장히 중요한 지표입니다.
하지만, 일반적인 리텐션 비율은 일주일 뒤 11%, 3개월 이후 4% 아래로 떨어집니다.
리텐션을 높이기 위한 힙한 서비스의 비밀 4가지를 소개할게요.
'재밌는 유저경험'을 만들어 유저를 붙잡을 수 있는 장치들입니다.
-성취감을 이용한 뱃지
-통계를 통한 보상
-자이가르닉 효과를 이용한 프로그레스바
-센스있는 푸쉬알람
-
contact me : jihye6523@gmail.com
Little Big Data #1 다양한 사람들의 데이터 사이언스 이야기에서 발표한 자료입니다
궁금한 것은 언제나 문의주세요 :)
행사 후기는 https://zzsza.github.io/etc/2018/04/21/little-big-data/ 에 있습니다!
(2018.5 내용 추가) 현재 회사가 없으니, 제게 관심있으신 분들도 연락 환영합니다 :)
[우리가 데이터를 쓰는 법] 좋다는 건 알겠는데 좀 써보고 싶소. 데이터! - 넘버웍스 하용호 대표Dylan Ko
Gonnector(고넥터) 고영혁 대표가 주최한 스타트업 데이터 활용 세미나 '우리가 데이터를 쓰는 법' 의 첫 번째 발표 자료
세미나 : 우리가 데이터를 쓰는 법 (How We Use Data)
일시 : 2016년 4월 12일 화요일 10:00 ~ 18:00
장소 : 마루180 (Maru180) B1 Think 홀
제목 : 좋다는 건 알겠는데 좀 써보고 싶소. 데이터!
연사 : 넘버웍스 하용호 대표
데이터 분석에 필요한 기본 개념: 지표, Funnel 등 데이터를 이해하기 위한 멘탈 모델(Mental Model)Minwoo Kim
- 강의록 전문 읽기: http://bit.ly/2KKtzRA
데이터 분석(데이터 사이언스 말고, 통상적으로 스타트업에서 '데이터 분석'이나 '그로스'에 쓰는 데이터 분석)을 공부하려면, 어떤 기본 개념을 가지고 계시면 좋을지에 대해 만들어 본 강의 자료입니다.
카우앤독에서 지인 위주로 꾸린 강의에서 꽤 좋은 평가를 받았으나, 강의안 준비가 너무 힘들어서 실제 유료 강의로 이어지지는 않은 비운의 슬라이드...
멘탈 모델이란 무엇인지, 지표는 무엇이며 퍼널(Funnel)은 무엇인지, 등등의 이야기를 합니다. 기승전 결론은 SQL 배우세요. (https://brunch.co.kr/@minu-log/4)
제 15회 보아즈(BOAZ) 빅데이터 컨퍼런스 - [YouPlace 팀] : 카프카와 스파크를 활용한 유튜브 영상 속 제주 명소 검색 BOAZ Bigdata
데이터 엔지니어링 프로젝트를 진행한 YouPlace팀에서는 아래와 같은 프로젝트를 진행했습니다.
<aside>
이젠 검색도 유튜브 시대
제주여행을 계획할 때 브이로그 영상을 많이 참고하실텐데요
수많은 영상들과 영상 속 분산된 명소들을 하나 하나 찾으려 생각하면 막막하지 않으셨나요?
이러한 고민을 갖고 계신 분들을 위해, 유튜브 브이로거들이 찾아간 여행 명소들을 지도에서 한 눈에 파악할 수 있도록 만들었어요
(github : https://github.com/Boaz-Youplace)
16기 엔지니어링 고은서 | 중앙대학교 소프트웨어학부
16기 엔지니어링 류정화 | 성신여자대학교 융합보안공학과
16기 엔지니어링 송경민 | 국민대학교 소프트웨어학과
윤석진 : 조직의 데이터 드리븐 문화를 위해 극복해야하는 문제들
발표영상 https://youtu.be/X29liXyIo3s
---
PAP가 준비한 팝콘 시즌1에서 프로덕트와 함께 성장하는 데이터 실무자들의 이야기를 담았습니다.
---
PAP(Product Analytics Playground)는 프로덕트 데이터 분석에 대해 편안하게 이야기할 수 있는 커뮤니티입니다.
우리는 데이터 드리븐 프로덕트 문화를 더 많은 분들이 각자의 자리에서 이끌어갈 수 있도록 하는 것을 목표로 합니다.
다양한 직군의 사람들이 모여 프로덕트를 만들듯 PAP 역시 다양한 멤버로 구성되어 있으며, 여러분들의 참여로 만들어집니다.
---
공식 페이지 : https://playinpap.oopy.io
페이스북 그룹 : https://www.facebook.com/groups/talkinpap
팀블로그 : https://playinpap.github.io
박동혁 : 마케터에게 필요한 Data Literacy
발표영상 https://youtu.be/YWbJxCg7y2k
---
PAP가 준비한 팝콘 시즌1에서 프로덕트와 함께 성장하는 데이터 실무자들의 이야기를 담았습니다.
---
PAP(Product Analytics Playground)는 프로덕트 데이터 분석에 대해 편안하게 이야기할 수 있는 커뮤니티입니다.
우리는 데이터 드리븐 프로덕트 문화를 더 많은 분들이 각자의 자리에서 이끌어갈 수 있도록 하는 것을 목표로 합니다.
다양한 직군의 사람들이 모여 프로덕트를 만들듯 PAP 역시 다양한 멤버로 구성되어 있으며, 여러분들의 참여로 만들어집니다.
---
공식 페이지 : https://playinpap.oopy.io
페이스북 그룹 : https://www.facebook.com/groups/talkinpap
팀블로그 : https://playinpap.github.io
[힙서비콘 1기]
retention is king. 리텐션은 서비스에서 굉장히 중요한 지표입니다.
하지만, 일반적인 리텐션 비율은 일주일 뒤 11%, 3개월 이후 4% 아래로 떨어집니다.
리텐션을 높이기 위한 힙한 서비스의 비밀 4가지를 소개할게요.
'재밌는 유저경험'을 만들어 유저를 붙잡을 수 있는 장치들입니다.
-성취감을 이용한 뱃지
-통계를 통한 보상
-자이가르닉 효과를 이용한 프로그레스바
-센스있는 푸쉬알람
-
contact me : jihye6523@gmail.com
Little Big Data #1 다양한 사람들의 데이터 사이언스 이야기에서 발표한 자료입니다
궁금한 것은 언제나 문의주세요 :)
행사 후기는 https://zzsza.github.io/etc/2018/04/21/little-big-data/ 에 있습니다!
(2018.5 내용 추가) 현재 회사가 없으니, 제게 관심있으신 분들도 연락 환영합니다 :)
[우리가 데이터를 쓰는 법] 좋다는 건 알겠는데 좀 써보고 싶소. 데이터! - 넘버웍스 하용호 대표Dylan Ko
Gonnector(고넥터) 고영혁 대표가 주최한 스타트업 데이터 활용 세미나 '우리가 데이터를 쓰는 법' 의 첫 번째 발표 자료
세미나 : 우리가 데이터를 쓰는 법 (How We Use Data)
일시 : 2016년 4월 12일 화요일 10:00 ~ 18:00
장소 : 마루180 (Maru180) B1 Think 홀
제목 : 좋다는 건 알겠는데 좀 써보고 싶소. 데이터!
연사 : 넘버웍스 하용호 대표
고재성(jake.ko) / kakao corp.(포털 플랫폼 개발파트)
---
가장 먼저 Daum 서비스를 만나 볼 수 있는 첫 화면!
변화된 Daum 모바일 첫 화면 서비스를 소개합니다.
기존 시스템의 구성과 문제점부터 개선 과정을 통해 변화된 시스템 구성, 운영 노하우, 기술 스택에 대해서 공유합니다.
다양한 콘텐츠를 안정적으로 제공하기 위한 고민 과정, 우리가 생각하는 앞으로의 포털의 모습에 대해서 이야기해보려 합니다.
[21 크리에이티브 디렉터 세미나] 발표자료입니다.
PM과 함께 일하는 디자이너, PM 역할을 겸해야 하는 디자이너분들을 대상으로 PM 직군이 조직과 제품의 성장을 위해 어떤 고민과 노력을 하고 있는지 공유합니다.
우아한형제들에서 B마트와 배민스토어를 만드는 B마트서비스팀의 사례가 함께 담겨있습니다.
7. 소비자와 공급자 관점에서 추천 시스템의 목적
RecSys '16 : Recommendations with a Purpose 발췌
https://web-ainf.aau.at/pub/jannach/files/Conference_RecSys2016.pdf
7
8. 소비자와 공급자 관점에서 추천 시스템의 목적
RecSys '16 : Recommendations with a Purpose 발췌
https://web-ainf.aau.at/pub/jannach/files/Conference_RecSys2016.pdf
영화에 만족함
(Consumer에게 좋음)
영화를 많이봄
(Provider에게 좋음)?
8
10. Netflix 추천 시스템 목표는?
- Netflix : Member
satisfaction and retention
RecSys 2020’ : Recent Trends in Personalization at Netflix
https://www.slideshare.net/justinbasilico/recent-trends-in-personalization-at-netflix 10
11. Spotify 추천 시스템 목표는?
- Netflix : Member
satisfaction and retention
- Spotify : Match fans and
artist, Enjoy listening
https://www.slideshare.net/mounialalmas/personalizing-the-listening-experience
11
12. Youtube 추천 시스템 목표는?
- Netflix : Member
satisfaction and retention
- Spotify : Match fans and
artist, Enjoy listening
- Youtube : Keep Users
Entertained and Engaged
https://www.inf.unibz.it/~ricci/ISR/papers/p293-davidson.pdf
12
13. 다른 서비스의 추천 시스템 목표는?
help members find
content
to watch and enjoy
match
fan and artist
help users find
high quality video
13
14. 다른 서비스의 추천 시스템 목표는?
help members find
content
to watch and enjoy
match
fan and artist
help users find
high quality video
member
satisfaction &
retention
enjoy listening
keep Users
Entertained and
Engaged
14
15. 다른 서비스의 추천 시스템 목표는?
help members find
content
to watch and enjoy
match
fan and artist
help users find
high quality video
소비자 관점의 추천 시스템 목표
15
16. 카카오 서비스의 추천 시스템 목표는 무엇일까요?
뉴스 음악
선물하기, 스타일, 쇼핑하기, …
상품 웹툰
픽코마
16
17. 카카오 서비스의 추천 시스템 목표는 무엇일까요?
뉴스 음악
선물하기, 스타일, 쇼핑하기, …
상품 웹툰
픽코마
체류시간
재방문율
스트리밍수
재방문율
매출,
상품클릭
작품 첫 에피소드
열람수
작품
열람수
대부분이 소비자 관점의 추천 시스템 목표
17
18. 카카오 서비스의 추천 시스템 목표는 무엇일까요?
뉴스 음악
선물하기, 스타일, 쇼핑하기, …
상품
픽코마
체류시간
재방문율
스트리밍수
재방문율
매출,
상품클릭
작품 첫 에피소드
열람수
작품
열람수
대부분이 소비자 관점의 추천 시스템 목표
웹툰
왜? 이런 추천 목표를 정했을까요?
이제부터 알아 보겠습니다.
18
19. 유저가 좋은 작품을 만났을때
이제 답을 찾는 데이터 탐색 여정을 시작하겠습니다.
19
23. 추천 솔루션이 적용된 곳은?
기프티콘 푸시 크로스팝업
개인화 추천 개인화 추천 연관 추천 타켓팅 푸시 타켓팅 팝업
서비스홈>Top슬롯 추천슬롯들(서비스홈, 망가홈, 노벨홈 등) 뷰어 엔드
픽코마 UX 전반에 걸쳐 개인화 추천 활용됨
23
24. 추천 솔루션의 목표
서비스홈>Top슬롯 추천슬롯들(서비스홈, 망가홈, 노벨홈 등) 뷰어 엔드 기프트콘 푸시 크로스팝업
작품 첫 에피소드
열람수
타켓작품
매출 전환
신작
열람 전환
24
25. 기프트콘 푸시 크로스팝업
추천 솔루션의 목표
서비스홈>Top슬롯 추천슬롯들(서비스홈, 망가홈, 노벨홈 등) 뷰어 엔드
작품 첫 에피소드
열람수
타켓작품
매출 전환
신작
열람 전환
소비자 관점의
추천시스템 목표
공급자 관점의
추천시스템 목표
25
26. 기프트콘 푸시 크로스팝업
추천 솔루션의 목표
서비스홈>Top슬롯 추천슬롯들(서비스홈, 망가홈, 노벨홈 등) 뷰어 엔드
작품 첫 에피소드
열람수
타켓작품
매출 전환
신작
열람 전환
소비자 관점의
추천시스템 목표
공급자 관점의
추천시스템 목표
사용자 만족도와 리텐션 늘리기 매출 늘리기=
=
26
28. 픽코마 퍼널 정의
지속 열람 작품이
많아짐
관심 작품의
발견
작품 컨텐츠에
만족
제목, 썸네일의
만족
작품 설명의
만족
작품
노출
작품
클릭
작품
1 화 열람
작품
다음 화 열람
지속열람
(Session)
자주방문
(Day)
이탈
(1) (2) (3) (4) (5)
Intra-Session Inter-Session
사용자 만족도 높음사용자 만족도 낮음
28
29. 픽코마 퍼널 정의
작품
노출
작품
클릭
작품
1 화 열람
작품
다음 화 열람
지속열람
(Session)
자주방문
(Day)
(1) (2) (3) (4) (5)
사용자 만족도는 높아지고
사용자 수는 감소합니다.
여기까지 사용자를
많이 남기는것이
소비자 관점에서
추천 시스템의 목적
29
30. 픽코마 퍼널 정의
작품
노출
작품
클릭
작품
1 화 열람
작품
다음 화 열람
지속열람
(Session)
자주방문
(Day)
(1) (2) (3) (4) (5)
여기까지 사용자를
많이 남기는것이
고객 관점에서
추천 시스템의 목적
Short-Term 선호도
Intra-Session
30
31. 픽코마 퍼널 정의
작품
노출
작품
클릭
작품
1 화 열람
작품
다음 화 열람
지속열람
(Session)
자주방문
(Day)
(1) (2) (3) (4) (5)
여기까지 사용자를
많이 남기는것이
고객 관점에서
추천 시스템의 목적
Long-Term 선호도Short-Term 선호도
Intra-Session Inter-Session
31
32. 픽코마 퍼널 정의
작품
노출
작품
클릭
작품
1 화 열람
작품
다음 화 열람
지속열람
(Session)
자주방문
(Day)
(1) (2) (3) (4) (5)
여기까지 사용자를
많이 남기는것이
고객 관점에서
추천 시스템의 목적
Long-Term 선호도Short-Term 선호도
추천시스템 목표인 Long-Term
목표 지표를 직접 최대화 하기 어려움
(Retention Rate, Active Days, Total spent time 등)
32
33. 픽코마 퍼널 정의
작품
노출
작품
클릭
작품
1 화 열람
작품
다음 화 열람
지속열람
(Session)
자주방문
(Day)
(1) (2) (3) (4) (5)
여기까지 사용자를
많이 남기는것이
고객 관점에서
추천 시스템의 목적
Long-Term 선호도Short-Term 선호도
33
작품
노출
추천하는
시점 추천시스템 목표인 Long-Term
목표 지표를 직접 최대화 하기 어려움
(Retention Rate, Active Days, Total spent time 등)
34. 픽코마 퍼널 정의
작품
노출
작품
클릭
작품
1 화 열람
작품
다음 화 열람
지속열람
(Session)
자주방문
(Day)
(1) (2) (3) (4) (5)
여기까지 사용자를
많이 남기는것이
고객 관점에서
추천 시스템의 목적
Long-Term 선호도Short-Term 선호도
현실적으로 많은 추천 시스템이
Short-Term 목표지표를 선택
(CTR, long-CTRs, dwell time, take-rate)
34
35. 픽코마 퍼널 정의
작품
노출
작품
클릭
작품
1 화 열람
작품
다음 화 열람
지속열람
(Session)
자주방문
(Day)
(1) (2) (3) (4) (5)
여기까지 사용자를
많이 남기는것이
고객 관점에서
추천 시스템의 목적
Long-Term 선호도Short-Term 선호도
현실적으로 많은 추천 시스템이
Short-Term 목표지표로 선택
(CTR, long-CTRs, dwell time, take-rate) Long Term Proxy 지표를 찾아보자
cause/correlation
35
36. 사용자 리텐션(열람일수)이 낮은 집단과 높은 집단의 지표 탐색
- 하루에 얼마나 열람할까? 매일 열람할까? 얼마나 다양한 작품을 열람할까? 등등
Long Term Proxy 지표 탐색
1일열람일수
(Days)
2일 3일 30일… 29일28일
목적은 리텐션과 가장 상관관계가 높은 지표를 찾자
36
37. Long Term Proxy 지표 탐색
픽코마 사용자를 랜덤 샘플링하여
균등(2%)하게 열람 일수(days)로 Segmentation 하고 지표 탐색
리텐션이 높은 집단리텐션이 낮은 집단
37
38. Long Term Proxy 지표 탐색
활동성이 높은 사용자
한달 작품 열람수는 증가한다.
(1)한달 열람수는 높게 증가한다.열
람
수
자주 방문하는 사용자 일수록
전체 열람수
38
39. Long Term Proxy 지표 탐색
활동성이 높은 사용자
하루 평균 6~9개 에피소드를 열람한다.(~TP.70까지)
열
람
수
자주 방문 할수록
(1)한달 열람수는 높게 증가한다.
(2)고 활성 유저가 되기 전까지는 하루 열람
수는 일정하다.
일일 열람수
39
40. Long Term Proxy 지표 탐색
활동성이 높은 사용자
하루에 작품당 약 1.5개 에피소드를 열람한다.
열
람
수
자주 방문 할수록
(1)한달 열람수는 높게 증가한다.
(2)고 활성 유저가 되기 전까지는 하루 열
람수는 일정하다.
(3)일일 작품당 열람 에피소드수도 감소 &
수렴한다.(작품당 1.5 에피소드 열람)작품당 일일 열람수
40
41. Long Term Proxy 지표 탐색
활동성이 높은 사용자
하루에 열람하는 작품수는 증가한다.
열
람
수
자주 방문 할수록
(1)한달 열람수는 높게 증가한다.
(2)고 활성 유저가 되기 전까지는 하루 열
람수의 증가되지 않는다
(3)일일 작품당 열람 에피소드수도 감소 &
수렴한다.(작품당 1.5 에피소드 열람)
(4)하루 열람 작품수 증가한다.
일일 열람 작품수(unique)
41
42. Long Term Proxy 지표 탐색
활동성이 높은 사용자
Unique 열람 작품수 증가한다.
열
람
수
자주 방문 할수록
(1)한달 열람수는 높게 증가한다.
(2)고 활성 유저가 되기 전까지는 하루 열
람수의 증가되지 않는다
(3)일일 작품당 열람 에피소드수도 감소 &
수렴한다.(작품당 1.5 에피소드 열람)
(4)하루 열람 작품수 증가한다.
(5)Unique 열람 작품수도 증가한다.
전체 열람 작품수(unique)
42
43. Long Term Proxy 지표 탐색
열람 일수(리텐션지표)와 상관 계수가 가장 높은것은?
열람일수(Day)
전체 열람수 일일 열람수
전체 열람
작품수(Unique)
일일 열람
작품수(Unique)
일일 작품당
열람수
43
44. Long Term Proxy 지표 탐색
열람 일수(리텐션지표)와 상관 계수가 가장 높은것은?
열람일수(Day)
+0.9076 +0.8141
+0.9564+0.9204
-0.9037
전체 열람수 일일 열람수
전체 열람
작품수(Unique)
일일 열람
작품수(Unique)
일일 작품당
열람수
44
45. Long Term Proxy 지표 탐색 요약
- 일일 열람수와 작품당 열람수는 리텐션과 상관없이 일정하다
- 자주 방문하도록 하는 리텐션을 높이기 위해서는
전체 열람수보다는 사용자의 선호 작품 수를 늘려야한다.
45
46. Long Term Proxy 지표 탐색 요약
- 일일 열람수와 작품당 열람수는 리텐션과 상관없이 일정하다
- 자주 방문하도록 하는 리텐션을 높이기 위해서는
전체 열람수보다는 사용자의 선호 작품 수사용자의 선호 작품 수 어떻게 늘릴수 있을까요?
46
47. Long Term Proxy 지표 탐색 요약
- 일일 열람수와 작품당 열람수는 리텐션과 상관없이 일정하다
- 자주 방문하도록 하는 리텐션을 높이기 위해서는
전체 열람수보다는 사용자의 선호 작품 수사용자의 선호 작품 수 어떻게 늘릴수 있을까요?
사용자는 어떻게 선호하는 작품을 탐색하고 발견할까요?
47
48. 사용자의 작품 탐색과 발견에 대하여
Engagement Life Cycle 관점에서 사용자 군집 분석
48
49. 사용자의 Engagement Life Cycle
https://www.hongliangjie.com/talks/WWW2019_Tutorial.pdf
이탈
49
50. 사용자의 Engagement Life Cycle 패턴
0
30
60
90
120
+0월 +1월 +2월 +3월 +4월 +5월 +6월 +7월 +8월 +9월 +10월 +11월 +12월
열
람
수 신규 -> 활성 사용자
50
51. 사용자의 Engagement Life Cycle 패턴
0
30
60
90
120
+0월 +1월 +2월 +3월 +4월 +5월 +6월 +7월 +8월 +9월 +10월 +11월 +12월
열
람
수 신규 -> 활성 사용자
활성 -> 이탈 사용자
51
52. 사용자의 Engagement Life Cycle 패턴
0
30
60
90
120
+0월 +1월 +2월 +3월 +4월 +5월 +6월 +7월 +8월 +9월 +10월 +11월 +12월
열
람
수 신규 -> 활성 사용자
활성 -> 이탈 사용자
활성 -> 활성 사용자
52
53. 사용자의 Engagement Life Cycle 패턴
0
30
60
90
120
+0월 +1월 +2월 +3월 +4월 +5월 +6월 +7월 +8월 +9월 +10월 +11월 +12월
열
람
수 신규 -> 활성 사용자
활성 -> 이탈 사용자
활성 -> 활성 사용자
신규 -> 이탈 사용자
53
54. 사용자의 Engagement Life Cycle
0
30
60
90
120
+0월 +1월 +2월 +3월 +4월 +5월 +6월 +7월 +8월 +9월 +10월 +11월 +12월
열
람
수 신규 -> 활성 사용자
활성 -> 이탈 사용자
활성 -> 활성 사용자
신규 -> 이탈 사용자
사용자의 월별 열람 이력으로 군집화 후
활성 사용자의 작품 탐색과 발견을 분석했습니다.
54
55. 사용자 군집화 by unsupervised learning
https://www.hongliangjie.com/talks/WWW2019_Tutorial.pdf
8개월(19’ 05 ~ 21’ 01)의 사용자 작품 열람수
k-means
clustering(k=15)
15개 사용자 그룹으로 군집화
55
58. 사용자 군집화 결과 - 비슷한 패턴 끼리 정렬
1. 열람 지속형 클러스터
작품 열람수의 차이는 있음
Engagement 유지
58
59. 사용자 군집화 결과 - 비슷한 패턴 끼리 정렬
2. 열람 감소형 클러스터
감소의 속도 차이와 이탈여부가 다름
Engagement 감소(-)
59
60. 사용자 군집화 결과 - 비슷한 패턴 끼리 정렬
3. 열람 증가형 클러스터
증가의 속도와 소비 수준이 다름
Engagement 증가(+)
60
61. 탐색하기에 앞서 - Exploration/Exploitation 용어 정의
1 2 3 4
…
99 100
작품
무료 에피소드로
작품 탐색을하고
재미있으면
지속 열람 작품이 됩니다.
작품 노출
61
62. 탐색하기에 앞서 - Exploration/Exploitation 용어 정의
1 2 3 4
…
99 100
작품
작품 노출
1, 2화만 열람한 작품을
Exploration(탐색) 작품으로 정의
지속하는 작품을
Exploitation(활용) 작품으로 정의
62
63. 탐색하기에 앞서 - 분석 관점
열람 감소할때 Exploration 작품수는 어떻게 변화하는가?
열람 증가할때 Exploration 작품수는 어떻게 변화하는가?
즉 사용자의 탐색적 활동와 Long Term 선호도 관계를 탐색하고자한다.
63
64. 사용자는 얼마나 탐색하는가?
한달 열람하는 작품 중 18%(4.7개)는 Exploration 작품이다.
Exploitation 작품수
21.7(82%)
Exploration 작품수
4.7(18%)
Exploration Rate = 0.18
64
65. 사용자 군집화 결과 - 비슷한 패턴 끼리 정렬
Engagement 증가(+)
Engagement 감소(-)
Engagement 유지
65
66. Engagement 유지 - 월 평균 작품수가 일정한 집단
신규 사용자 중급 사용자 중급 사용자 고급 사용자 로얄 사용자
66
67. Engagement 유지 - 월 평균 작품수가 일정한 집단
신규 사용자 중급 사용자 중급 사용자 고급 사용자 로얄 사용자
Exploration 작품수
Exploitation 작품수
Exploration Rate
67
68. Engagement 유지 - 월 평균 작품수가 일정한 집단
신규 사용자 중급 사용자 중급 사용자 고급 사용자 로얄 사용자
Exploration Rate
Exploration Rate은 완만하게 감소 & 유지 합니다.
68
69. Engagement 유지 - 월 평균 작품수가 일정한 집단
신규 사용자 중급 사용자 중급 사용자 고급 사용자 로얄 사용자
Exploration Rate
Exploration Rate은 완만하게 감소 & 유지 합니다.
활성 사용자가 될수록 평균 Exploration Rate은 높아집니다.
69
70. Engagement 감소 - 열람 작품수가 감소 후 이탈 집단
신규 사용자 이탈 중급 사용자 이탈 중/상급 사용자 이탈
중/상급 사용자
활동성 증가 후 이탈
70
71. Engagement 감소 - 열람 작품수가 감소 후 이탈 집단
신규 사용자 이탈 중급 사용자 이탈 중/상급 사용자 이탈
중/상급 사용자
활동성 증가 후 이탈
Exploration Rate이 높다가 급락 또는 감소한다.
즉 작품 탐색 경험이 나빠져서 전혀 작품 탐색을 하지 않게된것으로 추청
71
72. Engagement 증가 - 열람 작품수가 증가하는 집단
신규 사용자 중급 사용자 고급 사용자 고급 사용자
72
73. Engagement 증가 - 열람 작품수가 증가하는 집단
신규 사용자 중급 사용자 고급 사용자 고급 사용자
Exploration Rate을 일정하게 유지한다.
73
74. Exploration Rate에 대하여 정리하면
Exploration Rate을 유지하면
- 작품 열람을 유지하거나 작품 열람을 증가 시킨다.
Exploration Rate이 감소하면
- 좋은 작품을 발견할수 없다는 경험을 얻는다.
- 현재 열람하는 작품만 보다가 이탈한다.
Exploration Rate을 유지 할때
- 높게 유지하면 높은 열람수를 유지/상승 한다.
- 중간 유지하면 중간 열람수를 유지/상승 한다.
- 낮게 유지하면 낮은 열람수를 유지/상승 한다.
Exploration Rate이 높다 -> 작품 탐색에 만족 -> 열람 작품 늘어남 -> 서비스에 만족
74
87. Engagement 감소 - 중급 유저가 이탈 (13번 군집)
분포 중심이 (0,0) 점으로 이동하면서
분포의 중심 축도 아래쪽으로 눕는다.
(Exploration을 하지 않고 Exploitation만 한다.)
+0월 +1월 +2월 +3월
+4월 +5월 +6월 +7월
87
89. Engagement 증가 - 중급 유저의 열람 증가(2번 군집)
+0월 +1월 +2월 +3월
+4월 +5월 +6월 +7월
중간 이하에 있는 중심부가 상승한다.
그리고 오른쪽으로 분포가 퍼지면서 이동한다.
(Exploration을 늘리면서 열람수를 증가 시킨다.)
89
91. Engagement 증가 - 중급 유저의 열람 증가(2번 군집)
+0월 +1월 +2월 +3월
+4월 +5월 +6월 +7월
아래로 누워있던 중심축이 상승한다.
-> Exploration 작품수를 늘려서 Exploration Rate 증가 시킨다.
분포도 넓게 퍼져 나간다.
91
92. 결론 : 좋은 Exploration 경험은 유저를 만족시킨다.
Exploration Rate을 유지한다는 것은 -> 탐색을 통해 작품의 발견하는것
- 유저가 작품 탐색에 대한 만족을 하는 것이다.
- 유저의 만족은 탐색의 결과로써 관심 작품을 잘 발견 했다는 것이다.
- 그래서 관심 작품이 늘어나면 열람수가 증가된다.
Exploration Rate이 감소한다는 것은 -> 탐색 후 좋은 작품을 발견하지 못한것
- 유저가 작품 탐색을 하고 만족을 못했다는것이다.
- 그래서 작품 탐색을 하지 않는다
- 관심 작품이 늘지 않아서 열람수가 감소하고 이탈한다.
탐색을 통한 발견 즉 좋은 Exploration 경험을 주는것은 매우 중요하다.
그래서 좋은 Exploration 경험을 위해서는 좋은 추천 시스템이 필수이다.
92