SlideShare a Scribd company logo
리텐션 산출과 활용
         By-조찬만
지난번에서는…
•   리텐션이 왜 중요한가에 대한 설명
•   리텐션 산출 시 주의사항
•   리텐션의 산출방법 기간 / 조건 필터
•   리텐션 활용법




에 대해 간략하게 알아보았습니다.
지난 번은 실제 게임에 적용시키는 과정과 방법 등을 간소화 했었는데
이번엔 조금 더 상세하게 ‘리텐션의 산출과 활용’에 대해 들어가보겠습니다.
기간 필터
•   지난 번 기간 필터 방식 중 우리는 ‘주 단위 필터’를 적용하겠습니다.


•   주 단위로 산출하는 이유는 ‘고객’의 범위를 대한민국으로 잡았기 때문
    인데요.
•   대한민국의 국민들의 패턴은 대부분 ‘주 단위’로 흘러가기 때문입니다.
기간 필터
•   라이브 서비스 경험이 있는 사람이라면 아래의 그래프를 많이 보셨을 겁니다.
•   그리고 그래프들은 대부분 AU,UV,APPUR 등이 되겠지요.
•   이러한 양상을 띄는 이유는 우리가 만들고 있는 ‘게임’을 이용하는 고객들
    의 생활 패턴이 대부분 주 단위 주기로 반복되고 있기 때문입니다.
•   물론 ‘타겟층’ 범위에 따라 다소 차이는 있을 수 있습니다.




        월   화   수   목   금   토   일
조건 필터
•   지금 예제로 잡고 있는 것은 MMOPRG라는 장르입니다.
•   MMORPG라는 장르를 구성하는 공통적 특징을 정리하자면 디자인마다 차
    이는 있지만 대부분 다음의 공통 요소를 가지고 있습니다.
LEVEL



  Level
           사용자




          Spend Time
CONTENTS DESIGN


                  MMORPG
정리하자면
•   MMORPG의 디자인은 Level을 기준으로 Contents를 배열한 씬의 집합
•   이용자의 Spend Time예 따라 이용자는 Level이라는 기준을 얻게 되며 그 기
    준점에서 디자이너가 구축한 흐름 속에서 Interest라는 것이 변화하는 형태
•   이 조건이 부합한다는 전제하에 리텐션 조건을 필터




이 PT를 보시는 분들 중 감이 좋으신 분들은 벌써부터 제가 무엇 때문에 이런
설명을 하고 있는지 이미 눈치 채셨을 것입니다.
결국 리텐션은 Game Data
Data를 마이닝하는 과정에서 가장 중요한 것은 대상의 기간과 조건
대상을 집단으로 구성하기 위한 공통분모 찾기


기간 : 주단위 (고객의 생활패턴)
조건 : Level (고객이 겪고 있는 서비스 구간)
•   가상의 리텐션 Data

                   리텐션이 낮은 구간

                   1~5, 6~10, 26~30
                   : 초반 구간, 최고레벨 구간
                   이 두 지역의 리텐션이 낮음
                   -> 이탈율이 높다는 이야기
•   DB의 용량 관계상 Low Data는 게임 플랫폼, 장르에 따라 매우 큰 격차가 존재
•   CBT, FGT, OBT 등 각종 Test를 통해 Low Data를 사전에 정리 필요
•   가상 시뮬레이션이기 때문에 사전 Data 정리 작업이 끝났다고 가정
▣ 정성 데이터를 이용한 가설
: 게시판, 리뷰, 고객센터 등에 접수되는 고객의 글을 통한 유추
Ex) 만렙인데 할게 없어요 징징


▣ 기획상의 가설
: 3레벨에 만나는 보스 몬스터가 너무 강력해서 유저들이 장벽을 넘지 못하고 이탈
: 4레벨에 퀘스트 아이템 드랍율이 너무 낮아서 지쳐서 유저들이 이탈
: 5레벨에 퀘스트가 끊겨서 유저가 어디로 가야 할지를 몰라서 이탈
: 게임 자체에 흥미를 느끼지 못해 조금 플레이 하다가 이탈
가설 : 유저들이 3레벨에 만나는 보스 몬스터한테 하도 많이 죽어서 결국 이탈한다.


불특정 표본 집단의 Low Data 확인




                     대상의 Death Low Data 확인
이탈자 중 불특정 표본 집단 구성   최소 10명 정도 이상을 확인해보는 것이 바람직
•   가설을 검증하도록 Low Data Mining 진행
•   이탈자 중 마지막 죽음이 ID:415, ‘지킬하이드’인 비율 확인
•   결과 : 50%의 비율로 지킬하이드에 죽고 난 후 게임을 이탈함
•   수정 방안 : 지킬하이드 공격력, HP 50% 하락



              다 해결됐어!
•   전체 중 이탈자 비율은 70%, 그 중 50%인 전체의 15%가 지킬하이드로
    인한 이탈이라고 판단을 내려 지킬하이드를 하향패치 했다.
•   But, 반대로 이야기하면 85%는 현재의 지킬하이드를 만족한다는 이야기



                           장벽



무찔러주겠어!
                                           포기할래~



              85%                   15%
•   수정 방안 : 지킬하이드로 인해 이탈하는 유저들에게 Buff Item 지급




                          덤벼보시지?




         15%
•   리텐션이 낮은 고객들을 파악해라.
•   그 고객들의 문제를 확인해라.
•   대응을 할 땐 고객들에게 맞춤 대응하라.
•   대부분의 사람들이 리텐션의 중요성을 인지 안함.
•   대부분의 회사들은 DBA의 수가 적음
•   정성,정량 Data를 세분화하고 분석하는 사람의 수가 적음.
•   온갖 변수들에 대한 함정을 잘 밟음.
•   지표 자체를 안 뽑는 경우가 대부분
•   개발사에 실서비스 DB 접근 권한이 없는 경우           사실 힘든
•   Data 통계는 뽑고 분석하는 사람 마음대로 조작 가능      것은 이것보
                                        다 훨씬 더
•   Low Data Log를 남기는 데 머신상의 한계가 존재
                                          많죠.
•   신규 유저 리텐션을 높인다고 신규가입자가 30레벨까지 키우면 퍼블리셔
    포털 캐쉬 5000원 지급하는 이벤트를 실시


            •   이벤트 기간인 3월4일 ~ 3월11일 리텐션율이 엄청 높
                게 나옴. -> 이벤트는 성공인가?
이벤트 종료 하자마자 거품은 빠짐.
아직까진 실패라고 볼 수 없음.
왜냐하면 이벤트 기간 동안 신규 가입자에서 이용자로
전환된 비율은 높았기 때문에 그 때 당시의 고객들이
계속해서 게임을 한다면 그 이벤트 자체는 성공이라고
할 수 있음.
그러나, 주차 흐름에 따른 리텐션
확인 결과 다른 기간과 별 차이가 없음.
그래도 아직까지는… 실패라 볼 수 없음
비율로만 저럴 수 있고, 상수로 보면
전환된 UID의 숫자는 더 많을 수도…
전체 UV에도 결국 변화가 없어 이상하다 싶어 결국엔 Low Data를 확인함.
퍼블리셔에게 요청해서 ‘이벤트 대상자’들의 포털 Cash 사용내역 로그를
확인해달라고 요청



                결국, 우리 게임 이벤트를 이용해서 다른
                게임에 투자하는 어뷰징이라고 판단 됨.
하나의 Data로는 그 자체의 현상밖에 판단 하지 못한다.
DATA는 분석(쪼개고, 쪼개고, 또 쪼개고)을 할수록 정확도가 높아진다.
그렇다고, Data에만 의존하는 바보가 되지는 마라.
Data 분석은 수많은 스킬 중 하나일 뿐이다.


일부 비양심적 보고자는 데이터를 자신에게 유리하게 편집해서 보고한다.
게임 자체에 대한 이해도가 없이는 Data에 대한 이해도 불가능하다.
이것은 빙산의 일각일 뿐입니다.
정성,정량 데이터 중 ‘리텐션’이라는 일각이죠.

우리는 보다 더 낳은 디자인을 위해 많은 것들을 공부할 필요가
있습니다. 개인적으로는 이러한 Data 분석과 체계확립은
우리가 가진 수 많은 스킬 중 매우 유용하게 사용할 수 있는
스킬이 되리라 믿어 의심치 않습니다.

“기획자는 아는 만큼만 기획합니다.”




                   Ps. 발표용 문서라 아쉽네요.

More Related Content

What's hot

중앙 서버 없는 게임 로직
중앙 서버 없는 게임 로직중앙 서버 없는 게임 로직
중앙 서버 없는 게임 로직
Hoyoung Choi
 
이원, 온라인 게임 프로젝트 개발 결산 - 마비노기 개발 완수 보고서, NDC2011
이원, 온라인 게임 프로젝트 개발 결산 - 마비노기 개발 완수 보고서, NDC2011이원, 온라인 게임 프로젝트 개발 결산 - 마비노기 개발 완수 보고서, NDC2011
이원, 온라인 게임 프로젝트 개발 결산 - 마비노기 개발 완수 보고서, NDC2011
devCAT Studio, NEXON
 
[NDC 발표] 모바일 게임데이터분석 및 실전 활용
[NDC 발표] 모바일 게임데이터분석 및 실전 활용[NDC 발표] 모바일 게임데이터분석 및 실전 활용
[NDC 발표] 모바일 게임데이터분석 및 실전 활용
Tapjoy X 5Rocks
 
BigQuery의 모든 것(기획자, 마케터, 신입 데이터 분석가를 위한) 입문편
BigQuery의 모든 것(기획자, 마케터, 신입 데이터 분석가를 위한) 입문편BigQuery의 모든 것(기획자, 마케터, 신입 데이터 분석가를 위한) 입문편
BigQuery의 모든 것(기획자, 마케터, 신입 데이터 분석가를 위한) 입문편
Seongyun Byeon
 
[DEVIEW 2021] 1000만 글로벌 유저를 지탱하는 기술과 사람들
[DEVIEW 2021] 1000만 글로벌 유저를 지탱하는 기술과 사람들[DEVIEW 2021] 1000만 글로벌 유저를 지탱하는 기술과 사람들
[DEVIEW 2021] 1000만 글로벌 유저를 지탱하는 기술과 사람들
Brian Hong
 
아마존 클라우드와 함께한 1개월, 쿠키런 사례중심 (KGC 2013)
아마존 클라우드와 함께한 1개월, 쿠키런 사례중심 (KGC 2013)아마존 클라우드와 함께한 1개월, 쿠키런 사례중심 (KGC 2013)
아마존 클라우드와 함께한 1개월, 쿠키런 사례중심 (KGC 2013)
Brian Hong
 
프로그래머에게 사랑받는 게임 기획서 작성법
프로그래머에게 사랑받는 게임 기획서 작성법프로그래머에게 사랑받는 게임 기획서 작성법
프로그래머에게 사랑받는 게임 기획서 작성법
Lee Sangkyoon (Kay)
 
게임 유저 행동을 분석해야 하는 이유 (텐투플레이 웨비나)
게임 유저 행동을 분석해야 하는 이유 (텐투플레이 웨비나)게임 유저 행동을 분석해야 하는 이유 (텐투플레이 웨비나)
게임 유저 행동을 분석해야 하는 이유 (텐투플레이 웨비나)
Hyeyon Kwon
 
고대특강 게임 프로그래머의 소양
고대특강   게임 프로그래머의 소양고대특강   게임 프로그래머의 소양
고대특강 게임 프로그래머의 소양Jubok Kim
 
복귀 이벤트를 해도 유저가 돌아오지 않는 이유
복귀 이벤트를 해도 유저가 돌아오지 않는 이유복귀 이벤트를 해도 유저가 돌아오지 않는 이유
복귀 이벤트를 해도 유저가 돌아오지 않는 이유Chanman Jo
 
서비스 기획자를 위한 데이터분석 시작하기
서비스 기획자를 위한 데이터분석 시작하기서비스 기획자를 위한 데이터분석 시작하기
서비스 기획자를 위한 데이터분석 시작하기
승화 양
 
쩌는게임기획서 이렇게 쓴다
쩌는게임기획서 이렇게 쓴다쩌는게임기획서 이렇게 쓴다
쩌는게임기획서 이렇게 쓴다
Jinho Jung
 
webservice scaling for newbie
webservice scaling for newbiewebservice scaling for newbie
webservice scaling for newbie
DaeMyung Kang
 
게임제작개론 : #4 게임 밸런싱
게임제작개론 : #4 게임 밸런싱게임제작개론 : #4 게임 밸런싱
게임제작개론 : #4 게임 밸런싱
Seungmo Koo
 
Profiling - 실시간 대화식 프로파일러
Profiling - 실시간 대화식 프로파일러Profiling - 실시간 대화식 프로파일러
Profiling - 실시간 대화식 프로파일러
Heungsub Lee
 
Next-generation MMORPG service architecture
Next-generation MMORPG service architectureNext-generation MMORPG service architecture
Next-generation MMORPG service architecture
Jongwon Kim
 
NDC 11 자이언트 서버의 비밀
NDC 11 자이언트 서버의 비밀NDC 11 자이언트 서버의 비밀
NDC 11 자이언트 서버의 비밀
승명 양
 
게임 유저 행동 분석으로 이탈 방지하는 방법 (텐투플레이 웨비나)
게임 유저 행동 분석으로 이탈 방지하는 방법 (텐투플레이 웨비나)게임 유저 행동 분석으로 이탈 방지하는 방법 (텐투플레이 웨비나)
게임 유저 행동 분석으로 이탈 방지하는 방법 (텐투플레이 웨비나)
Hyeyon Kwon
 
실무에서 활용하는 A/B테스트
실무에서 활용하는 A/B테스트실무에서 활용하는 A/B테스트
실무에서 활용하는 A/B테스트
JeongMin Kwon
 
[IGC2018] 유영천 개발자 - Voxel기반 네트워크 게임 최적화기법
[IGC2018] 유영천 개발자 - Voxel기반 네트워크 게임 최적화기법[IGC2018] 유영천 개발자 - Voxel기반 네트워크 게임 최적화기법
[IGC2018] 유영천 개발자 - Voxel기반 네트워크 게임 최적화기법
강 민우
 

What's hot (20)

중앙 서버 없는 게임 로직
중앙 서버 없는 게임 로직중앙 서버 없는 게임 로직
중앙 서버 없는 게임 로직
 
이원, 온라인 게임 프로젝트 개발 결산 - 마비노기 개발 완수 보고서, NDC2011
이원, 온라인 게임 프로젝트 개발 결산 - 마비노기 개발 완수 보고서, NDC2011이원, 온라인 게임 프로젝트 개발 결산 - 마비노기 개발 완수 보고서, NDC2011
이원, 온라인 게임 프로젝트 개발 결산 - 마비노기 개발 완수 보고서, NDC2011
 
[NDC 발표] 모바일 게임데이터분석 및 실전 활용
[NDC 발표] 모바일 게임데이터분석 및 실전 활용[NDC 발표] 모바일 게임데이터분석 및 실전 활용
[NDC 발표] 모바일 게임데이터분석 및 실전 활용
 
BigQuery의 모든 것(기획자, 마케터, 신입 데이터 분석가를 위한) 입문편
BigQuery의 모든 것(기획자, 마케터, 신입 데이터 분석가를 위한) 입문편BigQuery의 모든 것(기획자, 마케터, 신입 데이터 분석가를 위한) 입문편
BigQuery의 모든 것(기획자, 마케터, 신입 데이터 분석가를 위한) 입문편
 
[DEVIEW 2021] 1000만 글로벌 유저를 지탱하는 기술과 사람들
[DEVIEW 2021] 1000만 글로벌 유저를 지탱하는 기술과 사람들[DEVIEW 2021] 1000만 글로벌 유저를 지탱하는 기술과 사람들
[DEVIEW 2021] 1000만 글로벌 유저를 지탱하는 기술과 사람들
 
아마존 클라우드와 함께한 1개월, 쿠키런 사례중심 (KGC 2013)
아마존 클라우드와 함께한 1개월, 쿠키런 사례중심 (KGC 2013)아마존 클라우드와 함께한 1개월, 쿠키런 사례중심 (KGC 2013)
아마존 클라우드와 함께한 1개월, 쿠키런 사례중심 (KGC 2013)
 
프로그래머에게 사랑받는 게임 기획서 작성법
프로그래머에게 사랑받는 게임 기획서 작성법프로그래머에게 사랑받는 게임 기획서 작성법
프로그래머에게 사랑받는 게임 기획서 작성법
 
게임 유저 행동을 분석해야 하는 이유 (텐투플레이 웨비나)
게임 유저 행동을 분석해야 하는 이유 (텐투플레이 웨비나)게임 유저 행동을 분석해야 하는 이유 (텐투플레이 웨비나)
게임 유저 행동을 분석해야 하는 이유 (텐투플레이 웨비나)
 
고대특강 게임 프로그래머의 소양
고대특강   게임 프로그래머의 소양고대특강   게임 프로그래머의 소양
고대특강 게임 프로그래머의 소양
 
복귀 이벤트를 해도 유저가 돌아오지 않는 이유
복귀 이벤트를 해도 유저가 돌아오지 않는 이유복귀 이벤트를 해도 유저가 돌아오지 않는 이유
복귀 이벤트를 해도 유저가 돌아오지 않는 이유
 
서비스 기획자를 위한 데이터분석 시작하기
서비스 기획자를 위한 데이터분석 시작하기서비스 기획자를 위한 데이터분석 시작하기
서비스 기획자를 위한 데이터분석 시작하기
 
쩌는게임기획서 이렇게 쓴다
쩌는게임기획서 이렇게 쓴다쩌는게임기획서 이렇게 쓴다
쩌는게임기획서 이렇게 쓴다
 
webservice scaling for newbie
webservice scaling for newbiewebservice scaling for newbie
webservice scaling for newbie
 
게임제작개론 : #4 게임 밸런싱
게임제작개론 : #4 게임 밸런싱게임제작개론 : #4 게임 밸런싱
게임제작개론 : #4 게임 밸런싱
 
Profiling - 실시간 대화식 프로파일러
Profiling - 실시간 대화식 프로파일러Profiling - 실시간 대화식 프로파일러
Profiling - 실시간 대화식 프로파일러
 
Next-generation MMORPG service architecture
Next-generation MMORPG service architectureNext-generation MMORPG service architecture
Next-generation MMORPG service architecture
 
NDC 11 자이언트 서버의 비밀
NDC 11 자이언트 서버의 비밀NDC 11 자이언트 서버의 비밀
NDC 11 자이언트 서버의 비밀
 
게임 유저 행동 분석으로 이탈 방지하는 방법 (텐투플레이 웨비나)
게임 유저 행동 분석으로 이탈 방지하는 방법 (텐투플레이 웨비나)게임 유저 행동 분석으로 이탈 방지하는 방법 (텐투플레이 웨비나)
게임 유저 행동 분석으로 이탈 방지하는 방법 (텐투플레이 웨비나)
 
실무에서 활용하는 A/B테스트
실무에서 활용하는 A/B테스트실무에서 활용하는 A/B테스트
실무에서 활용하는 A/B테스트
 
[IGC2018] 유영천 개발자 - Voxel기반 네트워크 게임 최적화기법
[IGC2018] 유영천 개발자 - Voxel기반 네트워크 게임 최적화기법[IGC2018] 유영천 개발자 - Voxel기반 네트워크 게임 최적화기법
[IGC2018] 유영천 개발자 - Voxel기반 네트워크 게임 최적화기법
 

Viewers also liked

전투 시스템 기획(Canvas 스터디 1차)
전투 시스템 기획(Canvas 스터디 1차)전투 시스템 기획(Canvas 스터디 1차)
전투 시스템 기획(Canvas 스터디 1차)
Chanman Jo
 
Cbt,fgt,obt를 통한 game data mining 기법
Cbt,fgt,obt를 통한 game data mining 기법Cbt,fgt,obt를 통한 game data mining 기법
Cbt,fgt,obt를 통한 game data mining 기법Chanman Jo
 
02. 게임 전투 공식
02. 게임 전투 공식02. 게임 전투 공식
02. 게임 전투 공식
Chanman Jo
 
실전 예제) 난이도로 인한 리텐션 올리기
실전 예제) 난이도로 인한 리텐션 올리기실전 예제) 난이도로 인한 리텐션 올리기
실전 예제) 난이도로 인한 리텐션 올리기
Chanman Jo
 
[GAMENEXT] 성공적인 사용자 리텐션 관리 (AD FRESCA)
[GAMENEXT] 성공적인 사용자 리텐션 관리 (AD FRESCA)[GAMENEXT] 성공적인 사용자 리텐션 관리 (AD FRESCA)
[GAMENEXT] 성공적인 사용자 리텐션 관리 (AD FRESCA)
GAMENEXT Works
 
사전예약의 모든것! "예약TOP10"
사전예약의 모든것! "예약TOP10"사전예약의 모든것! "예약TOP10"
사전예약의 모든것! "예약TOP10"
ADWAYS KOREA
 
Ytop10 proposal v1.0
Ytop10 proposal v1.0Ytop10 proposal v1.0
Ytop10 proposal v1.0
Yujin Jeon
 
Lean 6 Sigma & Cultural Revolution
Lean 6 Sigma & Cultural RevolutionLean 6 Sigma & Cultural Revolution
Lean 6 Sigma & Cultural RevolutionSungHyuk Park
 
Penner pre-integrated skin rendering (siggraph 2011 advances in real-time r...
Penner   pre-integrated skin rendering (siggraph 2011 advances in real-time r...Penner   pre-integrated skin rendering (siggraph 2011 advances in real-time r...
Penner pre-integrated skin rendering (siggraph 2011 advances in real-time r...JP Lee
 
Gabor Filtering for Fingerprint Image Enhancement
Gabor Filtering for Fingerprint Image EnhancementGabor Filtering for Fingerprint Image Enhancement
Gabor Filtering for Fingerprint Image Enhancement
Ankit Nayan
 
NDC 2015 조길현 - 모바일게임 생명연장의 꿈 : 쿠키런 2년 게임 운영 분투기
NDC 2015 조길현 - 모바일게임 생명연장의 꿈 : 쿠키런 2년 게임 운영 분투기NDC 2015 조길현 - 모바일게임 생명연장의 꿈 : 쿠키런 2년 게임 운영 분투기
NDC 2015 조길현 - 모바일게임 생명연장의 꿈 : 쿠키런 2년 게임 운영 분투기
KilHyeon Cho
 
[NDC 2011] 게임 개발자를 위한 데이터분석의 도입
[NDC 2011] 게임 개발자를 위한 데이터분석의 도입[NDC 2011] 게임 개발자를 위한 데이터분석의 도입
[NDC 2011] 게임 개발자를 위한 데이터분석의 도입
Hoon Park
 
안정적인 서비스 운영 2014.03
안정적인 서비스 운영   2014.03안정적인 서비스 운영   2014.03
안정적인 서비스 운영 2014.03
Changyol BAEK
 
[우리가 데이터를 쓰는 법] 좋다는 건 알겠는데 좀 써보고 싶소. 데이터! - 넘버웍스 하용호 대표
[우리가 데이터를 쓰는 법] 좋다는 건 알겠는데 좀 써보고 싶소. 데이터! - 넘버웍스 하용호 대표[우리가 데이터를 쓰는 법] 좋다는 건 알겠는데 좀 써보고 싶소. 데이터! - 넘버웍스 하용호 대표
[우리가 데이터를 쓰는 법] 좋다는 건 알겠는데 좀 써보고 싶소. 데이터! - 넘버웍스 하용호 대표
Dylan Ko
 
모바일 게임, 시장과 산업의 이해 Shock & Awe : What’s Next Now?
모바일 게임, 시장과 산업의 이해 Shock & Awe : What’s Next Now?모바일 게임, 시장과 산업의 이해 Shock & Awe : What’s Next Now?
모바일 게임, 시장과 산업의 이해 Shock & Awe : What’s Next Now?
GAMENEXT Works
 
Appsasia 모바일게임 시장조사 7월호- 글로벌 게임시장 트렌드
Appsasia 모바일게임 시장조사  7월호- 글로벌 게임시장 트렌드Appsasia 모바일게임 시장조사  7월호- 글로벌 게임시장 트렌드
Appsasia 모바일게임 시장조사 7월호- 글로벌 게임시장 트렌드
appsasia
 
삼국지 게임 컨셉제안서
삼국지 게임 컨셉제안서삼국지 게임 컨셉제안서
삼국지 게임 컨셉제안서JP Lee
 
AWS Summit Seoul 2015 - 국내 사례로 본 클라우드 운영 최적화 (이주완-메가존)
AWS Summit Seoul 2015 -  국내 사례로 본 클라우드 운영 최적화  (이주완-메가존)AWS Summit Seoul 2015 -  국내 사례로 본 클라우드 운영 최적화  (이주완-메가존)
AWS Summit Seoul 2015 - 국내 사례로 본 클라우드 운영 최적화 (이주완-메가존)
Amazon Web Services Korea
 
NDC 2015 비정형데이터분석 & 온라인게임운영
NDC 2015 비정형데이터분석 & 온라인게임운영NDC 2015 비정형데이터분석 & 온라인게임운영
NDC 2015 비정형데이터분석 & 온라인게임운영
Paul Jung
 

Viewers also liked (20)

전투 시스템 기획(Canvas 스터디 1차)
전투 시스템 기획(Canvas 스터디 1차)전투 시스템 기획(Canvas 스터디 1차)
전투 시스템 기획(Canvas 스터디 1차)
 
Cbt,fgt,obt를 통한 game data mining 기법
Cbt,fgt,obt를 통한 game data mining 기법Cbt,fgt,obt를 통한 game data mining 기법
Cbt,fgt,obt를 통한 game data mining 기법
 
02. 게임 전투 공식
02. 게임 전투 공식02. 게임 전투 공식
02. 게임 전투 공식
 
실전 예제) 난이도로 인한 리텐션 올리기
실전 예제) 난이도로 인한 리텐션 올리기실전 예제) 난이도로 인한 리텐션 올리기
실전 예제) 난이도로 인한 리텐션 올리기
 
[GAMENEXT] 성공적인 사용자 리텐션 관리 (AD FRESCA)
[GAMENEXT] 성공적인 사용자 리텐션 관리 (AD FRESCA)[GAMENEXT] 성공적인 사용자 리텐션 관리 (AD FRESCA)
[GAMENEXT] 성공적인 사용자 리텐션 관리 (AD FRESCA)
 
사전예약의 모든것! "예약TOP10"
사전예약의 모든것! "예약TOP10"사전예약의 모든것! "예약TOP10"
사전예약의 모든것! "예약TOP10"
 
Ytop10 proposal v1.0
Ytop10 proposal v1.0Ytop10 proposal v1.0
Ytop10 proposal v1.0
 
Lean 6 Sigma & Cultural Revolution
Lean 6 Sigma & Cultural RevolutionLean 6 Sigma & Cultural Revolution
Lean 6 Sigma & Cultural Revolution
 
Penner pre-integrated skin rendering (siggraph 2011 advances in real-time r...
Penner   pre-integrated skin rendering (siggraph 2011 advances in real-time r...Penner   pre-integrated skin rendering (siggraph 2011 advances in real-time r...
Penner pre-integrated skin rendering (siggraph 2011 advances in real-time r...
 
Gabor Filtering for Fingerprint Image Enhancement
Gabor Filtering for Fingerprint Image EnhancementGabor Filtering for Fingerprint Image Enhancement
Gabor Filtering for Fingerprint Image Enhancement
 
NDC 2015 조길현 - 모바일게임 생명연장의 꿈 : 쿠키런 2년 게임 운영 분투기
NDC 2015 조길현 - 모바일게임 생명연장의 꿈 : 쿠키런 2년 게임 운영 분투기NDC 2015 조길현 - 모바일게임 생명연장의 꿈 : 쿠키런 2년 게임 운영 분투기
NDC 2015 조길현 - 모바일게임 생명연장의 꿈 : 쿠키런 2년 게임 운영 분투기
 
[NDC 2011] 게임 개발자를 위한 데이터분석의 도입
[NDC 2011] 게임 개발자를 위한 데이터분석의 도입[NDC 2011] 게임 개발자를 위한 데이터분석의 도입
[NDC 2011] 게임 개발자를 위한 데이터분석의 도입
 
안정적인 서비스 운영 2014.03
안정적인 서비스 운영   2014.03안정적인 서비스 운영   2014.03
안정적인 서비스 운영 2014.03
 
[우리가 데이터를 쓰는 법] 좋다는 건 알겠는데 좀 써보고 싶소. 데이터! - 넘버웍스 하용호 대표
[우리가 데이터를 쓰는 법] 좋다는 건 알겠는데 좀 써보고 싶소. 데이터! - 넘버웍스 하용호 대표[우리가 데이터를 쓰는 법] 좋다는 건 알겠는데 좀 써보고 싶소. 데이터! - 넘버웍스 하용호 대표
[우리가 데이터를 쓰는 법] 좋다는 건 알겠는데 좀 써보고 싶소. 데이터! - 넘버웍스 하용호 대표
 
모바일 게임, 시장과 산업의 이해 Shock & Awe : What’s Next Now?
모바일 게임, 시장과 산업의 이해 Shock & Awe : What’s Next Now?모바일 게임, 시장과 산업의 이해 Shock & Awe : What’s Next Now?
모바일 게임, 시장과 산업의 이해 Shock & Awe : What’s Next Now?
 
Appsasia 모바일게임 시장조사 7월호- 글로벌 게임시장 트렌드
Appsasia 모바일게임 시장조사  7월호- 글로벌 게임시장 트렌드Appsasia 모바일게임 시장조사  7월호- 글로벌 게임시장 트렌드
Appsasia 모바일게임 시장조사 7월호- 글로벌 게임시장 트렌드
 
삼국지 게임 컨셉제안서
삼국지 게임 컨셉제안서삼국지 게임 컨셉제안서
삼국지 게임 컨셉제안서
 
AWS Summit Seoul 2015 - 국내 사례로 본 클라우드 운영 최적화 (이주완-메가존)
AWS Summit Seoul 2015 -  국내 사례로 본 클라우드 운영 최적화  (이주완-메가존)AWS Summit Seoul 2015 -  국내 사례로 본 클라우드 운영 최적화  (이주완-메가존)
AWS Summit Seoul 2015 - 국내 사례로 본 클라우드 운영 최적화 (이주완-메가존)
 
NDC 2015 비정형데이터분석 & 온라인게임운영
NDC 2015 비정형데이터분석 & 온라인게임운영NDC 2015 비정형데이터분석 & 온라인게임운영
NDC 2015 비정형데이터분석 & 온라인게임운영
 
Redis
RedisRedis
Redis
 

Similar to 리텐션의 산출과 활용

게임제작개론 : #9 라이브 서비스
게임제작개론 : #9 라이브 서비스게임제작개론 : #9 라이브 서비스
게임제작개론 : #9 라이브 서비스
Seungmo Koo
 
탐사분석을통한작업장탐지
탐사분석을통한작업장탐지탐사분석을통한작업장탐지
탐사분석을통한작업장탐지Eun-Jo Lee
 
게임제작개론 9
게임제작개론 9게임제작개론 9
게임제작개론 9Seokmin No
 
뉴미디어프로젝트(E biz 손정원)
뉴미디어프로젝트(E biz 손정원)뉴미디어프로젝트(E biz 손정원)
뉴미디어프로젝트(E biz 손정원)ShonJungWon
 
노기태, 김대우, 모바일 게임 데이터에 입각한 머신러닝 예측 분석 도입 및 삽질 후기, NDC2017
노기태, 김대우, 모바일 게임 데이터에 입각한 머신러닝 예측 분석 도입 및 삽질 후기, NDC2017노기태, 김대우, 모바일 게임 데이터에 입각한 머신러닝 예측 분석 도입 및 삽질 후기, NDC2017
노기태, 김대우, 모바일 게임 데이터에 입각한 머신러닝 예측 분석 도입 및 삽질 후기, NDC2017
devCAT Studio, NEXON
 
Log Design Case Study
Log Design Case StudyLog Design Case Study
Log Design Case Study
Dataya Nolja
 
실전 스타트업 데이터분석: 소셜데이팅 이음은 이렇게 한다
실전 스타트업 데이터분석: 소셜데이팅 이음은 이렇게 한다실전 스타트업 데이터분석: 소셜데이팅 이음은 이렇게 한다
실전 스타트업 데이터분석: 소셜데이팅 이음은 이렇게 한다
승화 양
 
게임 BM 이야기
게임 BM 이야기게임 BM 이야기
게임 BM 이야기
SeungYeon Jeong
 
온라인 서비스 개선을 데이터 활용법 - 김진영 (How We Use Data)
온라인 서비스 개선을 데이터 활용법  - 김진영 (How We Use Data)온라인 서비스 개선을 데이터 활용법  - 김진영 (How We Use Data)
온라인 서비스 개선을 데이터 활용법 - 김진영 (How We Use Data)
Jin Young Kim
 
[우리가 데이터를 쓰는 법] 온라인 서비스 개선을 위한 데이터 활용법 - 마이크로소프트 김진영 데이터과학자
[우리가 데이터를 쓰는 법] 온라인 서비스 개선을 위한 데이터 활용법 - 마이크로소프트 김진영 데이터과학자[우리가 데이터를 쓰는 법] 온라인 서비스 개선을 위한 데이터 활용법 - 마이크로소프트 김진영 데이터과학자
[우리가 데이터를 쓰는 법] 온라인 서비스 개선을 위한 데이터 활용법 - 마이크로소프트 김진영 데이터과학자
Dylan Ko
 
Blackbox 기획안
Blackbox 기획안Blackbox 기획안
Blackbox 기획안
Chul hee Yeon
 
스타트업의 전략적 사고
스타트업의 전략적 사고스타트업의 전략적 사고
스타트업의 전략적 사고
Hyunjong Wi
 
[TapjoyX5Rocks App Discovery Seminar] Session 6 - 5Rocks 이창수 대표
[TapjoyX5Rocks App Discovery Seminar] Session 6 - 5Rocks 이창수 대표[TapjoyX5Rocks App Discovery Seminar] Session 6 - 5Rocks 이창수 대표
[TapjoyX5Rocks App Discovery Seminar] Session 6 - 5Rocks 이창수 대표
Tapjoy X 5Rocks
 
NDC 2016 김정주 - 기계학습을 활용한 게임어뷰징 검출
NDC 2016 김정주 - 기계학습을 활용한 게임어뷰징 검출 NDC 2016 김정주 - 기계학습을 활용한 게임어뷰징 검출
NDC 2016 김정주 - 기계학습을 활용한 게임어뷰징 검출
정주 김
 
애자일 스크럼과 JIRA
애자일 스크럼과 JIRA 애자일 스크럼과 JIRA
애자일 스크럼과 JIRA
Terry Cho
 
Paradise service deign
Paradise service deignParadise service deign
Paradise service deignmutantlee
 
사용자분석 @코더스하이세미나
사용자분석 @코더스하이세미나사용자분석 @코더스하이세미나
사용자분석 @코더스하이세미나
Mikyung Kang
 
NDC17 장창완(최종)
NDC17 장창완(최종)NDC17 장창완(최종)
NDC17 장창완(최종)
창완 장
 
AD fresca 서비스 소개서
AD fresca 서비스 소개서AD fresca 서비스 소개서
AD fresca 서비스 소개서
Uichong Dano Lee
 

Similar to 리텐션의 산출과 활용 (20)

게임제작개론 : #9 라이브 서비스
게임제작개론 : #9 라이브 서비스게임제작개론 : #9 라이브 서비스
게임제작개론 : #9 라이브 서비스
 
탐사분석을통한작업장탐지
탐사분석을통한작업장탐지탐사분석을통한작업장탐지
탐사분석을통한작업장탐지
 
게임제작개론 9
게임제작개론 9게임제작개론 9
게임제작개론 9
 
뉴미디어프로젝트(E biz 손정원)
뉴미디어프로젝트(E biz 손정원)뉴미디어프로젝트(E biz 손정원)
뉴미디어프로젝트(E biz 손정원)
 
노기태, 김대우, 모바일 게임 데이터에 입각한 머신러닝 예측 분석 도입 및 삽질 후기, NDC2017
노기태, 김대우, 모바일 게임 데이터에 입각한 머신러닝 예측 분석 도입 및 삽질 후기, NDC2017노기태, 김대우, 모바일 게임 데이터에 입각한 머신러닝 예측 분석 도입 및 삽질 후기, NDC2017
노기태, 김대우, 모바일 게임 데이터에 입각한 머신러닝 예측 분석 도입 및 삽질 후기, NDC2017
 
Log Design Case Study
Log Design Case StudyLog Design Case Study
Log Design Case Study
 
실전 스타트업 데이터분석: 소셜데이팅 이음은 이렇게 한다
실전 스타트업 데이터분석: 소셜데이팅 이음은 이렇게 한다실전 스타트업 데이터분석: 소셜데이팅 이음은 이렇게 한다
실전 스타트업 데이터분석: 소셜데이팅 이음은 이렇게 한다
 
최웅규
최웅규최웅규
최웅규
 
게임 BM 이야기
게임 BM 이야기게임 BM 이야기
게임 BM 이야기
 
온라인 서비스 개선을 데이터 활용법 - 김진영 (How We Use Data)
온라인 서비스 개선을 데이터 활용법  - 김진영 (How We Use Data)온라인 서비스 개선을 데이터 활용법  - 김진영 (How We Use Data)
온라인 서비스 개선을 데이터 활용법 - 김진영 (How We Use Data)
 
[우리가 데이터를 쓰는 법] 온라인 서비스 개선을 위한 데이터 활용법 - 마이크로소프트 김진영 데이터과학자
[우리가 데이터를 쓰는 법] 온라인 서비스 개선을 위한 데이터 활용법 - 마이크로소프트 김진영 데이터과학자[우리가 데이터를 쓰는 법] 온라인 서비스 개선을 위한 데이터 활용법 - 마이크로소프트 김진영 데이터과학자
[우리가 데이터를 쓰는 법] 온라인 서비스 개선을 위한 데이터 활용법 - 마이크로소프트 김진영 데이터과학자
 
Blackbox 기획안
Blackbox 기획안Blackbox 기획안
Blackbox 기획안
 
스타트업의 전략적 사고
스타트업의 전략적 사고스타트업의 전략적 사고
스타트업의 전략적 사고
 
[TapjoyX5Rocks App Discovery Seminar] Session 6 - 5Rocks 이창수 대표
[TapjoyX5Rocks App Discovery Seminar] Session 6 - 5Rocks 이창수 대표[TapjoyX5Rocks App Discovery Seminar] Session 6 - 5Rocks 이창수 대표
[TapjoyX5Rocks App Discovery Seminar] Session 6 - 5Rocks 이창수 대표
 
NDC 2016 김정주 - 기계학습을 활용한 게임어뷰징 검출
NDC 2016 김정주 - 기계학습을 활용한 게임어뷰징 검출 NDC 2016 김정주 - 기계학습을 활용한 게임어뷰징 검출
NDC 2016 김정주 - 기계학습을 활용한 게임어뷰징 검출
 
애자일 스크럼과 JIRA
애자일 스크럼과 JIRA 애자일 스크럼과 JIRA
애자일 스크럼과 JIRA
 
Paradise service deign
Paradise service deignParadise service deign
Paradise service deign
 
사용자분석 @코더스하이세미나
사용자분석 @코더스하이세미나사용자분석 @코더스하이세미나
사용자분석 @코더스하이세미나
 
NDC17 장창완(최종)
NDC17 장창완(최종)NDC17 장창완(최종)
NDC17 장창완(최종)
 
AD fresca 서비스 소개서
AD fresca 서비스 소개서AD fresca 서비스 소개서
AD fresca 서비스 소개서
 

리텐션의 산출과 활용

  • 2. 지난번에서는… • 리텐션이 왜 중요한가에 대한 설명 • 리텐션 산출 시 주의사항 • 리텐션의 산출방법 기간 / 조건 필터 • 리텐션 활용법 에 대해 간략하게 알아보았습니다. 지난 번은 실제 게임에 적용시키는 과정과 방법 등을 간소화 했었는데 이번엔 조금 더 상세하게 ‘리텐션의 산출과 활용’에 대해 들어가보겠습니다.
  • 3.
  • 4. 기간 필터 • 지난 번 기간 필터 방식 중 우리는 ‘주 단위 필터’를 적용하겠습니다. • 주 단위로 산출하는 이유는 ‘고객’의 범위를 대한민국으로 잡았기 때문 인데요. • 대한민국의 국민들의 패턴은 대부분 ‘주 단위’로 흘러가기 때문입니다.
  • 5. 기간 필터 • 라이브 서비스 경험이 있는 사람이라면 아래의 그래프를 많이 보셨을 겁니다. • 그리고 그래프들은 대부분 AU,UV,APPUR 등이 되겠지요. • 이러한 양상을 띄는 이유는 우리가 만들고 있는 ‘게임’을 이용하는 고객들 의 생활 패턴이 대부분 주 단위 주기로 반복되고 있기 때문입니다. • 물론 ‘타겟층’ 범위에 따라 다소 차이는 있을 수 있습니다. 월 화 수 목 금 토 일
  • 6. 조건 필터 • 지금 예제로 잡고 있는 것은 MMOPRG라는 장르입니다. • MMORPG라는 장르를 구성하는 공통적 특징을 정리하자면 디자인마다 차 이는 있지만 대부분 다음의 공통 요소를 가지고 있습니다.
  • 7. LEVEL Level 사용자 Spend Time
  • 9. 정리하자면 • MMORPG의 디자인은 Level을 기준으로 Contents를 배열한 씬의 집합 • 이용자의 Spend Time예 따라 이용자는 Level이라는 기준을 얻게 되며 그 기 준점에서 디자이너가 구축한 흐름 속에서 Interest라는 것이 변화하는 형태 • 이 조건이 부합한다는 전제하에 리텐션 조건을 필터 이 PT를 보시는 분들 중 감이 좋으신 분들은 벌써부터 제가 무엇 때문에 이런 설명을 하고 있는지 이미 눈치 채셨을 것입니다.
  • 10. 결국 리텐션은 Game Data Data를 마이닝하는 과정에서 가장 중요한 것은 대상의 기간과 조건 대상을 집단으로 구성하기 위한 공통분모 찾기 기간 : 주단위 (고객의 생활패턴) 조건 : Level (고객이 겪고 있는 서비스 구간)
  • 11.
  • 12. 가상의 리텐션 Data 리텐션이 낮은 구간 1~5, 6~10, 26~30 : 초반 구간, 최고레벨 구간 이 두 지역의 리텐션이 낮음 -> 이탈율이 높다는 이야기
  • 13. DB의 용량 관계상 Low Data는 게임 플랫폼, 장르에 따라 매우 큰 격차가 존재 • CBT, FGT, OBT 등 각종 Test를 통해 Low Data를 사전에 정리 필요 • 가상 시뮬레이션이기 때문에 사전 Data 정리 작업이 끝났다고 가정
  • 14. ▣ 정성 데이터를 이용한 가설 : 게시판, 리뷰, 고객센터 등에 접수되는 고객의 글을 통한 유추 Ex) 만렙인데 할게 없어요 징징 ▣ 기획상의 가설 : 3레벨에 만나는 보스 몬스터가 너무 강력해서 유저들이 장벽을 넘지 못하고 이탈 : 4레벨에 퀘스트 아이템 드랍율이 너무 낮아서 지쳐서 유저들이 이탈 : 5레벨에 퀘스트가 끊겨서 유저가 어디로 가야 할지를 몰라서 이탈 : 게임 자체에 흥미를 느끼지 못해 조금 플레이 하다가 이탈
  • 15. 가설 : 유저들이 3레벨에 만나는 보스 몬스터한테 하도 많이 죽어서 결국 이탈한다. 불특정 표본 집단의 Low Data 확인 대상의 Death Low Data 확인 이탈자 중 불특정 표본 집단 구성 최소 10명 정도 이상을 확인해보는 것이 바람직
  • 16. 가설을 검증하도록 Low Data Mining 진행 • 이탈자 중 마지막 죽음이 ID:415, ‘지킬하이드’인 비율 확인 • 결과 : 50%의 비율로 지킬하이드에 죽고 난 후 게임을 이탈함
  • 17. 수정 방안 : 지킬하이드 공격력, HP 50% 하락 다 해결됐어!
  • 18.
  • 19. 전체 중 이탈자 비율은 70%, 그 중 50%인 전체의 15%가 지킬하이드로 인한 이탈이라고 판단을 내려 지킬하이드를 하향패치 했다. • But, 반대로 이야기하면 85%는 현재의 지킬하이드를 만족한다는 이야기 장벽 무찔러주겠어! 포기할래~ 85% 15%
  • 20. 수정 방안 : 지킬하이드로 인해 이탈하는 유저들에게 Buff Item 지급 덤벼보시지? 15%
  • 21. 리텐션이 낮은 고객들을 파악해라. • 그 고객들의 문제를 확인해라. • 대응을 할 땐 고객들에게 맞춤 대응하라.
  • 22. 대부분의 사람들이 리텐션의 중요성을 인지 안함. • 대부분의 회사들은 DBA의 수가 적음 • 정성,정량 Data를 세분화하고 분석하는 사람의 수가 적음. • 온갖 변수들에 대한 함정을 잘 밟음. • 지표 자체를 안 뽑는 경우가 대부분 • 개발사에 실서비스 DB 접근 권한이 없는 경우 사실 힘든 • Data 통계는 뽑고 분석하는 사람 마음대로 조작 가능 것은 이것보 다 훨씬 더 • Low Data Log를 남기는 데 머신상의 한계가 존재 많죠.
  • 23.
  • 24. 신규 유저 리텐션을 높인다고 신규가입자가 30레벨까지 키우면 퍼블리셔 포털 캐쉬 5000원 지급하는 이벤트를 실시 • 이벤트 기간인 3월4일 ~ 3월11일 리텐션율이 엄청 높 게 나옴. -> 이벤트는 성공인가?
  • 25. 이벤트 종료 하자마자 거품은 빠짐. 아직까진 실패라고 볼 수 없음. 왜냐하면 이벤트 기간 동안 신규 가입자에서 이용자로 전환된 비율은 높았기 때문에 그 때 당시의 고객들이 계속해서 게임을 한다면 그 이벤트 자체는 성공이라고 할 수 있음.
  • 26. 그러나, 주차 흐름에 따른 리텐션 확인 결과 다른 기간과 별 차이가 없음. 그래도 아직까지는… 실패라 볼 수 없음 비율로만 저럴 수 있고, 상수로 보면 전환된 UID의 숫자는 더 많을 수도…
  • 27. 전체 UV에도 결국 변화가 없어 이상하다 싶어 결국엔 Low Data를 확인함. 퍼블리셔에게 요청해서 ‘이벤트 대상자’들의 포털 Cash 사용내역 로그를 확인해달라고 요청 결국, 우리 게임 이벤트를 이용해서 다른 게임에 투자하는 어뷰징이라고 판단 됨.
  • 28. 하나의 Data로는 그 자체의 현상밖에 판단 하지 못한다. DATA는 분석(쪼개고, 쪼개고, 또 쪼개고)을 할수록 정확도가 높아진다. 그렇다고, Data에만 의존하는 바보가 되지는 마라. Data 분석은 수많은 스킬 중 하나일 뿐이다. 일부 비양심적 보고자는 데이터를 자신에게 유리하게 편집해서 보고한다. 게임 자체에 대한 이해도가 없이는 Data에 대한 이해도 불가능하다.
  • 29. 이것은 빙산의 일각일 뿐입니다. 정성,정량 데이터 중 ‘리텐션’이라는 일각이죠. 우리는 보다 더 낳은 디자인을 위해 많은 것들을 공부할 필요가 있습니다. 개인적으로는 이러한 Data 분석과 체계확립은 우리가 가진 수 많은 스킬 중 매우 유용하게 사용할 수 있는 스킬이 되리라 믿어 의심치 않습니다. “기획자는 아는 만큼만 기획합니다.” Ps. 발표용 문서라 아쉽네요.