[우리가 데이터를 쓰는 법] 모바일 게임 로그 데이터 분석 이야기 - 엔터메이트 공신배 팀장Dylan Ko
Gonnector(고넥터) 고영혁 대표가 주최한 스타트업 데이터 활용 세미나 '우리가 데이터를 쓰는 법' 의 세 번째 발표 자료
세미나 : 우리가 데이터를 쓰는 법 (How We Use Data)
일시 : 2016년 4월 12일 화요일 10:00 ~ 18:00
장소 : 마루180 (Maru180) B1 Think 홀
제목 : 모바일 게임 로그 데이터 분석 이야기
연사 : 엔터메이트 공신배 팀장
[야생의 땅: 듀랑고] 서버 아키텍처 - SPOF 없는 분산 MMORPG 서버Heungsub Lee
NDC14에서 발표한 "[야생의 땅: 듀랑고] 서버 아키텍처" 세션의 슬라이드입니다.
슬라이드에 설명이 많지 않은데, 디스이즈게임에서 발표 내용을 잘 정리해주었습니다. 기사도 함께 보시면 좋을 것 같습니다.
http://www.thisisgame.com/webzine/news/nboard/4/?n=54955
[우리가 데이터를 쓰는 법] 모바일 게임 로그 데이터 분석 이야기 - 엔터메이트 공신배 팀장Dylan Ko
Gonnector(고넥터) 고영혁 대표가 주최한 스타트업 데이터 활용 세미나 '우리가 데이터를 쓰는 법' 의 세 번째 발표 자료
세미나 : 우리가 데이터를 쓰는 법 (How We Use Data)
일시 : 2016년 4월 12일 화요일 10:00 ~ 18:00
장소 : 마루180 (Maru180) B1 Think 홀
제목 : 모바일 게임 로그 데이터 분석 이야기
연사 : 엔터메이트 공신배 팀장
[야생의 땅: 듀랑고] 서버 아키텍처 - SPOF 없는 분산 MMORPG 서버Heungsub Lee
NDC14에서 발표한 "[야생의 땅: 듀랑고] 서버 아키텍처" 세션의 슬라이드입니다.
슬라이드에 설명이 많지 않은데, 디스이즈게임에서 발표 내용을 잘 정리해주었습니다. 기사도 함께 보시면 좋을 것 같습니다.
http://www.thisisgame.com/webzine/news/nboard/4/?n=54955
게임에 유저 유입을 위해서 유저의 행동을 분석하지만, 왜 게임 내부에서는 유저 행동을 분석하지 않을까요? 게임 유저 행동을 분석하고 개인화된 유저 관리를 제공해야 LTV를 향상시킬 수 있습니다.
영상: https://www.youtube.com/watch?v=YXsTR9Xvq_s
어떻게 하면 게임 유저의 행동을 분석하여 개인 맞춤형 관리를 할 수 있을까요? 텐투플레이의 개인화 라이브옵스(LiveOps)로 게임 수익을 향상시킬 수 있는 노하우를 공개합니다.
1. 게임 로그 데이터 수집, 2. 가설 세우기, 3. 가설 검정, 4. 추천 아이템 및 전략 가설 검정
영상: https://www.youtube.com/watch?v=foqt4Y21uUA
게임에 유저 유입을 위해서 유저의 행동을 분석하지만, 왜 게임 내부에서는 유저 행동을 분석하지 않을까요? 게임 유저 행동을 분석하고 개인화된 유저 관리를 제공해야 LTV를 향상시킬 수 있습니다.
영상: https://www.youtube.com/watch?v=YXsTR9Xvq_s
어떻게 하면 게임 유저의 행동을 분석하여 개인 맞춤형 관리를 할 수 있을까요? 텐투플레이의 개인화 라이브옵스(LiveOps)로 게임 수익을 향상시킬 수 있는 노하우를 공개합니다.
1. 게임 로그 데이터 수집, 2. 가설 세우기, 3. 가설 검정, 4. 추천 아이템 및 전략 가설 검정
영상: https://www.youtube.com/watch?v=foqt4Y21uUA
NDC 2015 조길현 - 모바일게임 생명연장의 꿈 : 쿠키런 2년 게임 운영 분투기KilHyeon Cho
오랫동안 많은 사람들에게 즐거움을 주고 큰 사랑을 받아온 쿠키런. '모바일 게임의 수명은 길어야 3개월' 이라는 공식을 깨고 긴 시간 사랑을 받아온 비결에는 혼신의 힘을 다한 모바일 게임 운영이 있었다! 올해로 2주년을 맞이하는 쿠키런을 운영하면서 겪은 실제 사례들을 통해 오랫동안 끊임없는 재미를 제공하는 좋은 운영을 만드는 요소들에는 어떤 것들이 있는지 이야기해본다.
[우리가 데이터를 쓰는 법] 좋다는 건 알겠는데 좀 써보고 싶소. 데이터! - 넘버웍스 하용호 대표Dylan Ko
Gonnector(고넥터) 고영혁 대표가 주최한 스타트업 데이터 활용 세미나 '우리가 데이터를 쓰는 법' 의 첫 번째 발표 자료
세미나 : 우리가 데이터를 쓰는 법 (How We Use Data)
일시 : 2016년 4월 12일 화요일 10:00 ~ 18:00
장소 : 마루180 (Maru180) B1 Think 홀
제목 : 좋다는 건 알겠는데 좀 써보고 싶소. 데이터!
연사 : 넘버웍스 하용호 대표
글로벌 모바일 게임 시장 조사 자료
Global Mobile Game Market Report compiled by Appsasia, a global application marketing company based in Seoul, South Korea.
In our research you will find this data per country:
Average ARPU, Market Share and Size, Top Genre's in the Top 25 (iOS & Android), Expected daily downloads and revenue for Top 1, Top 5, Top 10, Top 25 and Top 50 for Google, iOS and iPad.
Countries covered in this research are: Korea, Japan, China, Taiwan, Hong Kong, Singapore, US, Canada, Brazil, UK, Germany & France.
Hopefully you will find this report useful in app marketing.
[우리가 데이터를 쓰는 법] 온라인 서비스 개선을 위한 데이터 활용법 - 마이크로소프트 김진영 데이터과학자Dylan Ko
Gonnector(고넥터) 고영혁 대표가 주최한 스타트업 데이터 활용 세미나 '우리가 데이터를 쓰는 법' 의 두 번째 발표 자료
세미나 : 우리가 데이터를 쓰는 법 (How We Use Data)
일시 : 2016년 4월 12일 화요일 10:00 ~ 18:00
장소 : 마루180 (Maru180) B1 Think 홀
제목 : 온라인 서비스 개선을 위한 데이터 활용법
연사 : 마이크로소프트 김진영 데이터과학자
<마비노기 영웅전>의 사례에 기반하여 다음의 내용을 설명합니다.
1. 국내 및 해외에서 라이브 서비스 중에 발생하는 작업장 이슈에 대응하기 위해서 실시간 로그 수집 프로세스를 구축하면서 고민하였던 내용과
2. 수집한 로그 데이터를 활용하여 온라인 액션 게임에서 캐릭터 애니메이션 패턴간의 유사도(TF-IDF, Cosine Similarity)를 분석하여 현업 실무의 어뷰징 탐지에 활용한 사례를 공유합니다.
라이브 서비스 환경에서 국내 및 해외의 실시간 로그 수집에 대해서 고민하시는 개발자나 온라인 게임에서의 봇탐지에 관심있는 분석가들에게 유용한 사례를 소개해드릴 수 있을 것으로 생각합니다.
2. 지난번에서는…
• 리텐션이 왜 중요한가에 대한 설명
• 리텐션 산출 시 주의사항
• 리텐션의 산출방법 기간 / 조건 필터
• 리텐션 활용법
에 대해 간략하게 알아보았습니다.
지난 번은 실제 게임에 적용시키는 과정과 방법 등을 간소화 했었는데
이번엔 조금 더 상세하게 ‘리텐션의 산출과 활용’에 대해 들어가보겠습니다.
3.
4. 기간 필터
• 지난 번 기간 필터 방식 중 우리는 ‘주 단위 필터’를 적용하겠습니다.
• 주 단위로 산출하는 이유는 ‘고객’의 범위를 대한민국으로 잡았기 때문
인데요.
• 대한민국의 국민들의 패턴은 대부분 ‘주 단위’로 흘러가기 때문입니다.
5. 기간 필터
• 라이브 서비스 경험이 있는 사람이라면 아래의 그래프를 많이 보셨을 겁니다.
• 그리고 그래프들은 대부분 AU,UV,APPUR 등이 되겠지요.
• 이러한 양상을 띄는 이유는 우리가 만들고 있는 ‘게임’을 이용하는 고객들
의 생활 패턴이 대부분 주 단위 주기로 반복되고 있기 때문입니다.
• 물론 ‘타겟층’ 범위에 따라 다소 차이는 있을 수 있습니다.
월 화 수 목 금 토 일
6. 조건 필터
• 지금 예제로 잡고 있는 것은 MMOPRG라는 장르입니다.
• MMORPG라는 장르를 구성하는 공통적 특징을 정리하자면 디자인마다 차
이는 있지만 대부분 다음의 공통 요소를 가지고 있습니다.
9. 정리하자면
• MMORPG의 디자인은 Level을 기준으로 Contents를 배열한 씬의 집합
• 이용자의 Spend Time예 따라 이용자는 Level이라는 기준을 얻게 되며 그 기
준점에서 디자이너가 구축한 흐름 속에서 Interest라는 것이 변화하는 형태
• 이 조건이 부합한다는 전제하에 리텐션 조건을 필터
이 PT를 보시는 분들 중 감이 좋으신 분들은 벌써부터 제가 무엇 때문에 이런
설명을 하고 있는지 이미 눈치 채셨을 것입니다.
10. 결국 리텐션은 Game Data
Data를 마이닝하는 과정에서 가장 중요한 것은 대상의 기간과 조건
대상을 집단으로 구성하기 위한 공통분모 찾기
기간 : 주단위 (고객의 생활패턴)
조건 : Level (고객이 겪고 있는 서비스 구간)
11.
12. • 가상의 리텐션 Data
리텐션이 낮은 구간
1~5, 6~10, 26~30
: 초반 구간, 최고레벨 구간
이 두 지역의 리텐션이 낮음
-> 이탈율이 높다는 이야기
13. • DB의 용량 관계상 Low Data는 게임 플랫폼, 장르에 따라 매우 큰 격차가 존재
• CBT, FGT, OBT 등 각종 Test를 통해 Low Data를 사전에 정리 필요
• 가상 시뮬레이션이기 때문에 사전 Data 정리 작업이 끝났다고 가정
14. ▣ 정성 데이터를 이용한 가설
: 게시판, 리뷰, 고객센터 등에 접수되는 고객의 글을 통한 유추
Ex) 만렙인데 할게 없어요 징징
▣ 기획상의 가설
: 3레벨에 만나는 보스 몬스터가 너무 강력해서 유저들이 장벽을 넘지 못하고 이탈
: 4레벨에 퀘스트 아이템 드랍율이 너무 낮아서 지쳐서 유저들이 이탈
: 5레벨에 퀘스트가 끊겨서 유저가 어디로 가야 할지를 몰라서 이탈
: 게임 자체에 흥미를 느끼지 못해 조금 플레이 하다가 이탈
15. 가설 : 유저들이 3레벨에 만나는 보스 몬스터한테 하도 많이 죽어서 결국 이탈한다.
불특정 표본 집단의 Low Data 확인
대상의 Death Low Data 확인
이탈자 중 불특정 표본 집단 구성 최소 10명 정도 이상을 확인해보는 것이 바람직
16. • 가설을 검증하도록 Low Data Mining 진행
• 이탈자 중 마지막 죽음이 ID:415, ‘지킬하이드’인 비율 확인
• 결과 : 50%의 비율로 지킬하이드에 죽고 난 후 게임을 이탈함
19. • 전체 중 이탈자 비율은 70%, 그 중 50%인 전체의 15%가 지킬하이드로
인한 이탈이라고 판단을 내려 지킬하이드를 하향패치 했다.
• But, 반대로 이야기하면 85%는 현재의 지킬하이드를 만족한다는 이야기
장벽
무찔러주겠어!
포기할래~
85% 15%
20. • 수정 방안 : 지킬하이드로 인해 이탈하는 유저들에게 Buff Item 지급
덤벼보시지?
15%
21. • 리텐션이 낮은 고객들을 파악해라.
• 그 고객들의 문제를 확인해라.
• 대응을 할 땐 고객들에게 맞춤 대응하라.
22. • 대부분의 사람들이 리텐션의 중요성을 인지 안함.
• 대부분의 회사들은 DBA의 수가 적음
• 정성,정량 Data를 세분화하고 분석하는 사람의 수가 적음.
• 온갖 변수들에 대한 함정을 잘 밟음.
• 지표 자체를 안 뽑는 경우가 대부분
• 개발사에 실서비스 DB 접근 권한이 없는 경우 사실 힘든
• Data 통계는 뽑고 분석하는 사람 마음대로 조작 가능 것은 이것보
다 훨씬 더
• Low Data Log를 남기는 데 머신상의 한계가 존재
많죠.
23.
24. • 신규 유저 리텐션을 높인다고 신규가입자가 30레벨까지 키우면 퍼블리셔
포털 캐쉬 5000원 지급하는 이벤트를 실시
• 이벤트 기간인 3월4일 ~ 3월11일 리텐션율이 엄청 높
게 나옴. -> 이벤트는 성공인가?
25. 이벤트 종료 하자마자 거품은 빠짐.
아직까진 실패라고 볼 수 없음.
왜냐하면 이벤트 기간 동안 신규 가입자에서 이용자로
전환된 비율은 높았기 때문에 그 때 당시의 고객들이
계속해서 게임을 한다면 그 이벤트 자체는 성공이라고
할 수 있음.
26. 그러나, 주차 흐름에 따른 리텐션
확인 결과 다른 기간과 별 차이가 없음.
그래도 아직까지는… 실패라 볼 수 없음
비율로만 저럴 수 있고, 상수로 보면
전환된 UID의 숫자는 더 많을 수도…
27. 전체 UV에도 결국 변화가 없어 이상하다 싶어 결국엔 Low Data를 확인함.
퍼블리셔에게 요청해서 ‘이벤트 대상자’들의 포털 Cash 사용내역 로그를
확인해달라고 요청
결국, 우리 게임 이벤트를 이용해서 다른
게임에 투자하는 어뷰징이라고 판단 됨.
28. 하나의 Data로는 그 자체의 현상밖에 판단 하지 못한다.
DATA는 분석(쪼개고, 쪼개고, 또 쪼개고)을 할수록 정확도가 높아진다.
그렇다고, Data에만 의존하는 바보가 되지는 마라.
Data 분석은 수많은 스킬 중 하나일 뿐이다.
일부 비양심적 보고자는 데이터를 자신에게 유리하게 편집해서 보고한다.
게임 자체에 대한 이해도가 없이는 Data에 대한 이해도 불가능하다.
29. 이것은 빙산의 일각일 뿐입니다.
정성,정량 데이터 중 ‘리텐션’이라는 일각이죠.
우리는 보다 더 낳은 디자인을 위해 많은 것들을 공부할 필요가
있습니다. 개인적으로는 이러한 Data 분석과 체계확립은
우리가 가진 수 많은 스킬 중 매우 유용하게 사용할 수 있는
스킬이 되리라 믿어 의심치 않습니다.
“기획자는 아는 만큼만 기획합니다.”
Ps. 발표용 문서라 아쉽네요.