Upcoming SlideShare
서비스 기획자를 위한 데이터분석 시작하기
- 1. 서비스 기획자를 위한 데이터 분석 시작하기
- 2. 양승화 어쩌다보니 11년차 기획자 leoyang99@naver.com http://leoslife2.herokuapp.com SK텔레콤 T전화 기획 (전) 이음소시어스 소셜데이팅 ‘이음’ 기획/운영 총괄 (전) NHN 네이버 검색서비스 기획/UX
- 3. 이 슬라이드의 업그레이드 버전입니다 올린 지 4년이 다 되어가는데, 아직도 이거 보고 피드백 주시는 분들이 있어서;;; 좀 더 깔끔하게 정리해야겠다는 생각을 하다가… 어쩌다보니 문서를 통으로 새로 만들었네요?!
- 4. 데이터 분석이 중요한 건 알겠는데, 이거 어떻게 시작하지? 흔한 대표님 comment: “감으로 기획하지 말고, 데이터를 기반으로 기획을 하세요…”
- 5. 이미 가입자수도 보고 있고 리텐션도 보고 있고 DAU도 보고 있고 매출도 보고 있고 … 근데 이건 데이터 분석이 아닌가?
- 6. 공부를 해볼까? 빅데이터 머신러닝 딥러닝 인공지능 Python R RandomForest SVM Supervised Learning Accuracy TensorFlow ROC curve Train/Test split
- 7. 주위에 물어보니깐 데이터분석은 일단 python이나 R을 하라는데? Python 책을 산다 진도가 안 나간다 (파이썬은 안되겠다!) R 책을 산다 역시나 진도가 안나간다
- 8. 비싼 돈 내고 외부 강의를 들어본다. 강의를 듣는다 코드를 입력하면 뭔가 결과가 나온다 우와 신기하네 (근데 회사로 돌아오면…) 그래서 내 서비스에선 뭘 해야 하지?
- 9. 아 모르겠어, 그냥 하던 거 할래
- 10. 목표가 잘못되면, 공부 방법을 못 찾고 헤매게 된다. 서비스를 운영하면서 쌓이는 User Data 를 바탕으로, 서비스를 지속적으로 개선해 나가는 것 Data Scientist가 되는 것 Machine Learning을 정복하는 것 이건 전혀 다른 종류의 준비와 노력과 시간이 필요함
- 11. 목표 서비스를 운영하면서 쌓이는 User Data 를 바탕으로, 서비스를 지속적으로 개선해 나가는 것
- 12. 파이썬 공부하기 통계 공부하기 도메인, 서비스, 사용자에 대해 공부하기 서비스를 운영하면서 쌓이는 User Data 를 바탕으로, 서비스를 지속적으로 개선해 나가기 위해서 처음 해야 하는 일은?
- 13. 무슨 데이터를, 어떻게 쌓아야 하나? 어떤 시점에, 어떤 방식으로 데이터를 분석해야 하나? 데이터 분석 프로세스 Operation Framework 만들기 Log를 Metric으로 OMTM 설정하기 데이터 들여다보기
- 14. 데이터 분석 프로세스 Operation Framework 만들기 Log를 Metric으로 OMTM 설정하기 데이터 들여다보기 도메인, 서비스, 사용자에 대한 이해를 바탕으로 서비스에서 유의마한 데이터를 선별하고 이를 분석하기 위한 틀 만들기
- 15. Operation Framework* 서비스를 분석하기 위한 틀을 만들기. 이걸 하려면… “우리 서비스가 속한 도메인은 어디지? 경쟁자는 누구지?” “이 도메인에 속한 서비스들이 가지는 공통적인 특징은?” “우리 서비스 사용자들은 우리를 어떻게 발견하지?” “우리 서비스 사용자들은 어떤 사람들이지?” “사용자들은 우리 서비스를 어떻게 사용하고 있지?” “우리는 사용자들이 서비스를 이용하는 어떤 과정에 어떻게 개입하지?” … * 딱히 정해진 용어가 있는 건 아님. 사용자 여정 지도(user journey map)라고 부르는 경우도 있음.
- 16. http://www.youtube.com/watch?v=irjgfW0BIrw 흔히 쓰이는 Framework Dave McClure는 나쁜놈-_-이지만, AARRR은 살펴볼 가치가 있음
- 17. 내 서비스의 Operation Framework를 만들어보자 • 사용자의 진입과 이탈 • 서비스의 핵심 기능과, 거기에 이르는 길 • 사용자의 Status 변화 • 서비스 이용에 영향을 미치는 내/외부적 요인 • 운영자가 서비스에 개입하는 시점 • 운영자의 개입 형태 • …
- 18. 앱 다운로드 계정 생성 휴대폰 인증 튜토리얼 정회원 친구초대 탈퇴 활동회원 결제회원 앱 다운로드 정회원 탈퇴 활동회원 결제회원 엄청나게(!) 단순화 한 예시
- 19. 앱 다운로드 계정 생성 휴대폰 인증 튜토리얼 정회원 친구초대 탈퇴 활동회원 결제회원 앱 다운로드 정회원 탈퇴 활동회원 결제회원 ‘화살표’의 Conversion은 얼마인가?
- 20. 앱 다운로드 계정 생성 휴대폰 인증 튜토리얼 정회원 친구초대 탈퇴 활동회원 결제회원 앱 다운로드 정회원 탈퇴 활동회원 결제회원 ‘네모’의 Value은 얼마인가?
- 21. 앱 다운로드 계정 생성 휴대폰 인증 튜토리얼 정회원 친구초대 탈퇴 활동회원 결제회원 앱 다운로드 정회원 탈퇴 활동회원 결제회원 화살표/네모 에 영향을 주는 Variable은 무엇이 있는가?
- 22. Operation Framework 내가 서비스를 바라보는 관점을 명확하게 해 준다.
- 23. 어떤 지표가 중요한가? 왜 중요한가? 오늘 가입자가 100명이에요. 오늘 들어온 VOC 중에 92%는 당일 처리 완료했어요. 아이템 A 판매금액이 20만원 더 늘었어요. 가입전환율이 지난달 대비 5% 증가했어요. B 이벤트 메일에 대한 참여하기 링크 CTR은 2.5% 입니다. 이번 달 인당 평균 결제액은 7800원 입니다.
- 24. 당신의 서비스는 어떤 Framework을 가지고 있습니까? 데이터 분석을 위한 첫번째 질문,
- 25. Get Users 사용자를 데려오기 Drive Usage 데려온 사용자들을 서비스 내에 안착시키고 서비스 핵심 기능을 계속 사용하도록 하기 Make Money 그 과정에 적절한 BM을 붙여서 매출을 일으키기 - 유저가 들어오기 전부터, 나간 이후까지의 전체 Flow를 모두 포괄 - 각 단계가 일종의 funnel 형태로 서로 유기적으로 엮여있으며, 그 관계가 명확함 - 아래 세 가지 핵심 요소가 모두 반영되어 있음 잘 정리된 Framework
- 26. 데이터 분석 프로세스 Operation Framework 만들기 Log를 Metric으로 OMTM 설정하기 데이터 들여다보기 의미있는 지표 추출하기 지표의 의미를 읽는 능력 갖추기
- 27. Metric(지표) 서비스 Operation 과정에서 생성되는 다양한 Log를 의미있고 + 분석가능한 형태로 Summarize 한 것 …이라고 내 마음대로 정의
- 28. • 회원수 (User) • 상태별 / 누적 회원수 • Active User • DAU, WAU, MAU … • MCU (Maximum Current User) • PU (Paying User) • 가입전환율 • 재방문자 비율 • 방문 간격 (Visit Frequency) • 잔존율 (Retention Rate) • Classic Retention • Rolling Retention • 결제유저비율 (Paying User Rate) • 바이럴 계수(Viral Coefficient) • NPS (Net Promoter Score) • 등등등… 사람과 관련된 지표
- 29. 돈과 관련된 지표 • 매출 (Revenue) • 결제횟수 (Transactions) • ARPU (Average Revenue Per User) • ARPPU (Average Revenue Per Paying User) • ARPDAU (Average Revenue Per Daily Active User) • ASP (Average Selling Price) • 평균 구매간격 (Purchase Frequency) • CPC, CPM, CPA • CAC (Customer Acquisition Cost) • LTV (Lifetime Value) = CLV (Customer Lifetime Value) • LTR (Lifetime Revenue) • ROAS (Return on Ads Spending) • 등등등…
- 30. 중요한 건 여기부터 DAU가 Daily Active User인 거 모르는 사람 없음 CTR 높으면 좋은 거 모두가 다 알고 있음 ARPPU 계산하는 건 기본 중의 기본
- 31. Operational Definition “활동회원이 2배 늘었어요.” 우리가 이야기하는 개별 지표가 오해의 여지 없이 명확하게 정의되어 있는가? • Active user 판단 기준은? • Retention 측정 기준은? • 측정하고자 하는 Retention의 유형은? • Retention의 현재값과 목표값은? • ‘상반기’에 대한 명확한 timeline은? “상반기에는 리텐션을 높이는 게 목표입니다.” 모호한 지표 모호한 커뮤니케이션
- 32. Stock vs.Flow Inflow (liter/분) Outflow (liter/분) Stock (liter) Stock 시간 개념이 들어가지 않은 ‘저량’ ex)누적가입자수 Flow 시간 개념이 포함된 ‘유량’ ex) 1월 1일 가입자 Type을 혼동하지 말자
- 33. Vanity Metric 허무지표 make you feel good, but they don’t offer clear guidance for what to do • 쉽게(?) 변화시킬 수 있다 (Easily manipulated) • 실제로 중요한 숫자들과 크게 상관이 없다 • 근데 이 지표를 다른 사람들에게 이야기하면, 열심히 일하는 것 처럼 어필할 수 있다. • 의미가 없다는 건 아님. 중요한 건, 이로 인해 오도되지 않아야 한다는 것 • Vanity metric을 측정/관리하는 사례는 주변에서 진짜 많이 볼 수 있음 • Download / install / pageview • 고객문의 처리건수 / 버그 개수 / 기능개선 스펙 개수 • 반복적으로 주간보고 혹은 월간보고에 쓰고 있는 데이터들??
- 34. • 지표의 operational definition을 명확하게 정의 • ARPU 에서 ‘User’는 정확히 무엇을 의미하는가? • ‘활동’ 사용자는 정확히 어떤 속성의 User를 의미하는가? • Retention을 측정하는 다양한 방식 • Classic Retention • Rolling Retention • 가장 기본은, 추세 보기 • 지난 달 대비 이번 달 달라진 부분은? 이걸 한 달이 가기 전에 파악하려면? 지표 판단의 기준점 잡기 ARPU 2000원은 높은 걸까, 낮은 걸까?
- 35. • 모든 도메인에서 무조건 중요한 지표는 “매출”밖에 없다 • 도메인에 따라서는 DAU가 크게 중요하지 않는 서비스도 엄청 많다. • 비교는 항상 동일한 서비스 or 카테고리 내에서 • 쇼핑 서비스의 Retention과 게임 서비스의 Retention을 비교하는 건 부질없다… • 심지어 같은 쇼핑이라고 하더라도 오픈마켓 서비스와 큐레이션 서비스를 직접 비 교하는 건 의미없다… 서비스 도메인과 지표 DAU가 항상 중요한 건 아니다
- 36. 지표 간 관계를 이해하기 지표를 조합해서 살펴보기 1 : Engagement • Engagement = DAU/MAU • DAU/MAU 비율을 통해, 사용자가 특정 서비스에 얼마나 engage 되었는지를 가늠할 수 있음 • 보통의 게임 앱들은 DAU/MAU가 10~30% 수준에 분포. • Facebook과 같은 SNS의 경우 50% 이상의 높은 Engagement. • 데이팅 서비스의 DAU/MAU는 일반적으로 10% 이하, 매우 낮은 편.
- 37. 지표 간 관계를 이해하기 지표를 조합해서 살펴보기 2 : CAC 와 LTR • CAC < LTR • 최대모객단가를 어느정도까지 감안해서 마케팅을 진행할 것인가? • CAC가 LTR보다 컨트롤하긴 쉬움 • 하지만, 같은 비율이라면 LTR을 증가시키는 게 CAC를 감소시키는 것보다 효과적임 • CAC 50 < LTR 100 (+50) • LTR 10% 증가 ▶ CAC 50 < CTR 110 (+60) • CAC 10% 감소 ▶ CAC 45 < CTR 100 (+55) • CAC*n < LTR n을 얼마로 할 것인가?
- 38. 지표 간 관계를 이해하기 지표를 조합해서 살펴보기 3 : CPC, CPM, CTR • CPC, CPM, CTR 의 관계는? • 일반적으로 CPC는 낮을 수록 좋지만, 절대적으로 CPC를 낮추는 게 목적이 되어서는 안 되는 이유는? • 일반적으로 광고비 대비 매출 (ROE, ROAS)은 높을 수록 좋지만 ROAS 500%인 채널 A와 ROAS 200%인 채널 B에 모두 광고를 집행해야 하는 상황이 생길 수도 있다?! https://www.facebook.com/hyungsuk.kim.7/posts/1222990004434639
- 39. 선행지표 vs.후행지표 원인이 되는 결과로 보여지는 매출, ARPU, 가입자수, DAU, Retention rate 등등등… 앞에서 본 대부분의 지표는 후행지표임 Retention Rate이 높은 건 중요하지만, 어떤 지표가 관리되어야 (결과적으로) Retention Rate이 높아지는가? 가 훨씬 더 중요함
- 40. 좋은 선행지표를 찾아내는 것 자체가 경쟁력 보석같은 지표가 숨겨져 있을 수 있다 2002, Oakland “타율보다는, 출루율” “타점보다는, 장타율”
- 41. 2013, Pittsburgh 이제 출루율, 장타율 중요한거 모든 구단이 다 알고있음 -_- 다른 구단이 아직까지 발견하지 못한 보석같은 지표를 찾아보자
- 42. 원하는 최종 지표는 승리(Win) 승리에 기여하는 바를 잘 예측할 수 있는 선행지표는?
- 43. FA 시장에서 타율 .211인 포수를 데려왔는데… …응? 2년간 1500만 달러 를 주기로 했다고??? Year Age Tm Lg G PA AB R H 2B 3B HR RBI BB SO BA 2006 23 LAD NL 121 468 415 65 117 26 4 10 65 45 57 .282 2007 24 LAD NL 151 620 540 87 158 32 3 19 87 67 89 .293 2008 25 LAD NL 155 650 553 87 155 25 0 13 69 90 83 .280 2009 26 LAD NL 143 588 505 63 126 19 0 7 53 69 80 .250 2010 27 LAD NL 97 387 331 45 82 13 0 5 26 48 61 .248 2011 28 NYY AL 125 476 417 57 99 17 0 18 65 50 81 .237 2012 29 NYY AL 133 485 422 50 89 18 0 21 53 53 95 .211 Russell Martin
- 44. https://youtu.be/VUJ1GqkLTy4 포수가 투수 공을 받는 게 팀 승리에 기여한다?!
- 45. 2년, 1500만 달러 5년, 8200만 달러
- 46. Google Analytics는 강력한 툴이지만 서비스 로그를 볼 때 GA 이상이 필요한 이유? 선행지표를 찾고, 트래킹하는 일은 GA가 자동으로 못해주니까;;;
- 47. 어떤 서비스에서는 vanity metric처럼 느껴지는 지표가 다른 서비스에서는 서비스 핵심 지표일 수 있음 소개팅 서비스와, 링크드인의 공통점. Active user도 물론 중요하지만, 총 회원수도 그 못지않게 중요. (일반적으로 총 회원수는 대표적인 vanity metric 임에도 불구하고.) Why?
- 48. 무슨 데이터를, 어떻게 쌓아야 하나? Operation Framework 만들기 Log를 Metric으로 • 서비스를 들여다보고 분석하기 위한 틀 잡기 • 사람/돈 에 대한 기본적인 지표들 체크하기 • 지표들 간의 관계 이해하고, 지표를 통해 서비스의 현재 상태 이해하기 • 후행지표에 영향을 주는 의미 있는 선행지표 찾아내기
- 49. Operation Framework 만들기 Log를 Metric으로 OMTM 설정하기 데이터 들여다보기 이 단계까지 완료되면 일단 할 수 있는 게 있다!
- 50. 모니터링 • 정확한 인과관계를 검증하는 것 (x) 빠르게 상관관계를 확인하는 것 (O) • 서비스의 이상 징후를 조기에 발견하는 데 기여 누가 불을 냈는지, 이 불을 어떻게 끌 건지를 하나하나 분석하기 전에 일단 빠르게 “불이야” 라고 외치는 것
- 51. Get Users 사용자를 데려오기 Drive Usage 데려온 사용자들을 안착시키고 서비스 핵심기능을 사용하도록 하기 Make Money 그 과정에 적절한 BM을 붙여서 매출을 일으키기 Stock 그 동안의 성과 Flow 오늘의 성과 모니터링의 기본 구조
- 52. Get Users 사용자를 데려오기 Drive Usage 데려온 사용자들을 안착시키고 서비스 핵심기능을 사용하도록 하기 Make Money 그 과정에 적절한 BM을 붙여서 매출을 일으키기 Stock 그 동안의 성과 Flow 오늘의 성과 모니터링의 기본 구조 지표의 Type Operation Framework
- 53. Get Users 사용자를 데려오기 Drive Usage 데려온 사용자들을 안착시키고 서비스 핵심기능을 사용하도록 하기 Make Money 그 과정에 적절한 BM을 붙여서 매출을 일으키기 Stock 그 동안의 성과 Flow 오늘의 성과 데이팅 서비스? 누적 가입자 누적 커플 수 누적 OK 수 등록된 프로필이미지 수 누적 매출 일 가입자 DAU 가입전환율 Retention 일 매출 ARPPU 프로필 확인율OK수 등등등…
- 54. Daily Report Weekly Report Monthly Report Report의 필요성을 의심해 봐야 하는 사례 • 놀지 않았다는 걸 증명하는 데 사용되는가? • 6개월 동안 Report의 형태가 전혀 변하지 않았는가? • Report 작성을 팀 막내가 하고 있는가? Report가 잘 작성되고 있는가? • 수신자가 누구인가? • 그 사람이 궁금해하는 내용이 들어있는가? • 그 사람이 알아들을 수 있는 형태로 작성되었는가? • AS-IS에 대한 정확한 파악 • 대책을 기대하면 안됨. 그건 정기 report의 영역 아님 • 작성을 위해서는 최소한의 리소스. 해석을 위해서는 꼼꼼한 관찰 모니터링 리포트 작성하기
- 55. 데이터 분석 프로세스 Operation Framework 만들기 Log를 Metric으로 OMTM 설정하기 데이터 들여다보기 지금 우리에게 가장 중요한 지표는? 프로젝트 멤버 전체의 공감대 형성
- 56. 모든 지표가, 모든 시기에, 같은 중요도를 가지지 않는다. One Metric That Matters • 매출, 가입자수, 다운로드, 체류시간, 활동유저, 결제자수, ARPPU, 재방문율… • 이 모든 지표를 똑같은 비중으로 들여다보고 관리할 것인가? • 현실적으로 엄청난 리소스 낭비 • 지표간 우선순위가 명확하지 않으면 서비스 방향을 directing 할 수 없음 • ARPPU vs. 결제비율
- 57. 외부 환경, 서비스 성장 단계, 내부 역량, 사용자들의 서비스 이용 패턴 등등등… 을 고려해 봤을 때 서비스의 성장을 위해 지금 우리가 꼭 집중해야 하는 하나의 지표 OMTM One Metric That Matters
- 58. OMTM • 지금 가지고 있는 ‘가장 중요한 질문’에 대한 답을 해준다. • OMTM은 단기/중기/장기 목표와 밀접하게 연관되어 있다. • OMTM을 모르는 상황에서는 ‘과연 지금 잘 하고 있는지’의 상황 판단이 어렵다. • 넓은 시야에서 서비스를 바라보고, 서비스 자체에 초점을 맞출 수 있게 한다. • 전사적으로 실험, 측정, 판단 의 문화를 가질 수 있게 한다. - Yoskovitz & Croll <Lean Analytics>
- 59. OMTM One Metric That Matters KPI Key Performance Index OMTM과 KPI를 굳이(?) 비교하자면… • 성장 • 협력 • 모두가 공유하는 하나의 목표 • 진짜 잘 하고 있는지를 알려줌 • 시간이 지나면서 계속 바뀜 • 평가 • 경쟁 • 각 팀이나 부서별로 서로 다른 목표 • KPI가 달성되는 것과 서비스가 성공하는 것은 별개 • 한번 정해지면 평가할 때까지 바뀌지 않음
- 60. 데이터 분석 프로세스 Operation Framework 만들기 Log를 Metric으로 OMTM 설정하기 데이터 들여다보기 이제야 비로소 R과 파이썬과 엑셀이 필요해졌다. 데이터에서 의미를 찾아내기
- 61. 본격(?) 데이터 분석을 시작하기에 앞서… “In a startup, the purpose of analytics is to iterate to product/market fit before the money runs out” 1. 분석이 실행으로 이어지지 않으면 의미가 없음 2. 이 과정은 지속적으로, 주기적으로 반복되어야 함 0. 꼭 스타트업만의 이야기는 아님 - Yoskovitz & Croll <Lean Analytics>
- 62. 데이터 분석은, 질문에 대한 답을 찾는 과정. 1. 좋은 질문 2. 양질의 데이터 3. 빈틈없는 분석 분석력. Domain knowledge 창의성. Statistical knowledge •우리 서비스는 하루에 몇 명이 가입할까? •우리 서비스 가입자들의 30일 리텐션은 어느 정도일까? •우리 서비스를 이탈하는 사람들은, 직전에 어떤 경험을 했을까? •우리 서비스를 이탈했다가 다시 돌아온 사람들은, 어떤 계기로 돌아오게 되었을까?
- 63. 데이터에서 유의미한 insight를 찾아내기 위해서는? 쪼개서 보기
- 64. Simpson’s Paradox 지원자수 합격자수 입학률 남성 8442 3714 44% 여성 4321 1512 35% • 1973년 UC Berkeley 입학 결과 • “학교가 부당하게 여학생들을 차별한 게 아닌가요?”
- 65. 학과 남성 여성 지원자수 합격자수 입학률 지원자수 합격자수 입학률 A 825 512 62% 108 89 82% B 560 353 63% 25 17 68% C 325 120 37% 593 202 34% D 417 137 33% 375 131 35% E 191 53 28% 393 94 24% F 373 22 6% 341 24 7% … 2691 1197 44% 1835 557 30% • 학과별 결과를 보니… • “어라?”
- 66. 데이터를 쪼개서 보기 • 코호트 분석 (Cohort Analysis) • A/B Test • 퍼널 분석 (Funnel Analysis)
- 67. • Cohort: 유사한 특성을 공유한 집단으로 유저를 잘게 쪼개는 것 • 특정 기간, 특정 속성, 특정 경험, … • 전체 데이터를 놓고 보면 쉽게 보이지 않는 특성들이 개별 cohort별로 쪼개놓고 보면 유의미하게 확인되는 경우가 많다. Cohort Analysis
- 68. 서비스 A 서비스 B Cohort Analysis의 흔한 사례 1 가입시점을 기준으로 Cohort를 나누고 Retention 살펴보기
- 69. 서비스 A 서비스 B Cohort Analysis의 흔한 사례 1 가입시점을 기준으로 Cohort를 나누고 Retention 살펴보기
- 70. Cohort Analysis의 흔한 사례 2 가입시점을 기준으로 Cohort를 나누고 Revenue 살펴보기 아이템A 매출 아이템B 매출 스토어X 매출 스토어Y 매출 + 판매개수 ASP 결제자 ARPPU X 아이템C 매출 스토어Z 매출 매출 + + + X
- 71. 결제자 ARPPUX 활동회원 결제비율 ARPPUXX 회원잔존율 결제비율 ARPPUXX가입자 X 이달 가입자 M-1 가입자 M-2 가입자 M-3 가입자 Cohort Analysis의 흔한 사례 2 가입시점을 기준으로 Cohort를 나누고 Revenue 살펴보기
- 72. Cohort Analysis의 흔한 사례 2 가입시점을 기준으로 Cohort를 나누고 Revenue 살펴보기 4월 말 데이터 5월 말 데이터
- 73. • 두 개의 변형 A와 B를 사용하는 종합 대조 실험(controlled experiment) • 2-표본 가설 검증의 한 형태 • 변수 A에 비해 대상이 변수 B에 대해 보이는 응답을 테스트하고, 두 변수 중 어떤 것이 더 효과적인지를 판단함으로써 단일 변수에 대한 두 가지 버 전을 비교하는 방법 A/B test https://ko.wikipedia.org/wiki/A/B_%ED%85%8C%EC%8A%A4%ED%8A%B8
- 74. • Highrise의 sign up form A/B test
- 75. http://signalvnoise.com/posts/2991-behind-the-scenes-ab-testing-part-3-final A/B test
- 76. A/B test • 독립변인과 종속변인, 통제변인 관리 • Experimental setting임을 잊어서는 안됨 • Before / After 테스트 하지 말 것 • 검증하고자 하는 가설은 무엇인가? • 가설은 꼭 필요하지만, 자칫하면 답을 정해놓고 이를 합리화하기 위해 사 용될 수 있다 • 쉽고 간단하고 빠르게 진행 가능하지만, A/B test를 통해 얻는 인사이트는 매우 제한적 • A/B 테스트의 목적은 Optimal solution을 찾는 게 아님
- 77. A/B test • 유의미한 차이를 구분하는 기준점 잡기 • A 조건은 100 / B조건은 110이다. B가 A보다 좋은가? • A 조건은 100 / B조건은 103이다. B가 A보다 좋은가? • Confidence Level = ? • Speed or Certainty? • 일반적으로 스타트업은 speed > certainty 순으로 생각하는 게 일 반적이지만… • Volume, Reversibility, Real money
- 78. A/B test • 종속변수 유형에 따라, 분석 방법이 달라짐 • 독립변수와 종속변수가 모두 범주형 자료 카이제곱 검증 • 독립변수는 범주형 자료, 종속변수는 연속형 자료 T검증 or 분산분석 • 시간의 흐름에 따른 차이를 살펴봐야 함 • A/B 테스트 결과는 시간에 따라 변화하는 일이 자주 발생함 • 새로운 기능이 나오면, 새 기능을 일단 써보는 유저가 있어서 전환율과 p- value에 영향을 줌 • 시간의 흐름에 따른 추이 변화, 혹은 특정 브라우저 버그 / 기능 오류 등 외 부 요인이 없었는지 재차 확인 필요
- 79. A/B test • A/B 테스트의 결과는 언제까지 유효한가? • 잘 설계되어서 의미있는 결과가 나왔다고 해도 ‘앞으로도 계속 그 결과가 유효할 것이다’ 라고 보장할 수 없다. • 계절 변화, 시장상황 변화, 사용자층 변화, 취향 변화 등 시간의 흐름에 따 라 달라질 수 있다. • 국지적 최적화의 함정 • A/B 테스트를 통해 높아진 클릭율이 실제로 ‘본질적인’ 문제 해결에 도움이 되었는가? 하는 건 다른 문제
- 80. Funnel Analysis • 사용자 유입 / 전환 / 타겟 행동에 이르는 주요 경로를 파악하고, 각 단계별 전환과 이탈율을 측정
- 81. Funnel Analysis • 서비스 유형에 대한 이해가 필요함 • A linear path fixed funnel towards conversion • A linear non-fixed funnel towards conversion • A non-linear path towards conversion • Delayed conversion에 유의 • 각 전환이벤트를 독립적으로 측정하는 것 이외에, 종속적으로 측정 필요 • 장바구니 -> 쇼핑계속하기 -> 결제 • User segmentation과 함께 분석할 때 보다 큰 효과 • 단일 유저 group으로 들여다보기 보다는, 유저를 적절히 그룹핑해서 분석할 것
- 82. Funnel Analysis • (당연하게도) 하나의 서비스가 꼭 하나의 funnel만 가지는 건 아님 • 서비스의 key function에 대해서는 개별 funnel 을 만들어서 분석할 필요가 있음 • 아무리 단순한 단계라고 하더라도, 100% conversion은 없다! • Stage 수를 줄이는 것이 1차적으로 고려되어야 함
- 83. “통계를 알아야 하나요?”
- 84. “R이나 Python을 공부해야 하나요?”
- 85. 두 질문 다 기본적으로는 Yes 통계를 알고, 관련 Tool을 사용할 수 있다면 분석의 범위가 매우 넓어짐 (특히 예측 분석을 하려면…)
- 86. 내가 가진 질문에 대한 답을 찾는데 굳이 통계와 Python이 필요없는 경우가 훨씬 많다… 하지만 보다 중요한 건, 데이터 분석의 목적이 무엇인가? 나는 어떤 질문에 대한 답을 찾으려고 하는가?
- 87. 더하기, 빼기, 곱하기, 나누기 평균, 분산, 표준편차 T검증, F검증, ANOVA, Chi-Square Regression, Logistic Regression Random Forest, KNN, SVM CNN, RNN Modeling 할 거 아니라면 정말 대부분의 케이스는 이걸로 해결 가능
- 88. 데이터 분석의 목적이 무엇이냐에 따라 다르지만 사칙연산과 Excel로도 충분히 많은 것을 할 수 있음
- 89. “통계를 알아야 하나요?” “R이나 Python을 공부해야 하나요?” 서비스에 대해 당신이 가지고 있는 질문이 뭔지에 따라 Python을 꼭 써야 할 수도 있고 그냥 엑셀로 가능할 수도 있습니다. 엑셀로 머신러닝은 안되니깐 (사실 기초적인 Regression 류의 분석은 엑셀로도 가능함 ㄷㄷㄷ)
- 90. 서비스를 운영하면서 쌓이는 User Data 를 바탕으로, 서비스를 지속적으로 개선해 나가는 것 이쯤에서, 다시 처음의 목표 Remind
- 91. 생각해 볼 문제 Cohort 분석을 해보니 기간별 Retention이 얼마나 나왔구요! Funnel 분석을 해보니 단계별 conversion이 얼마나 나왔어요! 몇 명이 남았어요… 보다 중요한 건? 누가 남았고, 왜 남았는지. 누가 나갔고, 왜 나갔는지. 어떤 지표를 통해 머무름과 떠남을 예측할 수 있는지.
- 92. http://blog.vcnc.co.kr/145 비트윈의 신규가입자 Retention 높이기
- 93. https://blog.naver.com/hi_nso/220489542903 통계로 튀기는 치킨
- 94. https://styleshare.github.io/2017/10/24/millennial-generation.html 밀레니얼 세대에 최적화된 온라인 쇼핑 경험을 주기 위한 노력
- 95. https://brunch.co.kr/@shootst/77 타로챗봇 라마마 데이터 기반 의사결정 사례
- 96. https://www.slideshare.net/JeongSeoyeon/15-75387584 몬스터 슈퍼리그 리텐션 15% 개선 리포트
- 97. one more thing,
- 98. 흔한, 서비스 출시 과정
- 99. 1. (엄청난) 아이디어가 있어요.
- 100. 2. 어렵사리 멤버들을 모아요. 간신히(?) 팀을 꾸려서, Product를 만들기 시작합니다.
- 101. 3. 6개월 후에, 드디어 Product가 개발되었어요! 곧 릴리즈를 할 수 있을 것 같습니다.
- 102. 4. 소소한(!) 문제가 있어서 약간(?) 늦어졌지만? 어쨌든 완성, 드디어 런칭!
- 103. … 그리고 아무 일도 일어나지 않았다.
- 104. 5. 일단 홍보를 해야겠다! Platum, 데모데이, Besuccess 인터뷰 하고, 보도자료도 내보자!
- 105. 6. 오… 홍보 때문인지 유저가 좀 생겼어요!
- 106. … 근데 들어온 사람 대부분이 며칠 쓰다가 나가버리네…
- 107. 7. 좋아. 그럼 있는 돈 없는 돈 다 짜내서 마케팅을 해봐야겠다. CPI, CPM, CPA, 이것저것 마케팅 쏟아붓고, 바이럴도 같이 하자!
- 108. 8. 오… 마케팅 때문인지 유저가 좀 생겼어요!
- 109. … 근데 들어온 사람 대부분이 며칠 쓰다가 나가버리네…
- 110. … 이제 뭘 해야 하지?
- 111. 사실 지금은 원래 하려고 했던 기능의 30% 정도만 만들어서 내놓은 제품이니깐 앱에 새로운 기능을 추가하자! 이 시점에 할 수 있는 가장 나쁜 선택
- 112. 생각해보면, 이 시점에서의 문제는 이거다. 뭐가 문제인지를 모르겠다는 것.
- 113. 이 함정에서 빠져 나오기 위해서는? Service를 바라보는 관점을 바꿔야 함. Service는 기능 조합이 아니라, 검증해야 할 가설 조합
- 114. 새로운 디자인이나 기능이 이전에 비해 당연히 좋다고 가정하지 말 것
- 115. Operation Framework 만들기 Log를 Metric으로 OMTM 설정하기 데이터 들여다보기 Action 데이터에 기반한 의사결정
- 116. 어떤 지표가 비즈니스를 이끄는 지 알아내고, 이러한 지표를 개선하기 위해 해결해야 할 고객의 문제가 무엇인지 이해하고, 고객의 어려움을 개선하는 데 필요한 아이디어를 도출한 다음, 그게 적합한 아이디어인지 검증하는 것 이것을 빠르게 반복하는 것
- 117. 그래서 이 용어가 나왔어요. Growth Hacking
- 118. Product Market Fit Must Have Aha moment 고객이 누구이고 핵심가치가 무엇이고 그것이 정말 잘 전달되어서 working 하고 있는가? … 여기서 자세한 설명은 생략한다... 이것까지 정리하면 PPT가 200장이 넘어감… -_-;;;
- 119. 데이터 분석이 중요한 건 알겠는데, 이거 어떻게 시작하지? 첫번째 질문으로 돌아가봅니다. 1. 기본적인 데이터분석 프로세스와 지표, 마인드셋에 대한 이해 2. 데이터를 이리저리 쪼개서 살펴보기 3. 더 잘 쪼개고, 더 잘 살펴보고 싶다는 생각이 들 때 관심 분야로 공부 범위를 확장하기
- 120. 데이터 분석 시작하기 -프로세스 -지표 -마인드셋 R 파이썬 데이터 시각화 SQL Machine Learning 통계/확률 수학 정성데이터 분석 사용자리서치 Growth Hacking 앱 마케팅 Google Analytics 관심 분야로 공부 범위를 확장하기
- 121. 그밖에, MOOC 를 비롯한 온라인 강의들… • https://www.udemy.com/ • https://www.edx.org/ • http://flavioazevedo.com/stats-and-r-blog/2016/9/13/learning-r-on-youtube 많은 도움이 되었던 책들… 중 일부(!)
- 122. leoyang99@naver.com 감사합니다 같이 공부해 나가요. 저도 아직 모르는 게 너무 많아서…
Login to see the comments