Google cloud platform을 이용해서 app service log를 분석한 경험담입니다.

2. 대한민국 No.1 자산관리 플랫폼
뱅크샐러드

3. !"#!👪%&'
()*+
,+-
./0
1234
56789:(;

4. 데이터 분석팀은 서비스 로그 데이터 분석을 통해서
고객이 앱에서 어떻게 행동하는지 관찰하고
인사이트를 도출하여 더 나은 제품을 만드는데 기여하고 있습니다.

5. Event Logging Data Analysis Data Preprocessing Data Visualization
이렇게 활용하고 있습니다.
아마..존이 뭐죠? 먹는건가..?

6. 우리는 어떤 시행착오를 겪었고
어떻게 문제를 해결 했는가?

7. 우리는 어떤 시행착오를 겪었고
어떻게 문제를 해결 했는가?
(거의 삽질기에 가깝습니다...)

8. Q. 고객들은 우리의 서비스를 얼마나 자주 쓰고
어떤 기능을 가장 좋아할까요?

9. Q. 고객들은 우리의 서비스를 얼마나 자주 쓰고
어떤 기능을 가장 좋아할까요?
우리 서비스의 월 활성 사용자(MAU)는 몇 명인가요?
우리 서비스의 유지율(Retention)은 얼마나 되나요?
하루에 카드추천 기능을 사용하는 사람들은 몇 명인가요?
…..

10. Q. 고객들은 우리의 서비스를 얼마나 자주 쓰고
어떤 기능을 가장 좋아할까요?
우리 서비스의 월 활성 사용자(MAU)는 몇 명인가요?
우리 서비스의 유지율(Retention)은 얼마나 되나요?
하루에 카드추천 기능을 사용하는 사람들은 몇 명인가요?
…..
우리의 제품이 얼마나 성공적인지 알기 위한 기본적인 질문들

11. 가장 널리 쓰이고 있는 훌륭한 무료 앱 서비스 분석 툴

14. 월별 활성 사용자
158명
Q. 고객들은 우리 서비스를 얼마나 자주 사용할까요?
주별 활성 사용자
24명
일별 활성 사용자
8명
(주의: 위 데이터는 앱 BETA 버전 기준입니다.)

15. Q. 우리 서비스의 유지율(Retention)은 얼마나 될까요?
1일째 87.2%의
사용자가 이탈...!
(주의: 위 데이터는 앱 BETA 버전 기준입니다.)

16. 첫 방문 회원가입 자산 연동
Q. 첫 방문부터 회원가입을 거쳐서 자산 연동까지
각 단계 별로 이탈률은 얼마나 될까요?
첫 방문: 52명
자산연동: 5명
회원가입: 24명
(주의: 위 데이터는 앱 BETA 버전 기준입니다.)

17. 첫 방문 회원가입 자산 연동
첫 방문: 52명
자산연동: 5명
회원가입: 24명
이탈률: 52%
이탈률: 80%
Q. 첫 방문부터 회원가입을 거쳐서 자산 연동까지
각 단계 별로 이탈률은 얼마나 될까요?
(주의: 위 데이터는 앱 BETA 버전 기준입니다.)

18. 이 밖에도
커스텀 이벤트 트래킹
A/B 테스트
등등등
기본적인 서비스 분석은 Firebase로 다 커버 가능하다.

19. 그럼 우리 서비스의 현황을 파악했으니
기능 개선을 해봅시다!

20. 우리 서비스의 회원가입 과정에서
이메일 가입 / 카카오계정 / 구글 계정 가입이 있는데,
이 중에서 어떤 방법을 가장 많이 사용하나요?

21. 우리 서비스의 회원가입 과정에서
이메일 가입 / 카카오계정 / 구글 계정 가입이 있는데,
이 중에서 어떤 방법을 가장 많이 사용하나요?자산 연동 과정에서 은행사를 연동할때
공인인증서를 많이 쓰나요?
가입한 은행 ID/PW를 많이 사용하나요?
혹시 Android / iOS 기기별 차이도 있나요?

22. 우리 서비스의 회원가입 과정에서
이메일 가입 / 카카오계정 / 구글 계정 가입이 있는데,
이 중에서 어떤 방법을 가장 많이 사용하나요?자산 연동 과정에서 은행사를 연동할때
공인인증서를 많이 쓰나요?
가입한 은행 ID/PW를 많이 사용하나요?
혹시 Android / iOS 기기별 차이도 있나요?
이번에 삼성카드 신청 클릭수가 갑자기 확 늘었는데,
어떤 카드를 많이 신청한 건지,
어떤 화면에서 신청 클릭을 많이 누른 건지 알고 싶어요!
기한은 아삽(ASAP)입니다.

23. 우리 서비스의 회원가입 과정에서
이메일 가입 / 카카오계정 / 구글 계정 가입이 있는데,
이 중에서 어떤 방법을 가장 많이 사용하나요?자산 연동 과정에서 은행사를 연동할때
공인인증서를 많이 쓰나요?
가입한 은행 ID/PW를 많이 사용하나요?
혹시 Android / iOS 기기별 차이도 있나요?
이번에 삼성카드 신청 클릭수가 갑자기 확 늘었는데,
어떤 카드를 많이 신청한 건지,
어떤 화면에서 신청 클릭을 많이 누른 건지 알고 싶어요!
기한은 아삽(ASAP)입니다.
대표입니다. 지금 IR 미팅해야 하는데
이번 달 우리 앱 MAU 좀 지금 바로 알려주세요!

24. 우리 서비스의 회원가입 과정에서
이메일 가입 / 카카오계정 / 구글 계정 가입이 있는데,
이 중에서 어떤 방법을 가장 많이 사용하나요?자산 연동 과정에서 은행사를 연동할때
공인인증서를 많이 쓰나요?
가입한 은행 ID/PW를 많이 사용하나요?
혹시 Android / iOS 기기별 차이도 있나요?
이번에 삼성카드 신청 클릭수가 갑자기 확 늘었는데,
어떤 카드를 많이 신청한 건지,
어떤 화면에서 신청 클릭을 많이 누른 건지 알고 싶어요!
기한은 아삽(ASAP)입니다.
대표입니다. 지금 IR 미팅해야 하는데
이번 달 우리 앱 MAU 좀 지금 바로 알려주세요!

25. 우리 서비스의 회원가입 과정에서
이메일 가입 / 카카오계정 / 구글 계정 가입이 있는데,
이 중에서 어떤 방법을 가장 많이 사용하나요?자산 연동 과정에서 은행사를 연동할때
공인인증서를 많이 쓰나요?
가입한 은행 ID/PW를 많이 사용하나요?
혹시 Android / iOS 기기별 차이도 있나요?
이번에 삼성카드 신청 클릭수가 갑자기 확 늘었는데,
어떤 카드를 많이 신청한 건지,
어떤 화면에서 신청 클릭을 많이 누른 건지 알고 싶어요!
기한은 아삽(ASAP)입니다.
대표입니다. 지금 IR 미팅해야 하는데
이번 달 우리 앱 MAU 좀 지금 바로 알려주세요!
이번에 자산탭 디자인을 좀 바꿔봤는데
기존에 비해서 얼마나 효과가 있을까요?
지난주랑 지지난주랑 주차 별로 비교해주세요!
그리 급한건 아니에요.
각 금융사별로 몇명이나 연동하고 있는지
일별 데이터가 필요해요.
기타 등등...
너도 나도 데이터.....
빨리 의사결정 내려야 하니까 1시간 내로 뽑아주세요.
현기증난단 말이에요.

26. 우리 서비스의 회원가입 과정에서
이메일 가입 / 카카오계정 / 구글 계정 가입이 있는데,
이 중에서 어떤 방법을 가장 많이 사용하나요?자산 연동 과정에서 은행사를 연동할때
공인인증서를 많이 쓰나요?
가입한 은행 ID/PW를 많이 사용하나요?
혹시 Android / iOS 기기별 차이도 있나요?
이번에 삼성카드 신청 클릭수가 갑자기 확 늘었는데,
어떤 카드를 많이 신청한 건지,
어떤 화면에서 신청 클릭을 많이 누른 건지 알고 싶어요!
기한은 아삽(ASAP)입니다.
대표입니다. 지금 IR 미팅해야 하는데
이번 달 우리 앱 MAU 좀 지금 바로 알려주세요!
이번에 자산탭 디자인을 좀 바꿔봤는데
기존에 비해서 얼마나 효과가 있을까요?
지난주랑 지지난주랑 주차 별로 비교해주세요!
그리 급한건 아니에요.
각 금융사별로 몇명이나 연동하고 있는지
일별 데이터가 필요해요.
기타 등등...
너도 나도 데이터.....
빨리 의사결정 내려야 하니까 1시간 내로 뽑아주세요.
현기증난단 말이에요.
점점 복잡해지는 요구사항....

27. 한계가 있다.....

28. Raw Data에서 데이터를 직접 추출하자
자주 보는 중요한 지표는 자동화하자

29. Firebase의 Raw Data는 BigQuery에 저장되고 있습니다.

30. 대규모 데이터 분석용 웨어하우스

31. 뱅크샐러드
금융 데이터
BigQuery를 데이터 웨어하우스로 두고
서비스 로그 데이터 분석을 한 곳에서 관리!
사용자 데이터
서비스 로그 데이터

32. How to use Firebase with BigQuery?

33. How to use Firebase with BigQuery?
1. 요금제를 업그레이드 한다.
2. BigQuery로 데이터 내보내기 버튼을 누른다.

34. 뱅크샐러드
금융 데이터
사용자 데이터
서비스 로그 데이터

35. 뱅크샐러드
금융 데이터
사용자 데이터
서비스 로그 데이터
Google Playstore
다운로드 수, 유입, 리뷰 통계 데이터

36. 뱅크샐러드
금융 데이터
사용자 데이터
서비스 로그 데이터
Google Playstore
다운로드 수, 유입, 리뷰 통계 데이터
GCP 요금 데이터

37. 뱅크샐러드
금융 데이터
사용자 데이터
서비스 로그 데이터
Google Playstore
다운로드 수, 유입, 리뷰 통계 데이터
GCP 요금 데이터
AWS S3
Mysql
등등등...

38. 복잡한 분석에 필요한 데이터들은
BigQuery에 모두 적재 완료

39. 우리 서비스의 회원가입 과정에서
이메일 가입 / 카카오계정 / 구글 계정 가입이 있는데,
이 중에서 어떤 방법을 가장 많이 사용하나요?자산 연동 과정에서 은행사를 연동할때
공인인증서를 많이 쓰나요?
가입한 은행 ID/PW를 많이 사용하나요?
혹시 Android / iOS 기기별 차이도 있나요?
이번에 삼성카드 신청 클릭수가 갑자기 확 늘었는데,
어떤 카드를 많이 신청한 건지,
어떤 화면에서 신청 클릭을 많이 누른 건지 알고 싶어요!
기한은 아삽(ASAP)입니다.
대표입니다. 지금 IR 미팅해야 하는데
이번 달 우리 앱 MAU 좀 지금 바로 알려주세요!
이번에 자산탭 디자인을 좀 바꿔봤는데
기존에 비해서 얼마나 효과가 있을까요?
지난주랑 지지난주랑 주차 별로 비교해주세요!
그리 급한건 아니에요.
각 금융사별로 몇명이나 연동하고 있는지
일별 데이터가 필요해요.
기타 등등...
너도 나도 데이터.....
빨리 의사결정 내려야 하니까 1시간 내로 뽑아주세요.
현기증난단 말이에요.

40. 중요하고 자주 보는 데이터는 대시보드로 자동화!

41. 중요하고 자주 보는 데이터는 대시보드로 자동화!

42. PlayStore 통계 Raw data

43. 일일 설치수 View
PlayStore 통계 Raw data

44. 일일 설치수 View
(주의: 위 데이터는 앱 BETA 버전 기준입니다.)

45. 일일 설치수 View
유입 채널 별 비율 View
(주의: 위 데이터는 앱 BETA 버전 기준입니다.)

46. 일일 설치수 View
유입 채널 별 비율 View
(주의: 위 데이터는 앱 BETA 버전 기준입니다.)

47. 일일 설치수 View
유입 채널 별 비율 View
국가별 설치수 View
(주의: 위 데이터는 앱 BETA 버전 기준입니다.)

48. Event Logging Data Analysis Data Visualization
데이터 분석 인프라 완성 !

49. .…..?
그러던 어느 날, 요금 통지서가 날아왔는데...

50. .…..?
그러던 어느 날, 요금 통지서가 날아왔는데...
$6,231.81의 결제그ㅁ…

51. 1.2PB Data-Scan => $6,000
1TB Data-Scan => $5

52. 역시 빅데이터 !

53. 역시 빅데이터 !

54. 왜 1.2PB 씩이나 데이터를 스캔하고 있었을까요?
역시 빅데이터 !

55. 하루에 쌓는 로그데이터
대략 15GB
BankSalad

56. 현재 데이터 2TB 적재중
(1 Full-Scan => $10)
BigQuery
하루에 쌓는 로그데이터
대략 15GB
BankSalad

57. 현재 데이터 2TB 적재중
(1 Full-Scan => $10)
신나게 제한없이
전체 데이터 스캔 중
BigQuery DataStudio
하루에 쌓는 로그데이터
대략 15GB
BankSalad

59. CTO

60. 네... 동일한 서비스를 제공하기 위해
한달에 1.2PB나 쿼리를 날릴 필요는 없습니다.
CTO

61. 전체 데이터는 크지만, 대시보드에 필요한 결과 데이터의 크기는 매우 작다.
전체 데이터 결과 데이터

62. 전체 데이터는 크지만, 대시보드에 필요한 결과 데이터의 크기는 매우 작다.
매번 전체 데이터를 스캔하지 않고
전처리된 중간 테이블을 하루 단위로 만들어두자!

63. Views Table
일일 설치수 View
유입 채널 별 비율 View
국가별 설치수 View
…
일일 설치수 View
유입 채널 별 비율 View
국가별 설치수 View
…
매일 View의 결과 데이터를 물리적 Table로 만들어줄 파이프라인 필요

64. Data Prep
Data Flow
전처리할 동작을 정의
데이터 전처리 수행

65. { Data 소스 } { 전처리 동작 } { 목적지 }

66. { Data 소스 } { 전처리 동작 } { 목적지 }

67. { Data 소스 } { 전처리 동작 } { 목적지 }
No코딩, 단순 엑셀 작업 정도
+ Filtering
+ Join / Union
+ Aggregation
+ Type Conversion
….

68. 파이프라인 스케줄링
{ Data 소스 } { 전처리 동작 } { 목적지 }

69. Data Prep에서 정의된 Flow들을 Data Flow에서 수행
Job들이 잘 돌아간 것을 확인할 수 있다...

70. 적용 전: 하루 $200~300

71. 적용 전: 하루 $200~300
적용 후: 하루 $20~25

72. 적용 전: 하루 $200~300
적용 후: 하루 $20~25
#지표 #전처리 #비용절감 #성공적

73. Event Logging Data Analysis Data Preprocessing Data Visualization

74. One more thing…

76. 2018년 7월 26일에 구글에서
처음 공개한 Query 기반 머신러닝 툴

77. 간단한 쿼리문으로 머신러닝 모델을 학습시키고 예측할 수 있다!
Model Training

78. 간단한 쿼리문으로 머신러닝 모델을 학습시키고 예측할 수 있다!
Prediction

79. BigQuery ML를 이용해서
2018년 12월의 뱅샐 앱 다운로드 수 예측까지 해주는
대시보드 개발....!

80. BigQuery ML를 이용해서
2018년 12월의 뱅샐 앱 다운로드 수 예측까지 해주는
대시보드 개발....!
재밌을 것 같지만 리소스 부족으로 아직 실행 못했습니다.....

81. 아직 해보고 싶은 재미난 일들이 많습니다.
아직 해결해야 할 문제도 많이 남았어요...

82. 그래서... 이러한 문제들을 함께 고민하고,
하나씩 해결해나가실 분을 찾고 있습니다.

83. 많이 지원해주세요!
주변에 소개도 많이 해주세요!

84. Q & A ?