아무런 경험없이 밑바닥에서부터 구축한 데이터 분석 파이프라인을 소개합니다. 데이터분석을 시작하려고 하는 스타트업에 도움이 될만한 프로젝트들과 AWS를 활용한 데이터 분석 아키텍쳐 구성들을 소개합니다.

1. SEOUL 2021

2. 스타트업,
나홀로 데이터 엔지니어:
데이터 분석환경 구축기
천지은
Data Engineer
Tappytoon

3. Data Engineer @ Tappytoon
genie@tappytoon.com
linkedin.com/in/g471000/
천 지은 (Genie)

8. Project List
- Server Data Analysis Pipeline
- DMS를 이용한 DW(Redshift) 구축
- Athena Federated Query를 이용한 Multiple Resource 분석
- Appsflyer Data Analysis Pipeline
- Kinesis를 이용한 DataLake(S3) 구축
- Athena, Lambda를 이용한 파티셔닝과 Parquet 변환

9. Server Data Analysis Pipeline

10. Business Intelligence Tool
Business Intelligence Tool

11. Quicksight를 이용한 시각화
- Trends를 보고싶은 Needs 충족
- 데이터 보안에 안정적인 AWS 인프라
- 저렴한 비용
- 쉽게 연결
- 24/7 Amazon Support
고려해야할점:
- Quicksight의 Learning Curve
- RDS 과부하로 인한 delay
- Dataset 관리

12. Quicksight Learning Curve

13. Redshift (with DMS)
- 병렬처리로 신속한 분석
- Low Learning Curve (Postgre SQL 기반)
- 불필요한 데이터 제외
- 24/7 Support
고려해야할점
- 다른 DW 또는 RDS 옵션 (상황에 맞는
선택)
- Binlog 사용으로 인한 서버 부하
- Data Delay
- and...

14. Redshift Lob vs RDS Text
- DMS에러시 Re-load 비용 & 고비용
- 불필요한 Text Column은 비포함
- Text 필드가 필요한 테이블은 다른 Task로
Migration 처리
- 두 Task의 세팅값을 다르게 설정
- Lob-Task 실패시, Text 포함된 테이블만
재처리

15. Aurora MySQL Migration
- 기존 인프라 모듈 거의 그대로 사용
- Endpoint만 따로 생성
- 세팅값도 변경 없이 사용 가능
고려해야할점
- Slave Cluster 구성으로 인한 추가비용
- binlog 사용으로 인한 성능 저하 가능성
- Redshift data delay

16. Athena Federated Query
- Redshift에 있는 데이터와
RDS에 있는 데이터를
JOIN할 수 있음
- Select만 해오고, 분석
쿼리는 Athena에서
- 쿼리 결과를 Quicksight에
연동해서 볼 수 있음
-
고려사항
- 추가 비용 발생 ($5/TB)
- Lambda 관리

17. Server Data Analysis Pipeline

18. Appsflyer Data Analysis Pipeline

19. EC2 Server
- EC2에 서버 생성
- MongoDB에 Appsflyer
데이터 적재
- 실시간 대시보드 제작
문제점
- 모니터링/유지보수 어려움
- 분석용도로 부적합
- 시각화 어려움
- 쿼리로 인한 인스턴스 과부하
- 대시보드 업데이트 어려움

20. Kinesis to DataLake
- Gateway를 이용한 안정성
강화
- 운영 비용을 최소화 하기
위한 Stream 분리
- Lambda를 이용한 1차
Parsing
- Datalake에 적재
- Athena & Quicksight 연동

21. Parquet and partitioning
- Cloudwatch Event Bridge로
매시간 작업
- platform(iOS, Android), year,
month, day, hour로
partitioning
- parquet 형태로 merge
- Athena & Quicksight 연동

26. AWS Korea PaceMaker
- Search, Recommendation System, Data Analysis System, AI/ML Services 등을
구축하는데 어려움을 겪는 고객들
- 데이터 기반 서비스 확장 및 개선을 하시고자하는 고객들
- Data Engineer, Scientist, Analyst, AI/ML Engineer 팀이 부족한 고객들
- 2~3개월 이내에 Data 관련 프로젝트를 완료하고자 하는 고객들
김성민, AWS Solutions Architect, sungmk@amazon.com
박진우, AWS Solutions Architect, jinwoop@amazon.com

27. 채용 공고 확인하기
채용문의 👉 recruit@tappytoon.com

28. Next….
- Event Data Logging 디자인/구축
- Other 3rd party Data Pipeline
- Daily SNS 지표 시스템
- DB Migrations
- Recommendation 시스템 구축
- 실시간 분석 시스템 구축
- 새로운 BI 툴 구축
채용 공고 확인하기
채용문의 👉 recruit@tappytoon.com

29. Thank you
천 지은 (Genie)
Data Engineer @ Tappytoon
genie@tappytoon.com
linkedin.com/in/g471000/