AWS를 활용한 게임 데이터 분석 퀘스트 깨기::안효빈::AWS Summit Seoul 2018

© 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved.
안효빈
Solutions Architect / Amazon Web Services
AWS를 활용한 게임 데이터
분석 퀘스트 깨기

이번 세션에서는
DB는 어떻게
선택하지?
AI/ML은 어떻게
적용하지?
DR은 어떻게
구축하지?
데이터 분석은 어떻게
해야하지?

이번 세션에서는
빠르게 실시간 데이터
분석 플랫폼 구축
고성능, 고가용성의
AWS DBMS 선택
ML을 통해 보다
정교하게 분석하고
판별하기
DR은 어떻게
구축하지?

데이터 분석과 AWS
데이터 분석
• 방대한 데이터 집합
• 데이터 분석 인프라 사이징의 어려움
• 일정한 수준의 부하가 지속되지 않고,
등락이 큼
• 다양한 형태의 정형/비정형 데이터의
조합
AWS
• 사실상 거의 무제한의 용량
• 리소스를 탄력적으로 사용
• 매우 다양한 부하를 위한 매우 유연한
인프라
• 다양한 정형/비정형/스트림 데이터를
관리하기 위한 도구 및 서비스들

이전에는…
Log Server S3

이전에는…
Log Server S3
1회/1시간

데이터 분석 파이프라인
수집 저장 분석/처리 시각화
데이터 결과

AWS 빅 데이터 서비스
오케스트레이션 / 변환
EMR EC2
S3
Amazon
Redshift
DynamoDB
AWS DMS (CDC)
Lambda
Kinesis
Analytics
Athena
QuickSight
RDS
AWS Glue
AWS Step
Functions
Kinesis
Streams
수집 저장 분석 시각화
AWS
Snowball
Kinesis
Firehose
Amazon
Elasticsearch
3rd Party
Log Collector

AWS를 활용한
실시간 데이터 분석을 통해
핵유저를 잡아봅시다!
Feat. 비용 효율

Demo J

Demo 아키텍처

수집수집 저장 분석/처리 시각화

Demo 아키텍처 (수집)

Amazon Kinesis
Kinesis Data Streams
개발자
정렬, 리플레이, 실시간 처리를
위한 수집 및 데이터 스트리밍
Kinesis Data Firehose
개발자, 데이터 사이언티스트
방대한 스트리밍 데이터를
Amazon S3, Amazon Redshift,
Amazon ES, Splunk 등으로
실시간으로 쉽게 로드
Kinesis Data Analytics
개발자, 데이터 사이언티스트
실시간으로 표준 SQL 쿼리를
이용하여 데이터 스트림 분석

Amazon Kinesis Data Firehose
• 완전 관리형 서비스
• 서버리스
• 스트리밍 데이터를 손쉽게 캡처
• S3, Redshift, ES 등으로 데이터 로드
• Lambda를 이용한 데이터 전처리
• 데이터 처리량에 대응하여 자동 확장수집

저장수집 저장 분석/처리 시각화

Demo 아키텍처 (저장)

Amazon S3
• 확장성이 뛰어난 오브젝트 스토리지
• 객체 당 1Byte에서 5TB 크기 지원
• 저장할 수 있는 객체 수 제한 없음
• 99.999999999% 의 내구성 제공
• 서버 측 암호화(SSE) 제공
저장

Amazon S3 성능 이슈
• 초당 300개 PUT/LIST/DELETE
• 초당 800개 GET
• S3 성능이 작업량에 비례하지 않음
• 가끔 발생하는 HTTP 500/503 에러
저장

Amazon S3 성능 이슈 해결 방법?
RANDOM!

Amazon S3 성능 최적화

분석수집 저장 분석/처리 시각화

Demo 아키텍처 (분석)

Amazon Athena
• 대화식 쿼리 서비스
• 서버리스
• 표준 (ANSI) SQL 을 이용해 S3에
저장된 데이터를 분석
• 실행한 쿼리에 대한 비용만 지불
분석 / 처리

Amazon Athena 성능 최적화
열기반 포맷 사용
데이터 파티셔닝
파일 압축 및 분할
gzip
bzip2
LZO
Snappy
파일 크기 최적화
512MB
128MB
128MB
128MB
128MB
1 2 3
A W S
4.1 2.6 3.14

Amazon Athena 성능 비교
• SELECT m.t, COUNT(DISTINCT s.aid1) AS dau FROM abba_raw where processdate = 20170116 group by m.t;
Data Format Database X
Presto 21 x
m3.xlarge
Amazon Athena
JSON + SEQ + gzip N/A 9 min 1 min 50 sec
ORC N/A 37 sec 9 sec
DB Native 35 sec N/A N/A

AWS Glue
• 완전 관리형 ETL 서비스
• 서버리스
• AWS에 저장된 데이터를 자동
검색하고 분류하여 빠르게 분석 가능
• 메타데이터(테이블 정의, 스키마 등)
를 Glue 데이터 카탈로그에 저장
• ETL 코드를 추천 및 생성
분석 / 처리

Compliance
Glue
데이터 카탈로그
데이터 검색
스키마 추출
Glue 데이터 카탈로그
• Glue 크롤러를 통해 자동으로
데이터를 검색하고 스키마를
카탈로그에 저장
• 카탈로그를 통해 Athena, EMR,
Redshift Spectrum 에서 즉시 쿼리
• 카탈로그는 ETL 에 사용 가능

Glue ETL 서비스
• 자동으로 ETL 코드 생성
• 코드는 Python과 Spark 지원
• Parquet, ORC 등의 데이터 포맷으로
쉽게 변경
• 스케줄, 이벤트 기반 작업 지원
• 서버리스

시각화수집 저장 분석/처리 시각화

Demo 아키텍처 (시각화)

Amazon QuickSight
• 클라우드 기반 관리형 BI 서비스
• 서버리스
• 다양한 데이터에 쉽게 연결하고
빠르게 시각화 가능
• 스토리 보드를 통한 공유 및 협업
• 모든 브라우저 및 다양한 모바일
플랫폼 지원
시각화

서버리스 빅데이터 분석 애플리케이션 : 결론
ü 빠르게 구축
ü 실시간 데이터 분석
ü 서버 관리 불필요
ü 유연하게 확장
ü 무제한 데이터 저장
ü 유휴 용량 없음

또 다른 분석은 어떻게?

이미 Redshift 를 구축하셨나요?
Amazon
Redshift
리더 노드
쿼리 실행 계획 수립
컴퓨팅 노드
로컬 데이터에 쿼리 실행

이미 Redshift 를 구축하셨나요?
Amazon
Redshift
...
1 2 3 4 N
Amazon S3 데이터 카탈로그
Glue Data Catalog
Apache Hive Metastore
리더 노드
쿼리 실행 계획 수립
컴퓨팅 노드
로컬 데이터에 쿼리 실행
Redshift Spectrum

Amazon Redshift Spectrum
• S3 에 수 천개의 노드를 이용하여 Redshift SQL 쿼리 수행
엑사바이트 규모 지원 탄력성 & 고가용성 쿼리당 비용 지불
높은 동시성 ETL 불필요 Redshift SQL 지원
S3
SQL

Athena + Redshift Spectrum
• Glue 데이터 카탈로그를 함께 사용
• Athena를 이용해 빠르고 간단한 ad-hoc 쿼리 수행
• Redshift Spectrum을 이용해 복잡한 쿼리 수행
Amazon Athena Amazon Redshift

S3 Select
• 애플리케이션에서 간단한 SQL 문을 사용하여 필요한
데이터 서브 세트만 검색

본 강연이 끝난 후…
1. 오늘 데모로 보신 데이터 분석 플랫폼을 구축해보세요
https://bit.ly/aws-analytics
2. 이어지는 세션에서 각각의 서비스에 대한 보다 더 자세한 내용을
들으실 수 있습니다
3. AWS의 다양한 분석 서비스를 확인해보세요
https://aws.amazon.com/ko/products/analytics

AWS Summit 모바일 앱과 QR코드를
통해 강연 평가 및 설문 조사에 참여해
주시기 바랍니다.
내년 Summit을 만들 여러분의 소중한
의견 부탁 드립니다.
#AWSSummit 해시태그로 소셜 미디어에 여러분의 행사
소감을 올려주세요.
발표 자료 및 녹화 동영상은 AWS Korea 공식 소셜 채널로
공유될 예정입니다.
여러분의 피드백을 기다립니다!

감사합니다
AWS Gaming Team과의 전문 상담이 필요하다면
aws-gaming-korea@amazon.com

AWS를 활용한 게임 데이터 분석 퀘스트 깨기::안효빈::AWS Summit Seoul 2018

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Similar to AWS를 활용한 게임 데이터 분석 퀘스트 깨기::안효빈::AWS Summit Seoul 2018

Similar to AWS를 활용한 게임 데이터 분석 퀘스트 깨기::안효빈::AWS Summit Seoul 2018 (20)

More from Amazon Web Services Korea

More from Amazon Web Services Korea (20)

AWS를 활용한 게임 데이터 분석 퀘스트 깨기::안효빈::AWS Summit Seoul 2018