AWS를 통한 빅데이터 활용 고객 분석 및 캠페인 시스템 구축 사례 - 임혁용 매니저, AWS / 윤성준 차장, 현대백화점 :: AWS Summit Seoul 2019

© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
AWS를 통한 빅데이터 활용 고객 분석
및 캠페인 시스템 구축 사례
윤성준차장, 그룹통합멤버쉽 / 현대 IT&E / 현대백화점그룹
임혁용 , Amazon Web Services

© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.S U M M I T
Agenda
Modernize your Data
Warehouse
Amazon Redshift
고객 사례
Next Step,

© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
Modernize your Data Warehouse

Data
every 5 years
There is more data
than people think.
years
live for
Data platforms need to
scalegrows

Hadoop Elastic
search
There are more
ways to analyze data
than ever before.
Years ago
11 8 5 4
Presto Spark
Didn’t exist

그동안, 분석은 이랬습니다…
높은 가격 : 큰 초기 자본투자 + 추가비용/TB/매년
GB-TB 단위의 확장 [PB/EB가 아닌…]
관계형 데이터
데이타의 90%는 “비용＂때문에 폐기.
OLTP ERP CRM LOB
Data Warehouse
Business Intelligence

© 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved.
Amazon Data Warehouse

Amazon DW
• 핵심 비즈니스 운영을 지원
• 1000개의 Redshift와 EMR 운영
• DW 운영 비즈니스 규모

Amazon DW
많은 Downstream 시스템 및 프로세스를 제공
일괄 처리, 보고 및 특별 지원
매일 500k + 데이터로드 / 변환
매일 200k + 쿼리 / 추출
20k + 활성 테이블
매일로드되는 10B ++ 행

Amazon DW
핵심 데이터 세트는 압축 데이터의 5+PB
(주로 레거시 기술로 제한됨)
총 저장 용량 (다중 시스템) : 35+ PB 압축
Legacy DW Vendor다른 고객 보다 1000x 이상이 큼

Amazon DW
사용고객, Pricing, B2B, Seller Support, Lending
235MM 월간 CPU 사용 시간 (레거시 ODW)
2K 업스트림 테이블
170 개 팀 지원
3000 명 이상의 BI 사용자
600+ "대시 보드“, 매월 100,000 회의 쿼리

차세대 Amazon
Data Lake사례
https://aws.amazon.com/blogs/big-data/running-amazon-payments-analytics-on-
amazon-redshift-with-750tb-of-data/
Amazon Redshift as the new
payments data warehouse
Bulk uploads are faster
No need for DBA time to maintain the database
keep data on S3
query performance exceeded our SLA expectations
effective compression factor

S U M M I T © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
Forrester Wave™ Big Data Warehouse
Q4 2018

Amazon Redshift
Fastest
모든 유형의 분석
워크로드에 대한 통찰력을
확보.
기계 학습, 컬럼너스토리지,
및 MPP로 구동
Unlimited scale Extends your Data
Lake
1/10th
the cost
예측할 수없는 분석 요구 및
데이터 볼륨으로도 성능을
동적으로 확장.
Redshift의 고성능 SSD와
Amazon S3 Data Lake의
데이터를 분석.
시간당 0.25 달러에서 시작,
자동화 된 관리 작업으로
비용을 절감.
연간 TB당 1,000 달러
Fast, simple, cost-effective data
warehouse that can extend queries to your Data
Lake
Analyze data in open formats
such as Parquet, ORC, and JSON, using SQL
tools

Amazon Redshift 아키텍쳐
Leader Node
Simple SQL end point
Stores metadata
Optimizes query plan
Coordinates query execution
Compute Nodes
Local columnar storage
Parallel/distributed execution of all queries, loads,
backups, restores, resizes
Start at just $0.25/hour
DC1: SSD; scale from 160 GB to 326 TB
DS2: HDD; scale from 2 TB to 2 PB
10 GigE
(HPC)
Ingestion
Backup
Restore
JDBC/ODBC
Ingestion / Backup / Restore

빠른 성능
fasterup to
Higher is
better
Higher is
better
Based on the cloud DW benchmark
derived from TPC-DS 3 TB dataset, 4-node
cluster
82%
6%
34%
REDSHIFT VENDOR 1 VENDOR 2 VENDOR 3
TPC-DS 3TB queries per hour
QueriesPerHour
(Asa%ofAmazonRedshift’sQueriesperhour)
61%
113%
40%
TPC-H 3TB queries per hour
QueriesPerHour
(Asa%ofAmazonRedshift’sQueriesperhour)
Based on the cloud DW benchmark
derived from TPC-H 3 TB dataset, 4-node
cluster

높은 확장성, Amazon Redshift Spectrum
Amazon Redshift Spectrum
query engine
Query across
Redshift and S3
Redshift
data
S3
data lake
Data Warehouse를 Exabyte단위의 S3 Data Lake로 확장
로딩 불필요
컴퓨팅자원과 스토리지를 개별로 확장
S3저장된 데이터에 직접 Query
Parquet, ORC, Avro, Grok, and CSV data
formats
 Unload to Parquet
Spectrum Request Accelerator
Coming
Soon!

높은 확장성,Amazon Redshift Elastic Resize (GA)
Adds additional
nodes
to Redshift
cluster
Distributes data
across new
configuration
in minutes
Minimal
transition
time
Scale compute
and storage
on-demand
수분 이내에 스케일업-다운
Redshift Cluster
Redshift Managed S3
JDBC/ODBC
Leader Node
CN2CN1 CN3 CN4
Backup

Caching Layer
Concurrency Scaling ,Bursting기능지원
Automatically
creates more
clusters on-
demand
Consistently fast
performance even
with thousands of
concurrent queries
No advance
hydration
required
Quickly scale
to serve changing
query workload
Backup
Redshift Managed S3

자체 Built-In된 보안기능
Select compliance certifications*
10 GigE (HPC)
Customer
VPC
Internal
VPC
JDBC/ODBC
Compute
Nodes
Leader
Node
Network Isolation
End-to-end encryption
Integration with AWS Key
Management Service
Amazon S3

비용효율적인,$/YrforRedshiftisbasedonthe1
yearReservedInstance(RI)price
Amazon Redshift is the most cost-effective cloud data warehouse
The best price-to-performance
The only data warehouse with
reserved instances saving
up to 75%$560,640
$264,902
$944,941
Price per year
Lower is
better

Coming Soon.. Amazon Redshift intelligent
administration
Amazon Redshift intelligent maintenance
Run stored procedures in
Amazon Redshift

for their data
warehouse
workloads
than anyone
else
More customers use
Amazon

• 매일 1천만건 이상의 광고
• 18개월 데이터 저장
• 클릭,광고를 통한 기회분석과
실험이 가능
• 2억5천만에 달하는 모바일 일간
이벤트
• 새로운 기능 사용분석과
A/B테스팅.
As Yelp has grown, Redshift has enabled teams to explore data easily

20 %의 쿼리가 1 초 이내에
완료됩니다. Redshift를 통해,
우리의 미션 크리티컬 워크로드를
지원하기 위한 어떤 변경도 필요
없었습니다. ”
-Greg Rokita,
Executive Director of Technology, Edmunds

AWS를 활용한 DW 구축사례
현대 IT&E
그룹통합멤버십
윤성준 차장

Agenda
1. H.Point 소개
2. AWS 도입배경
3. 구축일정 및 범위
4. 도입효과
5. 마무리

1. H.Point 소개
1) 도입배경
“통합고객 관리 기반의 마케팅 플랫폼을 확보하여 고객 경험 강화,
계열사간 시너지 극대화 및 신규 사업 지원”
“모바일 기술 대중화로
본격적 고객활동 분석,
맞춤혜택제공”
외부환경 내부환경
“계열사 회원/포인트제도
중복운영 中”
“신규사업 확장”

1. H.Point 소개
2 ) 주요특징
“가입 편의성 제공 및 마케팅적 차별요소 구현”
0
0
0
백화점
홈쇼핑
면세점
아울렛
한섬
HCN
리바트
그린
푸드

1. H.Point 소개
- 현대백화점그룹의 생활 문화 서비스를 모두 즐길 수 있는 통합멤버십 (17년 8월 오픈)
- 현재 그룹 내 참여사 약 30개 브랜드, 포인트 전환 제휴사 및 혜택 제휴사 10개 상시 제휴 中
“패션,라이프 스타일 중심의 30~40대 구매력 높은 여성고객 보유”

3) 주요지표 (2019년 03월)
1. H.Point 소개
200만530만명
현대백화점 등 30개 브랜드,
외부제휴처 10개
일평균 10만
월평균 40만 방문
300억P
가입회원수 App가입자 적립포인트
App사용율 포인트 적립/사용처
200억P
사용포인트

1. H.Point 소개
4) 로드맵
“그룹 최대 디지털플랫폼으로 그룹의 빅데이터, 통합커머스 사업의 핵심 역할 담당”
통합멤버십 기반구축
(‘17~18)
멤버십 경쟁력 강화
(‘19~20)
그룹최대 디지털플랫폼
(‘21~22)
○ 마케팅 고도화및 분석환경 구축

2. AWS 도입배경
- 멤버십 사업의 핵심역량(마케팅/분석)수행을 위해 변화대응에 유연한 클라우드 방식으로 구축
1) 클라우드 도입 사유
- 마케팅/분석 플랫폼으로서 미래 대응 할 수 있는 환경 필요
- 운영 1년차, 수집데이타 대비 비용 효율적으로 시스템 필요
- 적은 운영인력으로 인한 시스템 운영방식 변화
2) AWS 선정이유
- POC를 통해 전용 DW DB Redshift의 성능 확인
- S3를 활용한 데이터 관리 방식 ( 백업, 로그 데이터 관리 )
- 적용이 쉬운 관리형 서비스 (머신러닝, 실시간 서비스)

2. AWS 도입배경
※ Why Redshift
- 빠르다 (컬럼기반의 스토리지 , 높은 데이터 압축율 )
[ 데이터 압축율 – Source VS DW 데이타 기준 ]
※ 단, Source데이타는 운영데이타로 압축되지 않은 상태로 운영중
- 선택가능한 서버타입多
- 관리요소가 거의 없음
- AWS콘솔 모니터링 (사용현황, Advisor 등)
테이블명 운영데이타 Redshif기준 압축율(%)
적립테이블 36GB 15GB 58%
승인테이블 31GB 12GB 60%

3. 진행경과및 범위
1) 구축일정
2) 구축개요
- 통합멤버십 DW는 IDC와 AWS간 하이브리드 형태의 시스템 구축으로 유연하고 확장가능한 형태로 구성
18년 1분기 18년 6월 7월 8월 9월 10월 11월 12월
자체 POC
AWS 환경구성
DW 분석.설계
ETL / BI 개발
성능테스트
(개선및 튜닝)
모니터링 /
서비스 확정

3) 구축범위 – DW/BI

4) 시스템 구성

5) 고려사항
- Redshift 사이징
. 전체사이즈의 20~30% 여유공간 필요 , 테이블 분산키 설정
- 3rd Party 솔루션은 사전에 충분한 검증 필요
. 원천데이타 한글인 경우 UTF-8변환 필요
. Redshift 지원 가능 솔루션 선정
※ Glue - 클라우드 외부정보 연동 불가 , Quicksight - 비정형 분석 한계
- 클라우드 운영 파트너사 선정
. 전문인력이 없는 경우, 파트너사 및 서비스 레벨 선정 중요

4. 도입효과
1) 비용 최적화
- 온프레미스 어플라이언스 구축 방식 대비 30%이상 비용 절감 (5년기준)
2) 관리요소 최소화
- Redshift, RDS, S3, ELB, Lambda 등 관리형 서비스
3) 민첩성 확보
- DW DB노드 증설, 신규이미지 확장, 신규서비스 런칭, 수분내 적용
4) 다양한 마케팅지원을 위한 클라우드서비스 지원
- 실시간, 시나리오 기반, 위치기반 마케팅 수행을 위한 다양한 서비스 지원

5. 마무리
1) ODS 구성방식 변경 ( AWS 방식 )
- AS-IS : ODS (Redshift), DW (Redshift)
- TO-BE : ODS (S3) , DW (Redshift)
2) 실시간 서비스 확대
- Kinesis + Lambda 적용 (위치정보 연동 마케팅)
3) 데이터 수집범위 확대
- 비정형 빅데이타(음성,로그정보) 활용
4) 개인화 맞춤화를 위한 Sagemaker활용
- 온.오프라인 구매 형태기반의 개인화된 맞춤 서비스 제공 활용

Thank you!
윤성준
newface@hmall.com

사용자 관리 잠재 고객 관리 타겟팅 채널 캠페인
인사이트
Amazon Pinpoint를 이용한
성공적인 사용자 참여 유도

Amazon Pinpoint는 다른 AWS 서비스와 원활하게 결합하여
디지털 사용자 참여를위한 단일 스택을 생성.
Amazon Connect AWS IoTAWS Lambda
Amazon PersonalizeAmazon DynamoDB
Amazon S3
Amazon SNS
AWS Step
Functions
AWS Amplify
AWS AppSync
Amazon Kinesis
Amazon EMR Amazon Lex Amazon Polly

마케팅 담당자와 개발자 모두를 위한 플랫폼

Amazon Pinpoint Demo안내 – “Go Build Theater”
4/17 (수) 오후 3:30~ 4:30
4/18 (목) 오후 1:00~ 2:00
“디지털 캠페인 꿀팁 on AWS”

How to start?  데이터 전략 워크샵
데이터를 저장, 처리, 분석, 활용을 기반으로 기대하는 비즈니스 결과를
조사하고, 필요 데이터와 서비스 대안을 도출해서 AWS 검증 방안 정의
Data Lake Workshop PoC
POC 수행 및
결과 검증
데이터
비즈니스
기회 도출
DL1.0
활용 사례 및
워크로드 도출
DL2.0
AWS 대안 도출
DL3.0
POC 계획 수립
DL4.0
현황 진단 계획

Speed (Real-time)
Ingest ServingData
sources
Scale (Batch)
Transactions
Web logs /
cookies
ERP
AWS Database
Migration
AWS Direct
Connect
Internet
Interfaces Amazon S3
Raw Data
Amazon S3
Staged Data
(Data Lake)
Amazon EMR
ETL
Data analysts
Data scientists
Business users
Engagement platforms
Amazon
Kinesis
Connected
devices
Social media
Advanced
Analytics
MLlib
Event Capture
Amazon Kinesis
Stream Analysis
Amazon EMR Event Scoring
Amazon AI
Event Handler
AWS Lambda Response Handler
AWS Lambda
Automation / events
Data Warehouse
Amazon Redshift
Legacy Apps
Amazon RDS
Schemaless
Amazon ElasticSearch
Direct Query
Amazon Athena
Near-Zero Latency
Amazon DynamoDB
Semi/Unstructured
Amazon EMR
데이터 전략 워크샵

감사합니다!

AWS를 통한 빅데이터 활용 고객 분석 및 캠페인 시스템 구축 사례 - 임혁용 매니저, AWS / 윤성준 차장, 현대백화점 :: AWS Summit Seoul 2019

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Similar to AWS를 통한 빅데이터 활용 고객 분석 및 캠페인 시스템 구축 사례 - 임혁용 매니저, AWS / 윤성준 차장, 현대백화점 :: AWS Summit Seoul 2019

Similar to AWS를 통한 빅데이터 활용 고객 분석 및 캠페인 시스템 구축 사례 - 임혁용 매니저, AWS / 윤성준 차장, 현대백화점 :: AWS Summit Seoul 2019 (20)

More from Amazon Web Services Korea

More from Amazon Web Services Korea (20)

AWS를 통한 빅데이터 활용 고객 분석 및 캠페인 시스템 구축 사례 - 임혁용 매니저, AWS / 윤성준 차장, 현대백화점 :: AWS Summit Seoul 2019