Kurly는 AWS를 어떻게 사용하고 있을까? - 성공적 리테일 디지털 트랜스포메이션 사례 - 박경표 AWS 솔루션즈 아키텍트 / 임상석 개발총괄리더, Kurly :: AWS Summit Seoul 2021

© 2021, Amazon Web Services, Inc. or its affiliates. All rights reserved.
K O R E A | M A Y 1 1 - 1 2 , 2 0 2 1

Kurly는 AWS를 어떻게
사용하고 있을까? - 성공적 리테일
디지털 트랜스포메이션 사례
박경표
솔루션즈 아키텍트
AWS
임상석
개발총괄리더
Kurly

Next Digital Retail
Modernizations
Data Pipeline / Machine Learning
Summary
마켓컬리 서비스 AWS 이관 및 진화
AGENDA

Next Digital Retail 트렌드
CLOUD
비즈니스 민첩성 머신 러닝 검증된 솔루션 강화된 보안

비즈니스 민첩성
[1] https://www.scaledagileframework.com/business-agility/
비즈니스 민첩성은 디지털시대에 시장의 요구사항과 새롭게 발생하는 기회들에
빠르게 대응하고 이를 적용하여, 경쟁 우위를 지속할 수 있는 능력입니다
Architecture
Modernization
수백만 사용자 지원
손쉬운 글로벌 확장
빠르고 안정적인 서비스
Data Driven
Architecture
빠른 고객 응신 확인
데이터에 기반한 순위조정
새로운 기회 창출

머신 러닝
우리는 현재, 거의 모든 산업군에서 잠재력을 극대화 하기 위한 도구로 AI/ML을
활용하는 상황을 보고 있습니다. 어떤 문제에 집중할 것인가와 상관 없이,
의미 있는 변화와, 혁신을 실현하기 위한 매우 강력한 도구로 여겨집니다.
머신 러닝
어플리케이션
조직의 잠재적인 능력 향상
효율의 극대화
새로운 기회 발굴
• 개인화 추천
• 이상 탐지
• 이미지 객체 인식
• 이미지 검색
• 기타

검증된 솔루션
Managed
Service
검증된 서비스
다양한 레퍼런스 존재
상황에 맞는 대체 적용
특정된 솔루션은 고유한 기준을 고객에게 반영시키며, 데이터 사일로를 만들게
됩니다. 그에 반해 클라우드 아키텍처의 유연성과 강건성은 고객들로 하여금,
비즈니스를 혁신하고자 할 때 딱 맞는 도구를 취사 선택할 수 있게 해줍니다.
Data
Warehousing
Big Data
Processing
Interactive
Query
Operational
Analytics
Real time
Analytics
Serverless
Data processing
Analytics
NoSQL/KV
Time Series
RDBMS
Graph DB
NoSQL/Doc
Ledger
In-Memory
NoSQL/WC
Database

강화된 보안
고객은 세계에서 가장 보안에 민감한 조직의 요구 사항을 충족하도록 구축 된
데이터 센터 및 네트워크 아키텍처의 혜택을 받습니다.

모던 어플리케이션 구축 최상의 방법은?
서비스의 모듈화
(MSA)
자동화, 추상화 &
표준화
Decoupled &
목적에 맞는DB
운영 관리 노력의
최소화 (Serverless)
가드레일을 통한
최대 오류 방지
Architectural
patterns
Developer
Agility
Data
management
Operational
model
Management &
Governance

MSA를 확장해 보면…
APIs APIs
APIs
APIs APIs

모던 어플리케이션 아키텍처
Event
s
Queues/message
s
one team
Event
s
APIs
Presentation
Business logic
Data

Data Pipeline
& Machine Learning

데이터 파이프라인을 만든다는 것은?
수집
어떻게 빠르고
안정적으로 자료를
수집할 수 있을까?
어떻게 Silo된 데이터를
쉽고 안전하게 공유할 수
있을까?
요구에 맞는 검증된
도구를 바로 적용할 수
있을까?
분석을 통해 생성된
자료를 어떻게
적용/검증할 수 있을까?
저장 처리 적용/확인
레거시
리소스
다양한 입력
채널
파편화된
데이터 저장소
Only
Hadoop Based Solution
Only
DW Based Solution
특정 도구에 묶여 있는
분석 플렛폼
특정 목적에 적용
가능한 솔루션

데이터 파이프라인을 만든다는 것은?
수집
채널 특성에 맞는 다양한
Migration / Ingestion
Service를 이용하십시요.
S3 를 중앙 저장소로
지정하고, Lake
Formation을 활용하여
안정적인 Access
Control을 수행 하십시요.
분석 목적과 조직 기술
내재화에 따라, 알맞은
기술 셋을 선택하여 적용
하십시요.
다양한 Visualization
도구와 함께, Quick
Start에서 제공하는
다양한 분석 Template를
활용해 보십시요.
저장 처리 적용/확인
어떻게 빠르고 안정적으로
자료를 수집할 수 있을까?
어떻게 Silo된 데이터를 쉽고
안전하게 공유할 수 있을까?
요구에 맞는 검증된 도구를 바로
적용할 수 있을까?
분석을 통해 생성된 자료를
어떻게 적용/검증할 수 있을까?
Data
Exchange
Pinpoint
Database
Migration
Service
Snowball
Data
Exchange
Direct
Connect
S3/Glacier
Lake
Formation
Athena
Kinesis
Data
Analytics
Elasticsearc
h Service
Redshift
AWS Glue
(Spark &
Python)
EMR service
Quicksight
Quick Start

데이터의 활용 – 추천 시스템 구성
Athena
S3/Glacier Redshift
EMR service
모델
학습
모델
검증
모델
학습
모니터/
검증
결과 자료
추출
데이터
전처리
데이터
준비
Sagemaker
Sagemaker
반복작업

추천 시스템의 평가 – A/B Testing 예시
자동화된 테스트 평가 시스템 구축 및 비용 효율 확인
추천 결과 제공
(Test A)
추천 결과 제공
(Test B)
테스트 전략 저장
및 조회
사용자 응답과 함께,
추천 트래킹 정보
전달
테스트 전략 분기
및 전달
비교 결과를 통하여,
효율적인 알고리즘 선정 및
적용 범위 확대

마켓컬리 서비스
AWS 이관 및 진화
임상석
개발총괄리더
Kurly

마켓컬리 서비스 소개
서비스 1.0: IDC에서 AWS로 이관 및 안정화
서비스 2.0: MSA 기반 서비스 아키텍쳐 고도화
서비스 3.0: AWS Personalize 기반 서비스 개인화
AGENDA

저녁 11시까지주문시, 다음날 아침 7시까지 배송
새벽 배송 서비스

깐깐한 품질 기준에 맞춘 상품들, 미달시는 바로 환불
고품질 상품

엄선된 제품 이해에 필요한 모든 정보를 상세하게 제공
사용자 친화적인 컨텐츠

사업 성장과 함께 급격한 트래픽 증가
급격한 사업 성장 속도
2015 2016 2017 2018 2019 2020 EST
2015 2016 2017 2018 2019 2020 EST
GMV
~400xin the 5yrs
surpassing $1bn
~5% penetration
Korean households
Basket size
consistently growing

Amazon EC2
Auto Scaling
Amazon RDS
AWS Cloud
Amazon
ElastiCache
Amazon Simple
Storage Service (S3)
Amazon Athena
Amazon Elasticsearch
E-commerce/logistics service
Data platform
Log Data
AWS Database
Migration Service
Amazon
Redshift
Scalability
for user traffic surge
Security for
customer privacy
protection
Various native tools for
speedy service feature
development
기존 Monolithic서비스 구조를 유지하며 클라우드 장점을 활용하기 위한 1차 이관
2018년 IDC에서 AWS 이관

0.
7.5
15.
22.5
30.
2:00 PM 4:00 PM 8:00 PM 11:00 PM 11:30 PM 12:00 PM
Just before Covid-19 outbreak
Normalized
load
of
order
system
급격한 사업 성장에 더불어 트래픽 볼륨 및 변동성 증폭
Covid-19 발생의 영향

AWS Cloud온디맨드 EC2, RDS 확장성 및 운영 최적화로 버티다
Amazon EC2
Auto Scaling
Aurora MySQL
Read Replica x 15
AWS Cloud
Amazon
ElastiCache
Application Load
Balancer
AWS MySQL Read Replica
최대 15개의 Read 노드 추가를 통한 DB 조회
Application Load Balancer
Canary 배포를 통한 운영 안정성 개선
부하 발생 API의 동적인 Remapping을 통한 빠른 복구
Code deploy
Blue Green 배포 도입을 통한 빠른 롤백
Monolithic service architecture
Monolithic 구조 한계 직면

Amazon EC2
Auto Scaling
Amazon RDS
E-commerce
Amazon EC2
Auto Scaling
Amazon RDS
Logistics
AWS Cloud
트래픽의 효율적인 처리와 운영 안정성 확보의 발판
Amazon MQ
Monolithic service architecture
after initial AWS cloud migration
Monolithic 구조에서 MSA로 구조 고도화
Amazon DocumentDB Amazon DynamoDB
Amazon RDS
Amazon EC2
Auto Scaling
Amazon EC2
Auto Scaling
Amazon EC2
Auto Scaling
Member, Payment … Promotion,Stock,Order… Goods Display …
AWS Cloud
Microservice architecture
transformation undergoing

Push 트래픽 발생으로 서버 상품 조회 부하가 증가해도 장바구니에 담긴 물건의 결제는 정상적으로 진행
필요
Mobile client
DynamoDB 및 ElasticCache 기반 CQRS 도입
CQRS 도입 후 서비스 구조
Amazon
DocumentDB
Amazon
DynamoDB
Amazon RDS
Amazon EC2
Auto Scaling
Amazon EC2
Auto Scaling
Amazon EC2
Auto Scaling
Cart, Payment … Promotion, Stock,
Order …
Showroom
AWS Cloud
Amazon Managed Streaming
for Apache Kafka
Amazon EC2
Auto Scaling
Amazon
ElastiCache
Public API Endpoint

API 응답 속도 개선 및 이를 통한 APP/Web페이지 적재 시간 1초 이내로 감소
CQRS 도입후 트래픽 변화

상품 추천 서비스 고도화를 통한 사용자당 매출을
개선할 방안을 찾아 보자.
기존 Rule 기반 방식이 충분한 효율성이 있는지
AI/ML 기반 방식 도입을 통해서 어느 정도 개선이
가능할지 신선 식품 위주의 장보기 목적의 마켓컬리
상품군에도 적용 가능한지 알아보자
마케팅 담당. 컬리
시장 침투율 증가 및 포화 상태에 대한 대책 마련
Basket Size 증가를 통한 물류 비용 효율화

Curation기반 방식과 Rule 기반 자동화방식 혼용
Rule 기반 개인화 Curation 기반 Item 유사도 기반 개인화 영역
마켓컬리 추천 영역

Amazon Personalize: HRNN-Meta Recipe
고려 사항
단기간에 최소 비용으로 개인화 추천 시스템을 개발하자
• 사용자 클릭 기반 실시간 개인화 추천
• 장바구니 완성을 위해 여러 상품을 담는 사용자 쇼핑
양식
• 비용 효율적: 사용자 추천 비용 대비 ARPU 기여율 확보
• 데이터 사이언스 부재/개발 인력 최소화 방식
Amazon Personalize 도입

상품 SKU 수 15,000개
회원 레벨 9종: 일반, 웰컴, 첫구매 우대, 프렌즈, 라벤더, 화이트, 퍼플, 더퍼플
상품 카테고리 대분류 및 중분류
배송 타입 택배 상품, 샛별 상품
Item Filtering 최소 interaction 15개
데이터 기간 1~3개월
마켓컬리 상품 체계 및 회원 체계를 반영한 학습 데이터 준비
학습 데이터 분류
학습 데이터 준비

NDCG 및 Coverage기준 선정
학습 결과 지표
Algorithm NDCG At 5 NDCG At 10 NDCG At 25 Precision At 5 Precision At 10 Precision At 25 Coverage
hrnn-meta HPO 적용 0.4205 0.4701 0.5276 0.1834 0.1242 0.0701 0.7032
hrnn-meta HPO 미적용 0.4014 0.4503 0.5124 0.1771 0.1215 0.0709 0.7162

Amazon Personalize
(HRNN-meta recipe)
Amazon Simple
User Event
Amazon ElastiCache
Filtered
item list
Amazon Personalize based recommender system
Recommended
item list
Amazon Redshift
(Product Master DB)
Amazon EMR
Training data set
Generate data
set for training
AWS Cloud
Amazon DynamoDB
실시간 상품 조회
이력 보관
Amazon Managed
Streaming for Apache Kafka
AWS Prototyping팀과AWS Cloud 서비스를 활용한 단기간 MVP개발
Mobile client
Mobile client
Amazon Personalize 기반 추천 시스템 구조

getRecommendationLatency모니터링과 tps 설정 최적화
Live 운영

• A/B 테스트 설계 내용 기록
• 전체 고객군 레벨별 균등 A, B 그룹 배분
• 핵심 지표: 장바구니 전환률, Basket Size 기여도, 매출 기여도
분석 지표 선정
A/B 테스트 설계

Rule 기반 추천 방식 대비 HRNN-Meta의장바구니 전환률
358%개선
장바구니 전환률
• A 그룹: 20.8%
• B 그룹: 5.8%
A/B 테스트 결과

단계별 장바구니 전환률 측정
효과 상세 분석

회원 레벨별 장바구니 전환률

파이를 늘렸을까? 잠식했을까?

0.002%감소
장바구니 크기
장바구니 크기 (결제금액/1회)증가율

장바구니 크기를 늘렸을까? 매출 기여도 수준은?
2.0%
결제 회수 증대율
증가
2.0%
퍼플 매출 증대율
증가
1.3%
평균 매출 증대율
증가
5.0%
더퍼플 매출 증대율
증가

2.3%개선
추천 구좌 개수를 8개에서 20개로 늘렸을때 효과는?

Amazon Simple
Amazon SageMaker
(Keras)
Amazon SageMaker
Ground Truth
Image classification
for training
Model
Train
Upload
review image
Unqualified image
detector
P2 instance
AWS Cloud
AI based unqualified (screen shot) review image detector
unqualified (screen shot)
qualified
단순 고객 센터 업무 자동화
Mobile client
Operator
AI/ML 기반 운영 업무 효율화

AWS Cloud
Inventory Service AWS Database
Migration Service
Amazon Redshift
(Inventory Data)
Sales Order Service
Amazon SageMaker
(Sales Prediction)
Supplier
R studio
(Sales Status Analysis)
Order quantity
by product
발주 자동화를 통한 재고 관리 최적화
AI/ML 기반 운영 업무 효율화

여러분의 소중한 피드백을 기다립니다.
강연 종료 후, 강연 평가에 참여해 주세요!

감사합니다

Kurly는 AWS를 어떻게 사용하고 있을까? - 성공적 리테일 디지털 트랜스포메이션 사례 - 박경표 AWS 솔루션즈 아키텍트 / 임상석 개발총괄리더, Kurly :: AWS Summit Seoul 2021

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Similar to Kurly는 AWS를 어떻게 사용하고 있을까? - 성공적 리테일 디지털 트랜스포메이션 사례 - 박경표 AWS 솔루션즈 아키텍트 / 임상석 개발총괄리더, Kurly :: AWS Summit Seoul 2021

Similar to Kurly는 AWS를 어떻게 사용하고 있을까? - 성공적 리테일 디지털 트랜스포메이션 사례 - 박경표 AWS 솔루션즈 아키텍트 / 임상석 개발총괄리더, Kurly :: AWS Summit Seoul 2021 (20)

More from Amazon Web Services Korea

More from Amazon Web Services Korea (20)

Kurly는 AWS를 어떻게 사용하고 있을까? - 성공적 리테일 디지털 트랜스포메이션 사례 - 박경표 AWS 솔루션즈 아키텍트 / 임상석 개발총괄리더, Kurly :: AWS Summit Seoul 2021