SlideShare a Scribd company logo
1 of 14
Download to read offline
김성석
GS SHOP AWS 클라우드 도입사례
Image 이관 및 클라우드 방향성
TV Shopping
Household viewers by channel(as of December, 2016)
IPTV
Satellite shows
Cable TV 14.5 million households
11 million households
4.5 million households
Deliver highest value to customers with 20 years of know-how
in TV home shopping
Customer Engagement
through Live Talk, etc.
Best Show Hosts,
Expert Guests
Approx. 30 million household viewers
Vivid Product
Demonstration
Differentiated
Brand Programs
2012 2013 2017
Total Mobile / Online Shopping
Sales Growth
Mobile / Online Shopping Provide new shopping environment with know-how in TV home shopping
Introduction of
products aired
on TV
Best product
curation
Reinforce commu-
nication with
customers through
brand PGM online
cafe
Use big data to introduce
customer-tailored products
Higher
PC/MC Interface
With 20-years of knowhow for homeshopping business in Korea,
Creating Korean Wave of Home Shopping in 7 Countries
BUM TV Jul, 2015
Russia
China Homeshopping
Group Apr, 2012
China
GS SHOP Aug, 1995
South Korea
MNC SHOP Dec, 2012
Indonesia
Vietnam
VGS SHOP Nov, 2012
Homeshop18 Nov, 2009
India
True select Oct, 2011
Thailand
GO SHOP Feb, 2015
Malaysia
플랫폼
Cloud 내 Biz Player로써 브랜드에게 Total Service 제공
GSSHOP Architecture
MC/EC MSA Architecutre
Opensource Based
Distributed Architecure
Cache
hybrid Archi(public/private)
-동시 3만 고객 처리/분당 3,000건 주문 처리
Image 스토리지 전환 고민
▪MC 비즈니스 성장에 따른 이미지의 폭발적 용량증가
-교체 당시 18TB, 4.3억개 -> 현재 22TB, 5.5억건
-오래된 사용치 않는 데이터를 어떻게 제거 할수 있을까?
▪스토리지의 용량 확보 필요
-2015년 이미지 스토리지 교체. 그러나 2년 만에 Full 도달
▪증설, 교체, 클라우드에 대한 고민
- 증설 비용, 신규 교체 비용등에 대한 견적 시작
- 클라우드 중 비용이 저렴한 AWS S3 스토리지 발견
▪작은 용량의 많은 파일을 올리기 위한 여러 시도
-Tool(S3 Browser) 사용, Java로 개발하여 업로드 등 여러 시도 했으나
속도, Memory hang등 여러 이슈 발생
`
AS-WAS Image
▪이미지 스토리지
-18TB 용량 의 이미지 보관
-4.3억개 이미지(since 2003)
-NAS 스토리지 A-S 구조
▪2년내 급속한 이미지
수량/용량 증가
▪Legacy 영향을 줄이기 위해
Image Storage에 대한 전환
검토
▪이미지 업로드와 resize 시스템
유지
▪Consumer는 파일을 AWS
S3로 전송
▪Consumer 100여개 이상
생성(네트워크 모니터링)
▪초당 2 ~ 3,000건 업로드
Migration Architecture
▪Image File List 생성
(File Path, Name)
▪생성된 List MQ로 전송
▪MQ에 업로드 대상
Queue 대기
▪최종 Migration 7일 소요
7일간 변동분 Daily 배치로 catchup(일 40만건)
▪이미지 freezing(4Hr)후 CDN Target 전환
▪Consumer : MQ의 Queue를 읽어서
데이터를전송하는 프로세스
1
2
3
Image Architecture
▪S3 업로드 이벤트 발생시
SQS를 통해 Meta 정보를
Mongo DB 저장
(Data/Size/Path)
▪이미지 S3의 논리적 백업을
위해 Daily Access한 이미지를
별도 S3에 저장 (Nginx
Access log 활용)SQS : Amazon simple Queue Service
이미지스토리지전환 효과
▪폭발적 이미지 증가에 따른 용이한 대응
-교체 당시 18TB, 4.3억개 -> 현재 22TB, 5.5억건
-사용치 않는 과거 데이터에 대해 계속 저장해야 하는지에 대한 고민
▪이미지 스토리지의 비용 절감
-이미지 스토리지 교체 비용, 감가 대비 50%이상 비용 절감
`
▪안정적 시스템 운영 및 유연성 확보
-이미지 처리에 대한 IDC 트래픽 저하
-별도 최신 호출 데이터에 대한 별도 저장
(추후 스토리지 전환을 통해 기존 이미지 정리)
GSSHOP Cloud 방향성(1/2)
Project Base
이관
IDC와 클라우드
연결
클라우드에서의 확장
(IT역할, 기술변화)
클라우드 All-In
(Cloud first)
Game
Migration이 완료된 기업
▪Startup
▪Cloud Based 차세대 Prj.
GS SHOP Cloud 방향성(2/2)
▪MC/EC Front 영역에 대한 하이브리드 구성
-Cloud와 IDC 간 인입제어를 통한 서비스 처리
AWS
(Poc환경)
MC/EC
(WEB/WAS/API)
MC/EC
(Oracle DB)
Legacy
(WAS)
Legacy
(oracle DB)
MC/EC
(WEB/WAS/API)
MC/EC
(Oracle DB)
Legacy
(WAS)
Legacy
(oracle DB)
MC/EC
(WEB/WAS/API)
MC/EC
(Mysql DB)
Legacy
(WAS)
Legacy
(oracle DB)
▪MC/EC DataBase에대한 전환
-기술적 검토 필요
데이터
백업
감사합니다.

More Related Content

Viewers also liked

Viewers also liked (19)

[2017 Gaming on AWS] The Braves of Japan (일본 게임시장의 AWS 활용법)
[2017 Gaming on AWS] The Braves of Japan (일본 게임시장의 AWS 활용법)[2017 Gaming on AWS] The Braves of Japan (일본 게임시장의 AWS 활용법)
[2017 Gaming on AWS] The Braves of Japan (일본 게임시장의 AWS 활용법)
 
[E-commerce & Retail Day] 인공지능서비스 활용방안
[E-commerce & Retail Day] 인공지능서비스 활용방안[E-commerce & Retail Day] 인공지능서비스 활용방안
[E-commerce & Retail Day] 인공지능서비스 활용방안
 
[2017 Windows on AWS] Overview
[2017 Windows on AWS] Overview[2017 Windows on AWS] Overview
[2017 Windows on AWS] Overview
 
[Partner TechShift 2017] 클라우드 시대 기존 Legacy에서 벗어나는 방법
[Partner TechShift 2017] 클라우드 시대 기존 Legacy에서 벗어나는 방법[Partner TechShift 2017] 클라우드 시대 기존 Legacy에서 벗어나는 방법
[Partner TechShift 2017] 클라우드 시대 기존 Legacy에서 벗어나는 방법
 
AWS X-Ray를 통한 서버리스 분산 애플리케이션 추적하기 - 윤석찬 (AWS 테크에반젤리스트)
AWS X-Ray를 통한 서버리스 분산 애플리케이션 추적하기 - 윤석찬 (AWS 테크에반젤리스트)AWS X-Ray를 통한 서버리스 분산 애플리케이션 추적하기 - 윤석찬 (AWS 테크에반젤리스트)
AWS X-Ray를 통한 서버리스 분산 애플리케이션 추적하기 - 윤석찬 (AWS 테크에반젤리스트)
 
[Partner TechShift 2017] AWS와 협업을 통한 국내외 엔터프라이즈 SaaS 세일즈 성공사례: SendBird
[Partner TechShift 2017] AWS와 협업을 통한 국내외 엔터프라이즈 SaaS 세일즈 성공사례: SendBird[Partner TechShift 2017] AWS와 협업을 통한 국내외 엔터프라이즈 SaaS 세일즈 성공사례: SendBird
[Partner TechShift 2017] AWS와 협업을 통한 국내외 엔터프라이즈 SaaS 세일즈 성공사례: SendBird
 
AWS Lambda를 기반으로한 실시간 빅테이터 처리하기
AWS Lambda를 기반으로한 실시간 빅테이터 처리하기AWS Lambda를 기반으로한 실시간 빅테이터 처리하기
AWS Lambda를 기반으로한 실시간 빅테이터 처리하기
 
[Partner TechShift 2017] 국내 소프트웨어 개발사가 AWS를 고려해야 하는 이유
[Partner TechShift 2017] 국내 소프트웨어 개발사가 AWS를 고려해야 하는 이유[Partner TechShift 2017] 국내 소프트웨어 개발사가 AWS를 고려해야 하는 이유
[Partner TechShift 2017] 국내 소프트웨어 개발사가 AWS를 고려해야 하는 이유
 
[E-commerce & Retail Day] Data Freedom을 위한 Database 최적화 전략
[E-commerce & Retail Day] Data Freedom을 위한 Database 최적화 전략[E-commerce & Retail Day] Data Freedom을 위한 Database 최적화 전략
[E-commerce & Retail Day] Data Freedom을 위한 Database 최적화 전략
 
[Partner TechShift] 클라우드 사업을 위한 3가지 소프트웨어 딜리버리 전략
[Partner TechShift] 클라우드 사업을 위한 3가지 소프트웨어 딜리버리 전략[Partner TechShift] 클라우드 사업을 위한 3가지 소프트웨어 딜리버리 전략
[Partner TechShift] 클라우드 사업을 위한 3가지 소프트웨어 딜리버리 전략
 
Amazon ECS/ECR을 활용하여 마이크로서비스 구성하기 - 김기완 (AWS 솔루션즈아키텍트)
Amazon ECS/ECR을 활용하여 마이크로서비스 구성하기 - 김기완 (AWS 솔루션즈아키텍트)Amazon ECS/ECR을 활용하여 마이크로서비스 구성하기 - 김기완 (AWS 솔루션즈아키텍트)
Amazon ECS/ECR을 활용하여 마이크로서비스 구성하기 - 김기완 (AWS 솔루션즈아키텍트)
 
[2017 AWS Startup Day] AWS 비용 최대 90% 절감하기: 스팟 인스턴스 Deep-Dive
[2017 AWS Startup Day] AWS 비용 최대 90% 절감하기: 스팟 인스턴스 Deep-Dive [2017 AWS Startup Day] AWS 비용 최대 90% 절감하기: 스팟 인스턴스 Deep-Dive
[2017 AWS Startup Day] AWS 비용 최대 90% 절감하기: 스팟 인스턴스 Deep-Dive
 
[Partner TechShift 2017] AWS 마켓플레이스를 통한 글로벌 소프트웨어 판매하기
[Partner TechShift 2017] AWS 마켓플레이스를 통한 글로벌 소프트웨어 판매하기[Partner TechShift 2017] AWS 마켓플레이스를 통한 글로벌 소프트웨어 판매하기
[Partner TechShift 2017] AWS 마켓플레이스를 통한 글로벌 소프트웨어 판매하기
 
Apache MXNet으로 배워보는 딥러닝(Deep Learning) - 김무현 (AWS 솔루션즈아키텍트)
Apache MXNet으로 배워보는 딥러닝(Deep Learning) - 김무현 (AWS 솔루션즈아키텍트)Apache MXNet으로 배워보는 딥러닝(Deep Learning) - 김무현 (AWS 솔루션즈아키텍트)
Apache MXNet으로 배워보는 딥러닝(Deep Learning) - 김무현 (AWS 솔루션즈아키텍트)
 
[2017 AWS Startup Day] 서버리스 마이크로서비스로 일당백 개발조직 만들기
[2017 AWS Startup Day] 서버리스 마이크로서비스로 일당백 개발조직 만들기[2017 AWS Startup Day] 서버리스 마이크로서비스로 일당백 개발조직 만들기
[2017 AWS Startup Day] 서버리스 마이크로서비스로 일당백 개발조직 만들기
 
[Partner TechShift 2017] APN 컨설팅 파트너사와 함께 하는 클라우드 소프트웨어 사업
[Partner TechShift 2017] APN 컨설팅 파트너사와 함께 하는 클라우드 소프트웨어 사업[Partner TechShift 2017] APN 컨설팅 파트너사와 함께 하는 클라우드 소프트웨어 사업
[Partner TechShift 2017] APN 컨설팅 파트너사와 함께 하는 클라우드 소프트웨어 사업
 
[Partner TechShift 2017] EXEM의 AWS 마켓플레이스 실전 경험 공유
[Partner TechShift 2017] EXEM의 AWS 마켓플레이스 실전 경험 공유[Partner TechShift 2017] EXEM의 AWS 마켓플레이스 실전 경험 공유
[Partner TechShift 2017] EXEM의 AWS 마켓플레이스 실전 경험 공유
 
[Partner TechShift 2017] AWS 마켓플레이스 등록을 위한 테크니컬 체크리스트
[Partner TechShift 2017] AWS 마켓플레이스 등록을 위한 테크니컬 체크리스트[Partner TechShift 2017] AWS 마켓플레이스 등록을 위한 테크니컬 체크리스트
[Partner TechShift 2017] AWS 마켓플레이스 등록을 위한 테크니컬 체크리스트
 
[2017 AWS Startup Day] 인프라 관점에서 접근하는 리디스토리 개발기
[2017 AWS Startup Day] 인프라 관점에서 접근하는 리디스토리 개발기[2017 AWS Startup Day] 인프라 관점에서 접근하는 리디스토리 개발기
[2017 AWS Startup Day] 인프라 관점에서 접근하는 리디스토리 개발기
 

More from Amazon Web Services Korea

More from Amazon Web Services Korea (20)

AWS Modern Infra with Storage Roadshow 2023 - Day 2
AWS Modern Infra with Storage Roadshow 2023 - Day 2AWS Modern Infra with Storage Roadshow 2023 - Day 2
AWS Modern Infra with Storage Roadshow 2023 - Day 2
 
AWS Modern Infra with Storage Roadshow 2023 - Day 1
AWS Modern Infra with Storage Roadshow 2023 - Day 1AWS Modern Infra with Storage Roadshow 2023 - Day 1
AWS Modern Infra with Storage Roadshow 2023 - Day 1
 
사례로 알아보는 Database Migration Service : 데이터베이스 및 데이터 이관, 통합, 분리, 분석의 도구 - 발표자: ...
사례로 알아보는 Database Migration Service : 데이터베이스 및 데이터 이관, 통합, 분리, 분석의 도구 - 발표자: ...사례로 알아보는 Database Migration Service : 데이터베이스 및 데이터 이관, 통합, 분리, 분석의 도구 - 발표자: ...
사례로 알아보는 Database Migration Service : 데이터베이스 및 데이터 이관, 통합, 분리, 분석의 도구 - 발표자: ...
 
Amazon DocumentDB - Architecture 및 Best Practice (Level 200) - 발표자: 장동훈, Sr. ...
Amazon DocumentDB - Architecture 및 Best Practice (Level 200) - 발표자: 장동훈, Sr. ...Amazon DocumentDB - Architecture 및 Best Practice (Level 200) - 발표자: 장동훈, Sr. ...
Amazon DocumentDB - Architecture 및 Best Practice (Level 200) - 발표자: 장동훈, Sr. ...
 
Amazon Elasticache - Fully managed, Redis & Memcached Compatible Service (Lev...
Amazon Elasticache - Fully managed, Redis & Memcached Compatible Service (Lev...Amazon Elasticache - Fully managed, Redis & Memcached Compatible Service (Lev...
Amazon Elasticache - Fully managed, Redis & Memcached Compatible Service (Lev...
 
Internal Architecture of Amazon Aurora (Level 400) - 발표자: 정달영, APAC RDS Speci...
Internal Architecture of Amazon Aurora (Level 400) - 발표자: 정달영, APAC RDS Speci...Internal Architecture of Amazon Aurora (Level 400) - 발표자: 정달영, APAC RDS Speci...
Internal Architecture of Amazon Aurora (Level 400) - 발표자: 정달영, APAC RDS Speci...
 
[Keynote] 슬기로운 AWS 데이터베이스 선택하기 - 발표자: 강민석, Korea Database SA Manager, WWSO, A...
[Keynote] 슬기로운 AWS 데이터베이스 선택하기 - 발표자: 강민석, Korea Database SA Manager, WWSO, A...[Keynote] 슬기로운 AWS 데이터베이스 선택하기 - 발표자: 강민석, Korea Database SA Manager, WWSO, A...
[Keynote] 슬기로운 AWS 데이터베이스 선택하기 - 발표자: 강민석, Korea Database SA Manager, WWSO, A...
 
Demystify Streaming on AWS - 발표자: 이종혁, Sr Analytics Specialist, WWSO, AWS :::...
Demystify Streaming on AWS - 발표자: 이종혁, Sr Analytics Specialist, WWSO, AWS :::...Demystify Streaming on AWS - 발표자: 이종혁, Sr Analytics Specialist, WWSO, AWS :::...
Demystify Streaming on AWS - 발표자: 이종혁, Sr Analytics Specialist, WWSO, AWS :::...
 
Amazon EMR - Enhancements on Cost/Performance, Serverless - 발표자: 김기영, Sr Anal...
Amazon EMR - Enhancements on Cost/Performance, Serverless - 발표자: 김기영, Sr Anal...Amazon EMR - Enhancements on Cost/Performance, Serverless - 발표자: 김기영, Sr Anal...
Amazon EMR - Enhancements on Cost/Performance, Serverless - 발표자: 김기영, Sr Anal...
 
Amazon OpenSearch - Use Cases, Security/Observability, Serverless and Enhance...
Amazon OpenSearch - Use Cases, Security/Observability, Serverless and Enhance...Amazon OpenSearch - Use Cases, Security/Observability, Serverless and Enhance...
Amazon OpenSearch - Use Cases, Security/Observability, Serverless and Enhance...
 
Enabling Agility with Data Governance - 발표자: 김성연, Analytics Specialist, WWSO,...
Enabling Agility with Data Governance - 발표자: 김성연, Analytics Specialist, WWSO,...Enabling Agility with Data Governance - 발표자: 김성연, Analytics Specialist, WWSO,...
Enabling Agility with Data Governance - 발표자: 김성연, Analytics Specialist, WWSO,...
 
Amazon Redshift Deep Dive - Serverless, Streaming, ML, Auto Copy (New feature...
Amazon Redshift Deep Dive - Serverless, Streaming, ML, Auto Copy (New feature...Amazon Redshift Deep Dive - Serverless, Streaming, ML, Auto Copy (New feature...
Amazon Redshift Deep Dive - Serverless, Streaming, ML, Auto Copy (New feature...
 
From Insights to Action, How to build and maintain a Data Driven Organization...
From Insights to Action, How to build and maintain a Data Driven Organization...From Insights to Action, How to build and maintain a Data Driven Organization...
From Insights to Action, How to build and maintain a Data Driven Organization...
 
[Keynote] Accelerating Business Outcomes with AWS Data - 발표자: Saeed Gharadagh...
[Keynote] Accelerating Business Outcomes with AWS Data - 발표자: Saeed Gharadagh...[Keynote] Accelerating Business Outcomes with AWS Data - 발표자: Saeed Gharadagh...
[Keynote] Accelerating Business Outcomes with AWS Data - 발표자: Saeed Gharadagh...
 
Amazon DynamoDB - Use Cases and Cost Optimization - 발표자: 이혁, DynamoDB Special...
Amazon DynamoDB - Use Cases and Cost Optimization - 발표자: 이혁, DynamoDB Special...Amazon DynamoDB - Use Cases and Cost Optimization - 발표자: 이혁, DynamoDB Special...
Amazon DynamoDB - Use Cases and Cost Optimization - 발표자: 이혁, DynamoDB Special...
 
LG전자 - Amazon Aurora 및 RDS 블루/그린 배포를 이용한 데이터베이스 업그레이드 안정성 확보 - 발표자: 이은경 책임, L...
LG전자 - Amazon Aurora 및 RDS 블루/그린 배포를 이용한 데이터베이스 업그레이드 안정성 확보 - 발표자: 이은경 책임, L...LG전자 - Amazon Aurora 및 RDS 블루/그린 배포를 이용한 데이터베이스 업그레이드 안정성 확보 - 발표자: 이은경 책임, L...
LG전자 - Amazon Aurora 및 RDS 블루/그린 배포를 이용한 데이터베이스 업그레이드 안정성 확보 - 발표자: 이은경 책임, L...
 
KB국민카드 - 클라우드 기반 분석 플랫폼 혁신 여정 - 발표자: 박창용 과장, 데이터전략본부, AI혁신부, KB카드│강병억, Soluti...
KB국민카드 - 클라우드 기반 분석 플랫폼 혁신 여정 - 발표자: 박창용 과장, 데이터전략본부, AI혁신부, KB카드│강병억, Soluti...KB국민카드 - 클라우드 기반 분석 플랫폼 혁신 여정 - 발표자: 박창용 과장, 데이터전략본부, AI혁신부, KB카드│강병억, Soluti...
KB국민카드 - 클라우드 기반 분석 플랫폼 혁신 여정 - 발표자: 박창용 과장, 데이터전략본부, AI혁신부, KB카드│강병억, Soluti...
 
SK Telecom - 망관리 프로젝트 TANGO의 오픈소스 데이터베이스 전환 여정 - 발표자 : 박승전, Project Manager, ...
SK Telecom - 망관리 프로젝트 TANGO의 오픈소스 데이터베이스 전환 여정 - 발표자 : 박승전, Project Manager, ...SK Telecom - 망관리 프로젝트 TANGO의 오픈소스 데이터베이스 전환 여정 - 발표자 : 박승전, Project Manager, ...
SK Telecom - 망관리 프로젝트 TANGO의 오픈소스 데이터베이스 전환 여정 - 발표자 : 박승전, Project Manager, ...
 
코리안리 - 데이터 분석 플랫폼 구축 여정, 그 시작과 과제 - 발표자: 김석기 그룹장, 데이터비즈니스센터, 메가존클라우드 ::: AWS ...
코리안리 - 데이터 분석 플랫폼 구축 여정, 그 시작과 과제 - 발표자: 김석기 그룹장, 데이터비즈니스센터, 메가존클라우드 ::: AWS ...코리안리 - 데이터 분석 플랫폼 구축 여정, 그 시작과 과제 - 발표자: 김석기 그룹장, 데이터비즈니스센터, 메가존클라우드 ::: AWS ...
코리안리 - 데이터 분석 플랫폼 구축 여정, 그 시작과 과제 - 발표자: 김석기 그룹장, 데이터비즈니스센터, 메가존클라우드 ::: AWS ...
 
LG 이노텍 - Amazon Redshift Serverless를 활용한 데이터 분석 플랫폼 혁신 과정 - 발표자: 유재상 선임, LG이노...
LG 이노텍 - Amazon Redshift Serverless를 활용한 데이터 분석 플랫폼 혁신 과정 - 발표자: 유재상 선임, LG이노...LG 이노텍 - Amazon Redshift Serverless를 활용한 데이터 분석 플랫폼 혁신 과정 - 발표자: 유재상 선임, LG이노...
LG 이노텍 - Amazon Redshift Serverless를 활용한 데이터 분석 플랫폼 혁신 과정 - 발표자: 유재상 선임, LG이노...
 

[E-commerce & Retail Day] GS SHOP AWS 클라우드 도입사례

  • 1. 김성석 GS SHOP AWS 클라우드 도입사례 Image 이관 및 클라우드 방향성
  • 2. TV Shopping Household viewers by channel(as of December, 2016) IPTV Satellite shows Cable TV 14.5 million households 11 million households 4.5 million households Deliver highest value to customers with 20 years of know-how in TV home shopping Customer Engagement through Live Talk, etc. Best Show Hosts, Expert Guests Approx. 30 million household viewers Vivid Product Demonstration Differentiated Brand Programs
  • 3. 2012 2013 2017 Total Mobile / Online Shopping Sales Growth Mobile / Online Shopping Provide new shopping environment with know-how in TV home shopping Introduction of products aired on TV Best product curation Reinforce commu- nication with customers through brand PGM online cafe Use big data to introduce customer-tailored products Higher PC/MC Interface
  • 4. With 20-years of knowhow for homeshopping business in Korea, Creating Korean Wave of Home Shopping in 7 Countries BUM TV Jul, 2015 Russia China Homeshopping Group Apr, 2012 China GS SHOP Aug, 1995 South Korea MNC SHOP Dec, 2012 Indonesia Vietnam VGS SHOP Nov, 2012 Homeshop18 Nov, 2009 India True select Oct, 2011 Thailand GO SHOP Feb, 2015 Malaysia
  • 5. 플랫폼 Cloud 내 Biz Player로써 브랜드에게 Total Service 제공
  • 6. GSSHOP Architecture MC/EC MSA Architecutre Opensource Based Distributed Architecure Cache hybrid Archi(public/private) -동시 3만 고객 처리/분당 3,000건 주문 처리
  • 7. Image 스토리지 전환 고민 ▪MC 비즈니스 성장에 따른 이미지의 폭발적 용량증가 -교체 당시 18TB, 4.3억개 -> 현재 22TB, 5.5억건 -오래된 사용치 않는 데이터를 어떻게 제거 할수 있을까? ▪스토리지의 용량 확보 필요 -2015년 이미지 스토리지 교체. 그러나 2년 만에 Full 도달 ▪증설, 교체, 클라우드에 대한 고민 - 증설 비용, 신규 교체 비용등에 대한 견적 시작 - 클라우드 중 비용이 저렴한 AWS S3 스토리지 발견 ▪작은 용량의 많은 파일을 올리기 위한 여러 시도 -Tool(S3 Browser) 사용, Java로 개발하여 업로드 등 여러 시도 했으나 속도, Memory hang등 여러 이슈 발생 `
  • 8. AS-WAS Image ▪이미지 스토리지 -18TB 용량 의 이미지 보관 -4.3억개 이미지(since 2003) -NAS 스토리지 A-S 구조 ▪2년내 급속한 이미지 수량/용량 증가 ▪Legacy 영향을 줄이기 위해 Image Storage에 대한 전환 검토 ▪이미지 업로드와 resize 시스템 유지
  • 9. ▪Consumer는 파일을 AWS S3로 전송 ▪Consumer 100여개 이상 생성(네트워크 모니터링) ▪초당 2 ~ 3,000건 업로드 Migration Architecture ▪Image File List 생성 (File Path, Name) ▪생성된 List MQ로 전송 ▪MQ에 업로드 대상 Queue 대기 ▪최종 Migration 7일 소요 7일간 변동분 Daily 배치로 catchup(일 40만건) ▪이미지 freezing(4Hr)후 CDN Target 전환 ▪Consumer : MQ의 Queue를 읽어서 데이터를전송하는 프로세스 1 2 3
  • 10. Image Architecture ▪S3 업로드 이벤트 발생시 SQS를 통해 Meta 정보를 Mongo DB 저장 (Data/Size/Path) ▪이미지 S3의 논리적 백업을 위해 Daily Access한 이미지를 별도 S3에 저장 (Nginx Access log 활용)SQS : Amazon simple Queue Service
  • 11. 이미지스토리지전환 효과 ▪폭발적 이미지 증가에 따른 용이한 대응 -교체 당시 18TB, 4.3억개 -> 현재 22TB, 5.5억건 -사용치 않는 과거 데이터에 대해 계속 저장해야 하는지에 대한 고민 ▪이미지 스토리지의 비용 절감 -이미지 스토리지 교체 비용, 감가 대비 50%이상 비용 절감 ` ▪안정적 시스템 운영 및 유연성 확보 -이미지 처리에 대한 IDC 트래픽 저하 -별도 최신 호출 데이터에 대한 별도 저장 (추후 스토리지 전환을 통해 기존 이미지 정리)
  • 12. GSSHOP Cloud 방향성(1/2) Project Base 이관 IDC와 클라우드 연결 클라우드에서의 확장 (IT역할, 기술변화) 클라우드 All-In (Cloud first) Game Migration이 완료된 기업 ▪Startup ▪Cloud Based 차세대 Prj.
  • 13. GS SHOP Cloud 방향성(2/2) ▪MC/EC Front 영역에 대한 하이브리드 구성 -Cloud와 IDC 간 인입제어를 통한 서비스 처리 AWS (Poc환경) MC/EC (WEB/WAS/API) MC/EC (Oracle DB) Legacy (WAS) Legacy (oracle DB) MC/EC (WEB/WAS/API) MC/EC (Oracle DB) Legacy (WAS) Legacy (oracle DB) MC/EC (WEB/WAS/API) MC/EC (Mysql DB) Legacy (WAS) Legacy (oracle DB) ▪MC/EC DataBase에대한 전환 -기술적 검토 필요 데이터 백업