고객사 A는 하루 30억 트랜잭션과 연 750TB의 데이터베이스를 온프레미스 환경에서 상용 데이터베이스를 이용하여 운영 중입니다. 또한 매일 대용량의 배치가 발생하고 실시간으로 대량의 조회가 발생하는 미션 크리티컬 시스템입니다. 고객사 A와 함께 클라우드 환경에서 동일한 워크로드의 수행이 가능한지 여부를 검증하는 Feasiblity Pilot 프로젝트를 진행하였고 여기서의 레슨런을 공유합니다. 마이그레이션 도중 고객 IT팀은 On-premise 운영 모델에서 클라우드 운영 모델로 전환되어야 합니다. 전환 도중에 ITIL을 클라우드, 애자일, DevOps 기반 역량과 프로세스에 매핑해야 합니다. 해당 세션에서는 클라우드 운영 모델로 원활한 전환을 도와주는 CEE (Cloud Enablement Engine)의 작동 원리 및 적용 방식을 살펴보고자 합니다.

1. 대용량 데이터베이스의 클라우드 네이티브 DB로 전환 시 확인해야 하는 체크 포인트
© 2022, Amazon Web Services, Inc. or its affiliates.
© 2022, Amazon Web Services, Inc. or its affiliates.
대용량 데이터베이스의
클라우드 네이티브 DB로 전환 시
확인해야 하는 체크 포인트
김지훈
Database Specialist Solutions Architect
AWS

2. 대용량 데이터베이스의 클라우드 네이티브 DB로 전환 시 확인해야 하는 체크 포인트
© 2022, Amazon Web Services, Inc. or its affiliates.
Agenda
• 대용량 대규모 서비스의 클라우드 여정의 시작
• 진행 과정
• 파일럿 프로젝트 결과
• 결론

3. 대용량 데이터베이스의 클라우드 네이티브 DB로 전환 시 확인해야 하는 체크 포인트
© 2022, Amazon Web Services, Inc. or its affiliates.
1st Call
3
Oracle 11g
1년 저장
750TB
일 30억
Insert
클라우드
네이티브 DB
마이그레이션

4. 대용량 데이터베이스의 클라우드 네이티브 DB로 전환 시 확인해야 하는 체크 포인트
© 2022, Amazon Web Services, Inc. or its affiliates.
1st 제안 솔루션
4
Performance at scale
• Handles millions of requests per
second
• Delivers single-digit-millisecond
latency
• Automated global replication
• New advanced streaming with
Amazon Kinesis Data Streams
for DynamoDB
Enterprise ready
• ACID transactions
• Encryption at rest
• Continuous backups (PITR), and
on-demand backup and restore
• NoSQL Workbench
• Export table data to S3
• PartiQL (a SQL-compatible query
language) support
No servers to manage
• Maintenance free
• Auto scaling
• On-demand capacity mode
• Change data capture for
integration with AWS Lambda,
Amazon Redshift, Amazon
Elasticsearch Service
“DynamoDB”

5. 대용량 데이터베이스의 클라우드 네이티브 DB로 전환 시 확인해야 하는 체크 포인트
© 2022, Amazon Web Services, Inc. or its affiliates. 5
IS THAT ALL?

6. 대용량 데이터베이스의 클라우드 네이티브 DB로 전환 시 확인해야 하는 체크 포인트
© 2022, Amazon Web Services, Inc. or its affiliates.
정확한 고객 워크로드의 이해가 필요
• On-premise 환경에서 운영중인 서비스를 클라우드 환경으로
옮기고 싶으나 무엇을 어찌 해야할지 모르는 경우
• 특히 DB의 경우 마이그레이션 7R 중 어떤 것을 선택하는 것이
좋은지, 어떤 DB를 선택하는 것이 좋은지 알지 못함
• MSA를 적용하고 싶으나 어떤 DB 서비스가 최적인지 알지 못함
6
목적 지향 데이터베이스 워크샵 제안

7. 대용량 데이터베이스의 클라우드 네이티브 DB로 전환 시 확인해야 하는 체크 포인트
© 2022, Amazon Web Services, Inc. or its affiliates.
목적 지향 데이터베이스 워크샵 개요
7
• 목적 지향 데이터베이스
워크샵 소개
• AWS DB Service 소개
Introduction
• AWS DB Service 교육
• Amazon Aurora
• Amazon DynamoDB
• Amazon DMS
Enablement
• Interactive Workshop
• 고객 주도 워크로드
상세 설명
• Q&A
Dive Deep

8. 대용량 데이터베이스의 클라우드 네이티브 DB로 전환 시 확인해야 하는 체크 포인트
© 2022, Amazon Web Services, Inc. or its affiliates.
To-Be 아키텍처가 확정되지 않을수록 성공률이 높음!!
8
클라우드 사용 고객 & 클라우드에 신규 서비스 준비중
클라우드 경험 없음 & 클라우드에 신규 서비스 준비중
온프렘 서비스를 클라우드로 옮기면서 MSA 도입 준비중
온프렘 서비스를 클라우드로 옮기면서 MSA 도입 진행중
클라우드에서 서비스 운영중이나 불만이 있음
온프렘 서비스를 빨리 클라우드로 옮겨야 하는 경우
대상 고객
DMA*
DCAD**
* DMA : Database Migration Accelerator ** DCAD : Database Clinic in A Day

9. 대용량 데이터베이스의 클라우드 네이티브 DB로 전환 시 확인해야 하는 체크 포인트
© 2022, Amazon Web Services, Inc. or its affiliates.
드러난 실체
9
AS-IS
• Oracle 11g RAC
• 중복 데이터 체크 로직
• 일 배치 (전일 데이터를 월
테이블로 이동)
• 월 배치 (데이터 슬림화)
• 데이터 재처리 위한 DML
• 6개월, 12개월 히스토리 조회
• 키 컬럼에 대한 역추적성 조회
• 다양한 패턴의 조회성 OLTP
워크로드
Pros
Cons
요구 기능
지원 여부
Amazon DynamoDB
• 대용량 트래픽 처리 가능
• 읽기 8만/초, 쓰기 8만/초
• 용량 제한 없음
• SQL 기반 App 구현 방식을 API
기반으로 전면 수정 필요
• 배치 업무에 적합하지 않음
• 파티션 키 조정 필요
• 파티션 키 + 소트 키 구조
• LSI 5개, GSI 20개 지원
• TTL 설정 가능
Amazon Aurora
• App 변경 사항 최소
• 표준 ANSI SQL 변환
• 최대 용량 128TB로 샤딩 필요
• 샤딩에 따르는 로직 추가 필요
• AWS Native Sharding 서비스
부재

10. 대용량 데이터베이스의 클라우드 네이티브 DB로 전환 시 확인해야 하는 체크 포인트
© 2022, Amazon Web Services, Inc. or its affiliates.
제안 아키텍처 - 개요
• 데이터 중복 처리
▪ Amazon DynamoDB의 Primary Key 설정을 통해 일 30억 입력 중 중복 데이터 필터링
10
• 750TB 저장
▪ Amazon Aurora 단일 클러스터 최대 용량은 128TB
▪ 10개의 클러스터를 생성하고, Apache ShardingSphere를 통해 데이터를 분산 저장
▪ 분산 키는 ‘사용자 고유 식별 번호’ 사용
• 각종 DML 및 조회성 업무 처리
▪ 빈번하고 때로는 대량으로 발생되는 Update/Delete에 대해 유연한 대처 가능
▪ 각종 조회성 업무 처리 시, 여러 테이블과 조인 처리에 유리
• 일 배치 작업
▪ 각각의 BP (Biz Process) 단계를 거칠 때 파일을 사용
▪ 최종 BP를 거친 파일을 S3로 업로드
▪ S3에 업로드 시 Put Event가 트리거되고 AWS Lambda가 일 배치 테이블로 해당 데이터를 로딩
▪ 이를 통해 일 배치 작업을 실행하지 않아도 되고 IO 비용을 절감

11. 대용량 데이터베이스의 클라우드 네이티브 DB로 전환 시 확인해야 하는 체크 포인트
© 2022, Amazon Web Services, Inc. or its affiliates.
제안 아키텍처 - 데이터베이스
• 데이터 샤딩
▪ Amazon Aurora는 클러스터 당 최대 용량은 128TB 로 750TB를 하나에 저장 불가
▪ BP #3에서 Amazon Aurora로 저장 시 ShardingSphere를 통해 unique한 “유저 고유 식별
번호”로 분기하여 10개의 Amazon Aurora 클러스터에 저장
▪ 유저 고유 식별 번호 분기 이유는 조회 요건이 유저 고유 식별 번호 기준
▪ 샤드가 10개인 이유는 동일하게 분배 시 75TB만 필요하나 특정 샤드로 데이터가
치우치더라도 충분한 여유 공간의 확보를 위함
• Primary Group
• BP #3에서 발생하는 데이터 저장 부하의 처리 그룹
• 온라인 데이터 저장 및 각종 배치 작업의 처리
• Read Replica Group
• 각 Amazon Aurora Primary 샤드 인스턴스의 가용성 확보 및 조회 부하 분산을 위한 그룹
• 각종 실시간 및 최대 6개월 또는 12개월 이력 조회 업무 처리
• 배치 작업
▪ 실시간 데이터 입력 테이블은 20개 HASH 파티션으로 구성
▪ 배치 시 각 파티션 별 INSERT .. SELECT 처리
▪ 참고 : Aurora 3.x 부터는 파티션 테이블에 대해 병렬 쿼리 지원
• 비용 절감
▪ 그라비톤 인스턴스 사용을 통한 대규모 인스턴스 사용 비용 최소화
11
BP #3
6개월 데이터
조회 App
12개월 데이터
조회 App
실시간 데이터 조회

12. 대용량 데이터베이스의 클라우드 네이티브 DB로 전환 시 확인해야 하는 체크 포인트
© 2022, Amazon Web Services, Inc. or its affiliates.
제안 아키텍처 검증 및 진행 사항
구분 검증 항목
데이터 저장
• 일 30억 건 기준 실시간 INSERT 성능
• 고객 자체 개발 데이터 발생 툴
데이터 조회
• 실시간 데이터 조회, 6개월 이력 조회, 12개월 이력
조회, 응답 시간
• Jmeter or nGrinder를 통한 부하 생성
데이터 UPDATE
• 데이터 재처리를 위한 DML (DELETE, UPDATE,
INSERT) 검증
• Jmeter or nGrinder를 통한 부하 생성
안정성
• 제안 아키텍처의 확장성, 가용성 및 안정성 검증
• 부하 발생 상황에서 검증
12
1 Day 고객 워크로드 Dive Deep 워크샵
1 Day Amazon Aurora MySQL Immersion Day
1 Week 제안 아키텍처 작성 및 설명회
2 Weeks Pilot 환경 구성 및 초기 데이터 로딩
1 Week 제안 아키텍처 검증
1 Week 결과 보고서 작성
진행 상황
결과
OK
OK*
OK
OK
* ShardingSphere가 UNION ALL 등 일부 구문 미지원

13. 대용량 데이터베이스의 클라우드 네이티브 DB로 전환 시 확인해야 하는 체크 포인트
© 2022, Amazon Web Services, Inc. or its affiliates.
DB는 DB 전문가에게
13
목적 지향
DB 워크샵
DMA
DCAD
• To-Be 아키텍처 미확정일수록 효과적
• 고객 주도 워크로드 소개 세션이 중요
• MSA 적용에 최적화
• 이기종 DB 전환 시 적용
• DB, App, 구성환경 등 종합적 분석
• AWS에서 운영중인 DB의 고도화 목적
• 현재 운영 상태 파악 후 최적화 방안
제시

14. © 2022, Amazon Web Services, Inc. or its affiliates.
여러분의 소중한
피드백을 기다립니다.
행사 종료 후 설문조사에
참여해 주십시오.
© 2022, Amazon Web Services, Inc. or its affiliates. 14

15. 대용량 데이터베이스의 클라우드 네이티브 DB로 전환 시 확인해야 하는 체크 포인트
© 2022, Amazon Web Services, Inc. or its affiliates.
Thank you!
© 2022, Amazon Web Services, Inc. or its affiliates. 15