빠르고 안전하게 간편한 AWS로 데이터 마이그레이션 하기::최유정 (AWS 솔루션즈아키텍트)

© 2018 Amazon Web Services, Inc. or its Affiliates. All rights reserved.
최유정
데이터베이스 솔루션즈 아키텍트 / Amazon Web Services
빠르고 안전하게 간편한 AWS로
데이터 마이그레이션 하기

강연 중 질문하는 방법
Go to Webinar “Questions” 창에 자신이 질문한
내역이 표시됩니다. 기본적으로 모든 질문은
공개로 답변 됩니다만 본인만 답변을 받고
싶으면 (비공개)라고 하고 질문해 주시면 됩니다.
본 컨텐츠는 고객의 편의를 위해 AWS 서비스 설명을 위해 온라인 세미나용으로 별도로 제작, 제공된 것입니다. 만약
AWS 사이트와 컨텐츠 상에서 차이나 불일치가 있을 경우, AWS 사이트(aws.amazon.com)가 우선합니다. 또한 AWS
사이트 상에서 한글 번역문과 영어 원문에 차이나 불일치가 있을 경우(번역의 지체로 인한 경우 등 포함), 영어 원문이
우선합니다.
AWS는 본 컨텐츠에 포함되거나 컨텐츠를 통하여 고객에게 제공된 일체의 정보, 콘텐츠, 자료, 제품(소프트웨어 포함) 또는 서비스를 이용함으로 인하여 발생하는
여하한 종류의 손해에 대하여 어떠한 책임도 지지 아니하며, 이는 직접 손해, 간접 손해, 부수적 손해, 징벌적 손해 및 결과적 손해를 포함하되 이에 한정되지
아니합니다.
고지 사항(Disclaimer)

본 세션의 주요 주제
q 관리형 데이터베이스 장점
- Amazon RDS
- Amazon Aurora
q 어려운 데이터베이스 마이그레이션
- 마이그레이션 이슈
q 손쉬운 마이그레이션을 위한 AWS 서비스
- AWS DMS(Database Migration Service)
- AWS SCT (Schema Conversion Tool)

© 2018 Amazon Web Services, Inc. or its Affiliates. All rights reserved.© 2018 Amazon Web Services, Inc. or its Affiliates. All rights reserved.
관리형 데이터베이스 서비스 장점

DBA들은 어디에 가장 많은 시간을 사용할까요?
Application
Optimization
Installation,
Upgrades, and
Patching
Backup and Recovery, Data
Import and Export,
Licensing, Training, Security

직접 설치
일부 자동화
완전 자동화
직접 설치 호스팅 관리형
EC2 DB Services
서버
하드웨어 구매 및 설치
OS 및 데이터베이스 설치
스토리지 배포 및 구성
데이터베이스
배포 및 구성
패치, 업그레이드, 백업,
모니터링 및 확장
데이터베이스 배포 옵션들

다시 정리해 보면
• 직접 운영—여러분이 직접 하드웨어, 운영체제, 보안, 업데이트,
백업, 복제 등을 관리. 하지만, 모든 것을 직접 컨트롤 가능.
• EC2 에 설치/운영—여러분은 데이터베이스와 관련된 업데이트,
패치, 복제, 백업 등을 관리. 하지만, 하드웨어, 운영체제 등은
AWS에서 관리.
• AWS 관리형 데이터베이스—AWS에서 하드웨어부터
데이터베이스 운영/관리까지 모두 제공. 백업, 복제 등의 기능을
서비스 형태로 제공. 패치, 업데이트 적용 등을 자동으로 제공.

AWS 관리형 데이터베이스 서비스
Compute Storage
AWS Global Infrastructure
Database
Application Services
Deployment & Administration
Networking
Amazon RDS
Amazon
DynamoDB
Amazon Redshift
Amazon
ElastiCache

관계형 데이터베이스
완전 관리형 서비스
빠르고, 예측 가능한 성능
단순하고 빠른 확장
낮은 비용 구조, 사용한만큼 지불Amazon
RDS
Amazon Aurora
§ MySQL
§ PostgreSQL
Amazon RDS(Relational Database Service) 는?

Amazon RDS 서비스 사용 목적
스키마 설계
쿼리 작성
쿼리 최적화
마이그레이션
백업 및 복구
패칭
구성
소프트웨어 업그레이드
스토리지 업그레이드
서버 업그레이드
하드웨어 관리
Focus your
team here
Let AWS
focus here

§ 데이터베이스 인스턴스 확장
ü CPU 메모리 구성에 따른 다양한
인스턴스 타입
ü 필요에 따라 스케일 업 또는
스케일 다운
§ 데이터베이스 스토리지 확장
ü 범용 / Provisioned IOPS /
마그네틱 볼륨의 다양한
스토리지 타입
ü 필요에 따라 용량 또는 성능의
확장
RDS 데이터베이스 인스턴스 확장

읽기 복제를 통한 수평 확장
§ 읽기 복제본 추가
ü 읽기 위주의 워크로드 부하 분산
ü 리포팅을 위한 워크로드 분리
§ 비동기 방식의 읽기 복제본
ü 가능한 DB옵션: MySQL, PostgreSQL, MariaDB, Aurora

RDS 백업
§ 자동 백업
ü PITR 가능
ü 기본적으로 활성화
ü 유지기간 설정 (최대 35일)
§ 수동 백업 (Manual snapshots)
ü 콘솔에서 직접 수행
ü 직접 지울 때까지 유지
ü 스냅샷은 S3에 저장됨
ü 스냅샷으로 부터 새로운 DB 인스턴스 생성 가능

§ Multi-AZ Standby 인스턴스
ü 동기 방식의 복제 제공
§ 자동 Failover 제공
ü Master 노드 실패시
ü Scale-up시
ü DB 패치시
Multi-AZ 배포를 통한 고가용성

CloudWatch를 통한 모니터링
Amazon CloudWatch의
Amazon RDS 메트릭
l CPU utilization
l Storage
l Memory
l Swap usage
l DB connections
l I/O (read and write)
l Latency (read and write)
l Throughput (read and write)
l Replica lag
l Many more
Amazon CloudWatch Alarms
l 온프레미스의 사용자 지정
모니터링 도구와 유사

Enhanced Monitoring
• 50+ 개 이상의 시스템/OS 메트릭
• 정렬된 process list 뷰 제공
• 1–60 초단위 측정값 제공
• 메트릭에 알람 설정
• CloudWatch Logs 연동
• 3rd-party 도구 연동 지원

Amazon Aurora는?
클라우드에 최적화된 관계형 데이터베이스
R 하이엔드 상용 데이터베이스의 성능 과 가용성
R 오픈소스 데이터베이스의 비용효율성 과 간단함
R MySQL, PostgreSQL와의 호환성
R Pay as you go 가격정책
관리형 서비스로 제공

Aurora is used by:
2/3 of top 100 AWS customers
8 of top 10 gaming customers
AWS 역사상 가장 빠르게 성장하는 서비스
Aurora 사용 고객

클라우드용으로 설계되지 않은 관계형 데이터베이스
§ Monolithic 아키텍처
§ 넓은 장애 영향 범위
SQL
TRANSACTIONS
CACHING
LOGGING

Amazon Aurora의
스케일 아웃 가능한 분산 아키텍처
Master Replica Replica Replica
AVAILABILITY
ZONE 1
SHARED STORAGE VOLUME
AVAILABILITY
ZONE 2
AVAILABILITY
ZONE 3
STORAGE NODES WITH SSDs
SQL
TRANSACTIONS
CACHING
SQL
TRANSACTIONS
CACHING
SQL
TRANSACTIONS
CACHING
• 데이터베이스용으로 설계된 로그
구조 기반의 분산형 스토리지 시스템
• 3개의 가용영역에 걸친 수백개
이상의 스토리지 노드로 스트라이핑
• 총 6개의 복제본 유지 (각각의 가용
영역에 2개의 복제)
• 데이터 용량이 늘어날수록 Aurora
클러스터 볼륨도 자동 확장되며,
사용한 공간에 대해서만 청구

WRITE PERFORMANCE READ PERFORMANCE
MySQL SysBench results
R3.8XL: 32 cores / 244 GB RAM
Based on industry standard benchmarks
0
25,000
50,000
75,000
100,000
125,000
150,000
0
100,000
200,000
300,000
400,000
500,000
600,000
700,000
Aurora MySQL 5.6 MySQL 5.7
RDS MySQL에 비해 5배의 성능

With user connection With number of tables
With database size - SYSBENCH With database size - TPCC
Connections
Amazon
Aurora
RDS MySQL
w/ 30K IOPS
50 40,000 10,000
500 71,000 21,000
5,000 110,000 13,000
Tables
Amazon
Aurora
MySQL
I2.8XL
local SSD
RDS MySQL
w/ 30K IOPS
(single AZ)
10 60,000 18,000 25,000
100 66,000 19,000 23,000
1,000 64,000 7,000 8,000
10,000 54,000 4,000 5,000
8x
U P T O
F A S T E R
11x
U P T O
F A S T E R
DB Size
Amazon
Aurora
RDS MySQL
w/ 30K IOPS
1GB 107,000 8,400
10GB 107,000 2,400
100GB 101,000 1,500
1TB 26,000 1,200
DB Size Amazon Aurora
RDS MySQL
w/ 30K IOPS
80GB 12,582 585
800GB 9,406 69
21
U P T O
F A S T E R
136x
U P T O
F A S T E R
Aurora 의 성능 확장성

BINLOG DATA DOUBLE-WRITELOG FRM FILES
T Y P E O F W R I T E
MYSQL WITH STANDBY
EBS 볼륨에 쓰기 수행 - EBS 는 미러에 쓰기 수행, 둘 다 종료
시 ACK
스탠바이 인스턴스에 쓰기 복제
IO FLOW
1, 3, 4 단계는 순차 및 동기
응답 속도 및 지터(Jitter) 가 증대
각 사용자 오퍼레이션을 위한 다양한 쓰기 작업들은 두 번
쓰기
OBSERVATIONS
780K 트랜잭션
1백만 TX 당 7,388K I/Os (미러 및 스탠바이 제외)
TX 당 평균 7.4 I/Os
PERFORMANCE
30분 SysBench 쓰기-전용 워크로드, 100 GB 데이터 셋, RDS SingleAZ, 30K PIOPS
EBS 미러EBS 미러
AZ 1 AZ 2
Amazon S3
EBS
Amazon Elastic
Block Store (EBS)
프라이머리
인스턴스
스탠바이
인스턴스
1
2
3
4
5
RDS MySQL I/O 트래픽

AZ 1 AZ 3
프라이머리
인스턴스
Amazon S3
AZ 2
복제
인스턴스
AMAZON AURORA
비동기
4/6 쿼럼
분산 쓰기
BINLOG DATA DOUBLE-WRITELOG FRM FILES
T Y P E O F W R I T E
30분 SysBench 쓰기-전용 워크로드, 100 GB 데이터 셋
IO FLOW
오직 Redo 로그 레코드만 쓰기, 모든 단계는 비동기화
데이터 블록 쓰기 없음 (체크포인트, 캐시 대체 등)
6X 로그 쓰기 향상, 9X 네트워크 트래픽 감소
네트워크 및 스토리지 응답속도 증가에 내구성
OBSERVATIONS
27,378K 트랜잭션 35X 향상
1백만 TX 당 950K I/Os (6X amplification) 7.7X 감소
PERFORMANCE
Redo 로그 레코드 전송 – LSN(Log Sequence Number)에
의해 전체 순서화
독립적인 캐시 프로세스에 업데이트
스토리지 노드에 전송 후 쓰기 수행
Aurora I/O 트래픽

데이터베이스 워크로드 모니터링
AWS 관리 콘솔에서
간단히 모니터링
§ Database load
: 데이터베이스 병목 구간을
쉽게 확인
§ 병목 원인 확인
: Top SQL
§ 모니터링 구간 조정
: 시간, 일, 주 및 그 이상
Max CPU
Performance Insights

어려운 데이터베이스 마이그레이션

AWS로 DB를 옮기고 싶은데…..
§ 애플리케이션 다운타임이 길면 안돼요.
§ 다운타임을 최소화하기위한 솔루션이 너무 비싸요.
§ DB 마이그레이션은 너무 복잡하고 비용이 많이 들어요.
§ 온프레미스에 여전히 데이터 복제본이 있어야 해요.
§ 오픈소스 데이터베이스로 옮기고 싶어요.
§ 단시간 내 대용량 데이터를 옮기려면 비싼 네트워크 대역폭을
확보해야 해요.
§ 조직내 마이그레이션을 잘 할 수 있는 역량이 부족해요.

AWS로 DB 마이그레이션의 일반적인 과정
1. AWS 계정 생성
2. Region, AZ 선택 후 Virtual Private Cloud (VPC) 생성
3. VPN 또는 Direct Connect를 통한 AWS 접속
4. 기존 DB 종료 후 백업
5. 기존 DB 백업 데이터를 S3로 전송
6. EC2 인스턴스에 새로운 DB 설치 및 설정
7. 새로운 EC2 DB 인스턴스에 백업 데이터 복구
8. 어플리케이션을 위한 EC2 인스턴스 설정
9. 접속을 기존 Database에서 AWS의 데이터베이스로 전환

AWS로 DB 마이그레이션의 일반적인 과정
1. AWS 계정 생성
2. Region, AZ 선택 후 Virtual Private Cloud (VPC) 생성
3. VPN 또는 Direct Connect를 통한 AWS 접속
4. 기존 DB 종료 후 백업
5. 기존 DB 백업 데이터를 S3로 전송
6. EC2 인스턴스에 새로운 DB 설치 및 설정
7. 새로운 EC2 DB 인스턴스에 백업 데이터 복구
8. 어플리케이션을 위한 EC2 인스턴스 설정
9. 접속을 기존 Database에서 AWS의 데이터베이스로 전환
스텝 4-9번은
수일 또는 그 이상이
소요됨!

손쉬운 마이그레이션을 위한 AWS 서비스

AWS Database Migration Service
AWS 로 데이터베이스
마이그레이션

DMS 와 SCT?
AWS Database Migration Service (DMS) 는 데이터베이스나
데이터 웨어하우스를 AWS로 빠르고 안전하게 마이그레이션
또는 복제를 도와주는 서비스 입니다.
AWS Schema Conversion Tool (SCT) 는 데이터베이스 및
데이터웨어 하우스의 스키마를 오픈소스 엔진 또는 AWS에서
제공하는 서비스로 (Aurora and Amazon Redshift) 변환을
도와드립니다.

DB 마이그레이션: AWS Database Migration
Service
• 10분 혹은 더 적은 시간안에 첫번째 마이그레이션 시작
• 마이그레이션 중에도 어플리케이션은 수행 유지
• Amazon EC2/RDS로 부터 혹은 EC2/RDS로 복제
• 동일한 혹은 서로 다른 데이터베이스 엔진간 데이터 이동
AWS Database
Migration Service
(DMS)
DMS는 최소한의 중단 시간으로 쉽고 안전하게 AWS로
데이터베이스를 마이그레이션. 널리 사용되는 상용 및 오픈
소스 데이타베이스간 데이터를 마이그레이션
Amazon
Redshift

SCT를 이용한 스키마 변환
OLAP 용 데이터웨어 하우스
데이터베이스를 Amazon
Redshift로 마이그레이션 Amazon Redshift
OLTP 용 데이터베이스
마이그레이션
Amazon Aurora
Amazon RDS

SCT를 이용한 테이블, 뷰, 코드의 변환 지원
시퀀스
사용자 정의 타입
패키지
스토어드 프로시저
함수
트리거
스키마
테이블
인덱스
뷰
소트, 분산 키

대상
Amazon
DynamoDB
Amazon Redshift
Amazon S3
원본
동종 혹은 이종간
Amazon Aurora
Amazon Aurora
Amazon S3
DMS를 이용한 마이그레이션 및 복제

마이그레이션 프로세스

고객 온-
프레미스
어플리케이션 사용자
AWS
인터넷
VPN
마이그레이션 중 어플리케이션 실행 유지
복제 인스턴스 시작
원본 및 대상 데이터베이스 접속
테이블, 스키마, 데이터베이스 선택
AWS DMS 가 테이블 생성, 데이터
로드 및 변경 사항 적용
적절한 시점에 대상 데이터베이스로
전환
AWS
Database Migration
Service

Customer
premises
or AWS
AWS
Internet
VPN
AWS DMS
AWS DMS
고가용성을 위한 Multi-AZ 구성

AWS DMS : NoSQL 지원
AWS로의 마이그레이션
• MongoDB에서 Amazon DynamoDB로 이동
• MongoDB에서 관계형 DB로 이동
NoSQL과 SQL간 이동
• 테크놀로지 변경
Amazon Aurora
DynamoDB
DynamoDB
RDS

AWS DMS: S3 지원
S3 Bucket
S3 Bucket
Amazon Aurora
Amazon Aurora
DynamoDB
S3를 Source와 Target으로

현대화 마이그레이션 복제
• 리젼간 읽기 복제본 생성
• 클라우드에서 분석 실행
• 실행 개발/ 테스트 및 프로덕션을
동기화 상태 유지
• 이전 데이터베이스 엔진에서
데이터 추출 및 변환
• 어플리케이션 코드 업데이트
• 비지니스 어플리케이션을
Amazon RDS로 마이그레이션
• 데이터 웨어하우스를 Amazon
Redshift로 마이그레이션
• 데이터베이스 업그레이드 통합
및 보관
데이터베이스 마이그레이션 사용 사례

AWS 교육 및 자격증 : aws.amazon.com/ko/training
더 나은 세미나를 위해
여러분의 의견을 남겨 주세요!
질문에 대한 답변 드립니다.
발표자료/녹화영상 제공합니다.
http://bit.ly/awskr-webinar

빠르고 안전하게 간편한 AWS로 데이터 마이그레이션 하기::최유정 (AWS 솔루션즈아키텍트)

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Similar to 빠르고 안전하게 간편한 AWS로 데이터 마이그레이션 하기::최유정 (AWS 솔루션즈아키텍트)

Similar to 빠르고 안전하게 간편한 AWS로 데이터 마이그레이션 하기::최유정 (AWS 솔루션즈아키텍트) (20)

More from Amazon Web Services Korea

More from Amazon Web Services Korea (20)

빠르고 안전하게 간편한 AWS로 데이터 마이그레이션 하기::최유정 (AWS 솔루션즈아키텍트)