워크로드에 맞는 데이터베이스 찾기 - 박주연 솔루션즈 아키텍트, AWS :: AWS Summit Seoul 2019

© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
워크로드에 맞는
데이터베이스 찾기
박주연 솔루션즈 아키텍트, AWS

1970 1980 1990 2000
Oracle DB2
SQL Server
MySQL
PostgreSQL
DynamoDB
Redis
MongoDB
Elasticsearch
Neptune
CassandraAccess
Aurora
2010
Timestream
QLDB
DocumentDB

최신 애플리케이션의 요구 사항
Users: 1 million+
Data volume: TB–PB–EB
Locality: Global
Performance: Milliseconds–microseconds
Request rate: Millions
Access: Web, mobile, IoT, devices
Scale: Up-down, Out-in
Economics: Pay for what you use
Developer access: No assembly requiredSocial mediaRide hailing Media streaming Dating

공통적인 데이터 범주 및 사례
Relational
데이터 무결성
및 트랜잭션
보장
스키마 보장
기존 워크로드
마이그레이션,
ERP 및 CRM,
금융 서비스
Key-value
높은 처리량,
최소 지연 보장
유연한 확장
실시간 입찰,
온라인 쇼핑
장바구니, SNS,
제품 카탈로그,
고객 환경 정보
Document
문서의 저장 및
해당 문서의
모든 속성에
대한 빠른 조회
컨텐츠 관리,
모바일,
개인화
In-memory
키를 기반으로
마이크로 초
이내의 응답
요구
게임 유저 랭킹,
실시간 분석,
캐싱
Graph
데이터 간
신속하고
간편한 관계
구축 및 탐색
사기 탐지,
소셜 네트워킹,
추천 엔진
Time-series
시간에 따른
데이터의
용이한 수집,
저장, 처리
IoT 애플리케이션,
이벤트 기반 추적
Ledger
애플리케이션 내
모든 데이터에
대해 완전하고
변조 불가능한
기록 관리
공급망 관리,
헬스케어,
등록 관리,
재정

각 특성에 따른 AWS 데이터베이스
Relational Document
Amazon
DynamoDB
Amazon
Neptune
Key-value In-memory Graph Time-series Ledger
Amazon RDS
Aurora CommercialCommunity
Amazon
Timestream
Amazon
QLDB
Amazon
ElastiCache
Amazon
DocumentDB

데이터베이스 운영 방안
Self Managed (On-Premise) RDBMS on Amazon EC2 Fully Managed (AWS DBs)
AWS DatabasesEC2 Instances

데이터베이스 운영 방안에 따른 관리 영역
Self Managed (On-Premise) DBs on Amazon EC2 Fully Managed (AWS DBs)
Application 최적화
확장/증설 (Scaling)
고가용성 구성 (High Availability)
백업 및 복구 (Backup)
DB Software 패치 및 업그레이드
DB Software 설치 및 구성
OS 패치 및 업그레이드
OS 설치 및 구성
서버 운영 관리
랙 및 스택 관리
전원, 공조 및 네트워크 구성 관리
사용자
Application 최적화
사용자
사용자Application 최적화

Amazon RDS에서의 데이터베이스 관리자 역할 변화
https://aws.amazon.com/blogs/database/part-1-role-of-the-dba-when-moving-to-amazon-rds-responsibilities/

Amazon Relational Database Service (RDS)
가장 많이 선호하는 데이터베이스 엔진을 갖춘 관계형 데이터베이스
관리 용이성 가용성 및 내구성 뛰어난 확장성 빠른 성능과 보안
하드웨어 준비, 소프트웨어
설치 등의 관리 작업 불필요
다중 AZ를 통한 동기식 복제,
자동화된 백업, 스냅샷,
장애 조치
몇 번의 클릭만으로도
다운타임 없이
컴퓨팅 및 스토리지 확장
SSD 스토리지 및 성능 향상된
I/O 보장,
저장 및 전송 중 암호화 지원

Amazon Aurora
클라우드를 위해 구축된 MySQL 및 PostgreSQL 호환 관계형 데이터베이스
1/10의 비용으로 상용 데이터베이스 수준의 성능 및 가용성 제공
성능 및 확장성 가용성 및 내구성 뛰어난 보안 완전 관리형
표준 MySQL보다 5배,
표준 PostgreSQL보다 3배
빠른 성능
15개의 읽기 전용 복제본으로
확장 가능
내결함성을 갖춘 자가 복구
분산 스토리지
3개의 가용영역에 걸친
6개의 복사본
S3로의 지속적인 백업
Amazon VPC를 통한
네트워크 격리
저장 및 전송 중
데이터 암호화
하드웨어 프로비저닝,
소프트웨어 패치, 설정, 구성,
백업과 같은
데이터베이스 관리 작업에
대해 걱정할 필요 없음

Amazon Aurora의 읽기 및 쓰기 성능
200,000
170,000
9,536 5,592
0
50,000
100,000
150,000
200,000
250,000
Aurora 5.7 Aurora 5.6 MySQL 5.7 MySQL 5.6
Write Throughput
705,000 705,000
290,787
257,122
0
100,000
200,000
300,000
400,000
500,000
600,000
700,000
800,000
Aurora 5.7 Aurora 5.6 MySQL 5.7 MySQL 5.6
Read Throughput
✱ r4.16xlarge 인스턴스의 250개 테이블(테이블당 20만 Rows)에 대해 Sysbench 수행한 결과

Amazon Aurora 이용 사례
https://aws.amazon.com/rds/aurora/customers/

Amazon RDS on VMWare Preview
온프레미스 VMware 환경에서 Amazon RDS 데이터베이스 배포
완전 관리형 가용성 및 내구성 뛰어난 확장성 보안 및 규정 준수
온프레미스 데이터 센터에서
관계형 데이터베이스를 쉽게
프로비저닝, 모니터링 및 운영,
AWS로 마이그레이션
온프레미스 데이터베이스를
Amazon RDS 인스턴스로의
복제로 저렴한 비용으로
하이브리드 백업, 재해 복구
요구 사항 충족
마우스 몇 번의 클릭으로
온프레미스 데이터베이스의
저장, 컴퓨팅 및 메모리 확장,
AWS로의 버스팅
보안, 개인 정보, 규정 등을
준수하기 위해 회사 내에서
유지되어야 하는 워크로드에
대한 관리 자동화

Amazon RDS on VMWare Preview
예시) 하이브리드 방식으로 클라우드로의 확장 및 백업

Amazon DynamoDB
종합적인 보안
모든 데이터 암호화
(기본 사항)
강력한 보안을 위해
AWS ID 및 액세스 관리와
완벽하게 통합
규모와 관계없이 일관된 성능
어떤 규모에서도 일관되게
수 밀리초 미만의
응답 시간 제공
거의 무제한의 처리량 필요한
애플리케이션 구축 가능
글로벌 서비스를 위한
글로벌 데이터베이스
여러 AWS 리전으로 테이블을
쉽게 복제(Global Table)하여
빠르게 액세스 가능한
글로벌 애플리케이션 구축
서버리스
서버 프로비저닝, 소프트웨어
패치 적용 및 관리 불필요,
용량에 맞게 테이블 자동
확장/축소하여 성능 유지
어떤 규모에서든 빠르고 유연한 Key-Value NoSQL 데이터베이스

CHALLENGE
Herd (eCommerce workflow-
orchestration engine) needed a scaling
the system to keep pace with rapid
growth.
SOLUTION
After migrating to DynamoDB, 90
percent drop in client workflow-
processing delays. Processing delays
decrease from 1 second to 100
milliseconds; those latency reductions
ultimately translate into Amazon
customers getting their orders faster.

CHALLENGE
Needed a solution that scales and
manage up to 8x more riders during
peak times.
SOLUTION
DynamoDB stores GPS coordinates of
all rides.
With AWS, Lyft saves on infrastructure
costs and enables massive growth of
ridesharing platform. There are now
23M people who use Lyft worldwide.

Amazon DocumentDB
빠르고 확장 가능하며 가용성이 뛰어난 MongoDB 호환 데이터베이스
완전 관리형
하드웨어 프로비저닝, 패치
작업, 설정, 구성 또는 백업
데이터베이스
관리 작업 자동화
대규모 성능
최대 15개까지의 읽기 전용
복제본 추가로
지연 시간 최소화 및
초당 수백만 건의 요청 처리
가능
MongoDB와의 호환
MongoDB 3.6과의
호환성으로
기존 MongoDB의
드라이버와 툴을
그대로 이용 가능
뛰어난 가용성
3개의 가용 영역에 걸쳐
6개의 데이터 사본 복제
S3로의 지속적인 백업 및
특정 시점으로의 복원 가능

DocumentDB의 사용 예시
Amazon DocumentDB의 유연한 문서 모델, 데이터 유형 및 인덱싱 기능을 사용하여 성능은 물론
고가용성도 보장되는 애플리케이션을 신속하게 적용하여 개발 시간 단축 가능

Amazon ElastiCache
탄탄한 보안 및
안정성
네트워크 격리,
송수신 중의 암호화,
HIPAA, PCI, FedRAMP 인증,
다중 AZ, 자동 장애조치
Redis 및 Memcached와의
호환성
오픈 소스인 Redis 및
Memcached와의
완벽한 호환
손쉬운 확장
샤딩 및 복제를 통해
읽기/쓰기의 확장성 보장
탁월한 성능
1밀리초 미만의 응답 시간의
인 메모리 데이터 스토어
및 캐시 역할
Redis 및 Memcached와 호환되는 인 메모리 데이터 스토어 및 캐시

Amazon ElastiCache 사용 예시
Amazon ElastiCache는 대규모의 실시간 지리 공간 데이터를 빠르게 관리할 수 있도록 인 메모리 데이터
구조 및 연산자를 제공하므로 주행 시간, 주행 거리, 관심 지역 정보와 같은 위치 기반 기능을 가진
애플리케이션에 적용 가능

데이터간 관계성 증가에 따른 고려
증가되는 관계 파악 중심업무 프로세스 중심

Amazon Neptune
쉬운 사용
Gremlin 및 SPARQL로
상호연결성이 높은 데이터
세트를 효율적으로 탐색하는
쿼리 손쉽게 구축
뛰어난 성능
수십억 개의 관계 쿼리
수 밀리 초의 시간 소요
오픈 그래프 API 지원
Property Graph 및
W3C의 RDF(Resource
Description Framework)
인기 그래프 모델 지원
가용성 및 안정성
3개의 가용 영역에 걸친 최대
15개의 읽기 전용 복제본
지원,
확장 및 축소 가능
빠르고 안정적인 완전관리형 그래프 데이터베이스

그래프 데이터베이스 활용 방안
부정 탐지
네트워크 / IT 운영
생명 과학
지식 그래프

시계열 데이터 예시
IoT 센서 데이터
데브옵스 데이터
Humidity
% WATER VAPOR
91.094.086.093.0
애플리케이션 이벤트
데이터

Amazon Timestream Preview
빠르고 확장 가능한 완전관리형 시계열 데이터베이스
관계형 데이터베이스
1/10 비용, 1,000배 빠르게
초당 수백만 개의 데이터를
수집할 수 있는 속도
(10M/second)
수조 건의 데일리 이벤트를
손쉽게 저장/분석
적응형 쿼리 처리 엔진은
데이터를 더 간단하고
빠르게 분석
시계열 전용 분석
시계열 분석에 필요한 함수
(interpolation,
smoothing,
approximation)
기본 탑재
서버리스
서버 프로비저닝, 소프트웨어
패치, 설정, 구성의 자동화
자동으로 확장 또는
축소되면서 용량 및 성능을
조절

Timestream의 사용 예시
기본 탑재된 분석 기능을 사용하여 IoT 애플리케이션이나 산업용 장비들이 생성하는 시계열 데이터를
빠르게 분석, 데이터가 증가해도 가능한 한 최소 비용으로 지속적이며 예측 가능한 성능을 유지

Amazon Quantum Ledger Database (QLDB) Preview
투명하고 변경 불가능
암호화 방식으로 검증 가능한
변경 불가능한
트랜잭션 로그 제공,
모든 데이터 변경 내용 추적
암호화 방식으로
검증 가능
암호화 해시 함수(SHA-256)를
사용하여 데이터 변경 내역에
대한 보안 출력 파일을 생성,
이를 통해 데이터 변경의
무결성 검증
사용 편의성
SQL과 비슷한 API에서 익숙한
SQL 연산자를 이용, 데이터
조회 및 변경 가능
뛰어난 확장성
일반적인 블록체인
프레임워크에서 원장보다
2~3배 더 많은 트랜잭션 실행
가능
완전 관리형 원장 데이터베이스
애플리케이션에서의 모든 데이터 변경 기록 추적 및 확인

OLDB의 이용 예시

여러 데이터베이스를 함께 사용한 예시
https://github.com/aws-samples/aws-bookstore-demo-app

데이터베이스를 전환하는 방안
클라우드 전환 마이그레이션 데이터 복제

AWS SCT (Schema Conversion Tool)
• 온프레미스 DW를 클라우드로
Oracle, SQL Server, Netezza, Greenplum,
Vertica, Teradata
 Amazon Redshift
클라우드 전환
Amazon
Aurora
Amazon
Redshift
• 온프레미스 DB를 클라우드로
Oracle, SQL Server, Db2 LUW
 PostgreSQL, MySQL, Amazon Aurora
MySQL
PostgreSQL

AWS DMS (Database Migration Service)
마이그레이션
• 주요 업무 애플리케이션 마이그레이션
• 온프레미스 DW를 Amazon Redshift로
마이그레이션
• 마이너 버전의 업그레이드
• Aurora로의 통합
• 오래된 데이터 보관
• NoSQL  SQL
• SQL  NoSQL
• NoSQL  NoSQL 마이그레이션
Amazon RDS
Amazon
Redshift
Amazon
Aurora
Amazon
DynamoDB
Amazon S3

온프레미스
애플리케이션 사용자
AWS
인터넷
VPN
애플리케이션 무중단 데이터 마이그레이션
 복제 인스턴스 생성
 원본 및 대상 데이터베이스 연결
 복제 대상 스키마/테이블 혹은
데이터베이스 선택
 AWS DMS를 통해 테이블
생성, 데이터 로드, 동기화
진행
 전환 결정 시 애플리케이션의
타겟 데이터베이스 변경
AWS
DMS

AWS DMS (Database Migration Service)
데이터 복제
• 교차 리전간 읽기 전용 복제본 구축
• 클라우드 환경에서의 분석 작업 실행
• 데이터 레이크로 데이터 채우기

AWS의 데이터 서비스 포트폴리오
Redshift
Data warehousing
EMR
Hadoop + Spark
Athena
Interactive analytics
Kinesis Data Analytics
Real time
Elasticsearch Service
Operational Analytics
RDS
MySQL, PostgreSQL, MariaDB,
Oracle, SQL Server
Aurora
MySQL, PostgreSQL
QuickSight Machine Learning
DynamoDB
Key value
ElastiCache
Redis, Memcached
Neptune
Graph
Timestream
Time Series
QLDB
Ledger Database
S3/Glacier
Glue
ETL & Data Catalog
Lake Formation
Data Lakes
Database Migration Service | Snowball | Snowmobile | Kinesis Data Firehose | Kinesis Data Streams
Data Movement
Analytics Databases
Business Intelligence & Machine Learning
Data Lake
RDS on VMware
DocumentDB
Document

AWS 데이터 서비스로 이전한 고객 사례
Verizon은 업무에 필수적인 1,000 개 이상의 시스템(애플리케이션+데이터베이스)를 AWS로 마이그레이션
하였으며, 그 중 일부에는 Amazon Aurora도 함께 운영되고 있습니다
Wappa는 Oracle 데이터베이스에서 Amazon Aurora로 마이그레이션하여 사용자당 보고 시간에 약
75%의 향상이 가능해졌습니다.
Trimble은 Oracle 데이터베이스를 Amazon RDS로 이전한 후, 과거 직접 인프라를 직접 관리할 때 대비 약
1/4의 비용이 지출될 것으로 예상되었습니다.
Intuit는 Microsoft SQL Server를 Amazon Redshift로 마이그레이션하여 데이터 처리 시간을 줄일 수 있어,
의사 결정권자에게 훨씬 빠르고, 보다 자주 인사이트를 제공할 수 있게 되었습니다
Equinox Fitness는 온프레미스 Teradata DW를 Amazon Redshift 마이그레이션하여, 정적 보고서에서 동적
보고서를 제공할 수 있는 Data Lake를 얻게 되었습니다.
Eventbrite는 Cloudera에서 Amazon EMR로 이전하여 스팟(80%까지 절감 가능) 및 예약 인스턴스를 이용,
상황에 따라 클러스터 사이즈를 조정하여 비용을 획기적으로 줄일 수 있었습니다.
2018년 12월, Amazon.com은 중요 업무 시스템의 97%에 달하는 Oracle 데이터베이스 중 88%에 달하는
대상을 Amazon Aurora 와 Amazon DynamoDB로 전환하기로 결정하였습니다 또한 50 PB에 달하는
Oracle DW를 AWS(Amazon S3, Amazon Redshift, Amazon EMR)로 마이그레이션 했습니다.
삼성전자는 삼성 클라우드에 이용되던 Cassandra 클러스터를 Amazon DynamoDB로 마이그레이션하여
70% 의 비용 절감을 경험하였습니다.

참고 사항
• 데이터베이스 관련 트랙
• 기술 트랙 1: AWS 신규 데이터베이스 서비스 분석 (11:10 AM ~)
• 데이터베이스 고객 사례 관련 트랙
• 기술 트랙 1: 지속적인 성능과 확장을 보장하는 마이크로 서비스 패턴 데이터베이스 구현하기 (09:00 AM ~)
• 기술 트랙 3: 갤럭시 규모의 인공지능 서비스를 위한 AWS 데이터베이스 아키텍처 (05:20 PM ~)
• 데이터 분석 관련 트랙
• 기술 트랙 1: Effective Data Lake : 고객 경험을 통한 사례 탐구 (01:00 PM ~)
• 기술 트랙 1: 효율적인 빅데이터 분석 및 처리를 위한 Glue, EMR 활용 (02:10 PM ~)
• 커뮤니티: AWS 기반 지속 가능한 데이터 분석 플랫폼 구축하기 (02:10 PM ~)
• AWS Database Blog: https://aws.amazon.com/blogs/database/

감사합니다!

워크로드에 맞는 데이터베이스 찾기 - 박주연 솔루션즈 아키텍트, AWS :: AWS Summit Seoul 2019

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Similar to 워크로드에 맞는 데이터베이스 찾기 - 박주연 솔루션즈 아키텍트, AWS :: AWS Summit Seoul 2019

Similar to 워크로드에 맞는 데이터베이스 찾기 - 박주연 솔루션즈 아키텍트, AWS :: AWS Summit Seoul 2019 (20)

More from Amazon Web Services Korea

More from Amazon Web Services Korea (20)

워크로드에 맞는 데이터베이스 찾기 - 박주연 솔루션즈 아키텍트, AWS :: AWS Summit Seoul 2019