AWS Summit Seoul 2023 | 잘나가는 애플리케이션 성능? 알맞은 스토리지로부터!

© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved.
S E O U L | M A Y 4 , 2 0 2 3

잘 나가는 애플리케이션 성능?
알맞은 스토리지로부터!
김익수
솔루션즈 아키텍트
AWS
명기현
솔루션즈 아키텍트
AWS

• 애플리케이션 워크로드 별 스토리지 최적화 전략
– 디스크 성능 최적화를 위한 Amazon EC2 인스턴스 사용 전략
– Amazon S3 데이터 레이크 성능 최적화
– 워크로드에 맞는 파일 스토리지 서비스 선택
Agenda

2022년에
전 세계적으로
생성되고 복제된
데이터
Source: Worldwide IDC Global DataSphere Forecast, 2022–2026:Enterprise Organizations Driving Most of
the Data Growth, Doc. #US49018922
폭발적으로 증가하는 데이터 그리고 요구되는 성능

워크로드별 최적화된 AWS 스토리지 서비스
워크로드
BLOCK
AM AZON
E BS
OBJECT
AM AZON S 3
ANALYTICS
MACHINE
LE ARNING
VIS U ALIZATIO N
FILE
AMAZON FS X
FAMILY
AMAZON
E FS
AMAZON FILE
CACHE
S TRE AMING
데이터 스토리지

디스크 성능 최적화를 위한
Amazon EC2 인스턴스와 Nitro SSD 사용 전략

Amazon EC2 C, M, R 인스턴스와
스토리지 최적화 인스턴스
575
거의 모든 워크로드 및 비즈니스 요구 사항에 적합
C, M, R instances C, M, R disk instances Storage Optimized
Instance

Amazon EC2 스토리지 최적화 인스턴스
높 은 IO P S 또 는 처 리 량 에 최 적 화 된 하 드 웨 어 및 암 호 화 지 원 로 컬 인 스 턴 스 스 토 리 지 제 공
고성능 로컬 NVMe SSD
SQL/NoSQL databases, OLTP
검색엔진, 데이터분석
고밀도 로컬 HDD
Map Reduce와 Hadoop 분산 컴퓨팅,
파일시스템, 대규모 데이터 레이크
I Instances D Instances

스토리지 최적화 인스턴스 포트폴리오
I4i 스토리지 TB 용량당 높은 성능 및 최고의 컴퓨팅 성능 (서울 리전)
Im4gn
Is4gen Amazon EC2에서 가장 저렴한 SSD TB당 스토리지 가격, 가장 높은 밀도의 SSD/vCPU
최고의 가격 대비 성능 및 I3 인스턴스 대비 최대 44% 낮은 TB 비용
I3en Amazon EC2에서 가장 높은 인스턴스 NVMe 스토리지 용량
✓ AWS는 고객의 요구 사항을 충족하는 최고의 스토리지 포트폴리오 보유
✓ 가격 대비 성능을 최적화하는 데 도움이 되는 폭 넓은 선택 제공
✓ AWS는 Nitro 시스템과 Nitro SSD로 지속적인 혁신을 진행

워크로드 최적화를 위한 AWS의 혁신
AWS Nitro SSD
Annapurna Labs와 함께한 6년 이상의 혁신
AWS Nitro System
Nitro Hypervisor
Nitro Security Chip
Nitro Cards
AWS Graviton
AWS Inferentia
AWS Trainium
Processors and accelerators

AWS Nitro SSD
AWS에서 맞춤형으로 설계한 고성능, 저지연 SSD
향상된 신뢰성
인스턴스에 대한 다운타임
없이 안정성을 개선하기
위한 더 빠른 펌웨어
업데이트
Nitro 보안
디스크에 저장된 모든
데이터는 AES-256 임시
키로 저장과 동시 암호화
더 낮은 지연시간
AWS Nitro 시스템과
긴밀하게 이식되어 60% 더
낮은 I/O 지연 시간 제공

Torn Write Prevention를 이용한 MySQL, MariaDB 쓰기 성능 향상
• MySQL 또는 MariaDB와
같은 데이터베이스를
사용할 경우 이중쓰기
버퍼를 비활성화 할 수
있음
• 내구성에 영향도 없이
최대 30%의 쓰기 성능
향상
• 향상된 데이터베이스
성능으로 비즈니스 성장에
맞춰 클러스터를
오버프로비저닝하거나
확장할 필요가 없으므로
TCO가 절감
• I4i 스토리지 최적화
인스턴스에 탑재
• Nitro 기반 인스턴스와
함께 Amazon EBS에서
사용 가능
데이터베이스 성능 가격
AWS Nitro SSD
Nitro SSD Torn Write Prevention 소개

TWP를 이용한 Amazon RDS 쓰기 최적화
Amazon RDS for MySQL에 대한 예시
W I T H O P T I M I Z E D W R I T E S
W I T H O U T O P T I M I Z E D W R I T E S
In memory
structure
On Storage
structure
On Storage
structure
D O U B L E
W R I T E B U F FE R
T A B L E S P A C E
( . I B D )
16KiB Pages with
4 KiB atomicity
Apps
Write 1
Writes to buffer
Write 2
Writes to storage
In memory
structure
On Storage
structure
T A B L E S P A C E
( . I B D )
Apps
Write 1
Writes to storage
Buffer Pool Buffer Pool
16 KiB Pages with
16 KiB atomicity

워크로드에 적합한 인스턴스 선택하기
벤치마킹 / 성능 메모리, 디스크,
CPU 비율
인스턴스 타입 및
클러스터 크기

Amazon S3 데이터 레이크 성능 향상하기

데이터 레이크를 위한 최상의 선택 Amazon S3
AmazonS3
탁월한 보안, 규정
준수 및 감사 기능
수 십만 개의
데이터 레이크
S3 인텔리전트 티어링으로
10억 달러 이상 절감
280조 개
이상의 객체
GB/월 당 0.1 센트
정도로 저렴
가장 광범위한 분석 및
ML 기능과 통합

스토리지 스케일링 : 워크로드 통합

수만 명의 고객이
백만 개 이상의 드라이브에 분산된
S3 버킷을 보유

Amazon S3 – 대규모 수평 확장 스토리지
객체에 대한
단순한 GET/PUT
인터페이스 제공
다수의 엔드포인트로
분산된 서비스
조 단위 오브젝트 수
초당 수백 만 회 요청

다중 엔드포인트를 활용한 병렬 처리

단일 작업의 병렬 처리
• multipart uploads
• byte-range GETs
Latency
Request size

Prefix 단위 병렬화
3,500
PUT/COPY/POST/DELETE
5,500
GET/HEAD
Prefix 당 API 호출

“급증”하는 워크로드를 위한 Prefix 설계
/daily-uploads/<date>/<car>/drive-data
/daily-uploads/ 20230504 /CAR01/drive-data

3,500
4,000
TPS
3,000
2,500
2,000
1,500
1,000
500
0
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19
Time
CAR01 CAR02 CAR03 CAR04 CAR05
총 3,500 PUTs/sec
정체
Prefix 스케링일링이 되면서
TPS 증가

Entropy를 prefix 앞에 배치
/daily-uploads/**/<date>/<car>/drive-data
/daily-uploads/ac/ 20230504 /CAR01/drive-data
/daily-uploads/1f/ 20230504 /CAR02/drive-data
/daily-uploads/9d/ 20230504 /CAR03/drive-data
/daily-uploads/cd/ 20230504 /CAR04/drive-data
/daily-uploads/01/ 20230504 /CAR05/drive-data

성능과 병렬화
• Amazon S3는 광범위한 수평적 확장을 지원
• 다중 엔드포인트를 활용한 병렬화
• 단일 작업의 병렬화
▪ Multipart uploads
▪ Byte Range Fetches
• Prefix 디자인을 통한 Throughput 최적화

워크로드에 적합한
AWS 파일 스토리지 선택

파일 워크로드의 다양한 스펙트럼
인프라 관리자
애플리케이션 운영
개발자
데이터 과학자
기업 IT 환경 유저 간 공유
소프트웨어
빌드 환경
웹 서빙 및
컨텐츠 관리
LoB
애플리케이션
백업과 재해복구
머신러닝
SaaS
애플리케이션
데브옵스 플랫폼
데이터
과학/분석

클라우드에서의 파일 워크로드 패턴
확장성을 갖춘
NAS (Network-attached
Storage)
Amazon EFS
연산 집약적 워크로드의
무제한 성능 확장
Amazon FSx
for OpenZFS
Amazon FSx
for Lustre
Amazon File
Cache
컨테이너, 서버리스 기반
모던 애플리케이션
Amazon FSx
for NetApp
ONTAP
Amazon FSx
for Windows
File Server

컨테이너, 서버리스 기반 모던 애플리케이션
Alerts topic
Amazon EFS
서버리스, 탄력적 파일 시스템
작은 서비스 기능들의 느슨한 연결

컨테이너와 함께 확장성 있는 아키텍처 구축
Application
Load Balancer
Amazon
EFS
Amazon
Aurora
Serverless
Amazon
ECS/EKS
(Fargate)
컨테이너 간 공유 스토리지
애플리케이션 데이터베이스
…

AWS Lambda와 Amazon EFS의 통합
Availability Zone Availability Zone
AWS Lambda
Mount target
Mount target
탄력적, 공유, 서버리스 스토리지
Lambda 함수에서 페타바이트 단위 데이터 접근
Stateful 애플리케이션 구축
낮은 지연시간
수 천개 이상의 함수에서 데이터 공유
Amazon EFS

AWS Lambda에 Amazon EFS 연결하기
EFS 액세스 포인트 생성
Amazon EFS 콘솔

EFS 액세스 포인트 생성
액세스 포인트 단위
접근 제어
Amazon EFS 콘솔

AWS Lambda 콘솔
파일시스템 추가

AWS Lambda 콘솔
EFS 액세스 포인트 추가

EFS의 지속적 성능 향상
테스트 시간 변화
Untar Linux
kernel
20%
감소
Wordpress
“Hello World”
40%
감소
워크로드
2022년 1월 vs 2023년 1월
읽기 지연시간
자주 접근되는 데이터
(Amazon EFS One Zone)
쓰기 지연시간
메타데이터, ~64KB 파일
(Amazon EFS One Zone)
1.0
2.8
0.25
1.6
2022년 1월
2023년 1월

Elastic Throughput
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30
Throughput
Time
성능 계획 없이, 필요한 만큼의 처리량을 탄력적으로 제공
ProvisionedThroughput
Elastic Throughput
Provisioned Throughput
일관적 워크로드를 대상으로,
예측 처리량을 지정 할당
Average-to-peak > 5%
Elastic Throughput
트래픽 예측이 어렵거나
변동이 심한 워크로드
Average-to-peak < 5%
Actual activity

클라우드에서 NAS를 운영하는 손쉬운 방법
기존 NAS 워크로드와 동일한 기능과 API,
더 우수한 확장성을 갖춘 스토리지로 이관
NetApp ONTAP Windows 파일 서버 ZFS 또는 Linux 기반 파일 서버
Amazon FSx
for NetApp ONTAP
Amazon FSx
for Windows File Server
Amazon FSx
for OpenZFS

Amazon FSx for OpenZFS (서울 리전)
자체 관리형 NFS를
Drop-in으로 대체
OpenZFS의 고급 기능을
쉽고 간편하게 활용
지연시간에 민감하고,
높은 IOPS가 필요

Amazon FSx for OpenZFS 성능 활용 Tip
파일 서버
인메모리 캐시
네트워크 I/O
Volume
디스크 I/O
Volume
Volume
클라이언트
NFS nconnect로
다중 TCP 채널 활용
인스턴스 유형 별
리소스 점검
<성능 모드>
자동 할당 (3 IOPS/GB)
vs. 유저 수동 할당
NFS export
async / sync

파일 스토리지의 성능 비교
지연시간 <1 ms <0.5 ms <1 ms <1 ms <1 ms – 10 ms
파일시스템 단위
최대 처리량
4-6 GB/s* 8-21 GB/s* 2-3 GB/s* 1000 GB/s 10+ GB/s
클라이언트 단위
최대 처리량
6 GB/s 21 GB/s 3 GB/s 37.5 GB/s 512 MB/s
파일시스템 단위
최대 IOPS
수십 만 1-2백 만 수십 만 수백 만 수십 만
최대 파일시스템
크기
거의 무제한
(100s of PBs)
512 TiB 64 TiB 수 PB 거의 무제한
Amazon FSx for
NetApp ONTAP
Amzon FSx for
OpenZFS
Amazon FSx for
Windows
Amazon FSx for
Lustre
Amazon EFS
자세한 성능 데이터는 다음 페이지를 확인하세요
https://aws.amazon.com/fsx/when-to-choose-fsx/

연산 집약적 워크로드를 위한 스토리지
Lustre Amazon File Cache
Simple
워크플로 변경 없이
스토리지 통합
Cost effective
스토리지 비용
최소화
Fast
워크로드 가속화
Storage options
비용-성능 최적화
Seamless
Amazon S3에
File API로 접근
Accelerate
대규모 성능 확장

클라우드 버스팅 환경의 어려움
AWS
연산 자원
온프레미스
연산 자원
스토리지
낮은 대역폭
높은 지연시간

AWS
연산 자원
온프레미스
연산 자원
스토리지
연산작업을 위한 비효율적 데이터 복사
스토리지
데이터 대량 복사
높은 대역폭
낮은 지연시간

AWS
연산 자원
온프레미스
연산 자원
스토리지
Amazon File Cache
높은 대역폭
낮은 지연시간
Amazon
File Cache
워크로드에 따라
데이터 전송

File Cache의 성능 확장
캐시 스토리지 용량 처리량 IOPS 지연시간
10 TiB 10 GB/s 수 만 밀리 초 미만
50 TiB 50 GB/s 수십 만 밀리 초 미만
100 TiB 100 GB/s 백 만 이상 밀리 초 미만
A
B
C
0
20
40
60
80
100
120
0 20 40 60 80 100 120
처리량
(GB/s)
스토리지 용량 (TiB)
A
B
C

워크플로 변화 없이, 클라우드 버스팅
데이터센터2
NFS2:/d.txt
NFS2:/e/f.txt
…
데이터센터1
NFS1:/a.txt
NFS1:/b/c.txt
…
NFS filer 2
NFS filer 1
Amazon File
Cache
NFS1:/a.txt
NFS2:/e/f.txt
AWS 리전
File Open a.txt
File Open f.txt
Amazon EC2
워크로드를 수행하지 않을 때에는
자원 사용을 중단해서 비용 절감

Key Messages
워크로드에 최적화 된 AWS 스토리지 유형 선택
1. 고성능 블록 스토리지에 최적화 된 인스턴스 사용
2. Amazon S3의 성능 확장성을 위한 병렬 처리 및 Prefix 활용
3. 워크로드 유형 별 AWS 파일 스토리지
- 고성능을 위한 Amazon EFS / FSx for OpenZFS / File Cache 활용

AWS Summit Seoul 2023 | 잘나가는 애플리케이션 성능? 알맞은 스토리지로부터!

More Related Content

What's hot

Similar to AWS Summit Seoul 2023 | 잘나가는 애플리케이션 성능? 알맞은 스토리지로부터!

More from Amazon Web Services Korea

AWS Summit Seoul 2023 | 잘나가는 애플리케이션 성능? 알맞은 스토리지로부터!