Storage
김용기 | 솔루션즈 아키텍트
강연 중 질문하는 방법 AWS Builders
Go to Webinar “Questions” 창에 자신이 질문한
내역이 표시됩니다. 기본적으로 모든 질문은
공개로 답변 됩니다만 본인만 답변을 받고 싶으면
(비공개)라고 하고 질문해 주시면 됩니다.
본 컨텐츠는 고객의 편의를 위해 AWS 서비스 설명을 위해 온라인 세미나용으로 별도로 제작, 제공된 것입니다. 만약 AWS
사이트와 컨텐츠 상에서 차이나 불일치가 있을 경우, AWS 사이트(aws.amazon.com)가 우선합니다. 또한 AWS 사이트
상에서 한글 번역문과 영어 원문에 차이나 불일치가 있을 경우(번역의 지체로 인한 경우 등 포함), 영어 원문이 우선합니다.
AWS는 본 컨텐츠에 포함되거나 컨텐츠를 통하여 고객에게 제공된 일체의 정보, 콘텐츠, 자료, 제품(소프트웨어 포함) 또는 서비스를 이용함으로 인하여 발생하는 여하한 종류의 손해에
대하여 어떠한 책임도 지지 아니하며, 이는 직접 손해, 간접 손해, 부수적 손해, 징벌적 손해 및 결과적 손해를 포함하되 이에 한정되지 아니합니다.
고지 사항(Disclaimer)
스토리지의 기본 개념을 알아보고, AWS가 제공하는 다양한 스
토리지 서비스들과 사용 사례 소개
스토리지 종류와 개념에 대해 알아보고, AWS가 제공하
는 다양한 스토리지 서비스를 사용 사례에 맞춰 소개
주요 주제
Agenda
 스토리지 종류
 블록 스토리지
 파일 스토리지
 오브젝트 스토리지
0
스토리지 종류
주요 주제주요 주제
블록 vs 파일 vs 오브젝트
블록 스토리지
포맷되지 않은 원시 스토리지
호스트 파일시스템이 데이터를 디스크에 저장
예: 하드디스크, Storage Area Network (SAN) 스토리지 어레이
파일 스토리지
이미 포맷되어 있는 파일시스템을 원격에서 마운트하여 접근(NFS, CIFS 등)
스토리지의 파일시스템(Native Filesystem)이 데이터를 디스크에 저장
예: Network Attached Storage (NAS) 어플라이언스, 윈도우즈 파일 서버
오브젝트 스토리지
데이터, 데이터 속성, 메타 데이터 및 개체 ID를 캡슐화하는 가상 컨테이너 저장
메타데이터 중심, 정책 기반 등
Ex: Ceph, 오픈스택 Swift
주요 주제주요 주제
스토리지 - 특징
내구성 가용성 보안 비용 확장성 성능 연동
데이터 손실 측정 다운타임 측정 데이터 저장시 그
리고 전송시 보안
스토리지 단위당
용량, e.g. $ / GB
향상된 유연성,
스토리지 크기,
사용자수
성능
매트릭(대역폭,
IOPS)
API 제공 여부 또
는 다른 서비스와
상호 작용 가능성
스토리지 도입시 고려사항
내구성(Durability)
designed for
99.99%
내구성
한 지역에 두벌의 복제본
designed for
99.999%
내구성
두 지역에 복제
designed for
99.999999999%
내구성
GlacierStandard IA
copies in three AZ
세 가용영역에 복제
주요 주제
가용성과 내구성
% 가용성 Availability 내구성 Durability
99.999 5 분 15 초 1 in 100,000
99.9999 31 초 1 in 1,000,000
99.99999 3 초 1 in 10,000,000
99.999999999 300 마이크로초 1 in 100,000,000,000
애플리케이션별 선택
1
블록 스토리지
Amazon EBS(Elastic Block Store)
• 네트워크 연결 블록 스토리지
• 독립적인 데이터 라이프 사이클
• EC2 인스턴스당 다중 볼륨 연결
• Only one EC2 instance at a time per volume
• 인스턴트 연결 해제 후, 다른 인스턴스에서 연결 가능
• 원시 블록 장치
• 포맷되지 않은 블록 스토리지
• 데이터베이스 파일시스템 적합
• 다양한 장치 타입
• SSD (gp2 & io1) and HDD (st1 & sc1)
EC2
instance
EBS
volume
• AWS 콘솔에서 볼륨 생성
• 인스턴스 연결 및 포맷
• 마운트하여 데이터 저장
Amazon EBS 볼륨 타입
HDDSSD
General Purpose
SSD
gp2
Throughput Optimized
HDD
st1 sc1
Cold HDD
io1
Provisioned IOPS
SSD
• 기본: 100 – 16,000 IO
PS
• 증폭(Burst): 3000
IOPS
• 처리량: 250MiB/s 까
지
• 지연: 0-9 ms
• 용량: 1 GiB – 16 TiB
• 기본: 100 – 64,000 IO
PS
• 처리량: 1,000MiB/s
까지
• 지연: 0-9 ms
• 용량: 4 GiB – 16 TiB
• 기본: 40 MiB/s per TiB,
500 MiB/s 까지
• 증폭(Burst): 250
MiB/s per TiB, 500
MiB/s 까지
• 용량: 500 GiB – 16
TiB
• 기본: 12 MiB/s per TiB,
192 MiB/s 까지
• 증폭(Burst): 80 MiB/s
per TiB, 250 MiB/s 까
지
• 용량: 500 GiB – 16
TiB
Amazon EBS 사용 사례
HDD
SSD
NoSQL 데이터베이스
Cassandra, Mongo
DB, CouchDB
빅데이터, 분석
Kafka, Splunk, Had
oop, Data Warehou
sing
파일 / 미디어
CIFS/NFS, Transc
oding, 인코딩, 렌
더링
관계형 데이터베이스
MySQL, SQL Server,
PostgreSQL, SAP,
Oracle
Usage:
- 부트 볼륨
- 낮은 지연시간 애플리케
이션
- 데이터베이스
Usage:
- 중요 애플리케이션
- IOPS 위주 데이터베이스
gp2 io1 st1 sc1
Usage:
- 대용량 볼륨
- 연속적인 고대역폭 필요
작업에 적합
Usage:
- 로깅, 백업과 같이 연속 작
업에 적합
EBS 스냅샷
• 볼륨 블록에 대한 특정 시점 스냅샷
• S3에 저장되며, EBS API로 접근
• 주요 기능:
• EBS 볼륨 데이터 즉각 접근
• EBS 볼륨 리사이징
• EBS 스냅샷 공유
• AWS 리전간 EBS 볼륨 복사
• 기존 스냅샷이 없더라도 데이터 복
구 가능(Delta block)
Internet
AWS Cloud
EC2 Availability Zone
EC2
Amazon S3
EBS
EC2 EC2
EBS EBS EBS EBS EBS
EBSSnapshot
EBSSnapshot
EBSSnapshot
Create Snapshot
Clone From
Snapshot
EBS Snapshots – Delta Block Changes
EBS 스냅샷과 AMI 차이
AMI:
- 부팅을 위한 OS 이미지이며, 인스턴스에서 이미
지 생성시 스냅샷을 통해 다수의 EBS 볼륨 생성
가능
- [인스턴스] 또는 [EBS] 항목에서 생성
SNAPSHOT:
- EBS 볼륨당 생성할 수 있는 볼륨 백업. 증분백업
으로 작동하여, 원본 볼륨 파손시 어느 스냅샷
으로도 원복 가능
- [EBS] 항목에서 생성
Amazon EBS – Multi-Attach
• 최고 16 EC2 인스턴스 연결
지원
• 동일 AZ 사용
• 니트로기반 인스턴스에서
지원
• 파일시스템 Lock 처리를 위
해 클러스터 구성 필요
Amazon EC2 인스턴스 스토어
EC2 instances
Physical Host
Instance Store
or
• 인스턴스의 로컬디스크
• 데이터 영구 보관장치 아님
• 일부 EC2 패밀리에서 지원
o 예: d2, i3, r5d, m5d
• 다른 인스턴스에 연결 불가
• 스냅샷 미지원
• SSD 또는 HDD
2
파일 스토리지
AWS의 파일스토리지 서비스
Amazon FSx
for Windows File Server
Amazon Elastic Fi
le Service (EFS)
윈도우즈기반
워크로드
리눅스기반
워크로드
Latency
스탠다드 클래스: 0-9 밀리초
IA 클래스: 10s 밀리초
Throughput and IOPS
Up to 10s of GB/s and over 500K IOPS
Latency
SSD 사용시 밀리초 미만
Throughput and IOPS
직접 파일서버 접근시: up to 3 GB/s of throughput and h
undreds of 1000s of IOPS per file share
Amazon EFS 특징 - 사용 편리
• 완전 관리형
- 별도의 하드웨어나 네트워크 불필요
- 수 초안에 파일시스템 생성
• 기존 작업도구나 OS 연동하여 사용
- NFS v4.1—범용
- 표준 파일시스템 기능
- 표준 파일시스템 API 로 작동
• 간단한 가격정책 = 간단한 비용 예측
Amazon EFS 특징 - 유연성
• 파일을 추가/제거 할 때, 자동으로 파일시스템 축소/확장
• 스토리지 용량 또는 성능을 위한 프로비저닝 불필요
• 사용량 만큼만 비용 지불, 최소 비용 없음
Amazon EFS 특징 - 확장성
• 파일시스템은 페타바이트까지 확장 가능
• 파일시스템이 증가할 때 자동으로 처리량과 IOPS 증가
• TB당 50MB/s 처리량(기본 100MB/s 버스트)
• 파일시스템 크기에 관계없이 낮은 지연시간 제공
• 동시 수천개의 NFS 연결 지원
Amazon EFS 특징 - 고가용성
• AZ 오프라인시에도 작동토록 설계
• 다중 AZ로 스토리지 분산
• 전통적인 NAS 고가용성 모델보다 우월
• 상용 환경에 적합
Amazon EFS 사용 사례
• 빅데이터 분석
• 미디어 워크플러우 처리
• 웹서비스
• 자료 관리/공유
• 홈디렉토리
EFS 라이프사이클 관리
• EFS는 표준 클래스와 비상시 접근(Infrequent Access) 클래스 모두 제공
• 라이프사이클 관리가 활성화되면, EFS는 자동으로 정의된 기간 동안 접근이 없는 데이터를 표준
클래스에서 EFS IA 클래스로 이동
EFS – 마운팅
EFS DNS 이름
availability-zone.file-system-id.efs.aws-region.amazonaws.com
인스턴스에 마운트
sudo mount -t nfs4 mount-target-DNS:/ ~/efs-mount-point
EFS
EC2EC2 EC2 EC2EC2 EC2
윈도우즈를 위한 FSx
윈도우즈 호환성
NTFS Native SMB
2.0 to 3.1.1
Microsoft AD
와 통합
Windows ACLs
지원
DFS 네임스페이스
DFS 복제
Windows Server
FSx 고가용성
NTFS Native SMB
2.0 to 3.1.1
Microsoft AD
와 통합
Windows ACLs
지원
DFS 네임스페이스
DFS 복제
Windows Server
가용영역 내부에서
데이터 복제
하드웨어 결함을 지속적
으로 모니터링 및 알림
다중 가용영역 구성
이용하여, 가용영역
간 데이터 복제
다중 가용영역 구성 이
용하여, 장애시 자동으
로 페일오버
AZ 1 AZ 2AWS Cloud
Windows file
server
Windows file
server
99.9% availability SLA
3
오브젝트 스토리지
Amazon S3 (Simple Storage Service)
• 웹접근 가능한 오브젝트 저장소(through API or HTTPS)
• 높은 내구성 (99.999999999% design)
• 무한의 확장성
• 다양한 워크로드 맞는 다양한 스토리지 계층
• 데이터 라이프 사이클 규칙
• 정적 웹호스팅 제공
• 보안, 규정 준수 및 감사 기능
• 표준 스토리지 가격 (ap-northease-2) - $0.025 per GB
Amazon
S3
Media master files
DNA
sequences
Mobile sync and
storage
ML training data
Media assets
Internet of Things
(IoT) sensor data
Data
lakes
Durable
backups
Digital record
preservation
Seismic and
reservoir
simulation data
Home-
recording video
Meteorological and
environmental research
Origin
storage for
CDN
Financial
transaction
records Website
hosting
Surveillance
video/closed-
circuit television
Medical
imagery and
records
Autonomou
s vehicle
dataOil and gas topography
Customer
call-center
records
Mapping
data
Geospatial or lunar
imageryComplianc
e records
Pharmaceutica
l study data
User-generated
contentLog files
Analytics
오브젝트 스토리지 클래스 선택
Access FrequencyFrequent Infrequent
S3 Standard S3 Standard-IA S3 One Zone-IA S3 GlacierS3 Intelligent-Tiering
S3 Glacier
Deep Archive
• 사용중, 자주 접근
하는 데이터
• 밀리초 접근
• > 3 AZ
• $0.0250/GB
• 변화하는 접근
패턴 데이터
• 밀리초 접근
• > 3 AZ
• $0.0210 to
$0.0125/GB
• 오브젝트당 모니
터링 비용
• 비상시 접근
• 밀리초 접근
• > 3 AZ
• $0.0125/GB
• GB당 회수비용
• 분당 스토리지
계층 유지
• 분당 오브젝트 크기
• 재생산 가능, 접근
이 적은 데이터
• 밀리초 접근
• 1 AZ
• $0.0100/GB
• GB당 회수비용
• 분당 스토리지
계층 유지
• 분당 오브젝트 크기
• 아카이빙 데이터
• 접근시 수분/수시간
소요
• > 3 AZ
• $0.0040/GB
• GB당 회수비용
• 분당 스토리지
계층 유지
• 분당 오브젝트 크기
• 아카이빙 데이터
• 접근시 12 or 48 시간
소요
• > 3 AZ
• $0.00099/GB
• GB당 회수비용
• 분당 스토리지
계층 유지
• 분당 오브젝트 크기
Amazon S3 (Simple Storage Service) 특징
Organize
S3 태킹
S3 프리픽스
S3 버저닝
모니터링 복제 및 계층(Tier) 변경
CloudWatch
CloudTrail
S3 Event 알림
S3 인벤토리
S3 Glacier 복구 알림
S3 Lifecycle
S3 Storage 클래스 분석
S3 지능형 티어링
리전간 복제
S3 Event 알림+ 람다
S3 Batch Operations
S3 Object Lock
S3 접근 관리 & 보안
• AWS 인증/접근관리시스템(IAM)과 깊게 연동
• 접근 제어 목록(ACLs) & S3 버킷 정책
• 쿼리 문자열 인증
• 감사 로그
• 서버사이드 & 클라이언트 사이드 암호화 지원
• S3오브젝트의 암호화 상태 검사를 위한 S3 인벤토리
• S3 공개 접근 방지(기본)
• Amazon Macie 를 통한 민감데이터 탐지/분류 및 보호
Command Description
cp Copies a local file or S3 object to another location locally or in S3.
ls List S3 objects and common prefixes under a prefix or all S3 buckets.
mb Creates an S3 bucket.
mv Moves a local file or S3 object to another location locally or in S3.
presign Generate a pre-signed URL for an Amazon S3 object. This allows anyone who receives the pre-signed URL t
o retrieve the S3 object with an HTTP GET request.
rb Deletes an empty S3 bucket.
rm Deletes an S3 object.
sync Syncs directories and S3 prefixes. Recursively copies new and updated files from the source directory to the
destination.
website Set the website configuration for a bucket.
S3 CLI 명령어
S3 CLI 명령어 – presign 데모
다음 세션 소개
▶ 데이터 마이그레이션 및 전송을 위한
AWS 스토리지 서비스 활용방안
(메가존클라우드 박용선매니저)
다음 파트너 세션에서는 AWS로 데이터를 마이그레이션 및 전송하기 위한
스토리지 서비스들을 소개합니다. AWS Storage Gateway, AWS DataSync 및 AWS
Transfer for SFTP 등 스토리지 서비스 개요와 Use Case를 안내하며, 대용량 데이터
마이그레이션을 위한 AWS Snowball 서비스를 고객사례와 함께 설명드립니다.
더 나은 세미나를 위해
여러분의 의견을 남겨주세요!
▶ 질문에 대한 답변 드립니다.
▶ 발표자료/녹화영상을 제공합니다.
http://bit.ly/awskr-webinar
감사합니다.
김용기 | 솔루션즈 아키텍트

AWS 스토리지 서비스 소개 및 실습 - 김용기, AWS 솔루션즈 아키텍트

  • 1.
  • 2.
    강연 중 질문하는방법 AWS Builders Go to Webinar “Questions” 창에 자신이 질문한 내역이 표시됩니다. 기본적으로 모든 질문은 공개로 답변 됩니다만 본인만 답변을 받고 싶으면 (비공개)라고 하고 질문해 주시면 됩니다. 본 컨텐츠는 고객의 편의를 위해 AWS 서비스 설명을 위해 온라인 세미나용으로 별도로 제작, 제공된 것입니다. 만약 AWS 사이트와 컨텐츠 상에서 차이나 불일치가 있을 경우, AWS 사이트(aws.amazon.com)가 우선합니다. 또한 AWS 사이트 상에서 한글 번역문과 영어 원문에 차이나 불일치가 있을 경우(번역의 지체로 인한 경우 등 포함), 영어 원문이 우선합니다. AWS는 본 컨텐츠에 포함되거나 컨텐츠를 통하여 고객에게 제공된 일체의 정보, 콘텐츠, 자료, 제품(소프트웨어 포함) 또는 서비스를 이용함으로 인하여 발생하는 여하한 종류의 손해에 대하여 어떠한 책임도 지지 아니하며, 이는 직접 손해, 간접 손해, 부수적 손해, 징벌적 손해 및 결과적 손해를 포함하되 이에 한정되지 아니합니다. 고지 사항(Disclaimer)
  • 3.
    스토리지의 기본 개념을알아보고, AWS가 제공하는 다양한 스 토리지 서비스들과 사용 사례 소개 스토리지 종류와 개념에 대해 알아보고, AWS가 제공하 는 다양한 스토리지 서비스를 사용 사례에 맞춰 소개
  • 4.
    주요 주제 Agenda  스토리지종류  블록 스토리지  파일 스토리지  오브젝트 스토리지
  • 5.
  • 6.
    주요 주제주요 주제 블록vs 파일 vs 오브젝트 블록 스토리지 포맷되지 않은 원시 스토리지 호스트 파일시스템이 데이터를 디스크에 저장 예: 하드디스크, Storage Area Network (SAN) 스토리지 어레이 파일 스토리지 이미 포맷되어 있는 파일시스템을 원격에서 마운트하여 접근(NFS, CIFS 등) 스토리지의 파일시스템(Native Filesystem)이 데이터를 디스크에 저장 예: Network Attached Storage (NAS) 어플라이언스, 윈도우즈 파일 서버 오브젝트 스토리지 데이터, 데이터 속성, 메타 데이터 및 개체 ID를 캡슐화하는 가상 컨테이너 저장 메타데이터 중심, 정책 기반 등 Ex: Ceph, 오픈스택 Swift
  • 7.
    주요 주제주요 주제 스토리지- 특징 내구성 가용성 보안 비용 확장성 성능 연동 데이터 손실 측정 다운타임 측정 데이터 저장시 그 리고 전송시 보안 스토리지 단위당 용량, e.g. $ / GB 향상된 유연성, 스토리지 크기, 사용자수 성능 매트릭(대역폭, IOPS) API 제공 여부 또 는 다른 서비스와 상호 작용 가능성 스토리지 도입시 고려사항
  • 8.
    내구성(Durability) designed for 99.99% 내구성 한 지역에두벌의 복제본 designed for 99.999% 내구성 두 지역에 복제 designed for 99.999999999% 내구성 GlacierStandard IA copies in three AZ 세 가용영역에 복제
  • 9.
    주요 주제 가용성과 내구성 %가용성 Availability 내구성 Durability 99.999 5 분 15 초 1 in 100,000 99.9999 31 초 1 in 1,000,000 99.99999 3 초 1 in 10,000,000 99.999999999 300 마이크로초 1 in 100,000,000,000
  • 10.
  • 11.
  • 12.
    Amazon EBS(Elastic BlockStore) • 네트워크 연결 블록 스토리지 • 독립적인 데이터 라이프 사이클 • EC2 인스턴스당 다중 볼륨 연결 • Only one EC2 instance at a time per volume • 인스턴트 연결 해제 후, 다른 인스턴스에서 연결 가능 • 원시 블록 장치 • 포맷되지 않은 블록 스토리지 • 데이터베이스 파일시스템 적합 • 다양한 장치 타입 • SSD (gp2 & io1) and HDD (st1 & sc1) EC2 instance EBS volume • AWS 콘솔에서 볼륨 생성 • 인스턴스 연결 및 포맷 • 마운트하여 데이터 저장
  • 13.
    Amazon EBS 볼륨타입 HDDSSD General Purpose SSD gp2 Throughput Optimized HDD st1 sc1 Cold HDD io1 Provisioned IOPS SSD • 기본: 100 – 16,000 IO PS • 증폭(Burst): 3000 IOPS • 처리량: 250MiB/s 까 지 • 지연: 0-9 ms • 용량: 1 GiB – 16 TiB • 기본: 100 – 64,000 IO PS • 처리량: 1,000MiB/s 까지 • 지연: 0-9 ms • 용량: 4 GiB – 16 TiB • 기본: 40 MiB/s per TiB, 500 MiB/s 까지 • 증폭(Burst): 250 MiB/s per TiB, 500 MiB/s 까지 • 용량: 500 GiB – 16 TiB • 기본: 12 MiB/s per TiB, 192 MiB/s 까지 • 증폭(Burst): 80 MiB/s per TiB, 250 MiB/s 까 지 • 용량: 500 GiB – 16 TiB
  • 14.
    Amazon EBS 사용사례 HDD SSD NoSQL 데이터베이스 Cassandra, Mongo DB, CouchDB 빅데이터, 분석 Kafka, Splunk, Had oop, Data Warehou sing 파일 / 미디어 CIFS/NFS, Transc oding, 인코딩, 렌 더링 관계형 데이터베이스 MySQL, SQL Server, PostgreSQL, SAP, Oracle Usage: - 부트 볼륨 - 낮은 지연시간 애플리케 이션 - 데이터베이스 Usage: - 중요 애플리케이션 - IOPS 위주 데이터베이스 gp2 io1 st1 sc1 Usage: - 대용량 볼륨 - 연속적인 고대역폭 필요 작업에 적합 Usage: - 로깅, 백업과 같이 연속 작 업에 적합
  • 15.
    EBS 스냅샷 • 볼륨블록에 대한 특정 시점 스냅샷 • S3에 저장되며, EBS API로 접근 • 주요 기능: • EBS 볼륨 데이터 즉각 접근 • EBS 볼륨 리사이징 • EBS 스냅샷 공유 • AWS 리전간 EBS 볼륨 복사 • 기존 스냅샷이 없더라도 데이터 복 구 가능(Delta block) Internet AWS Cloud EC2 Availability Zone EC2 Amazon S3 EBS EC2 EC2 EBS EBS EBS EBS EBS EBSSnapshot EBSSnapshot EBSSnapshot Create Snapshot Clone From Snapshot EBS Snapshots – Delta Block Changes
  • 16.
    EBS 스냅샷과 AMI차이 AMI: - 부팅을 위한 OS 이미지이며, 인스턴스에서 이미 지 생성시 스냅샷을 통해 다수의 EBS 볼륨 생성 가능 - [인스턴스] 또는 [EBS] 항목에서 생성 SNAPSHOT: - EBS 볼륨당 생성할 수 있는 볼륨 백업. 증분백업 으로 작동하여, 원본 볼륨 파손시 어느 스냅샷 으로도 원복 가능 - [EBS] 항목에서 생성
  • 17.
    Amazon EBS –Multi-Attach • 최고 16 EC2 인스턴스 연결 지원 • 동일 AZ 사용 • 니트로기반 인스턴스에서 지원 • 파일시스템 Lock 처리를 위 해 클러스터 구성 필요
  • 18.
    Amazon EC2 인스턴스스토어 EC2 instances Physical Host Instance Store or • 인스턴스의 로컬디스크 • 데이터 영구 보관장치 아님 • 일부 EC2 패밀리에서 지원 o 예: d2, i3, r5d, m5d • 다른 인스턴스에 연결 불가 • 스냅샷 미지원 • SSD 또는 HDD
  • 19.
  • 20.
    AWS의 파일스토리지 서비스 AmazonFSx for Windows File Server Amazon Elastic Fi le Service (EFS) 윈도우즈기반 워크로드 리눅스기반 워크로드 Latency 스탠다드 클래스: 0-9 밀리초 IA 클래스: 10s 밀리초 Throughput and IOPS Up to 10s of GB/s and over 500K IOPS Latency SSD 사용시 밀리초 미만 Throughput and IOPS 직접 파일서버 접근시: up to 3 GB/s of throughput and h undreds of 1000s of IOPS per file share
  • 21.
    Amazon EFS 특징- 사용 편리 • 완전 관리형 - 별도의 하드웨어나 네트워크 불필요 - 수 초안에 파일시스템 생성 • 기존 작업도구나 OS 연동하여 사용 - NFS v4.1—범용 - 표준 파일시스템 기능 - 표준 파일시스템 API 로 작동 • 간단한 가격정책 = 간단한 비용 예측
  • 22.
    Amazon EFS 특징- 유연성 • 파일을 추가/제거 할 때, 자동으로 파일시스템 축소/확장 • 스토리지 용량 또는 성능을 위한 프로비저닝 불필요 • 사용량 만큼만 비용 지불, 최소 비용 없음
  • 23.
    Amazon EFS 특징- 확장성 • 파일시스템은 페타바이트까지 확장 가능 • 파일시스템이 증가할 때 자동으로 처리량과 IOPS 증가 • TB당 50MB/s 처리량(기본 100MB/s 버스트) • 파일시스템 크기에 관계없이 낮은 지연시간 제공 • 동시 수천개의 NFS 연결 지원
  • 24.
    Amazon EFS 특징- 고가용성 • AZ 오프라인시에도 작동토록 설계 • 다중 AZ로 스토리지 분산 • 전통적인 NAS 고가용성 모델보다 우월 • 상용 환경에 적합
  • 25.
    Amazon EFS 사용사례 • 빅데이터 분석 • 미디어 워크플러우 처리 • 웹서비스 • 자료 관리/공유 • 홈디렉토리
  • 26.
    EFS 라이프사이클 관리 •EFS는 표준 클래스와 비상시 접근(Infrequent Access) 클래스 모두 제공 • 라이프사이클 관리가 활성화되면, EFS는 자동으로 정의된 기간 동안 접근이 없는 데이터를 표준 클래스에서 EFS IA 클래스로 이동
  • 27.
    EFS – 마운팅 EFSDNS 이름 availability-zone.file-system-id.efs.aws-region.amazonaws.com 인스턴스에 마운트 sudo mount -t nfs4 mount-target-DNS:/ ~/efs-mount-point EFS EC2EC2 EC2 EC2EC2 EC2
  • 28.
    윈도우즈를 위한 FSx 윈도우즈호환성 NTFS Native SMB 2.0 to 3.1.1 Microsoft AD 와 통합 Windows ACLs 지원 DFS 네임스페이스 DFS 복제 Windows Server
  • 29.
    FSx 고가용성 NTFS NativeSMB 2.0 to 3.1.1 Microsoft AD 와 통합 Windows ACLs 지원 DFS 네임스페이스 DFS 복제 Windows Server 가용영역 내부에서 데이터 복제 하드웨어 결함을 지속적 으로 모니터링 및 알림 다중 가용영역 구성 이용하여, 가용영역 간 데이터 복제 다중 가용영역 구성 이 용하여, 장애시 자동으 로 페일오버 AZ 1 AZ 2AWS Cloud Windows file server Windows file server 99.9% availability SLA
  • 30.
  • 31.
    Amazon S3 (SimpleStorage Service) • 웹접근 가능한 오브젝트 저장소(through API or HTTPS) • 높은 내구성 (99.999999999% design) • 무한의 확장성 • 다양한 워크로드 맞는 다양한 스토리지 계층 • 데이터 라이프 사이클 규칙 • 정적 웹호스팅 제공 • 보안, 규정 준수 및 감사 기능 • 표준 스토리지 가격 (ap-northease-2) - $0.025 per GB
  • 32.
    Amazon S3 Media master files DNA sequences Mobilesync and storage ML training data Media assets Internet of Things (IoT) sensor data Data lakes Durable backups Digital record preservation Seismic and reservoir simulation data Home- recording video Meteorological and environmental research Origin storage for CDN Financial transaction records Website hosting Surveillance video/closed- circuit television Medical imagery and records Autonomou s vehicle dataOil and gas topography Customer call-center records Mapping data Geospatial or lunar imageryComplianc e records Pharmaceutica l study data User-generated contentLog files Analytics
  • 33.
    오브젝트 스토리지 클래스선택 Access FrequencyFrequent Infrequent S3 Standard S3 Standard-IA S3 One Zone-IA S3 GlacierS3 Intelligent-Tiering S3 Glacier Deep Archive • 사용중, 자주 접근 하는 데이터 • 밀리초 접근 • > 3 AZ • $0.0250/GB • 변화하는 접근 패턴 데이터 • 밀리초 접근 • > 3 AZ • $0.0210 to $0.0125/GB • 오브젝트당 모니 터링 비용 • 비상시 접근 • 밀리초 접근 • > 3 AZ • $0.0125/GB • GB당 회수비용 • 분당 스토리지 계층 유지 • 분당 오브젝트 크기 • 재생산 가능, 접근 이 적은 데이터 • 밀리초 접근 • 1 AZ • $0.0100/GB • GB당 회수비용 • 분당 스토리지 계층 유지 • 분당 오브젝트 크기 • 아카이빙 데이터 • 접근시 수분/수시간 소요 • > 3 AZ • $0.0040/GB • GB당 회수비용 • 분당 스토리지 계층 유지 • 분당 오브젝트 크기 • 아카이빙 데이터 • 접근시 12 or 48 시간 소요 • > 3 AZ • $0.00099/GB • GB당 회수비용 • 분당 스토리지 계층 유지 • 분당 오브젝트 크기
  • 34.
    Amazon S3 (SimpleStorage Service) 특징 Organize S3 태킹 S3 프리픽스 S3 버저닝 모니터링 복제 및 계층(Tier) 변경 CloudWatch CloudTrail S3 Event 알림 S3 인벤토리 S3 Glacier 복구 알림 S3 Lifecycle S3 Storage 클래스 분석 S3 지능형 티어링 리전간 복제 S3 Event 알림+ 람다 S3 Batch Operations S3 Object Lock
  • 35.
    S3 접근 관리& 보안 • AWS 인증/접근관리시스템(IAM)과 깊게 연동 • 접근 제어 목록(ACLs) & S3 버킷 정책 • 쿼리 문자열 인증 • 감사 로그 • 서버사이드 & 클라이언트 사이드 암호화 지원 • S3오브젝트의 암호화 상태 검사를 위한 S3 인벤토리 • S3 공개 접근 방지(기본) • Amazon Macie 를 통한 민감데이터 탐지/분류 및 보호
  • 36.
    Command Description cp Copiesa local file or S3 object to another location locally or in S3. ls List S3 objects and common prefixes under a prefix or all S3 buckets. mb Creates an S3 bucket. mv Moves a local file or S3 object to another location locally or in S3. presign Generate a pre-signed URL for an Amazon S3 object. This allows anyone who receives the pre-signed URL t o retrieve the S3 object with an HTTP GET request. rb Deletes an empty S3 bucket. rm Deletes an S3 object. sync Syncs directories and S3 prefixes. Recursively copies new and updated files from the source directory to the destination. website Set the website configuration for a bucket. S3 CLI 명령어
  • 37.
    S3 CLI 명령어– presign 데모
  • 38.
    다음 세션 소개 ▶데이터 마이그레이션 및 전송을 위한 AWS 스토리지 서비스 활용방안 (메가존클라우드 박용선매니저) 다음 파트너 세션에서는 AWS로 데이터를 마이그레이션 및 전송하기 위한 스토리지 서비스들을 소개합니다. AWS Storage Gateway, AWS DataSync 및 AWS Transfer for SFTP 등 스토리지 서비스 개요와 Use Case를 안내하며, 대용량 데이터 마이그레이션을 위한 AWS Snowball 서비스를 고객사례와 함께 설명드립니다.
  • 39.
    더 나은 세미나를위해 여러분의 의견을 남겨주세요! ▶ 질문에 대한 답변 드립니다. ▶ 발표자료/녹화영상을 제공합니다. http://bit.ly/awskr-webinar
  • 40.