발표영상 다시보기: https://youtu.be/U3vSKefs75c S3 주요 신규기능에 대해 알아 봅니다. 예측이 어려운 엑세스 패턴 가진 데이터를 Intelligent-Tiering 클래스를 활용하여 비용 절감 효과를 얻으실 수 있는 방법, Data Lake 환경에서 Access Point를 사용하여 다수의 엑세스를 손쉽게 관리 하는 방법. 수억개의 객체를 변형하는 배치 프로세스를 Batch Operation로 손쉽게 만들 수 있는 방법 등에 대해 알아봅니다

1. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved.
S3, 넌 이것까지 할 수 있네
(Amazon S3 신규 기능 소개)
김세준
솔루션즈 아키텍트
AWS Korea

2. Agenda
비용 절감
보안 및 접근
데이터 관리

3. Amazon S3 스토리지 클래스
Access frequencyFrequent Archive
S3 Standard S3 Standard-IA S3 One Zone-IA S3 Glacier
S3 Intelligent-
Tiering
S3 Glacier
Deep Archive

4. 최신 스토리지 클래스
S3 Intelligent-Tiering
클라우드 스토리지 관리 혁신
S3 Glacier Deep Archive
클라우드 스토리지 비용 혁신

5. S3 Glacier Deep Archive
2019년 3월 출시
99.999999999%
내구성
GB당
$0.002/월
Tape
관리 불필요
12 시간 내에
데이터 복구

6. S3 Glacier Deep Archive
2019년 3월 출시
S3 Glacier S3 Glacier Deep Archive
비 용 GB 당 * $0.005 / 월 GB 당 * $0.002 / 월
검색 시간
긴급: 1-5 분
표준: 3-5 시간
대량: 5-12 시간
표준: 12 시간
대량: 48 시간
최소 저장 기간 90 일 180 일

7. S3 Intelligent-Tiering
re:Invent 2018 출시
Frequent Access
S3 Standard
Infrequent Access
S3 One Zone-IAS3 Standard-IA
Unknown Access
S3 Intelligent-
Tiering

8. S3 Intelligent-Tiering
작동 원리
1. PUT의 선택적 플래그를 사용하거나 수명주기 정책을
사용하여 S3 Intelligent-Tiering에 객체 배치
2. 객체는 처음 30 일 동안 Frequent Access 계층으로
분류됩니다.
3. 30 일 동안 개체에 액세스하지 않으면 자동으로
Infrequent Access 계층으로 분류 됩니다.
4. Infrequent Access 계층의 객체에 액세스하면 다시 30 일
동안 자동으로 Frequent Access로 다시 분류됩니다.
성능 영향 없음, 운영 오버 헤드 없음, 검색 비용 없음

9. • 객체 별 계층 가시성 제공
• 액세스 패턴에 대한 통찰력 제공
• 스토리지 비용 이해
S3 Inventory - Intelligent Tiering 접근 분석
2019년 10월 출시

10. 비용 절감
보안 및 접근
데이터 관리
Amazon S3 신규 기능

11. Block public access
우발적인 공개 엑세스를 사전 차단
계정 또는 버킷 레벨 차단
ACL 액세스, 버킷 정책 액세스 또는 둘 다에 적용 가능
re:Invent 2018 출시

12. Access Analyzer for S3
re:Invent 2019 출시
• 공유 액세스를 위한
버킷 모니터링
• 추가 비용없이 S3
콘솔에서 사용가능
• 퍼블릭 및 다른
계정 접근 내역
제공

13. Access Analyzer for S3
re:Invent 2019 출시
공개 엑세스 식별
원 클릭 차단
교차 계정 액세스 감사
분석 결과 보관

14. Amazon S3 Access Points
re:Invent 2019 출시
reinvent-bucket.s3.amazonaws.com

15. Amazon S3 Access Points
re:Invent 2019 출시
reinvent-bucket.s3.amazonaws.com
{ }
finance
{ }
accounting
{ }
sales

16. Amazon S3 Access Points
re:Invent 2019 출시
reinvent-bucket.s3.amazonaws.com
{ }
finance
{ }
accounting
{ }
sales
1. 공유 버킷을 통한 액세스 관리 간소화
2. 새로운 네임 스페이스 설정
3. 네트워크 트래픽을 특정 VPC로 제한

17. Amazon S3 Access Points
현재 - 공유 버킷에 대한 액세스 관리 : 데이터 레이크

18. Amazon S3 Access Points
Access Points - 공유 버킷에 대한 액세스 관리 : 데이터 레이크
{ }
{ }
{ }
{ }
{ }
/prefix-1
/prefix-2
tag:value
/prefix-3
/prefix-external

19. Amazon S3 Access Points
Access Points - 공유 버킷에 대한 액세스 관리 : 데이터 레이크
{ }
{ }
{ }
{ }
/prefix-1
/prefix-2
tag:value
/prefix-3

20. Amazon S3 Access Points
계정 및 지역 네임스페이스
ACCESS POINTS를 위한 새로운 이름 규칙

21. Amazon S3 Access Points
계정 및 지역 네임스페이스
paul-bucket-east
prouction-data-123465789
{}
paul-bucket-west
prouction-data-123465789
{}
• 다른 리전에서 동일 이름 재 사용 가능
• 원하는 이름 생성 가능 보장
• 계정 당 최대 1,000 개의 액세스 포인트 생성

22. Amazon S3 Access Points
Access Points - VPC 바인딩
reinvent-bucket.s3.amazonaws.com
finance accounting
{123456}
VPCE VPCE
VPC 123456 VPC 654321
{654321}
• 버킷 접근을 VPC만 가능하도록 설정
• 버킷에 대한 직접 데이터 액세스
비활성화
• VPC endpoint 정책과 동시 적용
type:vpc

23. Amazon S3 Access Points
요 약
reinvent-bucket.s3.amazonaws.com
finance accounting sales
{ }{ }{ }

24. Amazon S3 Access Points
동작원리

25. Amazon S3 Access Points
작동방식

26. 비용 절감
보안 및 접근
데이터 관리
Amazon S3 신규 기능

27. S3 Batch Operations
2019년 4월 출시

28. S3 Batch Operations
2019년 4월 출시

29. S3 Batch Operations
대규모 관리
내 데이터로 무엇을
했습니까?
작업 상태는
어떻습니까?
내 작업은 얼마나
성공 했습니까?

30. S3 Batch Operations
대규모 관리

31. S3 replication
Amazon S3
다른 리전에 복제
보존기간 유지하면서 객체
복제(동일 및 다른 리전)
예측 가능한 복제, 복제 지표 및
SLA 제공
동일 리전에 복제

32. S3 Same-Region replication
리전 내 자동 비동기 복제
AWS 루트 계정 손상으로부터 보호
실수로 데이터를 삭제 하지 못하도록 보호
자동으로 모든 객체의 모든 버전을 유지
…또는 S3 Glacier로 바로 복제

33. S3 Same-Region replication
리전 내 자동 비동기 복제
운영
데이터
백업
백업 및 휴먼 에러 보호
로그
분석
APP-3
APP-2
APP-1
LOG 집계

34. {
"AcceptRanges": "bytes",
"ContentType": "image/png",
"ContentLength": 27739,
"ObjectLockRetainUntilDate": "2020-11-25T20:30:09.838Z",
"LastModified": "Tue, 26 Nov 2019 20:30:09 GMT",
"ObjectLockMode": ”COMPLIANCE",
"ReplicationStatus": "REPLICA",
"VersionId": "cnsu21ROsFJ7h2xMe38mShFAGsEhb0MR",
"ETag": ""057e883bd73c187083e555ad48597236"",
"StorageClass": "DEEP_ARCHIVE",
"Metadata": {}
}
S3 retention control replication
여러 사본에 보존 기간 동기화
PRODUCTION
DATA
BACKUP

35. Amazon S3 replication time control
Amazon S3 Service
Level Agreement (SLA)
지원
Amazon CloudWatch
메트릭 및 이벤트
통보를 이용한
복제 모니터링 제공
15분 내 예측 가능한 데이터 복제
예측 가능한
복제 시간

36. Amazon S3 replication time control
15분 내 예측 가능한 데이터 복제

37. Amazon S3 replication time control
높은 수준의 예측 가능한 복제 시간
분
혹은 내
99.9% 모든 객체의
AWS SLA 지원
완료

38. Amazon S3 replication time control
복제 프로세스에 대한 가시성
보류중인 복제 작업
설정된 복제 규칙에 대해 복제 보류중인 작업 수
복제 대기 시간
설정된 복제 규칙에 대해 대상 리전이 소스
리전 보다 지연된 최대 시간
보류중인 복제 양(Bytes)
설정된 복제 규칙에 대해 복제 보류중인 객체의
총 바이트 수

39. Amazon S3 replication time control
3 가지 유형의 S3 이벤트로 복제 모니터링
OperationMissedThreshold OperationReplicatedAfter
Threshold
SQS queue 및 SNS topic
이벤트 메시지 발생 or
Lambda function 실행

40. 비용 절감
보안 및 접근
데이터 관리
Amazon S3 신규 기능

41. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved.

42. 감사합니다
© 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved.