Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
AWS Builders
Online Series
AWS 서비스를 활용하여 파일 스토리지
빠르게 마이그레이션 하기
서지혜 AIML Specialist PSA
© 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved.
AWS storage services portfolio
File Storage Obje...
© 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved.
AWS Storage services portfolio
File Storage Obje...
© 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved.
Agenda
1. 파일 데이터 마이 그레이션 시 고려 사항
2. Offline 데이터 ...
© 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved.
파일 데이터 마이그레이션시 고려사항
1. Online 또는 Offline 데이터 이전
...
© 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved.
AWS Snowball AWS Snowball Edge AWS Snowmobile
• ...
© 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved.
AWS Snowball/Edge import workflow
1–2 days1–2 da...
© 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved.
AWS관리 콘솔에서 신청 및 현황 조회
© 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved.
Snowball: Typical Deployment
RJ45 10Gb
SFP+ *
SF...
© 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved.
Snowball/Edge command
Workstation Snowball v1
Sn...
© 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved.
Snowball Command (Unlocking Devices)
./snowball-...
© 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved.
Snowball command(복사 하기)
client_workstation> snow...
© 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved.
Snowball Command (작은 파일 배칭 작업)
Snowball Snowball...
© 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved.
1. 작은 파일은 큰 파일로 압축하여 복사하기
2. 병렬로 다수의 COPY 명령 실행!...
© 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved.
Performance Testing tools
client_workstation>
nl...
© 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved.
Shared
file system
NFS TLS
On-Premises
Amazon S3...
© 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved.
AWS DataSync
최대 10 Gbps per
agent (100TB/day)
Ag...
© 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved.© 2020, Amazon Web Services, Inc. or its affiliat...
© 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved.
AWS DataSync
Demo
© 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved.
S3 copy vs. DataSync 성능 비교
10만개 총 327.38 MB 파일전송
© 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved.
Storage Gateway
AWS CloudCustomer premises
Files...
© 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved.
File Gateway: Overview
로컬 캐쉬를 사용하여 파일 기반 어플리케이션에...
© 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved.
AWS File Gateway
S3 Storage 비용
Request 비용:
• Dat...
© 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved.
파일 쓰기 동작 방식: 비동기 적으로 S3에 업로드
AWS
AWS region
Obje...
© 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved.
파일 읽기 동작 방식
AWS
AWS region
Objects in your
S3 bu...
© 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved.
VPC Endpoint로 더 안전하게 데이터 전송하기
On-Premise
File Ga...
© 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved.
DataSync를 통해 On-premise NAS 스토리지를 S3로 복제하고, 증분 복...
© 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved.
파일 및 폴더 메타 데이터 캐쉬
AWS
AWS region
Objects in your...
© 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved.
S3 Bucket에 직접 새 파일을 올리게 된다면?
AWS
AWS region
Obje...
© 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved.
$ ls
$ aws storagegateway refresh-cache --file-s...
© 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved.
$ ls
$ aws storagegateway list-file-shares
$ aws...
© 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved.
Use Case 컨텐츠 배포
nfs:/bucket/blue/
nfs:/bucket/gr...
© 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved.
데이터 업로드 완료 알람 설정
AWS
AWS region
Objects in your
...
© 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved.
Use Case: 컨텐츠 배포 (Cross Region Replication)
• CR...
© 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved.
Use Case: 하이브리드 백업
File gateway Standard S3 S3 I...
© 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved.
How AWS Transfer for SFTP works?
SFTP
users
AWS ...
© 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved.
Seamless migration
동일 클라이언트,
Credentials, 호스트 네임...
© 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved.
보안 및 컴플라이언스
VPC endpoints (AWS PrivateLink) 및
AW...
© 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved.
Support for native AWS integrations
AWS CloudFor...
© 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved.
AWS Transfer for SFTP
Demo
© 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved.
AWS 온라인 교육
추천 교육 과정
• AWS Cloud Practitioner Ess...
© 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved.
aws-korea-marketing@amazon.com
twitter.com/AWSKo...
Upcoming SlideShare
Loading in …5
×

[AWS Builders 온라인 시리즈] AWS 서비스를 활용하여 파일 스토리지 빠르게 마이그레이션 하기 - 서지혜, AWS 솔루션즈 아키텍트

169 views

Published on

발표자료 다시보기: https://www.youtube.com/watch?v=cw1kdghcQKo

이 세션에서는 AWS 하이브리드 스토리지 솔루션을 활용하여 파일 기반 비정형 스토리지를 AWS로 이동하는 방법에 대해 알아봅니다. AWS Storage Gateway, AWS DataSync 및 AWS SFTP (Secure file Transfer Protocol)에 대해 알아보고 여러분의 워크로드를 어떻게 구현 할 수 있는지 사례를 통해 알아봅니다.

Published in: Technology
  • Be the first to comment

  • Be the first to like this

[AWS Builders 온라인 시리즈] AWS 서비스를 활용하여 파일 스토리지 빠르게 마이그레이션 하기 - 서지혜, AWS 솔루션즈 아키텍트

  1. 1. AWS Builders Online Series AWS 서비스를 활용하여 파일 스토리지 빠르게 마이그레이션 하기 서지혜 AIML Specialist PSA
  2. 2. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. AWS storage services portfolio File Storage Object StorageBlock Storage BackupHybrid Transport & Edge Amazon FSx for Windows File Server Amazon FSx for Lustre Amazon EFS Amazon S3 Glacier Amazon S3 Amazon EBS AWS Backup AWS Storage Gateway family AWS DataSync AWS Transfer for SFTP AWS Snow* family
  3. 3. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. AWS Storage services portfolio File Storage Object StorageBlock Storage BackupHybrid Transport & Edge Amazon FSx for Windows File Server Amazon FSx for Lustre Amazon EFS Amazon S3 Glacier Amazon S3 Amazon EBS AWS Backup AWS Storage Gateway family AWS DataSync AWS Transfer for SFTP AWS Snow* family
  4. 4. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. Agenda 1. 파일 데이터 마이 그레이션 시 고려 사항 2. Offline 데이터 이전을 위한 Snowball, Snowball Edge 3. Online 데이터 이전을 위한 DataSync 4. Hybrid storage를 위한 File Gateway 5. 기존 유지하고 S3스토리지로 저장하기 위한 Transfer for SFTP
  5. 5. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. 파일 데이터 마이그레이션시 고려사항 1. Online 또는 Offline 데이터 이전 2. 작은 사이즈의 대용량 파일 마이그레이션 3. 파일 마이그레이션 스크립트 작성 및 테스트 4. Metadata 관리 및 데이터 정합성 확인 5. 데이터 전송 보안 회선 속도 데이터 100Mbps 1Gbps 10Gbps 10TB 12 일 30 시간 3 시간 100TB 124 일 12 일 30 시간 1PB 3 년 124 일 12 일 10PB 34 년 3 년 124 일 Orange: Online transfer Light Blue: Offline transfer White: Online, offline, or hybrid
  6. 6. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. AWS Snowball AWS Snowball Edge AWS Snowmobile • 42 or 72TB Usable storage • 10 GE networking • Data encryption end-to-end • Small file Batching • Snowball command line • S3 Adapter runs on workstation • 80TB Usable storage • 10/25/40 GE networking • Data encryption end-to-end • S3 adapter built-in • NFS, AWS Greengrass • Storage or Compute Optimized • EC2/AMI support for edge compute • Exabyte-scale storage in a 45ft container • Data encryption end-to-end • Dedicated security personnel • GPS tracking, alarm monitoring, 24/7 surveillance, and optional additional security 오프라인 데이터 이전을 위한 Snow* Family
  7. 7. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. AWS Snowball/Edge import workflow 1–2 days1–2 days 1–N days (file transfer speed dependent) 1–3 days 1–3 days (Edge경우 Lambda 또는 AMIs 이미지 추가)
  8. 8. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. AWS관리 콘솔에서 신청 및 현황 조회
  9. 9. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. Snowball: Typical Deployment RJ45 10Gb SFP+ * SFP+ (Multi- mode Fiber LC) QSFP 40Gb USB (Not used) RJ45 10Gb SFP 25Gb Snowball V1 Snowball Edge *No transceivers provided
  10. 10. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. Snowball/Edge command Workstation Snowball v1 Snowball client Workstation Snowball v1 (S3 adapter) Workstation S3 api Workstation Workstation S3 api / NFS Workstation Snowball Edge S3 Adapter runs on workstation S3 adapter built-in
  11. 11. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. Snowball Command (Unlocking Devices) ./snowball-adapter -i 10.10.10.2 -m /users/user/manifest_file.bin -u f5dc-bb4db- 1f4bd-c0872-612e5 Snowball Edge Unlock하기 Snowball Unlock하기 snowballEdge unlock-device --endpoint http://10.10.10.2 --manifest-file c:usersadmindesktopmanifest_file.bin --unlock-code f5dc-bb4db-1f4bd-c0872- 612e5
  12. 12. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. Snowball command(복사 하기) client_workstation> snowball cp H:testtest123.txt s3://test-bucket/test/ Snowball 명령어로 파일 복사 하기 client_workstation> aws s3 cp --recursive /data/smallfile_out_1 s3://sbeingest2018 --endpoint http://10.10.10.2:8080 --profile sbe1 S3 API 로 파일 복사 하기 client_workstation> aws s3 sync /var/log s3://sbeingest2018/datasync -- endpoint http://10.10.10.2:8080 --profile sbe1
  13. 13. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. Snowball Command (작은 파일 배칭 작업) Snowball Snowball Edge  기본으로 1MB 이하 파일은 .snowballarchive file로 배칭 처리 Default (1M이하, 최대 100,000개) • --batchFileSizeInKBLimit [100KB ~ 1MB] • --batchNumOfFile [5,000 ~ 100,000]  S3 ingest시 자동으로 압축이 풀려 S3로 import됨 • 권장 파일 개수 : 10,000 • 압축 파일 사이즈: 100GB 이하* • tgz, tar, ZIP 파일 지원  100GB이하, 지원 파일 타입, 옵션 설정시 자동 으로 압축 해제 하여 S3로 import client_workstation>tar -cf - /Logs/April | aws s3 cp - s3://mybucket/batch01.tar --metadata snowball-auto-extract=true --endpoint http://10.10.10.2:8080 --profile sbe1 client_workstation> snowball -v cp C:datasource s3://test/testing/1 -r --batch https://docs.aws.amazon.com/snowball/latest/develope r-guide/batching-small-files.html
  14. 14. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. 1. 작은 파일은 큰 파일로 압축하여 복사하기 2. 병렬로 다수의 COPY 명령 실행! 3. 다수의 Workstation을 활용 하여 Copy하기 4. 폴더 단위 복제 5. 이름변경을 위해서는 AWS S3 Batch 서비스 활용 6. 파일 서버에서 다른 작업을 진행 하지 않음 7. 로컬 네트워크 사용 자제 및 Local hop개수 줄이기 성능을 높이기 위한 TIP snowball cp C:MyFilesfile1.txt s3://mybucket snowball cp C:MyFilesfile2.txt s3://mybucket snowball cp C:MyFilesfile3.txt s3://mybucketsnowball cp –r C:MyFiles* s3://mybucket https://docs.aws.amazon.com/AmazonS3/latest/dev/batch-ops-invoke-lambda.html#batch-ops-invoke- lambda-create-job
  15. 15. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. Performance Testing tools client_workstation> nload 테스트를 위한 파일 : https://github.com/bengland2/smallfile 성능 확인 툴 : nload • White paper: AWS Snowball Edge data migration guide • Blog: Data migration best practices with Snowball Edge 마이그레이션 가이드:
  16. 16. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. Shared file system NFS TLS On-Premises Amazon S3 bucket (모든 S3 class 선택가능) AWS Storage resources • VMware 또는 EC2에 Agent 배포 • NFS/SMB 프로토콜 로컬 서버 접근 Region AWS DataSync agent • 최적화 된 네트워크 프로토콜을 사용한 병렬 전송 • Agent당 최대 10Gbps • S3 및 EFS를 읽고 쓰는데 최적화 됨 • IAM / VPC Endpoint를 사용하여 안전하게 접근 • 완전 관리형 서비스 • Agent로 부터 데이터 송수신 받기위해 자동 확장 AWS DataSync Amazon Elastic File System How AWS DataSync works
  17. 17. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. AWS DataSync 최대 10 Gbps per agent (100TB/day) Agents 스케일 아웃으로 빠른 전송 병렬 최적화 인라인 압축 변경분만 전송 Rsync대비 최대 10x 빠름 Pay as you go pricing - $0.0125/GB 예측 가능 최소 비용 없음 IAM & VPC 를 통한 S3, EFS 접근 TLS1.2 in-transit 암호화 End-to-end 데이터 검증 I/O 또는 transmission 에러시 자동 복구 VPC. FIPS endpoints 선택 Fast data transfer Easy to use Secure and reliable AWS Integrated Cost-effective 클라우드 내 별도 인프라 설치, 운영,확장 불필요 파일 이름 패턴으로 필터링 Agent 자동 패치 및 업데이트 대역폭 제한 설정 주기적인 Transfer 스케줄 설정 NFS,SMB 프로코톨 S3, EFS 스토리지 지원 모든 S3 스토리지 클래스로 direct 저장 CloudWatch Metrics, Logs, Events 지원 CloudTrail logs
  18. 18. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved.© 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. VPC Endpoint로 더 안전하게 데이터 전송하기 On-Premise DataSync Agent S3 bucket Application NFS & SMB AWS Cloud WebBrowser Customer Gateway AWS Management Console Private Network Public Network VPC VPN Gateway Activation에만 필요 VPC Endpoint for DataSync DataSync Service 80 Port 443 Port datasync.<region>.amazonaws.com 방화벽 오픈
  19. 19. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. AWS DataSync Demo
  20. 20. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. S3 copy vs. DataSync 성능 비교 10만개 총 327.38 MB 파일전송
  21. 21. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. Storage Gateway AWS CloudCustomer premises Files (NFS/SMB) Volumes (iSCSI) Tapes (iSCSI VTL) AWS Storage Gateway Integrated with IAM, KMS, CloudTrail, CloudWatch services HTTPS Amazon S3 Glacier Amazon S3 Amazon Elastic Block Store Configuration: VMware, Hyper-V, EC2, Hardware Amazon S3 Glacier Deep Archive
  22. 22. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. File Gateway: Overview 로컬 캐쉬를 사용하여 파일 기반 어플리케이션에서 Amazon S3의 객체 저장 및 접근 On-Premise File Gateway VM S3 bucketApplication NFS v3/v4 또는 SMB v2/v3 프로토콜 지원 • Metadata 는 object user metadata로 저장 됨 Local Cache에 최근 데이터 저장 • Read-through, write-back, LRU managed • 최대 16TB Amazon S3에 데이터 저장 • 오브젝트 단위 암호화- SSE-S3 or SSE-KMS • S3 Object Lock 지원 Storage Gateway Service NFS & SMB HTTPS HTTPS AWS Cloud
  23. 23. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. AWS File Gateway S3 Storage 비용 Request 비용: • Data written to gateway $0.01 per GB capped at $125 per gateway per month • Standard Amazon S3 request 비용 Cost-effective AWS Integrated S3, KMS, CloudWatch Metrics, Logs, Events 지원 Broad accessibility 다양한 Microsoft, Linux OS의 NFS, SMB client버전 지원 On-premise AD 또는 AWS Managed Microsoft AD 와 연동 S3 Object를 동일한 파일로 접근 다양한 환경에서 데이접근 가능하게 함 VMware,Hyper-V Agent제공 Hadware appliance (미주) 고객 Maintenance 스케줄에 따라 gateway software 업그레이드 Gateway health 및 성능 Dashboard Easy to Use NTFS Access Control Lists (ACLs)를 이용한 사용자 그리고 그룹 permission설정 End-to-end 데이터 암호화 및 사이닝 VPC endpoints 지원 VMware HA 지원 Compliances Secure and reliable
  24. 24. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. 파일 쓰기 동작 방식: 비동기 적으로 S3에 업로드 AWS AWS region Objects in your S3 bucket File share Data cache Metadata cache File gateway 캐쉬에 먼저 데이터 쓰기 • 캐쉬에 쓰여진 데이터 중 변경분은 합쳐 parallel multipart PUTs 으로 처리 됨 • 파일 이름 변경 시 Copy-PUT 명령어 실행 (네트워크를 통해 데이터를 재전송 하지 않음) • 자동 유효성 검사및 오류 처리 NFS or SMB client
  25. 25. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. 파일 읽기 동작 방식 AWS AWS region Objects in your S3 bucket File share Data cache Metadata cache File gateway Clients는 먼저 데이터 캐쉬에서 데이터를 읽음 캐쉬에 없을 경우 S3 Byte-range get 실행 스트리밍 워크로드를 위해 Pre-Fetching NFS or SMB client
  26. 26. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. VPC Endpoint로 더 안전하게 데이터 전송하기 On-Premise File Gateway VM S3 bucket Application Storage Gateway Service NFS & SMB VPC http proxy AWS Cloud WebBrowser Customer Gateway VPN Gateway AWS Management Console Private Network Public Network Activation에만 필요 VPC Endpoint GW for S3 VPC Endpoint for SGT
  27. 27. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. DataSync를 통해 On-premise NAS 스토리지를 S3로 복제하고, 증분 복제를 통해 최신 상태 유지1 2 File Gateway를 통해 S3에 저장된 데이터를 Hybrid storage로 사용 3 Storage Gateway Private Link 및 HTTP Proxy를 통해 VPC 통해 내부 IP 접근 On-Premise (AWS Oregon Region) AWS Seoul Region NAS Server (NFS) AWS DataSync Agent(VM) Applications AWS DataSync AWS Storage Gateway S3 Private Network VPC VPC Endpoint (Interface) VPN/DX (VPC Peering) 1 AWS FileGateway VM 2 3 EC2 Http Proxy VPC Endpint (Gateway) VPC Endpoint (Interface) DataSync를 활용한 무중단 마이그레이션
  28. 28. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. 파일 및 폴더 메타 데이터 캐쉬 AWS AWS region Objects in your S3 bucket File share Data cache Metadata cache File gateway 디렉토리 레벨의 메타데이터 캐쉬 NFS or SMB client C:> dir D:foo $ ls /foo/* s3:ListBucket /foo/*
  29. 29. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. S3 Bucket에 직접 새 파일을 올리게 된다면? AWS AWS region Objects in your S3 bucket File share Data cache Metadata cache File gateway RefreshCache API로 캐쉬 메타 데이터 업데이트 Prefix-level 단위 업데이트 Amazon CloudWatch Event 를 통해 확인 NFS or SMB client s3:ListBucket /foo/*
  30. 30. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. $ ls $ aws storagegateway refresh-cache --file-share-arn <my_file_share_arn> $ls RefreshCache:만약 새로운 파일이 추가 되었다면 ? AWS AWS region Objects in your S3 bucket File share Data cache Metadata cache File gateway NFS or SMB client S3://bucketname/folder1/file1.txt S3://bucketname/folder1/file2.txt 추가 /folder1/file1.txt /folder1/file1.txt /folder1/file2.txt
  31. 31. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. $ ls $ aws storagegateway list-file-shares $ aws storagegateway refresh-cache --file-share-arn <my_file_share_arn> $ls RefreshCache: 만약 새로운 폴더가 추가 되었다면? AWS AWS region Objects in your S3 bucket File share Data cache Metadata cache File gateway NFS or SMB client S3://bucketname/folder1/* S3://bucketname/folder2/* S3://bucketname/folder3/text.txt 추가 /folder1/* /folder2/* /folder1/* /folder2/* /folder3/ / 디렉 토리 밑의 폴더 이름까지만 refresh 됨. text.txt 파일 메타 정보는 refresh되지 않음
  32. 32. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. Use Case 컨텐츠 배포 nfs:/bucket/blue/ nfs:/bucket/green/ File gateway A File gateway B s3:/bucket 각각의 게이트웨이가 다른 Prefix 사용 (+) multi-write에도 안전함; (-) A 와 B 공유 불가 File gateway A (reader) File gateway B (reader) S3 bucket File gateway A (writer) 한 명의 writable 파일 공유, 다수의 read-only 파일 공유
  33. 33. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. 데이터 업로드 완료 알람 설정 AWS AWS region Objects in your S3 bucket File share Data cache Metadata cache File gateway NotifyWhenUploaded API 요청을 통해 업로드 완료시 CloudWatch Event 발생 NFS or SMB client 업로드 완료 이벤트 RefreshCache on 2nd gateway File GatewayCloudWatch Events
  34. 34. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. Use Case: 컨텐츠 배포 (Cross Region Replication) • CRR 을 통해 다른 리전의 buckets으로 파일 복제 • Cross Region Replication 과 RefreshCache 를 사용하여 전세계로 파일 배포 (e.g. 지역별 브랜치 오피스 ) • CRR은 버저닝 필수. 한개의 리전에서 파일을 지워도 다른 리전은 지워지지 않음. Delete maker는 복제되지 않음 File gateway A (writer) File gateway A (reader) S3 bucket S3 bucket
  35. 35. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. Use Case: 하이브리드 백업 File gateway Standard S3 S3 IA S3 One Zone IA Glacier AWS • Object당 최대 5TB • 백업 솔루션 동작 방식 이해를 통한 Caching 사이징 필요. (Full backup이 한번에 복구 가능한 사이즈의 캐쉬 설정) 30일 60일 Application
  36. 36. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. How AWS Transfer for SFTP works? SFTP users AWS Cloud Amazon Simple Storage Service (Amazon S3) 사용자 credentials, 방화벽 설정, 스크립트 변경 불필요 Custom identity provider Amazon API Gateway AWS Lambda 클라우드 기능으로 워크플로우 최신화 Amazon Athena Amazon Redshift Amazon EMR Amazon SageMaker Your Amazon Virtual Private Cloud (Amazon VPC) or data center DIY SFTP server and data SFTP 인프라 관리 불필요 AWS Transfer for SFTP
  37. 37. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. Seamless migration 동일 클라이언트, Credentials, 호스트 네임 At launch (re:Invent 2018) Microsoft AD, LDAP과 같은 기 Identity Provider와 연동 Route 53을 사용하여 기존 SFTP domain을 Service endpoint 로 연동 표준 SFTP 클라이언트 지원 로지컬 디렉토리지원 (Amazon S3 bucket 경로와 사용자에게 보이는 경로를 매핑) 2019 기존 서버의 RSA Host Key를 Import 동일 서버 Identity 와 스크립트 NLB를 통해 Elastic IP 지원
  38. 38. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. 보안 및 컴플라이언스 VPC endpoints (AWS PrivateLink) 및 AWS CloudFormation 지원 2019 SOC 1,2,3 compliant Amazon CloudWatch logging 개선 Source IP 로깅 new! At launch (re:Invent 2018) 저장 데이터 암호화 (SSE-S3 or SSE-KMS) Amazon CloudWatch 및 AWS CloudTrail에서 서버 활동 내역 추적 Use AWS SFTP for your regulated workloads
  39. 39. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. Support for native AWS integrations AWS CloudFormation templates 2019 VPC endpoints (AWS PrivateLink) support 지원 Tag 기반 access control new! At launch (re:Invent 2018) Amazon S3 bucket 데이터 저장 자동 Post-upload 프로세싱을 위한 Amazon S3 Event 연동 AWS Identity and Access Management (IAM) 를 활용한 접근 제어 identity provider 연동을 위해 Amazon API Gateway 및 AWS Lambda 활용 Easily use AWS services for a rich set of functionality
  40. 40. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. AWS Transfer for SFTP Demo
  41. 41. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. AWS 온라인 교육 추천 교육 과정 • AWS Cloud Practitioner Essentials (Second Edition) (Korean) AWS 클라우드의 기초를 배우고, 기본 자격증인 AWS Certified Cloud Practitioner 시험을 준비하세요. • Amazon DynamoDB for Serverless Architectures 이 과정은 Amazon DynamoDB가 무엇이고 서버리스 아키텍쳐를 구축하는 데 어떻게 활용되는지 소개합니다. • AWS Security Fundamentals (Korean) 이 과정은 기초적인 클라우드 컴퓨팅을 비롯해 AWS 액세스 제어 및 관리, 거버넌스, 로깅 및 암호화 방법 등 AWS의 보안 개념을 소개합니다. • Getting Started with Amazon Simple Storage Service (Amazon S3) 이 과정은 S3의 일반적인 사용 사례를 통해 어떻게 S3가 애플리케이션에 객체 스토리지를 제공하는지 소개하며, 언제 S3를 활용해야 하는지 알려 드립니다. 자신의 속도에 맞춰 학습하세요. 무료 AWS 디지털 교육을 통해 편한 시간에 원하는 장소에서 최신 클라우드 기술을 학습할 수 있습니다.
  42. 42. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. aws-korea-marketing@amazon.com twitter.com/AWSKorea facebook.com/amazonwebservices.ko youtube.com/user/AWSKorea slideshare.net/awskorea twitch.tv/aws AWS Builders 온라인 시리즈에 참석해주셔서 대단히 감사합니다. 저희가 준비한 내용, 어떻게 보셨나요? 더 나은 세미나를 위하여 설문을 꼭 작성해 주시기 바랍니다.

×