분석 워크로드 마이그레이션의 모든 것-김기영, AWS Analytics Specialist SA / 김성일, AWS Analytics Specialist SA::AWS 마이그레이션 A to Z 웨비나

© 2022, Amazon Web Services, Inc. or its affiliates.
분석 워크로드
마이그레이션의 모든 것
김기영
Analytics Specialist 솔루션즈 아키텍트
AWS
김성일
Analytics Specialist 솔루션즈 아키텍트
AWS

데이터에서 더 많은 가치를 원합니다
많은 사람들이 사용
기하급수적으로 성장 새로운 소스에서 점점 다양해짐 많은 어플리케이션에서
분석

Amazon
OpenSearch
Service
Amazon
Aurora
Amazon
EMR
Amazon
SageMaker
Amazon
DynamoDB
Amazon
Redshift
on AWS
Amazon S3

Catalog
Governance
Data
Sources
People,
Apps, and
Devices
Analytics
Machine
Learning Databases
Data
Lakes

Amazon EMR을 사용하여 매일
레코드 수집
매일 데이터 처리
완료

일 로그 검색 및 분석을
로 확장
운영 비용 절감

하루에 300억 에서 700 억 레코드
중단 없이 기록 –
통찰력 확보 시간 –

Amazon EMR 마이그레이션
8

Amazon EMR
최신 오픈 소스 EC2, EKS 또는 온프레미스에서 워크로드 실행
빅 데이터 분석을 위한 최고의 가격 대비 성능
오픈 소스 출시 후 30일 이내에 새로운 오픈 소스
기능 제공
EMR은 EC2, EKS 및 Outpost를 통해
온프레미스에서 빅 데이터 워크로드를 실행할
수 있는 유연성 제공
EC2 스팟, EMR Managed Scaling 및 초당
비용을 사용하여 비용 절감
데이터 사이언스를 위한 셀프 서비스
EMR Studio 및 Sagemaker Studio와의 긴밀한
통합이 포함된 데이터 사이언스 IDE는 오픈 소스
UX 및 프레임워크를 사용하여 애플리케이션을
빌드, 시각화 및 디버그할 수 있는 기능 제공
S3 데이터 레이크 통합
AWS Lake Formation 및 Apache Ranger를 통한
세분화된 액세스 제어, S3 데이터 레이크 사용
사례를 지원하는 Apache HUDI 및 Apache
Iceberg와의 통합
차별화 된 런타임 성능
Spark, Hive, Presto 및 Flink와 같은 인기 있는
프레임워크에 대해 오픈 소스 API와 100%
호환되는 성능 최적화 런타임
오픈 소스 프레임워크를 사용한 빅 데이터 분석: Apache Spark, Presto,
Trino, Hive, HBase, Hudi 및 Flink

Amazon EMR 마이그레이션의 10가지 혜택
1. 컴퓨팅과 스토리지 분리
2. 재해 복구(Disaster Recovery) 내장
3. 임시(Transient) 클러스터
4. 민첩한 지속성(Persistent) 클러스터 자동 스케일링
5. 미사용 EC2 용량에 대한 스팟 가격 활용
6. EMR Studio
7. Spark, Hive, Presto 성능 개선
8. EMR on EKS, EMR on Outposts, EMR Serverless
9. 업계 최저 TCO
10. EMR은 업계에서 가장 광범위한 분석 에코시스템
EMR 디자인 옵션
Amazon EMR
Transient vs. Persistent 클러스터
Amazon S3 vs. 로컬 HDFS
Elastic Cluster vs. Static Cluster
On-demand vs Reserved vs. Spot
Core Nodes vs Task Nodes
2018년 11월, IDC Report 확인:
“EMR은 온프레미스에 비해 57%
절감된 비용으로 5년 동안 342%
ROI 제공”
2018년 12월, Gartner 시사:
“AWS는 수익과 사용자 기반
모두에서 가장 큰 Hadoop
제공업체로 남아 있습니다”
2019년 2월, Forrester 인정:
클라우드 Hadoop/Spark 리더는
Amazon EMR

마이그레이션 접근 방식
가능성 & 워크로드 평가 마이그레이션 평가 계획 마이그레이션 평가 마이그레이션 실행
Assess Mobilize Migrate & Modernize
•비즈니스 사례
•최종 상태 아키텍처
•마이그레이션 로드맵
•작업 명세서 작성
주요 결과물
•온프레미스 워크로드 식별 및 수집
•초기 TCO 추정
•자세한 사용 데이터 수집
•주요 마이그레이션 논의
•프로덕션용 MVP
•마이그레이션 웨이브
계획
•워크로드 마이그레이션
실행
•온프레미스에서
워크로드 제거
세부 단계
•Hadoop 환경 및 워크로드에
대한 상세 보고서
•마이그레이션 관련 워크샵
계획

Lift and shift
• 클러스터의 호스트에 대한 일대일 매핑이
아닙니다. 해당 기간 동안의 워크로드를 분석하고
해당 워크로드를 기반으로 권장 사항을
제공합니다.
• 비용을 최소화하면서 요구 사항을 충족하는
최적의 VM 유형 할당을 결정합니다. 이 방법은
일반적으로 가장 비용 효율적인 방법입니다.
• 또한 워크로드 적합 전략을 통해 기업은
클라우드에서 적절한 가격 대비 성능 절충안을
선택할 수 있습니다.
Workload fit
• 최소 위험 전략 - 클라우드 배포가 현재 온프레미스
환경과 같거나 더 많은 리소스를 갖도록 합니다.
• VM의 사양을 호스트의 실제 사용량과 일치시켜
호스트당 비용을 최적화합니다. 온프레미스 호스트의
활용도가 낮은 경우 이 방법은 Lift and shift 보다
항상 저렴합니다.
Lift and Shift vs. Workload Fit

최적의 토폴로지
결정
단계적
마이그레이션
요약
인스턴스 매핑 클러스터
워크로드 세분화
마이그레이션 계획 개요

저장소
데이터 관리
워크로드
시각화
사용 사례에 따라 적합한 도구를 선택
Amazon S3
Ingestion
(Sqoop, Firehose)
Security
(Ranger, Lake formation)
Low latency SQL
(Presto, Athena,
Redshift/Spectrum)
Data warehouse
(Spark, Hive, Glue,
RedShift)
Notebooks
(EMR Studio, Jupyter,
Zeppelin, , MapReduce)
Query Console
(Hue, EMR Studio,
Athena)
Other Tools
ML
(Spark,
Presto)
Stream
(Spark,
Presto)
Governance
(Atlas, Lake formation)
Data Catalog (Hive metastore, Glue Data Catalog)
Monitoring & Management
(Ganglia, CloudWatch, AWS
Console)
Operational
(HBase,
DynamoDB)
ETL
(Spark,
Hive,
Glue )
Search
(Elasticsearch
)

Batch 분단위 에서 시간 단위 소요
예: 일별/주별/월별 리포트
Amazon EMR (MapReduce, Hive, Pig, Spark), AWS Glue
Interactive 초 단위에서 분 단위까지 소요
예: 셀프 서비스 대시보드
Amazon Redshift, Amazon Athena, Amazon EMR (Presto, Spark)
Stream 밀리초 단위에서 초 단위까지 소요
예: 사기 경보, 분 단위 메투릭 (Metric)
Amazon EMR (Spark Streaming, Flink), Amazon Kinesis Analytics, KCL, Storm
Artificial
Intelligence
밀리초 단위에서 분 단위까지 소요
예: 사기 탐지, 수요 예측, 텍스트 음성 변환
Amazon AI (Lex, Polly, ML, Rekognition), Amazon EMR (Spark ML), Deep
Learning AMI
워크로드 분해 - 분석 유형 및 프레임워크

Data subject  Job 사용 영역 매핑
Analytic
1
Analytic
2
Analytic
3
Analytic
4
Analytic
5
Analytic
6
Analytic
7
Analytic
8
Analytic
9
Analytic
10
Analytic
11
Analytic
12
Analytic
13
Analytic
14
Analytic
15
Analytic
16
Analytic
17
Analytic
18
Analytic
19
Totals
Vendor X X X X X X X X X X X 11
Item X X X X X X X X X X 10
Payment X X X X X X X X X X 10
Sales X X X X X X X X X X 10
Job X X X X X X X X X 9
Party X X X X X X X X X 9
Product X X X X X X X X 8
Labor X X X X X X X 7
Order X X X X X X X 7
Customer X X X X X X X 7
Promotion X X X X X X X 7
Purchasing X X X X X X X 7
Shipment X X X X X X X 7
Returns X X X X X 5
Inventory X X X X 4
Personnel X X X 3
Receipt X X X 3
Budget X X 2
Commission X 1
Totals 12 12 9 9 7 7 7 7 7 6 6 6 6 5 5 4 4 4 4

데이터 통합 – 데이터 빌드: 계단 모델
Wave 0 – Foundational Data
Vendor Vendor Vendor Vendor Vendor Vendor Vendor Vendor Vendor
Payment Payment Payment Payment Payment Payment Payment Payment Payment
Sales Sales Sales Sales Sales Sales Sales Sales Sales
Job Job Job Job Job Job Job Job Job
Labor Labor Labor Labor Labor Labor Labor Labor Labor
Order Order Order Order Order Order Order Order Order
Shipment Shipment Shipment Shipment Shipment Shipment Shipment Shipment A Shipment
Analytic 9 Item Item Item Item Item Item Item Item
Party Party Party Party Party Party Party Party
Product Product Product Product Product Product Product Product
Inventory Inventory Inventory Inventory Inventory Inventory Inventory Inventory
Analytic 8 Returns Returns Returns Returns Returns Returns Returns
Analytic 7 Personnel Personnel Personnel Personnel Personnel Personnel
Receipt Receipt Receipt Receipt Receipt Receipt
Analytic 6 Customer Customer Customer Customer Customer
Promotion Promotion Promotion Promotion Promotion
Analytic 5 Purchasing Purchasing Purchasing Purchasing
Budget Budget Budget Budget
Analytic 4
Commission Commission Commission Commission
Analytic 3 All other Analytics…

마이그레이션 로드맵 (웨이브)
1 2 3 4 5 6 7 8 9 10 11 12 13
Ingest
Persist
Consume
Ingest
Persist
Consume
Ingest
Persist
Consume
Ingest
Persist
Consume
Ingest
Persist
Consume
Ingest
Persist
Consume
1
2
3
4
5
6

Amazon EMR Resources
• Visit www.aws.com/emr
• Resources: www.aws.amazon.com/emr/resources/
• EMR Migration Program: aws.amazon.com/emr/emr-migration/
• AWS Big Data blog: www.aws.amazon.com/blogs/big-data/
• Customer stories: www.aws.amazon.com/big-data/datalakes-and-
analytics/customers/

Amazon Redshift 마이그레이션
20

Amazon Redshift
모든 데이터 분석 비용 절감
모든 규모에서 빠른 성능
일관된 보안 및 거버넌스 정책으로
데이터 웨어하우스, Amazon S3
데이터 레이크 및 운영
데이터베이스의 모든 데이터를
분석하여 레이크 하우스 접근
방식을 취하십시오.
다른 클라우드보다 최대 3 배 더
나은 가격 대비 성능
자체 튜닝 시스템을 갖춘
데이터웨어 하우스, 쿼리의 성능을
AQUA를 통해 최대 10 배까지 향상
적은 양으로 시작하고 예측 가능한
월별 비용으로 사용 한만큼만
지불하세요. Redshift는 다른
클라우드 데이터 웨어하우스보다
최소 50% 저렴합니다.

마이그레이션
SELF-SERVICE GUIDES
단계별 가이드를 사용하여 직접
마이그레이션을 수행하고 AWS
전문가에게 도움을 요청하십시오.
MIGRATION SUPPORT
Amazon Redshift로
마이그레이션하는 과정의 각 단계에
대한 실무 지원 받기

AWS 파트너와 함께 마이그레이션
AWS 컨설팅 파트너는 데이터
웨어하우스를 Amazon Redshift로
이동할 수 있도록 다양한 마이그레이션
서비스를 제공합니다. AWS 데이터
웨어하우스 마이그레이션 파트너는
입증 된 모범 사례와 리소스를 통해
데이터 웨어하우스를 클라우드로
신속하게 이동할 수 있도록 지원을
제공합니다. AWS 서비스 제공 파트너는
특정 AWS 서비스를 깊이 이해하고 모범
사례를 따르며 고객에게 AWS 서비스를
제공하는데 성공한 것이 입증
되었습니다.
이것은 완전한 목록이 아닙니다. 모든 Amazon Redshift
파트너를 보려면 다음을 방문하세요.
https://aws.amazon.com/redshift/partners/

마이그레이션 여정
분석 및 계획
발견 & 준비
마이그레이션
비지니스 사례
마이그레이션
전문가
마이그레이션
계획
워크로드 분석 및 파일럿
새 대상 생성
BI 및 App을 이중 환경 대상으로 수정/개발
ETL을 이중 환경 대상으로 수정/개발
기술/CoE
마이그레이션
마이그레이션
통합
테스트
변환
모니터링
최적화
워크샵 및 파일럿 지속적인 워크로드 마이그레이션

AWS 데이터 마이그레이션: 가장 광범위한 도구
AWS Schema Conversion Tool (SCT) AWS Database Migration Service (DMS)
AWS Direct Connect AWS Snowball AWS Storage
Gateway
Amazon S3 Transfer
Acceleration
Amazon Kinesis
Data Firehose

AWS Schema Conversion Tool (SCT)
AWS SCT는 상용 데이터베이스 및 데이터
웨어하우스 스키마를 Amazon Redshift,
Amazon RDS 및 Amazon Aurora와 같은 기타
네이티브 서비스로 변환합니다.
• Oracle, Teradata, Greenplum, IBM Netezza, HPE
Vertica 및 MS SQL Server를 포함한 다양한 소스 지원
• 자세한 마이그레이션 평가 보고서 생성
• 소스 테이블, 뷰, 저장 프로시저, 함수 및 애플리케이션
SQL 코드를 변환
• 자동 스키마 최적화
• SCT 데이터 마이그레이션 에이전트는 소스 데이터
웨어하우스에서 Amazon Redshift로 데이터를
안전하게 그리고 병렬로 추출, 준비, 최적화 및 업로드
할 수 있습니다
AWS SCT

AWS Database Migration Service (DMS)
“AWS Database Migration Service는 지금까지 본것 중 가장 인상적인 마이그레이션 서비스 입니다.
AWS Database Migration Service (AWS DMS)는
데이터베이스와 데이터웨어 하우스를 AWS로 쉽고
안전하게 마이그레이션 그리고/또는 복제합니다.
AWS DMS Amazon Redshift
2. 비 관계형 데이터 베이스
1. 관계형 데이터베이스
3. 다른 소스
Amazon S3

SQL 향상 & 마이그레이션 지원
Tooling &
connectivity
Open Source
Python & JDBC Drivers
RSQL -command line tool
with improved control flow
and BTEQ support
SQL Alchemy, Apache
Airflow, and QueryBook
support
Security
Column Level
Permissions
Tokenization
via Lambda UDFs
IAM integration
Azure AD, AD, Okta,
Ping Federate
Types & limits
VARBYTE
Time & TimeTZ
GEOGRAPHY
100,000 Tables
10,000 SPs
SUPER
(semi-structured data)
NEW
NEW
SQL Syntax
Stored Procedure
Enhancements
Recursive CTE
Numeric and
Textual Casting
Case Sensitivity
PIVOT/UNPIVOT
HyperLogLog Unload to JSON
NEW
NEW

Amazon Redshift Resources
• Visit www.aws.com/redshift
• Request a briefing: www.aws.amazon.com/redshift/data-warehouse-migration/
• Resources: www.aws.amazon.com/redshift/resources/
• Browse FAQs: www.aws.amazon.com/redshift/faqs/
• AWS Big Data blog: www.aws.amazon.com/blogs/big-data/
• Customer stories: www.aws.amazon.com/big-data/datalakes-and-
analytics/customers/

Amazon OpenSearch Service
마이그레이션
30

© 2022, Amazon Web Services, Inc. or its affiliates. 31
Amazon OpenSearch Service?
Amazon OpenSearch Service를 사용하면
대화형 로그 분석, 실시간 애플리케이션 모니터링, 웹사이트 검색 등을
쉽게 수행할 수 있습니다.
OpenSearch는 오픈소스며, Elasticsearch에서 파생된
분산 검색 및 분석 제품군입니다.

특징 및 장점
쉬운 배포와 관리 높은 보안성 비용 효율성 높은 확장성/가용성

완전관리형으로의 전환
* SQL 쿼리, 실시간 경보, 인덱스 상태 관리, 이상감지, 머신러닝
Self-managed Managed Service
On-Premise Amazon EC2 Amazon OpenSearch Service
앱 개발/최적화 앱 개발/최적화 앱 개발/최적화
Hot/warm 스토리지 티어 Hot/warm 스토리지 티어 Hot/UltraWarm/Cold 스토리지 티어
플러그인 (추가비용)* 플러그인 (추가비용)* 플러그인*
24x7 모니터링 & 교체 24x7 모니터링 & 교체 24x7 모니터링 & 교체
인 플레이스(In-place) 업그레이드/패치 인 플레이스(In-place) 업그레이드/패치 인 플레이스(In-place) 업그레이드/패치
클러스터 스케일링 클러스터 스케일링 클러스터 스케일링
AZ간 데이터 전송비용 AZ간 데이터 전송비용 AZ간 데이터 전송비용 없음
백업 백업 백업
고가용성 고가용성 고가용성
보안 (FGAC, Auth) 보안 (FGAC, Auth) 보안 (FGAC, Auth)
하드웨어 & OS 유지관리 하드웨어 & OS 유지관리 하드웨어 & OS 유지관리
하드웨어 라이프사이클 하드웨어 라이프사이클 하드웨어 라이프사이클
전원/네트워크/공기조화기술(HVAC) 전원/네트워크/공기조화기술(HVAC) 전원/네트워크/공기조화기술(HVAC)
* SQL 쿼리, 실시간 경보, 인덱스 상태 관리, 이상감지, 머신러닝

마이그레이션 과정
기존 애플리케이션 코드를 변경하지 않고도 운영중인 Elasticsearch 기반 애플리케이션을
Amazon OpenSearch Service로 쉽게 마이그레이션하고 실행할 수 있습니다.
손쉬운 이전
Migration 프로그램을 통해서 빠른 마이그레이션을 위해 각종 툴과 모범사례를 지원합니다.
프로세스 기반의 지원
업데이트
/동기화
검증 및
계획
POC 배포
데이터
복사
정리
/마무리

데이터 마이그레이션 패턴
스냅샷으로 생성 기존 솔루션에서 생성 수집 파이프라인에서 전환
소스로부터 생성
A B C
A
B
참고: https://docs.aws.amazon.com/ko_kr/opensearch-service/latest/developerguide/version-migration.html#snapshot-based-migration

마이그레이션 체크포인트
• 코어 비지니스 또는 기술에 집중해야 하는 경우
• 비용 최적화가 필요한 경우
• 보안 등 엔터프라이즈 비지니스에서 요구되는 기능이 필요한 경우
• Native AWS 서비스로 효율성을 높이고 싶은 경우
• 대규모 운영이 시작되는 경우
• UltraWarm, Trace Analytics, Anomaly Detection 등 신기술이 필요한 경우

Amazon OpenSearch Resources
• Visit www.aws.com/opensearch-service
• Request a briefing: aws.amazon.com/big-data/datalakes-and-
analytics/migrations/
• Resources: aws.amazon.com/opensearch-service/resources/
• Browse FAQs: aws.amazon.com/opensearch-service/faqs/

여러분의 소중한
피드백을 기다립니다.
행사 종료 후 설문조사에
참여해 주십시오.

Thank you!

분석 워크로드 마이그레이션의 모든 것-김기영, AWS Analytics Specialist SA / 김성일, AWS Analytics Specialist SA::AWS 마이그레이션 A to Z 웨비나

More Related Content

Similar to 분석 워크로드 마이그레이션의 모든 것-김기영, AWS Analytics Specialist SA / 김성일, AWS Analytics Specialist SA::AWS 마이그레이션 A to Z 웨비나

More from Amazon Web Services Korea

분석 워크로드 마이그레이션의 모든 것-김기영, AWS Analytics Specialist SA / 김성일, AWS Analytics Specialist SA::AWS 마이그레이션 A to Z 웨비나