효율적인 빅데이터 분석 및 처리를 위한 Glue, EMR 활용 - 김태현 솔루션즈 아키텍트, AWS :: AWS Summit Seoul 2019

© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
효율적인 빅데이터 분석 및 처리를 위한
Glue, EMR 활용
Taehyun Kim
Analytics Specialist SA

© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
§Introduction
§Glue Internal
§Items
§ Item1: 많은 수의 작은 파일 처리
§ Item2: 작은 수의 큰 파일 처리
§ Item3: 병렬처리 최적화
§ Item4: JDBC 파티션
§ Item5: Scheduler
§ Item6: Python shell
§ Item7: Glue vs EMR
§Demo

약 1년 전 …
완전 관리형 서버리스 ETL(extract-transform-load) 서비스
개발자를 위해, 개발자에 의해
이미 많은 고객이 업무에 Glue를 활용 중

AWS Glue 서버리스 Data Catalog & ETL 서비스
Data Catalog
ETL Job
authoring
Discover data and
extract schema
Auto-generates
customizable ETL code
in Python and Scala
자동으로 데이터 검색 후 스키마 저장
데이터는 검색가능하고 ETL에 사용할 수 있음
사용자 정의 코드 자동 생성
ETL 작업 예약 및 실행
개방형 표준 기반으로 서버리스하면서 유연함

Data lake with AWS Glue
Amazon S3
(Raw data)
Amazon S3
(Staging
data)
Amazon S3
(Processed data)
AWS Glue Data Catalog
Crawlers Crawlers Crawlers
Data Move Data Lake Analyze

AWS Glue 고객

Glue는 계속 발전 중
Metadata access
policies for AWS Glue
Data Catalog
Amazon SageMaker
notebooks
Encryption
at rest
Canada central
region
Crawler combine
compatible schemas
ETL job
metrics
Amazon DynamoDB
integration
Job delay
notification
London
region
Seoul
region
Crawler merge
new columns
Mumbai
region
Support Apache
Spark 2.2.1
ETL job
timeout
Singapore
region
Sydney
region Readers support
JSONPath expressions
New Job
Events Types
Support for
Scala scripts
Tokyo
region
Crawler CWE
notifications
XML support AWS CloudTrail
support
Amazon CloudFormation
templates
Crawler exclusion
patterns
Per-second
billing
DynamicFrame
Filter and Map
HIPAA compliance Ireland, Oregon,
Ohio region
Frankfurt
region

Glue ETL은 언제 사용해야 할까 ?
• Scale out
• 처리해야 할 데이터 사이즈가 너무 커서 장비 한 대에서 처리 불가능할 때
• Speed up
• 장비 한 대에서 처리할 수 있으나 시간이 너무 오래 걸릴 때

AWS Glue 실행 모델
• 하나의 Driver와 다수의 Executors가 존재
Driver
Executors

Glue 환경
• Standard
• 1 DPU(m4.xlarge)
• 4vCPU
• 16G RAM
• 2 executors
• 1 Driver
• 5G RAM
• 1 Executor
• 5G RAM
• 4 Tasks
• G.1X
• 1 Worker
• 4vCPU
• 16G RAM
• 1 executor
• 1 Driver
• 10G RAM
• 1 Executor
• 10G RAM
• 8 Tasks
• G.2X
• 1 Worker
• 8vCPU
• 32G RAM
• 1 executor
• 1 Driver
• 20G RAM
• 1 Executor
• 20G RAM
• 16 Tasks

Glue 환경
• Glue Standard Job
• Minimum DPU: 2
• Default DPU: 10
• Ex) 10 DPU Job
• 10 node cluster
• 1 Master + 9 Core Nodes
• 18 executors
• 1 driver
• 17 executors

Glue 환경
• Internal argument to AWS Glue
• --conf
• --debug
• --mode
• --JOB_NAME

Glue Job 기본 Template
1. Initialize
2. Read
3. Transform data
4. Write
## Initialize
glueContext = GlueContext(SparkContext.getOrCreate())
## Create DynamicFrame and retrieve data from source
ds0 = glueContext.create_dynamic_frame.from_catalog (
database = "mysql", table_name = "customer",
transformation_ctx = "ds0")
## Implement data transformation here
ds1 = ds0 ...
## Write DynamicFrame from Catalog
ds2 = glueContext.write_dynamic_frame.from_catalog (
frame = ds1, database = "redshift",
table_name = "customer_dim",
redshift_tmp_dir = args["TempDir"],
transformation_ctx = "ds2")

Apache Spark
Spark core: RDDs
SparkSQL
Dataframes DynamicFrames
AWS Glue ETL
Apache Spark
데이터 병렬 분산 처리 프레임워크
내결함성 내장
유연한 Interface: Scala, Java, Python, SQL, R
풍부한 eco-system: ML, Stream, Graph, Analytics, …

Apache Spark vs AWS Glue ETL
Spark core: RDDs
SparkSQL
Dataframes DynamicFrames
AWS Glue ETL
Apache Spark
데이터 병렬 분산 처리 프레임워크
내결함성 내장
유연한 Interface: Scala, Java, Python, SQL, R
풍부한 eco-system: ML, Stream, Graph, Analytics, …
AWS Glue ETL libraries
통합: Data Catalog, Job Orchestration, Code-
Generation, Job Bookmarks, S3, RDS
ETL transforms, 다양한 connectors & formats
새로운 데이터 구조: DynamicFrames

DataFrames vs DynamicFrames
DataFrames
SparkSQL의 핵심 데이터 구조
구조화된 테이블과 유사:
사전에 정의된 스키마 필요
각 행은 동일한 구조를 가짐
SQL과 같은 분석에 적합
DynamicFrames
ETL dataframe과 유사
semi-structured 데이터 처리를 위해 설계,
e.g. JSON, Avro, Apache logs ...

AWS Glue transforms
toDF()
Spigot()
Filter()
Join()
ResolveChoice():
fromDF()
Unbox()
Map()
ApplyMapping():
Relationalize():
And more ….

성능: AWS Glue ETL
0
200
400
600
800
1000
1200
1400
1600
1800
Day Month Year
GitHub Timeline ETL Performance
DynamicFrames DataFrames
Time(sec)
Data size (# files)
24 744 8699
(lower is better)
On average: 2x 성능 향상
Configuration
10 DPUs
Apache Spark 2.1.1
Workload
JSON 에서 CSV 변환
Pull event만 제거

성능: 많은 수의 작은 파일 처리
0
1000
2000
3000
4000
5000
6000
7000
8000
1:2K 20:40K 40:80K 80:160K 160:320K 320:640K 640: 1280K
AWS Glue ETL small file scalability
Spark Glue
1.2 Million Files
Spark
Out-Of-Memory
>= 320: 640K files
Grouping
Time(sec)
# partitions : # files
많은 수의 작은 파일 처리
e.g. Kinesis Firehose
Vanilla Apache Spark (2.1.1) overheads
파티션을 재구성해야 함 (2-pass)
너무 많은 작업: task per file
스케줄링 및 메모리 오버헤드
AWS Glue DynamicFrames
Data Catalog와 통합
자동으로 파일 그룹화
크롤러 통계 사용

• JSON에서 Parquet로 format 변경 job
• 128만개 JSON 파일이 640개 partition으로 구성:
part1/
file1.json
…
file2000.json
part640/
file1.json
…
file2000.json

• SparkSQL job
data = spark.read.format("json").load("<input_location>")
data.write.format("parquet").save("<output_location>")

• Driver 에 할당된 5G 메모리가 빠르게 소비

• AWS Glue DynamicFrames
df = glueContext.create_dynamic_frame_from_catalog("<database>","<table>")
glueContext.write_from_options(df,"s3",{"path":"<output_location>"},"parquet")

Driver memory remains below 50%
for the entire duration of execution.

Grouping Options
• groupFiles
• inPartition
• acrossPartition
• groupSize

작은 수의 큰 파일 처리
• 5개의 큰 csv 파일이 존재
• 3가지 파일 압축 형식 테스트:
• 1.6 GB gzip
• 1.3 GB bzip2
• 12.5 GB 압축 X
• CSV에서 Parquet로 포맷을 변경하는 Job 테스트

1.6 GB gzip 파일 처리
• 한개의 파일은 하나의 파티션으로 구성되어 5개 파티션이 존재
• Job은 실행된 지 2시간이 지나 실패

1.3 GB bzip2 파일 처리
• Bzip2 파일은 split 될 수 있어 104개의 task가 실행된 것을 확인할 수 있음
• Job은 약 18분 정도 걸려 정상적으로 완료

12.5 GB 압축되지 않은 파일 처리
• 압축되지 않은 파일은 라인 단위로 split되어 64MB 단위의 parition으로
구성됨
• Job은 약 12분 정도 걸려 정상 완료

작은 수의 큰 파일 처리
• 기본적으로 snappy 압축에 parquet 포맷으로 partition해서 사용하길 권장
• 그 외 압축 형식 중 선택해야 한다면 bzip2
• gzip을 사용한다면 자원을 충분히 활용할 수 있는 파일 크기로 구성되어
있는 지 확인
• AWS Glue에서는 대역폭이 문제가 되는 경우는 거의 없으므로 압축되지
않은 파일의 경우 상황에 따라 그대로 사용하는 것도 고려할 수 있음

병렬처리 최적화
• 크고 분할 가능한 bzip2 파일 처리.
• 10 DPU를 사용할 경우 maximum needed executors와 maximum allocated
executors에 차이가 있음을 확인.

DPU
• 17 Executors (Maximum Allocated Executors)
• 10 DPU = 10 Node Cluster = 1 Master + 9 Core Node
• 9 Core Node = 18 Executors = 1 Driver + 17 Executors
• 27 Executors (Maximum Needed Executors)
• 1 Driver + 27 Executors = 28 Executors = 14 Core Node
• 14 Core Node + 1 Master = 15 Node Cluster = 15 DPU

병렬처리 최적화
• 15 DPU를 사용할 경우, active executors가 maximum needed executors에
근접해 있음을 확인

AWS Glue JDBC 파티션
• JDBC를 source로 사용하는 경우 기본 동작은 하나의 테이블은 하나의
파티션으로 읽기 수행
• AWS Glue는 데이터 적재 후 10개 미만의 파티션으로 자동으로 분할

JDBC 파티션 읽기
A single executor is used
for the JDBC query
Data is repartitioned for
the rest of the job.

Database table 병렬 읽기 옵션
• hashexpression – 데이터를 고르게 분포할 수 있는 Integer 값을 갖는 열.
• hashfield – 데이터를 고르게 분포할 수 있는 hashexpression 대체 열.
• hashpartitions – 병렬 읽기 쿼리 수 지정. 기본 값은 7.
• 각 옵션은 아래와 같은 Query Collection으로 변경
SELECT *
FROM <table>
WHERE <hashexpression> % <hashpartitions> = <partition>

• 4개의 executor가 16개의 partition으로 동시에 병렬로 데이터 읽기 수행

• Database의 커넥션 수 변화 확인

JDBC Query를 위한 Job Bookmark
• Job bookmark는 테이블에 ordered primary key가 존재할 때만 가능
• Update는 현재 지원하지 않음

Glue

Boto3

Jenkins with boto3

Oozie with boto3

Airflow with boto3

AWS Glue Python shell
A new cost-effective ETL primitive for small to
medium tasks
Python
shell 3rd party
service

AWS Glue Python shell specs
• Python 2.7 지원
• boto3, awscli, numpy, scipy, pandas, scikit-learn, PyGreSQL, …
• cold spin-up: < 20sec, VPCs 지원, 실행 시간제한 없음
• sizes: 1 DPU (16GB 사용가능), 또는 1/16 DPU (1GB 사용가능)
• pricing: DPU-hour마다 $0.44
• 최소 과금 시간 1분, 이후부터는 초 단위 과금

AWS Glue vs EMR
• 이미 On-Premise에서 사용하고 있는 Workload(Hive, Spark Streaming, Flink 등)를
AWS로 Migration 해야하는 경우
• AWS Glue는 Custom Configuration을 지원하지 않음
• Glue에서 지원하는 것 보다 더 높은 CPU와 Memory를 필요로 하는 Workload의 경우

Next Step
• 세션 관련 엑스포 부스 안내
• AWS 빅데이터 부스 상담존
• 관련 리소스
• https://amzn.to/2UWRzdy
• 세션 관련 Getting Started 정보
• https://amzn.to/2USLuyw

효율적인 빅데이터 분석 및 처리를 위한 Glue, EMR 활용 - 김태현 솔루션즈 아키텍트, AWS :: AWS Summit Seoul 2019

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Similar to 효율적인 빅데이터 분석 및 처리를 위한 Glue, EMR 활용 - 김태현 솔루션즈 아키텍트, AWS :: AWS Summit Seoul 2019

Similar to 효율적인 빅데이터 분석 및 처리를 위한 Glue, EMR 활용 - 김태현 솔루션즈 아키텍트, AWS :: AWS Summit Seoul 2019 (20)

More from Amazon Web Services Korea

More from Amazon Web Services Korea (20)

효율적인 빅데이터 분석 및 처리를 위한 Glue, EMR 활용 - 김태현 솔루션즈 아키텍트, AWS :: AWS Summit Seoul 2019