Glue를 활용한 Serverless Data Prepartion AWS 기반 데이터 레이크의 핵심 서비스인 AWS Glue를 활용하여 데이터 분석을 위한 Data Preparation 작업을 자동화할 수 있습니다. 본 랩을 통해 Glue를 사용하여 데이터 레이크를 구성하고, 데이터 클린징, 조인 등 데이터 레이크의 데이터를 변환하는 코드를 직접 작성하여 실행해 보고, 또 이 작업을 스케줄링하여 BI와 연계하는, 데이터 준비와 관련된 전체 과정을 경험하실 수 있습니다.

1. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
Glue를 활용한 Serverless Data Preparation
핸즈온랩
강성문 / AWS Solutions Architect
kseongmo@amazon.com

2. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
실습 자료 다운로드
http://bit.ly/DevDayGlue
(크레딧은 실습 II 종료 후 제공됩니다.)

3. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
데이터 레이크 on AWS
http://bit.ly/DevDayGlue (Lab 다운로드)

4. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
데이터 레이크 on AWS
Amazon
S3
S3 Transfer
Acceleration
AI/ML
Amazon Athena
Amazon EMR
Amazon Redshift
+ Spectrum
Amazon
Elasticsearch
데이터 소스
Transactions
Web logs /
cookies
ERP
Connected
devices
Amazon QuickSight
Fast, easy to use,
cloud BI
Analytic Notebooks
Jupyter, Zeppelin, HUE
API Gateway
Programmatic Access
http://bit.ly/DevDayGlue (Lab 다운로드)

5. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
AWS Glue의 역할
Amazon
S3
S3 Transfer
Acceleration
AI/ML
Amazon Athena
Amazon EMR
Amazon Redshift
+ Spectrum
Amazon
Elasticsearch
데이터 소스
Transactions
Web logs /
cookies
ERP
Connected
devices
Amazon QuickSight
Fast, easy to use,
cloud BI
Analytic Notebooks
Jupyter, Zeppelin, HUE
API Gateway
Programmatic Access
Glue
Data
Catalog
ETL ETL
http://bit.ly/DevDayGlue (Lab 다운로드)

6. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
핸즈온 소개
http://bit.ly/DevDayGlue (Lab 다운로드)

7. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
Lab 시나리오
• 글로벌 21개국에 거점을 가진 스포츠/레저물품 유통업체
• S3를 이용한 서버리스 데이터 분석 환경 구축 목표
• 4년(‘14~’17)간 글로벌 주문 정보를 분석하는 PoC
• 주문량이 0 인 데이터가 섞여 있음 (데이터 클린징 등 데이터 가공)
• 주기적으로 데이터 추가 가능하도록 구성 (스케줄링 적용)
• 글로벌 주문량을 가시화한 대시보드 생성
http://bit.ly/DevDayGlue (Lab 다운로드)

8. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
Lab 아키텍처
AWS Glue
File data Transformed/
Enriched data
ETL
Crawling
Amazon QuickSight
Amazon
Athena
S3
.csv
Interactive
query
Visualization
(대시보드)
http://bit.ly/DevDayGlue (Lab 다운로드)

9. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
Lab 아키텍처 – 실습 범위
AWS Glue
File data Transformed/
Enriched data
ETL
Crawling
Amazon QuickSight
Amazon
Athena
S3
.csv
Interactive
query
Visualization
(대시보드)
1
2
3
http://bit.ly/DevDayGlue (Lab 다운로드)

10. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
Lab 아키텍처 – 실습 범위 (옵션)
AWS Glue
File data Transformed/
Enriched data
ETL
Crawling
Amazon QuickSight
Amazon
Athena
S3
.csv
Interactive
query
Visualization
(대시보드)
1
2
3
http://bit.ly/DevDayGlue (Lab 다운로드)

11. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
Advanced Lab (별도 문의)
AWS Glue
File data Raw/
Transformed/
Enriched data
ETL
Crawling
Amazon
Redshift
Amazon
QuickSight
Amazon
Athena
Zeppelin
Development
Endpoints
Redshift
Spectrum
S3
.csv
Interactive
query
http://bit.ly/DevDayGlue (Lab 다운로드)

12. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
목표 이미지 – S3데이터에 대한 카탈로그
987654321012
987654321012
98765432
1
http://bit.ly/DevDayGlue (Lab 다운로드)

13. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
목표 이미지 – 데이터 변형 및 보강
2
http://bit.ly/DevDayGlue (Lab 다운로드)

14. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
목표 이미지 – 대시보드 통한 가시화
3
http://bit.ly/DevDayGlue (Lab 다운로드)

15. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
핸즈온 주의사항
1. 실습 자료 다운로드 http://bit.ly/DevDayGlue
2. 랩 I, II는 연결됩니다. (랩 소요시간 2시간)
3. 진행중 도움이 필요하시면 손을 들어 서포트를 요청하십시오.
4. Browser는 최신 버전의 Chrome, Firefox를 권장합니다.
5. 리전은 버지니아, 오하이오, 오레곤, 아일랜드, 싱가포르, 시드니, 도쿄
를 활용하십시오.
6. 실습 종료 후 반드시 리소스를 삭제하시기 바랍니다.
7. 크레딧은 실습 II 종료 후 제공됩니다.
(크레딧은 My Account > Credits 탭에서 입력하실 수 있습니다.)
http://bit.ly/DevDayGlue (Lab 다운로드)

16. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
Q&A
• 세션 후, 설문에 참여해 주시면 행사 후 소정의 선물을 드립니다.
• #AWSDevDay 해시 태그로 의견을 남겨주세요!
http://bit.ly/DevDayGlue (Lab 다운로드)