Download as PDF, PPTX
Uploaded byAmazon Web Services Korea
데이터 분석플랫폼을 위한 데이터 전처리부터 시각화까지 한번에 보기 - 노인철 AWS 솔루션즈 아키텍트 :: AWS Summit Seoul 2021
기업의 비즈니스 혁신의 기반인 데이터 분석 플랫폼은 쉽고 빠르게 구축할 수 있는 방법이 요구됩니다. 이를 위해 본 강연에서는 데이터 전처리를 코드없이 사용자 친화적 유저 인터페이스(GUI)로 수행할 수 있는 AWS Glue DataBrew , 데이터 추출, 변환 및 저장(ETL)을 위한 서버리스 서비스인 AWS Glue Studio, 데이터 카탈로그에 대한 권한통제 방법, 데이터웨어하우스 구축을 위한 Amazon Redshift 의 기술을 소개하고 대규모 데이터웨어하우스(DW) 클러스터간 데이터 공유 방법과 코드없이 기계 학습을 수행할 수 있는 기능들을 알려드립니다.
More Related Content
![대용량 데이터레이크 마이그레이션 사례 공유 [카카오게임즈 - 레벨 200] - 조은희, 팀장, 카카오게임즈 ::: Games on AWS ...](https://cdn.slidesharecdn.com/ss_thumbnails/t4s2-221108115925-5b63bf11-thumbnail.jpg?width=640&height=640&fit=bounds)
Similar to 데이터 분석플랫폼을 위한 데이터 전처리부터 시각화까지 한번에 보기 - 노인철 AWS 솔루션즈 아키텍트 :: AWS Summit Seoul 2021
![[AWS Summit 2019] 데이터의 힘, 스타트업 생존을 넘어 성장으로](https://cdn.slidesharecdn.com/ss_thumbnails/awssummitseoul2019kmongrevisedcraig190416finalscriptformatted-190828020916-thumbnail.jpg?width=640&height=640&fit=bounds)
![[금융고객을 위한 AWS re:Invent 2022 re:Cap] 3.AWS reInvent 2022 Technical Highlights...](https://cdn.slidesharecdn.com/ss_thumbnails/3-221216043844-b5569d92-thumbnail.jpg?width=640&height=640&fit=bounds)
![[D3T1S01] Gen AI를 위한 Amazon Aurora 활용 사례 방법](https://cdn.slidesharecdn.com/ss_thumbnails/d3t1s01genaiamazonaurora-240702042912-516e67f4-thumbnail.jpg?width=640&height=640&fit=bounds)
![[D3T1S06] Neptune Analytics with Vector Similarity Search](https://cdn.slidesharecdn.com/ss_thumbnails/d3t1s06neptuneanalyticsvectorsilimliaritysearch-240702042912-94c41309-thumbnail.jpg?width=640&height=640&fit=bounds)
![[D3T1S03] Amazon DynamoDB design puzzlers](https://cdn.slidesharecdn.com/ss_thumbnails/d3t1s03amazondynamodbdesignpuzzlers-240702042912-ad6df881-thumbnail.jpg?width=640&height=640&fit=bounds)
![[D3T1S04] Aurora PostgreSQL performance monitoring and troubleshooting by use...](https://cdn.slidesharecdn.com/ss_thumbnails/d3t1s04aurorapostgresqlperformancemonitoringandtroubleshooting-240702042912-5df626e3-thumbnail.jpg?width=640&height=640&fit=bounds)
![[D3T1S07] AWS S3 - 클라우드 환경에서 데이터베이스 보호하기](https://cdn.slidesharecdn.com/ss_thumbnails/d3t1s07-240702042911-cb134cd6-thumbnail.jpg?width=640&height=640&fit=bounds)
![[D3T1S05] Aurora 혼합 구성 아키텍처를 사용하여 예상치 못한 트래픽 급증 대응하기](https://cdn.slidesharecdn.com/ss_thumbnails/d3t1s05aurora-240702042911-c7f3f22d-thumbnail.jpg?width=640&height=640&fit=bounds)
![[D3T1S02] Aurora Limitless Database Introduction](https://cdn.slidesharecdn.com/ss_thumbnails/d3t1s02auroralimitlessdatabaseintroduction-240702042911-cb5552b7-thumbnail.jpg?width=640&height=640&fit=bounds)
![[D3T2S01] Amazon Aurora MySQL 메이저 버전 업그레이드 및 Amazon B/G Deployments 실습](https://cdn.slidesharecdn.com/ss_thumbnails/d3t2s01amazonaurorabluegreendeployment-240702042226-3ae36566-thumbnail.jpg?width=640&height=640&fit=bounds)
![[D3T2S03] Data&AI Roadshow 2024 - Amazon DocumentDB 실습](https://cdn.slidesharecdn.com/ss_thumbnails/d3t2s03documentdbhandson-240702042224-047bbc2c-thumbnail.jpg?width=640&height=640&fit=bounds)
![[Keynote] 슬기로운 AWS 데이터베이스 선택하기 - 발표자: 강민석, Korea Database SA Manager, WWSO, A...](https://cdn.slidesharecdn.com/ss_thumbnails/d3s01aws-230704014400-3eeae447-thumbnail.jpg?width=640&height=640&fit=bounds)
![[Keynote] Accelerating Business Outcomes with AWS Data - 발표자: Saeed Gharadagh...](https://cdn.slidesharecdn.com/ss_thumbnails/d2s01keynoteacceleratingbusinessoutcomeswithawsdata-230704011737-e053cfca-thumbnail.jpg?width=640&height=640&fit=bounds)
데이터 분석플랫폼을 위한 데이터 전처리부터 시각화까지 한번에 보기 - 노인철 AWS 솔루션즈 아키텍트 :: AWS Summit Seoul 2021
- 1. © 2021, AmazonWeb Services, Inc. or its affiliates. All rights reserved. K O R E A | M A Y 1 1 - 1 2 , 2 0 2 1
- 2. © 2021, AmazonWeb Services, Inc. or its affiliates. All rights reserved. © 2021, Amazon Web Services, Inc. or its affiliates. All rights reserved. 데이터 분석플랫폼을 위한 데이터 전처리부터 시각화까지 한번에 보기 노인철 솔루션즈 아키텍트 AWS
- 3. © 2021, AmazonWeb Services, Inc. or its affiliates. All rights reserved. © 2021, Amazon Web Services, Inc. or its affiliates. All rights reserved. AWS 기반의 데이터 분석 파이프라인 데이터 전처리를 위한 AWS Glue DataBrew(Demo) 데이터 프로세싱을 위한 AWS Glue Studio, Amazon EMR Studio(Demo) 데이터웨어하우스를 위한 Amazon Redshift 데이터 시각화를 위한 Amazon QuickSight 데이터 분석 시작부터 끝까지 Agenda
- 4. © 2021, AmazonWeb Services, Inc. or its affiliates. All rights reserved. © 2021, Amazon Web Services, Inc. or its affiliates. All rights reserved. AWS 기반의 데이터 분석 파이프라인
- 5. © 2021, AmazonWeb Services, Inc. or its affiliates. All rights reserved. © 2021, Amazon Web Services, Inc. or its affiliates. All rights reserved. 데이터 분석 환경이 직면한 문제들… 데이터를 다루고자 하는 사람들의 증가 • Data Engineer • Data Scientist • Business Analyst • Sales • Marketing 점점 다양해지는 데이터 형태 • CSV • Parquet • ORC • JSON • Structured 다양한 분석 도구 사용 • QuickSight • Jupyter • R, Python • QlikQ • Tableau 새로운 데이터 소스 • RDB • NoSQL • FILE • LOG • SaaS 기하급수적인 데이터 증가 • TB ~ EB
- 6. © 2021, AmazonWeb Services, Inc. or its affiliates. All rights reserved. © 2021, Amazon Web Services, Inc. or its affiliates. All rights reserved. 데이터 분석 파이프라인의 핵심 요소들… Data Sources Streaming Batch Structured Unstructured Cataloging & Search 수집 (Ingestion) 소비 (Consumption) 처리(Processing) Validate Clean Standardize Norm Transform Enrich Landing Zone Raw Zone Curated/ Consumption Zone Security & Governance
- 7. © 2021, AmazonWeb Services, Inc. or its affiliates. All rights reserved. © 2021, Amazon Web Services, Inc. or its affiliates. All rights reserved. 데이터 분석의 전처리부터 시각화까지 한번에 보기 AWS Cloud Amazon QuickSight AWS Glue Studio Amazon Athena Amazon Redshift Amazon EMR Studio File DB Log.. Glue Catalog Glue Crawler 원본 데이터 Glue Crawler 전처리 처리 분석 및 소비 저 장 AWS Glue DataBrew 정제 데이터 소비 데이터 수집 Lake Formation Governance S 3 S 3 S 3
- 8. © 2021, AmazonWeb Services, Inc. or its affiliates. All rights reserved. © 2021, Amazon Web Services, Inc. or its affiliates. All rights reserved. 데이터 전처리를 위한 AWS Glue DataBrew
- 9. © 2021, AmazonWeb Services, Inc. or its affiliates. All rights reserved. © 2021, Amazon Web Services, Inc. or its affiliates. All rights reserved. 데이터 분석을 위한 데이터 준비의 어려운 점 정규화를 위한 복잡한 코딩 시간 소모적인 프로세스 대규모 데이터 처리를 위한 리소스
- 10. © 2021, AmazonWeb Services, Inc. or its affiliates. All rights reserved. © 2021, Amazon Web Services, Inc. or its affiliates. All rights reserved. AWS Glue DataBrew의 주요 기능 PROFILE DATA 데이터 패턴과 비정상 데이터 탐지를 위한 데이터 프로파일링으로 데이터 품질 평가 CLEAN AND NORMALIZE 데이터 정제, 정규화를 위해 250개 이상의 변환 기능 제공 MAP DATA LINEAGE 데이터 소스와 변환 단계를 추적하고 시각화 AUTOMATE 변환 규칙을 저장하여 신규로 유입되는 데이터에 자동 적용
- 11. © 2021, AmazonWeb Services, Inc. or its affiliates. All rights reserved. © 2021, Amazon Web Services, Inc. or its affiliates. All rights reserved.
- 12. © 2021, AmazonWeb Services, Inc. or its affiliates. All rights reserved. © 2021, Amazon Web Services, Inc. or its affiliates. All rights reserved. 데이터 프로세싱을 위한 AWS Glue Studio
- 13. © 2021, AmazonWeb Services, Inc. or its affiliates. All rights reserved. © 2021, Amazon Web Services, Inc. or its affiliates. All rights reserved. AWS Glue Studio의 주요 기능 EASY JOB MANAGEMENT 모든 ETL JOB을 하나의 화면에서 확인 가능 CUSTOM CONNECTOR JDBC, ATHENA, SPARK과 호환되는 모든 CUSTOM CONNECTOR 생성 가능 NO CODING 다양한 변환 규칙을 제공하여 코딩을 최소화 SIMPLE VISUAL INTERFACE ETL개발자가 쉽게 사용할 수 있는 BOX-AND-ARROW STYLE의 VISUAL INTERFACE 제공
- 14. © 2021, AmazonWeb Services, Inc. or its affiliates. All rights reserved. © 2021, Amazon Web Services, Inc. or its affiliates. All rights reserved.
- 15. © 2021, AmazonWeb Services, Inc. or its affiliates. All rights reserved. © 2021, Amazon Web Services, Inc. or its affiliates. All rights reserved. 데이터 프로세싱을 위한 Amazon EMR Studio
- 16. © 2021, AmazonWeb Services, Inc. or its affiliates. All rights reserved. © 2021, Amazon Web Services, Inc. or its affiliates. All rights reserved. 기존의 사용자 관리형 노트북의 문제점 소스코드 공유의 어려움 콘솔을 통해서만 접근 가능 디버깅의 어려움
- 17. © 2021, AmazonWeb Services, Inc. or its affiliates. All rights reserved. © 2021, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon EMR Studio의 주요 기능 INTRODUCING PREVIEW FULLY MANAGED JUPYTER NOTEBOOK 완전 관리형 Jupyter Notebook을 생성/관리 CODE SHARING Git Repository를 연결하여 동료간 코드 공유 QUICKLY DIAGNOSE JOB EMR Studio에서 Spark History Server를 통해 모니터링 WORKSPACE 동일한 WORKSPACE는 공통 클러스터와 속성을 공유
- 18. © 2021, AmazonWeb Services, Inc. or its affiliates. All rights reserved. © 2021, Amazon Web Services, Inc. or its affiliates. All rights reserved.
- 19. © 2021, AmazonWeb Services, Inc. or its affiliates. All rights reserved. © 2021, Amazon Web Services, Inc. or its affiliates. All rights reserved. 데이터웨어하우스를 위한 Amazon Redshift
- 20. © 2021, AmazonWeb Services, Inc. or its affiliates. All rights reserved. © 2021, Amazon Web Services, Inc. or its affiliates. All rights reserved. 조직 내/외부 간 분석 데이터 공유에 대한 문제점... 수작업으로 데이터를 UNLOAD하고 COPY할 때 많은 시간 소비 사용자가 늘어남에 따라 지연되어 비용 증가 복잡한 보안과 거버넌스
- 21. © 2021, AmazonWeb Services, Inc. or its affiliates. All rights reserved. © 2021, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Redshift : Data Sharing Producer cluster ENDPOINT Consumer cluster Leader Node Cache ENDPOINT Leader Node Cache Amazon Redshift managed storage 안전하고 통제된 방법으로 여러 그룹간 데이터 공유 성능과 비용을 모두 충족할 수 있도록 개별 클러스터 구성 실시간 및 일관된 데이터를 공유하는 간단하고 직접적인 방법 INTRODUCING PREVIEW
- 22. © 2021, AmazonWeb Services, Inc. or its affiliates. All rights reserved. © 2021, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Redshift : How Data Sharing Works How data sharing works Account 1 Create data shares, add Objects, and add consumers Db1 Schema1 Schema2 Db2 Schema1 Schema2 Producer Consume data shares, set Permissions, and query Datashare 1db Schema1 Datashare 3db Schema1 Schema2 Consumer Consumer Datashare 3 Schema1 Schema2 Datashare 1 Schema1 Data share metadata Datashare 2 Schema2 Account 2 Datashare 1db Schema2 Consumer Datashare 3db Schema1 Schema2
- 23. © 2021, AmazonWeb Services, Inc. or its affiliates. All rights reserved. © 2021, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Redshift ML 사기 탐지 및 위험 분석과 같은 예측 수행 표준 SQL을 사용하여 Amazon Redshift에서 ML 모델 적용 ML 모델을 자동으로 생성하고 학습 Amazon Redshift ML 데이터 분석 및 리포팅 Create Amazon Redshift 의 SQL에서 “create model” 명령을 사용하여 ML 모델 생성 Train Amazon SageMaker 가 최상의 ML 모델을 학습하고 자동으로 튜닝 수행 Predict SQL 쿼리를 사용하여 예상 이탈, 가격 및 위험과 같은 예측을 수행 데이터를 수집하여 데이터웨어하우스에 로드 Deploy Amazon Redshift ML 이 자동으로 ML 모델을 배포 NEW PREVIEW
- 24. © 2021, AmazonWeb Services, Inc. or its affiliates. All rights reserved. © 2021, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Redshift ML 예시 학습 데이터 준비 FEATURES １ 머신러닝 모델 생성 모델 평가 ２ CREATE MODEL… 결과 값 ３ 예측 수행 MODEL • Amazon SageMaker의 AutoPilot 이용 • 추론을 위한 모델 서빙은 Redshift 클러스터 이용
- 25. © 2021, AmazonWeb Services, Inc. or its affiliates. All rights reserved. © 2021, Amazon Web Services, Inc. or its affiliates. All rights reserved. 데이터 시각화를 위한 Amazon QuickSight
- 26. © 2021, AmazonWeb Services, Inc. or its affiliates. All rights reserved. © 2021, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon QuickSight의 주요 기능 EMBEDDING DASHBOARD 기업의 포털에 쉽게 대시보드를 임베딩 FASTER INSIGHT WITH Q 자연어로 질문하고 비즈니스 사용자에게 빠르게 응답 ML CAPABILITY 데이터를 분석하여 자연어로 리포트를 설명
- 27. © 2021, AmazonWeb Services, Inc. or its affiliates. All rights reserved. © 2021, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon QuickSight의 주요 기능 Amazon QuickSight는 AWS PrivateLink를 통해 사용자의 VPC 내의 데이터에 접근할 수 있습니다. Amazon QuickSight는 Row-Level Security와 함께 Column-Level Security를 적용하여 데이터에 대한 보안 제어를 강화할 수 있습니다.
- 28. © 2021, AmazonWeb Services, Inc. or its affiliates. All rights reserved. © 2021, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon QuickSight를 통한 데이터 시각화 Redshift에서 외부 스키마 생성 QuickSight에서 Redshift 연결 QuickSight 시각화
- 29. © 2021, AmazonWeb Services, Inc. or its affiliates. All rights reserved. © 2021, Amazon Web Services, Inc. or its affiliates. All rights reserved. 데이터분석 시작부터 끝까지
- 30. © 2021, AmazonWeb Services, Inc. or its affiliates. All rights reserved. © 2021, Amazon Web Services, Inc. or its affiliates. All rights reserved. 데이터분석 시작부터 끝까지 Glue Catalog Amazon Redshift Amazon QuickSight 끝 S3 시작 Glue Catalog AWS Glue DataBrew AWS Glue Studio
- 31. © 2021, AmazonWeb Services, Inc. or its affiliates. All rights reserved. 여러분의 소중한 피드백을 기다립니다. 강연 종료 후, 강연 평가에 참여해 주세요! © 2021, Amazon Web Services, Inc. or its affiliates. All rights reserved.
- 32. © 2021, AmazonWeb Services, Inc. or its affiliates. All rights reserved. 감사합니다 © 2021, Amazon Web Services, Inc. or its affiliates. All rights reserved.