데이터 분석플랫폼을 위한 데이터 전처리부터 시각화까지 한번에 보기 - 노인철 AWS 솔루션즈 아키텍트 :: AWS Summit Seoul 2021

© 2021, Amazon Web Services, Inc. or its affiliates. All rights reserved.
K O R E A | M A Y 1 1 - 1 2 , 2 0 2 1

데이터 분석플랫폼을 위한 데이터
전처리부터 시각화까지 한번에 보기
노인철
솔루션즈 아키텍트
AWS

AWS 기반의 데이터 분석 파이프라인
데이터 전처리를 위한 AWS Glue DataBrew(Demo)
데이터 프로세싱을 위한 AWS Glue Studio, Amazon EMR Studio(Demo)
데이터웨어하우스를 위한 Amazon Redshift
데이터 시각화를 위한 Amazon QuickSight
데이터 분석 시작부터 끝까지
Agenda

AWS 기반의 데이터 분석 파이프라인

데이터 분석 환경이 직면한 문제들…
데이터를 다루고자
하는 사람들의 증가
• Data Engineer
• Data Scientist
• Business Analyst
• Sales
• Marketing
점점 다양해지는
데이터 형태
• CSV
• Parquet
• ORC
• JSON
• Structured
다양한 분석
도구 사용
• QuickSight
• Jupyter
• R, Python
• QlikQ
• Tableau
새로운 데이터 소스
• RDB
• NoSQL
• FILE
• LOG
• SaaS
기하급수적인
데이터 증가
• TB ~ EB

데이터 분석 파이프라인의 핵심 요소들…
Data Sources
Streaming
Batch
Structured
Unstructured
Cataloging & Search
수집
(Ingestion)
소비
(Consumption)
처리(Processing)
Validate
Clean
Standardize
Norm
Transform
Enrich
Landing
Zone
Raw Zone
Curated/
Consumption
Zone
Security & Governance

데이터 분석의 전처리부터 시각화까지 한번에 보기
AWS Cloud
Amazon QuickSight
AWS Glue
Studio
Amazon Athena
Amazon Redshift
Amazon EMR
Studio
File
DB
Log..
Glue Catalog
Glue Crawler
원본 데이터
Glue Crawler
전처리 처리 분석 및 소비
저
장
AWS Glue
DataBrew
정제 데이터 소비 데이터
수집
Lake Formation
Governance
S
3
S
3
S
3

데이터 전처리를 위한
AWS Glue DataBrew

데이터 분석을 위한 데이터 준비의 어려운 점
정규화를 위한 복잡한 코딩
시간 소모적인 프로세스 대규모 데이터 처리를
위한 리소스

AWS Glue DataBrew의 주요 기능
PROFILE DATA
데이터 패턴과 비정상
데이터 탐지를 위한 데이터
프로파일링으로 데이터
품질 평가
CLEAN AND NORMALIZE
데이터 정제, 정규화를 위해
250개 이상의 변환 기능
제공
MAP DATA LINEAGE
데이터 소스와 변환 단계를
추적하고 시각화
AUTOMATE
변환 규칙을 저장하여
신규로 유입되는 데이터에
자동 적용

데이터 프로세싱을 위한
AWS Glue Studio

AWS Glue Studio의 주요 기능
EASY JOB
MANAGEMENT
모든 ETL JOB을 하나의
화면에서 확인 가능
CUSTOM CONNECTOR
JDBC, ATHENA, SPARK과
호환되는 모든 CUSTOM
CONNECTOR 생성 가능
NO CODING
다양한 변환 규칙을
제공하여 코딩을 최소화
SIMPLE VISUAL
INTERFACE
ETL개발자가 쉽게 사용할
수 있는 BOX-AND-ARROW
STYLE의 VISUAL
INTERFACE 제공

데이터 프로세싱을 위한
Amazon EMR Studio

기존의 사용자 관리형 노트북의 문제점
소스코드 공유의 어려움
콘솔을 통해서만 접근 가능 디버깅의 어려움

Amazon EMR Studio의 주요 기능
INTRODUCING
PREVIEW
FULLY MANAGED
JUPYTER NOTEBOOK
완전 관리형 Jupyter
Notebook을 생성/관리
CODE SHARING
Git Repository를
연결하여 동료간 코드
공유
QUICKLY DIAGNOSE JOB
EMR Studio에서 Spark
History Server를 통해
모니터링
WORKSPACE
동일한 WORKSPACE는
공통 클러스터와 속성을
공유

데이터웨어하우스를 위한
Amazon Redshift

조직 내/외부 간 분석 데이터 공유에 대한 문제점...
수작업으로 데이터를
UNLOAD하고 COPY할 때
많은 시간 소비
사용자가 늘어남에 따라
지연되어 비용 증가
복잡한 보안과 거버넌스

Amazon Redshift : Data Sharing
Producer cluster
ENDPOINT
Consumer cluster
Leader Node
Cache
ENDPOINT
Leader Node
Cache
Amazon Redshift
managed storage
안전하고 통제된 방법으로 여러 그룹간 데이터 공유
성능과 비용을 모두 충족할 수 있도록 개별 클러스터 구성
실시간 및 일관된 데이터를 공유하는 간단하고 직접적인 방법
INTRODUCING
PREVIEW

Amazon Redshift : How Data Sharing Works
How data sharing works
Account 1
Create data shares, add
Objects, and add consumers
Db1
Schema1
Schema2
Db2
Schema1
Schema2
Producer
Consume data shares, set
Permissions, and query
Datashare 1db
Schema1
Datashare 3db
Schema1
Schema2
Consumer
Consumer
Datashare 3
Schema1
Schema2
Datashare 1
Schema1
Data share
metadata
Datashare 2
Schema2
Account 2
Datashare 1db
Schema2
Consumer
Datashare 3db
Schema1
Schema2

Amazon Redshift ML
사기 탐지 및 위험 분석과 같은 예측 수행
표준 SQL을 사용하여 Amazon Redshift에서 ML 모델 적용
ML 모델을 자동으로 생성하고 학습
Amazon Redshift ML
데이터 분석 및 리포팅
Create
Amazon Redshift 의 SQL에서
“create model” 명령을
사용하여 ML 모델 생성
Train
Amazon
SageMaker 가
최상의 ML 모델을
학습하고 자동으로
튜닝 수행
Predict
SQL 쿼리를 사용하여 예상
이탈, 가격 및 위험과 같은
예측을 수행
데이터를 수집하여
데이터웨어하우스에 로드
Deploy
Amazon Redshift ML
이 자동으로 ML 모델을
배포
NEW
PREVIEW

Amazon Redshift ML 예시
학습 데이터 준비
FEATURES
１
머신러닝 모델 생성 모델 평가
２
CREATE MODEL…
결과 값
３
예측 수행
MODEL
• Amazon SageMaker의
AutoPilot 이용
• 추론을 위한 모델 서빙은
Redshift 클러스터 이용

데이터 시각화를 위한
Amazon QuickSight

Amazon QuickSight의 주요 기능
EMBEDDING DASHBOARD
기업의 포털에 쉽게
대시보드를 임베딩
FASTER INSIGHT WITH Q
자연어로 질문하고 비즈니스
사용자에게 빠르게 응답
ML CAPABILITY
데이터를 분석하여 자연어로
리포트를 설명

Amazon QuickSight의 주요 기능
Amazon QuickSight는 AWS PrivateLink를 통해
사용자의 VPC 내의 데이터에 접근할 수 있습니다.
Amazon QuickSight는 Row-Level Security와
함께 Column-Level Security를 적용하여
데이터에 대한 보안 제어를 강화할 수 있습니다.

Amazon QuickSight를 통한 데이터 시각화
Redshift에서 외부 스키마 생성
QuickSight에서 Redshift 연결
QuickSight 시각화

데이터분석 시작부터 끝까지

데이터분석 시작부터 끝까지
Glue Catalog Amazon
Redshift
Amazon QuickSight
끝
S3
시작
Glue Catalog
AWS Glue DataBrew AWS Glue Studio

여러분의 소중한 피드백을 기다립니다.
강연 종료 후, 강연 평가에 참여해 주세요!

감사합니다

데이터 분석플랫폼을 위한 데이터 전처리부터 시각화까지 한번에 보기 - 노인철 AWS 솔루션즈 아키텍트 :: AWS Summit Seoul 2021

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Similar to 데이터 분석플랫폼을 위한 데이터 전처리부터 시각화까지 한번에 보기 - 노인철 AWS 솔루션즈 아키텍트 :: AWS Summit Seoul 2021

Similar to 데이터 분석플랫폼을 위한 데이터 전처리부터 시각화까지 한번에 보기 - 노인철 AWS 솔루션즈 아키텍트 :: AWS Summit Seoul 2021 (20)

More from Amazon Web Services Korea

More from Amazon Web Services Korea (20)

데이터 분석플랫폼을 위한 데이터 전처리부터 시각화까지 한번에 보기 - 노인철 AWS 솔루션즈 아키텍트 :: AWS Summit Seoul 2021