AI/ML re:invent 2019 recap at Delivery Hero Korea

© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
Artificial Intelligence &
Machine Learning
Sungmin Kim
Solutions Architect, AWS

Which advertisement is better?

(b) advertisement may be better, isn’t it?

Why (b) advertisement is better?
Climbing sunglasses
Climbing shoes
How about
climbing gloves?

How to choose the most relevant advertisement?
• may be easy to find, if a image has correct tags.
• If so, how to tag millions of images in fast, cost-
efficient way?
• Machine Learning may save your life

VISION SPEECH TEXT SEARCH CHATBOTS PERSONALIZATION FORECASTING FRAUD DEVELOPMENT CONTACT CENTERS
Ground
Truth
Augmented
AI
ML
Marketplace
Neo
Built-in
algorithms
Notebooks Experiments
Model
training &
tuning
Debugger Autopilot
Model
hosting
Model Monitor
Deep Learning
AMIs & Containers
GPUs &
CPUs
Elastic
Inference
Inferentia
(Inf1 instance)
FPGA
Amazon
Rekognition
Amazon
Polly
Amazon
Transcribe
+Medical
Amazon
Comprehend
+Medical
Amazon
Translate
Amazon
Lex
Amazon
Personalize
Amazon
Forecast
Amazon
Fraud Detector
Amazon
CodeGuru
AI SERVICES
ML SERVICES
ML FRAMEWORKS & INFRASTRUCTURE
Amazon
Textract
Amazon
Kendra
Contact Lens
For Amazon Connect
SageMaker Studio IDE
NEW
NEW! NEW! NEW! NEW!
NEW!
NEW! NEW! NEW! NEW! NEW!
Amazon SageMaker
모든 개발자를 위한 다양한 인공 지능 도구 제공

Automatic Image Tagging
Automatic Image Recognition
Amazon Rekognition

Architecture: Automatic Image Tagging
Amazon Elasticsearch Service Amazon Kinesis
Data Streams
Amazon Rekognition
Images AWS LambdaAmazon S3 bucket
with images
Amazon API Gateway
L E A R N M O R E https://github.com/ksmin23/image-insights

응용 사례: 고객 센터의 대화 정보 분석
Speech-To-Text
Amazon Transcribe
Sentimental Analysis
Amazon Comprehend

Architecture: 고객 센터의 대화 정보 분석
Amazon Elasticsearch Service
Amazon API GatewayVoice
conversation
AWS Lambda
Amazon Kinesis
Data Streams
Amazon S3 bucket with
speech-to-text files
Amazon TranscribeAmazon Kinesis
Data Streams
AWS Lambda
Amazon S3 bucket
with voice files
Amazon Comprehend

Contact Lens For Amazon Connect
테마 자동
감지
내장 된 자동
통화 녹음
자동 연락처
분류
강화 된
연락처 검색
실시간 감성 대시
보드 및 알림
고객 피드백을
기반으로 반복
문제 인식
제품 및 기능 언급
같은 특별한
유형의 대화 검색
고객의 심리에
따라 관심 통화
필터 가능
Connect에서
직접 전체 통화
내역 보기
통화 경험이 나쁜
경우 신속하게
식별 가능
고객과의 대화 데이터를 기반한 음성 인식, 자연어 처리를 통한 감정과 추세를
이해하는 인공 지능 서비스
L E A R N M O R E EUC214-R Contact Lens for Amazon Connect: New speech analytics powered by ML
Preview – December 3
AI SERVICES
Machine Learning

Amazon Fraud Detector
사전 구축 된 사기
탐지 모델 템플릿
맞춤형 사기 탐지
모델 자동 생성
아마존 내부 경험을
통한 다양한 패턴
Amazon
SageMaker와의 통합
과거 평가 및 탐지
로직 검토 통합
기계 학습을 사용하여 온라인 사기를 대규모로 실시간으로
쉽게 감지 할 수 있는 사기 탐지 서비스
L E A R N M O R E AIM322-R - Introducing Amazon Fraud Detector: Detect more online fraud faster
AI SERVICES
Machine Learning

Amazon Fraud Detector
L E A R N M O R E AIM322-R - Introducing Amazon Fraud Detector: Detect more online fraud faster
AI SERVICES
Machine Learning

Amazon CodeGuru
기반 지능형 코드 분석
및 권장 사항이 포함 된
코드 리뷰 도구
배포 전에 AWS 설정 오류
및 높은 컴퓨팅을 사용할
가능성 높은 코드 판별
다양한 프로파일을 통해
지연 시간 및 성능 향상을
손쉽게 식별 가능
CodeGuru Reviewer CodeGuru Profiler
Machine Learning
General Available – December 3
AI SERVICES
L E A R N M O R E EUC214-R Contact Lens for Amazon Connect: New speech analytics powered by ML
소스 코드 리뷰 및 높은 비용이나 오류를 유발하는 코드 수정 또는 개선을 자동으로
해주는 개발팀을 위한 인공 지능 서비스
비용 기반 판별
아마존 내부 코드 및 상위
1만개 오픈 소스 프로젝트를
기반한 모델 기반
자바 언어 지원

CodeGuru Reviewer
Flags critical defects and reliability issues in source code.
Amazon CodeGuru Reviewer augments human code review
process and does not replace it
Pull
Request
Approval
Merge
Code
Review
Branch
Make
changes
locally
Amazon CodeGuru Reviewer

CodeGuru Reviewer - 코드 문제 식별
• AWS API 및 SDK 사용 모범 사례와 다른 부분 감지
• 성능 (예: 풀링) 또는 정확성 및 안전성 (예: 페이지 매김 누락) 문제들이 발생할 수 있는 코드
• 동시성(Concurrency)
• 정확성 (예:동기화 누락) 또는 성능 문제 (예: 과도한 동기화) 가 발생하여 가용성을 저하시킬 수 있는 코드
• 리소스 누수
• 잘못 사용하면 (예: 데이터베이스 연결 미해제) 속도가 느려지고 가용성에 영향을 주는 코드
• 민감한 정보(개인 식별 정보) 유출
• 민감한 정보(예: 신용카드 번호 기록)가 유출 되어 보안 이슈를 발생 시킬 수 있는 코드
• 찾기 어려운 코드 결함
• 품질 향상을 위해서 개선이 필요한 코드 (예: 각 Lambda 호출 마다 클라이언트 미생성)

Customer’s
application
Profiler
thread
Customer’s
application
Profiler
thread
Customer’s
application
Profiler
thread
Customer’s
application
Profiler
thread
Actionable
recommendations
CodeGuru Profiler

CodeGuru Profiler – 가장 비경제적인 코드 찾기
• 성능 최적화 향상 시킬 수 있는 방법들을 찾도록 학습
ü 높은 대기 시간(latency)
ü 높은 CPU 사용률
ü 낮은 처리량(throughput)
• 문제 해결을 위한 풍부한 시각화
• 코드 수정 방법 권장
• 아마존에서 수년간 성능 엔지니어링 경험을 통해 학습한 지능형
프로파일러

AI Services 한 번에 정리하기
• Human-like
• 보기(Vision) – Rekognition
• 듣기 및 말하기(Speech)
ü Polly(Text-To-Speech)
ü Transcribe(Speech-To-Text)
ü Transcribe Medicalnew
• 읽기(Text)
ü Comprehend
ü Comprehend Medicalnew
ü Textract
• Common Applications
• 예측 – Forecast
• 추천 - Personalize
• 검색 – Kendranew
• 채팅 – Lex
• 고객 센터 – Contact Lensnew
• 사기 탐지 – Fraud Detectornew
• 개발자 도구 – Code Gurunew

Revisit to the problem: Image Tagging
Q1. How to customize?

Amazon Rekognition Custom Labels
Machine Learning
General Available
AI SERVICES
데이터 준비 데이터 레이블 작업 모델 재학습 특화된 식별
고객이 직접 데이터 입력을 통한 고유 객체 및 장면을 감지 할 수 있는
맞춤형 이미지 분석 기능 제공
L E A R N M O R E AIM313- R Customize image analysis with Amazon Rekognition Custom Labels

Q2. How to build our own ML model?

Machine learning workflow
Collect and
prepare
training data
Scale and
manage
the
production
environment
Set up and
manage
environments
for training
Choose and
optimize your
ML algorithm
Train and
tune models
Deploy
models
in production

Amazon SageMaker
손쉬운 기계 학습 모델 생성, 훈련 및 서비스 배포 완전 관리 서비스
ML SERVICES
Machine Learning
Collect and
prepare training
data
Choose and
optimize your
ML algorithm
Hyper-
parameter
최적화
Train and
tune ML models
Set up and
manage training
environments
원클릭
데이터 훈련
원클릭 배포
Deploy models
in production
완전 관리 및
자동 스케일링
Scale and manage
the production
environment
Jupyter
Notebook 기반
서비스
데이터
레이블

Amazon SageMaker Studio
기계 학습 모델 개발 및 배포를 위한 최초의 완전 통합 개발 환경 (IDE)
Machine Learning
L E A R N M O R E AIM214-R Introducing Amazon SageMaker Studio, the first full IDE for ML
ML SERVICES
코드 작성 없이
데이터를 가지고
자동 모델 생성
SageMaker
Autopilot
코드 의존성 추적
없이 확장 가능한
노트북 공유
SageMaker
Notebooks
수천 개의 모델
실험을 구성,
추적 및 비교
SageMaker
Experiments
오류 자동 디버깅 및
실시간 오류 경보
SageMaker
Debugger
모델 모니터링 및
고품질 유지
SageMaker
Model Monitor

개발자가 몇 초 만에 ML 노트북을 가동 후 한 번의 클릭으로 공유 할 수 있는
새로운 개발 환경 제공
Amazon SageMaker Notebooks
Machine Learning
L E A R N M O R E AIM230-R New Amazon SageMaker notebook experience: Share & collaborate at scale
ML SERVICES
직원 자격 증빙으로 바로
개발 환경 접근 가능
관리자가 손쉽게 권한 및
접근 제어 가능
보안성 높은 완전
관리형 서비스
손쉬운 협업
환경 제공
클릭 한번으로
URL기반 공유 가능
싱글 사인온 (SSO)을
통한 손쉬운 접근
컴퓨팅 리소스 없이
서버리스 환경
별도의 설정이나
구동 불필요

대규모 실험 추적 최상 결과 시각화 Python SDK & API 빠르게 반복 가능
실험 및 사용자의
매개 변수 및 측정
항목 추적
빠른 실험 구성
팀, 목표, 가설에
의해 구성
각 실험 간 시각화
및 비교
API를 사용하여 맞춤
측정 항목을 기록하고
모델 추적
반복 훈련을 통한
고품질 모델 개발
기계 학습 모델 훈련 실험을 구성, 추적 및 평가하는 완전 관리 서비스
Amazon SageMaker Experiments
Machine Learning
ML SERVICES
SEOUL
L E A R N M O R E AIM362-R Build, train & debug, and deploy & monitor with Amazon SageMaker

mnist_experiment = Experiment.create(
experiment_name="mnist-hand-written-digits-classification",
description="Classification of mnist hand-written digits",
sagemaker_boto_client=sm)
cnn_trial.add_trial_component(tracker.trial_component)
cnn_trial = Trial.create(
trial_name=trial_name,
experiment_name=mnist_experiment.experiment_name,
sagemaker_boto_client=sm,
)
with Tracker.create(display_name="Preprocessing",
sagemaker_boto_client=sm) as tracker:
tracker.log_parameters({
"normalization_mean": 0.1307, "normalization_std": 0.3081,
})
tracker.log_input(name="mnist-dataset", media_type="s3/uri", value=inputs)
Tracker
생성
Experiment
생성
Trial 생성
estimator.
fit()

자동 데이터
분석 기능
필수 훈련
데이터 캡처
자동 오류
감지 기능
알림에 의한
생산성 향상
시각적 분석 및
디버깅
코드 변경 없이 데이터
분석 및 디버깅
훈련 시 다양한 로그를
자동으로 저장
규칙에 따라 오류
자동 감지
알림 기반 수정
조치 수행
SageMaker Studio와
연계 가능
코드 변경없이 실시간으로 모델 훈련 실행 과정의 데이터 캡처 및 분석을 자동화하여
훈련 과정에 대한 완벽한 통찰력 제공
Amazon SageMaker Debugger
Machine Learning
L E A R N M O R E AIM216-R Intro to Amazon SageMaker Debugger: Get insights into ML model training
ML SERVICES
SEOUL

자동 데이터 수집 지속적 모니터링 CloudWatch 통합
엔드포인트에서
배포한 모델 관련
데이터 자동 수집
CloudWatch
알림을 기반으로
수정 작업 자동화
시각적 데이터 분석
사전 정의 기준에 따라
모니터링 일정을 정의하고
품질 변화 감지
SageMaker Studio에서
모니터링 결과, 데이터
통계 시각화 및 통합
규칙에 따른 유연성
내장 규칙을 사용한
데이터 드리프트 감지
혹은 사용자 정의 분석을
위한 고유 규칙 작성
Machine Learning
Amazon SageMaker Model Monitor
L E A R N M O R E AIM213-R The new Amazon SageMaker Model Monitor: Address concept drift & model quality
ML SERVICES
SEOUL
모델을 지속적으로 모니터링하고 시간에 따라 모델 성능을 저하시킬 수 있는 편차를
감지하고 수정 조치를 취하는 서비스

Machine Learning
Amazon SageMaker Multi-model Endpoints
ML SERVICES SEOUL
여러 모델을 호스팅 할 수 있는 엔드포인트를 제공함으로써 호스팅 비용을 절감
시켜주는 서비스
학습된 모델을
Amazon S3에 저장
모델을 쉽게
배포 및 관리
단일 엔드포인트에서
모든 모델 제공
엔드포인트에 여러
모델 배포
동일한 엔드 포인트에서
여러 모델을 동시에
호출
대상 모델 호출
트래픽을 기준으로
관리되는 메모리
자동 메모리 처리
엔드포인트 및 인스턴스
활용도 향상
비용 대폭 절감

Data Streams
Amazon Rekognition
Client AWS LambdaAmazon S3 bucket
with images
Amazon API Gateway

Data Streams
Amazon SageMaker
Client AWS LambdaAmazon S3 bucket
with images
Amazon API Gateway
TrainNotebook Model

자동 모델 생성
자동 모델 튜닝을 통한
ML 모델 자동 생성
기존 AutoML의 단점을 극복하기 위해 모델 제어 및 가시성 확보를 기반으로
자동 모델 생성 및 관리 서비스
추천 및 최적화 기능
리더 보드 확보 및
모델 개선 계속
Machine Learning
Amazon SageMaker Autopilot
ML SERVICES
SEOUL
가시성 및 데이터 제어
모델에 맞는
노트북 소스 코드
L E A R N M O R E AIM215-R Intro to Amazon SageMaker Autopilot: Auto-generate ML models
빠르게 시작 가능

Autopilot에서 자동으로 생성한 노트북

Machine Learning
Amazon SageMaker Operators for K8S
ML SERVICES
Key Features
L E A R N M O R E AIM326 Implement ML workflows with Kubernetes and Amazon SageMaker
Kubernetes 기반 모델 훈련, 조정 및 배포를 위한 완전 관리형 서비스

Classification Computer Vision Topic Modeling
Working with Text
Recommendation
Forecasting
• Linear Learner
• XGBoost
• KNN
• Image Classification
• BlazingText
• Supervised
• Unsupervised
• Factorization Machines
• DeepAR
• LDA
• NTM
Amazon SageMaker에서 제공하는 built-in algorithms
Anomaly Detection
• Random Cut Forests
Sequence Translation
• Seq2Seq
• Object Detection
Clustering
• KMeans
Feature Reduction
• PCA
• Object2Vec
Regression
• IP Insights
• Semantic Segmentation
• Linear
Learner
• XGBoost
• KNN
L E A R N M O R E https://docs.aws.amazon.com/sagemaker/latest/dg/algos.html

Q2. How to build our own ML model?
Q3. But, is it fast and costly enough?

VISION SPEECH TEXT SEARCH CHATBOTS PERSONALIZATION FORECASTING FRAUD DEVELOPMENT CONTACT CENTERS
Ground
Truth
ML
Marketplace
Neo
Augmented
AI
Built-in
algorithms
Notebooks Experiments
Model
training &
tuning
Debugger Autopilot
Model
hosting
Model Monitor
Deep Learning
AMIs & Containers
GPUs &
CPUs
Elastic
Inference
Inferentia FPGA
Amazon
Rekognition
Amazon
Polly
Amazon
Transcribe
+Medical
Amazon
Comprehend
+Medical
Amazon
Translate
Amazon
Lex
Amazon
Personalize
Amazon
Forecast
Amazon
Fraud Detector
Amazon
CodeGuru
AI SERVICES
ML SERVICES
Amazon
Textract
Amazon
Kendra
Contact Lens
For Amazon Connect
SageMaker Studio IDE
Amazon SageMaker
DeepGraphLibrary
모든 개발자를 위한 다양한 인공 지능 도구 제공

Predictions drive
complexity and cost
in production
90%
Inference
(Prediction)
10%
Training

A closer look at GPU utilization for inference
0
100
200
300
400
500
600
700
800
900
1000
1 2 3 4 5 6 7
90% underutilized
for single batch
size inference

0
50
100
150
200
1 2 3 4 5 6
More sessions doesn’t solve the problem

How cost effective are GPU instances for inference?
Smaller P2 instances are more effective for real time inference with small batch sizes

Amazon Elastic Inference
기계 학습 추론 비용 최대 75% 절감
Key Features
• Integrated with Amazon EC2, ECS,
and Amazon SageMaker
• Support for TensorFlow, Apache
MXNet, and ONNX, with PyTorch
coming soon
• Single and mixed-precision
operations
L E A R N M O R E https://aws.amazon.com/ko/machine-learning/elastic-inference/
Machine Learning
General Available - 2018 re:invent

Amazon EC2 Inf1 Instances
Machine Learning
General Availability – December 3
L E A R N M O R E CMP324: Deliver high performance ML inference with AWS Inferentia
Inf1은 GPU 기반 G4 인스턴스와 비교하여 최대 3 배 더 높은 처리량과 추론 당 비용을 최대 40 % 절감
클라우드에서 가장 빠르고 저렴한 기계 학습 추론용 인스턴스로서
AWS에서 설계 한 최초의 맞춤형 ML 칩인 AWS Inferentia 기반

ML inference deployment in Amazon EC2
커스텀 칩
EC2 Inf1 인스턴스
GPU 기반
EC2 G4 인스턴스
CPU 기반
EC2 C5 인스턴스
일반적인 ML 프레임 워크를
활용하는 애플리케이션
CUDA, CuDNN, TensorRT
라이브러리에 접근이 필요한
어플리케이션
성능에 민감도가 상대적으로
낮은, 작은 모델들
AWS Inferentia 제공
NVIDIA T4 GPUs 기반 Amazon
EC2 G4 인스턴스
AVX-512/VNNI 명령어세트를
지원하는 Intel Skylake CPUs
사용
• 클라우드에서의 ML 추론에
가장 적합한 가성비를 가짐
• G4 인스턴스와 비교해서
추론 당 40% 더 저렴하고,
3배 더 높은 처리량 제공
바로 사용 가능! 이미 출시됨 이미 출시됨
Featuring
AW
S
Inferentia

Wrap-up: AI/ML Stack을 활용한 문제 해결 순서

Amazon Transcribe Medical
사용 하기 손쉬운
API 기반
정확한 의료
데이터 인식
저렴한 비용으로
활용 가능
Machine Learning
AI SERVICES
의료 진료 시 임상의와 환자의 음성을 텍스트로 변환하도록 설계된 음성 인식 기능
L E A R N M O R E AIM210 - Announcing Amazon Transcribe Medical: Transforming Healthcare with AI

Amazon Kendra
다양한 데이터 소스
(S3, Sharepoint, 파일
서버, HTTP 등)
기계 학습 기반
자연어 처리 및 질의
지식 도메인
기반 학습 가능
간단한 API 및 콘솔
코드 샘플 제공
피드백에 따른
딥러닝 모델 학습
Machine Learning
AI SERVICES
기업 내부 문서 및 데이터에 대한 기계 학습 기반 분석 기반 엔터프라이즈 검색 서비스
L E A R N M O R E
AIM208-R Announcing Amazon Kendra: Transform the way you search and interact
with enterprise data using AI
원하는 것을 쉽게 검색 간단하고 빠른 설정

즉각적으로 더 나은 답변 제시
자연어 질의 사용
간단한 API 및 콘솔
코드 샘플 제공
• “IT 헬프 데스크가 정오에 문을 여나요?“
• “VPN에 연결하려면 어떻게 해야 하나요?”

클릭 몇 번으로 모든 데이터 색인 하기

사전 또는 사후 처리 ML 모델 평가 워크로드 실행 서비스
SageMaker기반 혹은
맞춤형 컨테이너 지원
Bring your own
script
맞춤형 프로세싱
클러스터에 대한
분산 처리 제공
완전 관리형
리소스 자동 생성,
구성 및 종류
자동 생성 및 종료
SageMaker의 보안 및
규정 준수 기능 활용
보안 및 규정 준수컨테이너 지원
Amazon SageMaker Processing
Machine Learning
ML SERVICES
L E A R N M O R E AIM362-R Build, train & debug, and deploy & monitor with Amazon SageMaker
SEOUL

# Built-in Scikit Learn Container
from sagemaker.sklearn.processing import SKLearnProcessor
processor = SKLearnProcessor(framework_version='0.20.0',
role=role,
instance_type='ml.m5.xlarge',
instance_count=1)
# Your Own Container
from sagemaker.processing import ScriptProcessor
processor = ScriptProcessor(image_uri='123456789012.dkr.ecr.us-west-2.
amazonaws.com/sagemaker-spacy-container:latest’,
role=role,
instance_count=1,
instance_type='ml.m5.xlarge')
from sagemaker.processing import ProcessingInput, ProcessingOutput
processor.run(
code='preprocessing.py',
inputs=[ProcessingInput(
source='dataset.csv',
destination='/opt/ml/processing/input')],
outputs=[ProcessingOutput(source='/opt/ml/processing/output/train'),
ProcessingOutput(source='/opt/ml/processing/output/validation'),
ProcessingOutput(source='/opt/ml/processing/output/test')]
)
Processing
Container
s3://bucket/path
/to/output_data
s3://bucket/path
/to/input_data
Instance 1
Cluster
/opt/ml/processing/
input
/opt/ml/processing/
output

A2I를 사용하면 기계 학습 워크 플로우에서 사람이 직접 검토를 쉽게 구현하여
복잡한 결정의 정확성, 속도 및 규모 향상 가능
Amazon Augmented AI (A2I)
Machine Learning
L E A R N M O R E AIM325 - Intro to Amazon Augmented AI for human review of ML predictions, featuring VidMob
ML SERVICES
클라이언트에서
데이터 전송
AWS AI 서비스나 맞춤형
모델이 예측 생성
S3에 결과 저장
1 2
4 낮은 신뢰도 예측은 사람을
통해 작업하기 위해 전달
3
높은 신뢰도의 예측이 클라이언트
애플리케이션에 바로 반환
6
Amazon Rekognition
Amazon Textract
5 A2I 답변 통합 알고리즘을
사용하여 통합된 리뷰
클라이언트
어플리케이션

Sent for human review: Amazon Textract
작업자(Worker)가 잘못된 철자를 수정

Sent for human review: Amazon Rekognition

AI/ML re:invent 2019 recap at Delivery Hero Korea

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Similar to AI/ML re:invent 2019 recap at Delivery Hero Korea

Similar to AI/ML re:invent 2019 recap at Delivery Hero Korea (20)

More from Sungmin Kim

More from Sungmin Kim (11)

AI/ML re:invent 2019 recap at Delivery Hero Korea