© 2016, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
윤석찬
@channyun
AWS 테크에반젤리스트
Amazon 인공 지능(AI) 서비스 및
AWS 딥러닝 프레임웍 활용
2016년 12월 re:Invent 특집 온라인 세미나

강연 중 질문하는 법
전체 공개로 답변된 내용은 검은색, 질문자 본인에게만 공개로 답변된 내용은 붉은 색으로
돌아옵니다. 비공개 답변을 원하시면 [비공개]라고 하시고 질문하세요!

본 발표의 주요 주제
• Amazon의 추천 및 인공 지능 기반 서비스
• Amazon Machine Learning 서비스
• 딥러닝 프레임워크 지원
• AWS 신규 AI 서비스
§ Amazon Rekognition
§ Amazon Polly
§ Amazon Lex

Amazon.com 초기 서적 추천 서비스
• 에이전트 기반 서적 추천
엔진 활용
• Eyes & Editors
§ 좋아하는 저자의 신규
서적에 대한 자동 검색 및
알림 에이전트. 분야별
주제별 리뷰에 따른 추천
기능도 제공

Amazon.com 상품 추천 서비스
• 리뷰 및 평가 기반 추천 도입
• 이벤트(Events) 및 평가(Rating)
• 협업 필터링(Collaborative
filtering)
• 사용자 (user-user) 및 아이템
기반 (item-item)
• 총 판매 35%가 추천 시스템으
로부터 발생

강연 중 질문하는 법
전체 공개로 답변된 내용은 검은색, 질문자 본인에게만 공개로 답변된 내용은 붉은 색으로
돌아옵니다. 비공개 답변을 원하시면 [비공개]라고 하시고 질문하세요!

Amazon.com 웹 로그 분석
• 사용자 행동 데이터 분석
ü 기존 100노드의 1.6PB 급
DW 시스템 - 페타 바이트
급 (가장 큰 테이블 400TB,
일간 2TB)
ü 예: 검색 후 구매하지 않은
물품, 가장 많이 구매한
물품…
• Amazon Redshift 기반
DW로 분석 환경 변경

Amazon.com 온라인 주문 예측 서비스
• 주문 전/후 예측
시스템 도입
• 머신 러닝 기법 활용
• '고객이 주문 전에
배송 계획 예측’
• 사내 총 주간 추천
예측 500억회

Amazon 물류센터: 로봇 기반 배송 예측 시스템
• 13개 물류센터에 로봇
이동 도입
• 물류 순환 속도:
60~75분 ▶ 15분
• 재고 공간: 50% ↑
• 운영비용: 약 20%↓
• 이동 경로 계산 및 최적화
등에 머신 러닝 기법 활용

강연 중 질문하는 법
전체 공개로 답변된 내용은 검은색, 질문자 본인에게만 공개로 답변된 내용은 붉은 색으로
돌아옵니다. 비공개 답변을 원하시면 [비공개]라고 하시고 질문하세요!

Amazon Machine Learning 서비스
• AWS에서 관리하는 제공하는
Machine Learning 서비스
• 간단한 API로 개발자도 쉽게 사용
• Amazon 내부 시스템 위에서 빠른
Machine Learning 기술 사용
• AWS에 저장된 데이터를 바로
사용하여 데이터 모델링
• 바로 Production으로 사용할 수
있도록 배포(Endpoint)

Amazon ML 특징: 손쉬운 접근성
관리 콘솔에서 직접 ML 모델링
§ 데이터 소스 지정 및 생성
§ ML 모델 생성, 모델 품질 측정, 튜닝
§ 배포 및 관리
API, SDK를 이용하여 쉽게 활용
§ Java, Python, .NET, JavaScript, Ruby,
Javascript
AWS Mobile SDK를 통해 Android, iOS
앱에서도 쉽게 사용 가능

Amazon ML 특징: 신뢰성 및 확장성
신뢰 높은 시스템 (Dog fooding)
§ 아마존 내부 데이터사이언티스트 사용 시스템
§ 신뢰성 높은 알고리즘 제공
알고리즘외의 편리한 기능:
§ 간단한 데이터 타입 변환, 스키마 생성
§ 원본 데이터와 모델에 대한 품질 평가
확장성 높은 종량 과금 모델
§ 100GB 데이터 모델링 가능
§ 배치를 통한 예측 지원
§ 실시간 예측 지원

Train
model
Evaluate and
optimize
Retrieve
predictions
1 2 3
Amazon Machine Learning 사용하기 1
- 데이터 소스로 부터 DataSource 생성
- 데이터 내용과 스키마 확인
- 모델링 진행

1. 데이터로부터 Datasource 생성
>>> import boto
>>> ml = boto.connect_machinelearning()
>>> ds = ml.create_data_source_from_s3(
data_source_id = ’my_datasource',
data_spec= {
'DataLocationS3':'s3://bucket/input/',
'DataSchemaLocationS3':'s3://bucket/input/.schema'},
compute_statistics = True)

2. 데이터 내용과 스키마 확인

3. 데이터 모델 생성
>>> import boto
>>> ml = boto.connect_machinelearning()
>>> model = ml.create_ml_model(
ml_model_id=’my_model',
ml_model_type='REGRESSION',
training_data_source_id='my_datasource')

Train
model
Evaluate and
optimize
Retrieve
predictions
1 2 3
Amazon Machine Learning 사용하기 2
- 생성된 모델의 품질 확인
- 모델에 해석 상세 조절

1. 모델 결과 및 품질 확인

2. 모델 해석 상세 조절

Train
model
Evaluate and
optimize
Retrieve
predictions
1 2 3
Amazon Machine Learning 사용하기 3
- 배치를 통한 예측
- 실시간 예측

배치(Batch)방식 예측
비동기적으로 대량의 예측 결과 필요 시 사용
Console, API를 통해 요청 가능
많은 양의 데이터를 한 번에 처리하여 결과를 S3에 저장
>>> import boto
>>> ml = boto.connect_machinelearning()
>>> model = ml.create_batch_prediction(
batch_prediction_id = 'my_batch_prediction’
batch_prediction_data_source_id = ’my_datasource’
ml_model_id = ’my_model',
output_uri = 's3://examplebucket/output/’)

From Machine Learning to Deep Learning
이미지 패턴 분석 음성 인식 및
자연어 처리
자율 주행 자동차

Amazon DSSTNE -멀티 GPU기반 딥러닝 라이브러리
https://github.com/amznlabs/amazon-dsstne

Amazon Prime Photo - 이미지 인식 기능 탑재

EC2 P2 인스턴스 - GPU기반 병렬 컴퓨팅
• 딥러닝 컴퓨팅에 최적화
§ CUDA 및 OpenCL을 사용하는 범용 GPU
컴퓨팅 애플리케이션을 위해 설계
§ 기계 학습, 고성능 데이터베이스, 전산 유체
역학, 컴퓨팅 금융, 내진 해석, 분자 모델링,
유전체학, 렌더링, 대용령 병렬 부동 소수점
처리
• 다양한 딥러닝 프레임웍 지원
§ Mxnet 및 Tensorflow과 같은 인기 있는 딥
러닝 프레임워크와 함께 사전에 설치된
Deep Learning AMI를 사용 가능
§ 이미 설치된 GPU 드라이버와 CUDA 도구
키트가 포함된 NVIDIA AMI를 사용 가능

Deep Learning AMI & MXNet 투자

EC2 Elastic GPUs (미리보기)
• Elastic GPU를 통해 기존 EC2에
그래픽 가속 기능 추가
• M4, C4, X1 인스턴스에 추가 가능
• Full GPU 인스턴스 보다 비용 효과적
• OpenGL-호환 그래픽 애플리케이션에
최적화 (3D 모델링 등)
• AWS Graphics Certification
Program를 통한 그래픽 소프트웨어
업체 지원
1GiB
G P U M e m o r y
2 GiB
4 GiB
8 GiB
기존 EC2
인스턴스

Amazon AI 서비스
Amazon Rekognition
딥러닝 기반 이미지
인식 및 분석 서비스
Amazon Polly
딥러닝 기반
음성 합성 서비스
Amazon Lex
딥러닝 기반 자동 음성
인식 및 자연어 처리

대용량 이미지를 통한 딥러닝 트레이닝을 통한 이미지 인식, 검색 서비스
객체 및 장면
인지
얼굴 감정
인식
얼굴 유사성
비교
얼굴 인식
Amazon Rekognition

f7a3a278-2a59-5102-a549-a12ab1a8cae8
&
v1
02e56305-1579-5b39-ba57-9afb0fd8782d
&
v2
Face ID & vector<float>Face
4c55926e-69b3-5c80-8c9b-78ea01d30690
&
v3transformed
stored
{
f7a3a278-2a59-5102-a549-a12ab1a8cae8,
02e56305-1579-5b39-ba57-9afb0fd8782d,
4c55926e-69b3-5c80-8c9b-78ea01d30690
}
IndexFace Collection
Amazon Rekognition API

Amazon Rekognition - Deep Learning Process
Training

Amazon Rekognition - Deep Learning Process
Conv 1 Conv 2 Conv n
…
…
Feature Maps
Fully
Connected
Layer

Amazon Rekognition 서비스 요금
1. 정식 출시: US East (N. Virginia), US West (Oregon), EU (Ireland)
2. 가격 모델: 사용한 만큼 (12개월까지 월 5,000장까지는 프리티어 제공)
이미지 분석 티어 1,000장당 가격
월 백만장까지 $1.00
월 9백만장까지 $0.80
다음 9백만장까지 $0.80
다음 9천만장까지 $0.60
1억장 이상 $0.40

Amazon Polly
• 딥 러닝 기술을 사용하여 실제 사람 목소리처럼 음성을 합성
§ 다양한 음성 및 언어 지원 (24개 언어 47개 목소리)
§ 빠른 실시간 합성 속도로 라이브 서비스 가능 (Amazon Lex 지원)
§ SSML을 통한 시맨틱 음성 기능 지원
§ 개발자가 합성된 파일, 무제한 저장 및 재생 배포 가능
§ 글자당 과금 및 저렴한 비용 (허클베리핀의 모험 영어본 2.5달러 수준)
• 맥락에 따른 자동 음성 합성
Amazon Polly
“The temperature
in WA is 75°F”
“The temperature
in Washington is 75
degrees Fahrenheit”
"We live for the music",
live from the Madison
Square Garden.
"We live(리브) for the
music", live(라이브) from
the Madison Square
Garden.

Polly를 이용한 음성으로 읽어주기 서버리스 앱
RSS Feed Amazon Polly
Amazon
CloudWatch
Amazon S3AWS Lambda
1. Trigger
2. Check
3. Content
4. Text 5.Audio
6.Audio
https://github.com/awslabs/amazon-polly-sample

Amazon Lex (Preview!)
• 음성 및 텍스트를 사용해 대화형 인터페이스 서비스
§ Lex 콘솔을 통해 빠르고 쉽게 채팅 봇 개발 가능
§ 알렉사 음성 인식과 자연어 처리 등 딥러닝 기술 활용
§ 완전 관리 클라우드 서비스 및 종량 요금 체계
• 진료 예약 Amazon Lex 봇 개발 사례
Facebook
MessengerMobile

Book Hotel
“Book a Hotel in
NYC”
Hotel Booking
New York City
Natural Language
Understanding
Intent/Slot
Model
UtterancesHotel Booking
City New York City
CheckIn Nov 30th
CheckOut Dec 2nd
“Your hotel is booked for
Nov 30th”
Polly
Confirmation: “Your hotel
is booked for Nov 30th”
“Can I go ahead
with the booking?
a
in NYC
Automatic Speech
Recognition
Amazon Lex를 이용한 호텔 예약 시나리오

Amazon Lex
Automatic Speech
Recognition (ASR)
Natural Language
Understanding (NLU)
Same technology that
powersAlexa
Cognito CloudTrail CloudWatch
AWS Services
Action
AWS
Lambda
Authentication &
Visibility
Speech
API
Language
API
Fulfillment
End-
Users
Develope
rs
Console
SDK
Intents, Slots,
Prompts,
Utterances
Input:
Speech
or Text
Multi-Platform Clients:
Mobile, IoT, Web,
Chat
API
Output:
Speech (via Polly
TTS) or Text
Amazon Lex 기술 구조

AWS 클라우드로 AI 서비스를 정복하세요!
P2 Amazon
Machine Learning
Deep Learning
AMI and template
Investment in
MXNet
Amazon Rekognition Amazon Polly Amazon Lex
인공 지능 기술에 대한 진입장벽이 낮아집니다!

※ 총정리! http://bit.ly/awskr-reinvent-2016
신규 서비스 발표 목록

질문을 남겨주세요!
세미나 설문조사
발표 자료/녹화 영상
http://bit.ly/awskr-webinar