1. AWS 기반 인공지능 비디오 분석 서비스 소개
김기완 / 솔루션즈 아키텍트

2. 목차
• Machine Learning @ Amazon, AWS
• Machine Learning for Vision
• Real-Time Video Analysis

3. Machine Learning @ Amazon, AWS

4. Amazon 그리고 Machine Learning
Fulfilment &
Logistics

6. Amazon 그리고 Machine Learning
Fulfilment &
Logistics
Search &
Discovery

8. Amazon 그리고 Machine Learning
Fulfilment & L
ogistics
Existing
Products
Search & Disco
very

11. Amazon 그리고 Machine Learning
Fulfilment &
Logistics
Existing
Products
New
Products
Search &
Discovery

12. © 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved.

14. Put machine learning in the hands of
every developer and data scientist
Machine Learning @ AWS: Our mission

15. What are some of the ML capabilities
Our customers are asking for?

16. AWS ML Stack
FRAMEWORKS AND INTERFACES
AW S DEEP LEARNING API
Apache MXNet TensorFlowCaffe2 Torch KerasCNTK PyTorch GluonTheano
PLATFORM SERVICES
VISI ON
AWS DeepLensAmazon SageMaker
LANGUA G E
A P P L I C A T I O N S E R V I C E S
Amazon
Rekognition
Amazon Poll
y
Amazon Le
x
Amazon
Rekognition Vide
o
Amazon Transcribe Amazon Translate
Amazon Comprehe
nd
Alexa for Business
VR/IR Amazon Sumerian
Amazon Kinesis
Video Streams

17. Machine Learning for Vision

18. Source: InfoTrends Worldwide
There are 3,700,000,000 internet users in 2017
1,200,000,000 photos will be taken in 2017 (9% YoY Growth)
Images – Universal, Ubiquitous, & Essential

19. Amazon Rekognition
Extract rich metadata from visual content
Object and Scene
Detection
Facial
Analysis
Face
Comparison
Facial
Recognition
Celebrity
Recognition
Image
Moderation

20. What about Videos?
Also Universal, Ubiquitous, and essential
Media and
entertainment
Public safety Smart home

21. Video Analysis?
Limitation of traditional solution

22. Amazon Rekognition Video
Features

23. Amazon Rekognition Video
Object, Scene and Activity Detection
Blowing a candle Drinking

24. Amazon Rekognition Video
Person Tracking

25. Amazon Rekognition Video
Live Streaming Face Recognition

26. Amazon Rekognition Video
Activity recognition

27. Amazon Rekognition Video
Use Case : Media & Entertainment
유명인, 감정, 주요 토픽들을 검색이 용이하도록 시간 세그먼트와 함께
메타데이터 생성
추천엔진, 맞춤형 광고
요구조건에 맞게 부적절한 영상을 자동으로 감지
다양한 서비스의 스트리밍 모드에서 데이터 추출

28. Amazon Rekognition Video
Use Case : Video Search Index
Video Amazon S3 AWS Lambda Amazon Rekognition Video
Amazon Elasticsearch Amazon DynamoDB
1. 비디오 업로드
및 S3 저장
2. Rekognition Video 를 통해 유명인,
감정 및 주요 토픽에 대한
메타데이터 생성
4. Lambda를 통해 confidence score
및 메타데이터를 ElasticSearch에
저장하여 검색을 위한 인덱스 생성
3. 결과값 (메타데이터)를
DynamoDB에 안전하게 저장
D y n a m i c s e a r c h i n d e x i n g

29. Amazon Rekognition Video
Use Case : Public Safety
수백개의 카메라를 통해 수백만 명의 사람 중에서
특정인을 실시간으로 인식
비디오 스트림에서 특정인의 경로를 추적
자동차, 번호판 등 관심있는 물체나 움직임을 감지하여 경고 생성

30. Amazon Rekognition Video
Use Case : Public Safety Immediate Response
Live Street Camera Amazon Kinesis Video Streams Amazon Rekognition Video
1. 카메라에서 수집된 비디오
스트림을 Kinesis Video
Streams를 통하여 처리
2. Rekognition Video가 비디오를 분석
하고 수백만 개의 얼굴과 비디오에 등장
하는 얼굴을 비교
L i v e r e c o g n i t i o n o f P e r s o n s o f I n t e r e s t
End User
3. 찾는 사람이 발견되었을 때 SMS
등을 통하여 알림
Amazon SNS AWS Lambda Amazon Kinesis
Streams

31. Amazon Rekognition Video
Use Case : Home Monitoring
현관 카메라를 통한 얼굴 인식
홈 카메라를 통하여 다양한 Activity Capture

32. Amazon Rekognition Video
Use Case : Other Application
사진 공유 앱에 스마트 서치 기능 추가 – 과거의 기억 등에 대한 빠른 검색
카메라 영상으로부터 사람 수, 이동 방향, 이동 속도 등의 데이터 추출
공장에서는 안전관리 및 운영 효율화에 카메라를 적극적으로 활용

33. Demo

34. One big question!
How to collect, process, and analyze video in real time?

35. Real-Time Video Analysis

36. Amazon Kinesis – Real-time Analytics
Load data streams in
to AWS data stores
Analyze data streams
with SQL
Build custom applica
tions that analyze da
ta streams
Kinesis Data Streams Kinesis Data Firehose Kinesis Data Analytics

37. Stream video from millions of devices
Easily build vision-enabled apps
Secure
Durable, searchable storage
Fully managed
Kinesis
Video
Streams
Amazon Kinesis Video Streams

38. Amazon Kinesis Video Streams - Concept

39. Use Case : Amazon Kinesis Video Streams
Smart City ; Amber Alert System

40. Use Case : Amazon Kinesis Video Streams
Smart Home ; Pet Monitor

41. Use Case : Amazon Kinesis Video Streams
Industrial Automation ; Equipment Preventive Maintenance

42. Kinesis Video Streams : Basic Concept
Kinesis Video Stream :
• 비디오 혹은 그와 유사한 프레임, 샘플, 조각들을 전달하는 고객이 정의한 자원
• 리얼타임을 포함한 다양한 활용을 위한 안전한 비디오 스트림 저장
• 오직 하나의 Producer가 데이터를 publishing
Producer :
• Kinesis Video Stream에 데이터를 보내는 일련의 장비 : 보안 카메라, 캠, 스마트폰, 대시캠 등
• 하나의 Producer는 하나 혹은 여러 개의 Kinesis Video Stream을 생성할 수 있음
Consumer :
• Stream으로부터 데이터를 추출하여 사용하는 어플리케이션
• 리얼타임 혹은 배치 프로세싱
• 고객의 Amazon EC2 인스턴스에서 구동

43. Kinesis Video Streams : Producer SDK
Platform independent layer (C)
OO Wrapper Layer (C++ and Java)
Android Linux
• 타겟 OS 위에서 어플리케이션 개발
• 쉽게 하드웨어의 미디어 파이프라인 및 소
스 리스팅 가능
• 카메라 레벨에서 C++, Java를 사용하여 고성
능 어플리케이션 작성
• 손쉬운 Customization
• 다양한 하드웨어에서 소스 및 펌웨어 레벨에
서의 유연한 통합

44. Kinesis Video Streams : Parser Library
• 프레임 레벨 객체 및 해당 메타데이터 추출
• Fragement에 연결되어 있는 비디오 스트림 별 메타데이터 추출
• 연결된 fragement를 병합
• 개발되어 있는 ML 환경 및 비디오 처리 어플리케이션과 통합
https://github.com/aws/amazon-kinesis-video-streams-parser-library

45. Kinesis Video Streams : Customer Case
Veritone : Bring AI to Video Analytics

46. Kinesis Video Streams : Customer Case
Veritone : Bring AI to Video Analytics

47. Getting Started
• Amazon AI Home Page:
https://aws.amazon.com/blogs/ai/
• Amazon Rekognition Home Page:
https://aws.amazon.com/rekognition
• Amazon Kinesis Video Streams Home Page:
https://aws.amazon.com/kinesis/video-streams/
• Amazon Kinesis Video Streams Getting Started Page:
http://docs.aws.amazon.com/kinesisvideostreams/latest/dg/getting-
started.html

48. 감사합니다