© 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
주민규 대표
Kinesis 와Lambda 를이용한
비용효율적인센서데이터 처리
본강연에서다룰 내용
목차
1. IoT 를위한유/무선네트워크에대한 기초
2. Bluetooth LE 기술에관한기초와 응용
3. Sensor 데이터수집을위한AWS Service 들의효율과 비용
4. 센서데이터송수신 데모
5. Q&A
센서데이터수집에있어고려해야할 것들
•
•
Bluetooth LE 4.2 의속도: 1Mbps
Bluetooth LE 5.0 의속도: 2Mbps
•
•
LoRa 의속도: 상하향5kbps 이하
LTE-M의 속도: 상향5Mbps, 하향 10Mbps
• Dynamo DB 의IOPS 와비용
• S3 의비용
•
•
Lambda Function 의비용
Kinesis Firehose 의비용
Bluetooth Classic 과Bluetooth LE
Central 과Peripheral
Advertising 방식과Connection 방식
Beacon 과Scanner
Bluetooth 4.0 에서Bluetooth 5.0 로
(송수신거리4배, 속도최대2배, 브로드캐스팅메시지용량최대 8배)
Bluetooth 에관한이런저런 것들~
Amazon S3
bucket
Amazon API
Gateway*
Amazon
DynamoDB
mobile client
Amazon Lambda
LambdaSensor Module
왜Sensor Data 수집에Lambda 를?
- S3 저장시원하는이름으로파일생성가능(파일명에 Date/Time)
- 아무것도하지않아도, AutoScaling 된다.
- 수신Data를 분류하고정밀? 가공하여,원하는곳에나누어저장할수 있다.
- 기본적으로Multi Region 의고가용성이보장된다.
- 인프라관리가필요없는Serverless / Microservice 라서안심된다. ^^
왜Sensor Data 수집에Kinesis Firehose 를?
- 아무것도하지않아도, 데이터처리량에맞춰AutoScaling 된다.
- AWS Management Console에서 클릭몇번으로구성 가능.
- 60초 이내에Amazon S3 버킷이나Amazon Redshift 테이블또는Amazon
Elasticsearch 로로드가능하다.
- 유입되는데이터를S3 를이용하여저장할경우, 디바이스별로파일명을 나눠서저
장가능.
초당1번의 센서데이터를송신 하면,
3600초 * 24 시간* 30일 = 한달2,592,000 번
AWS Lambda 비용
Computing 요금+ Request 요금= 총월별 요금
1초당 컴퓨팅요금$0.00001667 / 최소메모리기준128MB / 실행시간최소단위 100ms
# 월컴퓨팅요금: 1GB 기준40만초 무료즉,128MB 기준320만초 무료.
매초100ms 동안실행: 2.6백만 x 0.1 = 260,000초 (1GB 할당 기준)
128MB로 환산(128/1024 = 0.125) : 260,000 x 0.125 = 32,500초 (128MB 할당기준)
# 월별요청(Function Call) 요금: 월1백만회무료,1백만콜0.20 USD
총2.6M - 1M = 1.6M 번호출
1.6M x $0.2 = $0.4
# 총월별요금: $0 + $0.4 = $0.4
AWS Kinesis Firehose 비용
Free Tier : 매월250,000건의 메시지(게시또는전송)를무료로 제공
현재미국동부,서부,EU 의3 Region 에서만 서비스.
첫500TB/월 까지$0.029/GB
레코드단위크기5KB (4KB 는5KB로 계산)
초당레코드하나즉,한달에2.6M 개x 5KB = 12.4GB
한달에13GB 를전송한다면월$0.377 발생.싸다!하지만,
메시지하나를HTML Header 등을고려하여5K 에 맞추자!
AWS S3 비용
Free Tier : 매월5GB, 20,000건의 Get 요청,2,000건의 Put 요청,외부전송 15GB
1. Storage 요금: 월$0.025GB (첫 50TB 까지)
2. Request 요금
PUT, COPY, POST 또는LIST 요청: 1,000건당 $0.0045
: 10,000건당 $0.0035GET 및기타모든 요청
DELETE : 무료
초당1번 저장: 2.6M x 0.0045 / 1000 = $11.7 / 월
센서데이터저장요청횟수가 중요!
AWS DynamoDB 비용
Free Tier : 매달최대2억 건.인덱싱된데이터스토리지 25GB
초당25개의 쓰기(WCU) 및25개의 읽기(RCU) 용량유닛.
DynamoDB 스트림으로부터매달2백5십만 건의읽기요청 무료.
센서데이터전송워크로드가일정해야싸진다! (IOPS)
월추가WCU $0.47 / RCU $0.09
월추가스토리지: $0.25/GB (서울은0.27075 USD)
초당1번의 센서데이터저장하는경우,Free Tier 기간동안의비용 Zero
AWS IoT 비용
MQTT, WebSockets 및HTTP를 지원하여장치와상호통신가능하게함.
Free Tier : 매월250,000건의 메시지(게시 또는전송) 무료.
메시지1백만 개당미국$5 / 한국: $6 / 일본$8
512byte 단위,한번에최대128KB 전송 가능.
900byte는 2개! 메시지전송횟수아닌개수가 중요!
초당1개 (500byte) AWS IoT에 게시: 260만개/월
AWS IoT에서 10초당 한번디바이스로전송: 26만개/월
3 x $6 = $18
지금부터데모 타임입니다.
데모귀신없는데모시간이되길빕니다. ^^”
마무리
1초마다1Byte 씩만더쌓여도2,600,000 byte/월 가 늘어난다.
본강연이끝난 후…
참고자료
Implementing a Serverless AWS IoT Backend with AWS Lambda and Amazon DynamoDB
https://aws.amazon.com/ko/blogs/compute/implementing-a-serverless-aws-iot-backend-with-aws-lambda-and-amazon-dynamodb/
AWS Kenesis Firehose
https://aws.amazon.com/ko/kinesis/firehose/
AWS Lambda
https://aws.amazon.com/ko/lambda/
AWSIoT
https://aws.amazon.com/ko/iot-platform/
#AWSKRUG 해시태그로소셜미디어에여러
분의행사소감을 올려주세요.
@awskrug

Kinesis와 Lambda를 이용한 비용 효율적인 센서 데이터 처리 - 주민규 (부산 모임) :: AWS Community Day 2017

  • 1.
    © 2017, AmazonWeb Services, Inc. or its Affiliates. All rights reserved. 주민규 대표 Kinesis 와Lambda 를이용한 비용효율적인센서데이터 처리
  • 2.
    본강연에서다룰 내용 목차 1. IoT를위한유/무선네트워크에대한 기초 2. Bluetooth LE 기술에관한기초와 응용 3. Sensor 데이터수집을위한AWS Service 들의효율과 비용 4. 센서데이터송수신 데모 5. Q&A
  • 3.
    센서데이터수집에있어고려해야할 것들 • • Bluetooth LE4.2 의속도: 1Mbps Bluetooth LE 5.0 의속도: 2Mbps • • LoRa 의속도: 상하향5kbps 이하 LTE-M의 속도: 상향5Mbps, 하향 10Mbps • Dynamo DB 의IOPS 와비용 • S3 의비용 • • Lambda Function 의비용 Kinesis Firehose 의비용
  • 4.
    Bluetooth Classic 과BluetoothLE Central 과Peripheral Advertising 방식과Connection 방식 Beacon 과Scanner Bluetooth 4.0 에서Bluetooth 5.0 로 (송수신거리4배, 속도최대2배, 브로드캐스팅메시지용량최대 8배) Bluetooth 에관한이런저런 것들~
  • 5.
    Amazon S3 bucket Amazon API Gateway* Amazon DynamoDB mobileclient Amazon Lambda LambdaSensor Module
  • 6.
    왜Sensor Data 수집에Lambda를? - S3 저장시원하는이름으로파일생성가능(파일명에 Date/Time) - 아무것도하지않아도, AutoScaling 된다. - 수신Data를 분류하고정밀? 가공하여,원하는곳에나누어저장할수 있다. - 기본적으로Multi Region 의고가용성이보장된다. - 인프라관리가필요없는Serverless / Microservice 라서안심된다. ^^
  • 8.
    왜Sensor Data 수집에KinesisFirehose 를? - 아무것도하지않아도, 데이터처리량에맞춰AutoScaling 된다. - AWS Management Console에서 클릭몇번으로구성 가능. - 60초 이내에Amazon S3 버킷이나Amazon Redshift 테이블또는Amazon Elasticsearch 로로드가능하다. - 유입되는데이터를S3 를이용하여저장할경우, 디바이스별로파일명을 나눠서저 장가능.
  • 9.
    초당1번의 센서데이터를송신 하면, 3600초* 24 시간* 30일 = 한달2,592,000 번
  • 10.
    AWS Lambda 비용 Computing요금+ Request 요금= 총월별 요금 1초당 컴퓨팅요금$0.00001667 / 최소메모리기준128MB / 실행시간최소단위 100ms # 월컴퓨팅요금: 1GB 기준40만초 무료즉,128MB 기준320만초 무료. 매초100ms 동안실행: 2.6백만 x 0.1 = 260,000초 (1GB 할당 기준) 128MB로 환산(128/1024 = 0.125) : 260,000 x 0.125 = 32,500초 (128MB 할당기준) # 월별요청(Function Call) 요금: 월1백만회무료,1백만콜0.20 USD 총2.6M - 1M = 1.6M 번호출 1.6M x $0.2 = $0.4 # 총월별요금: $0 + $0.4 = $0.4
  • 11.
    AWS Kinesis Firehose비용 Free Tier : 매월250,000건의 메시지(게시또는전송)를무료로 제공 현재미국동부,서부,EU 의3 Region 에서만 서비스. 첫500TB/월 까지$0.029/GB 레코드단위크기5KB (4KB 는5KB로 계산) 초당레코드하나즉,한달에2.6M 개x 5KB = 12.4GB 한달에13GB 를전송한다면월$0.377 발생.싸다!하지만, 메시지하나를HTML Header 등을고려하여5K 에 맞추자!
  • 12.
    AWS S3 비용 FreeTier : 매월5GB, 20,000건의 Get 요청,2,000건의 Put 요청,외부전송 15GB 1. Storage 요금: 월$0.025GB (첫 50TB 까지) 2. Request 요금 PUT, COPY, POST 또는LIST 요청: 1,000건당 $0.0045 : 10,000건당 $0.0035GET 및기타모든 요청 DELETE : 무료 초당1번 저장: 2.6M x 0.0045 / 1000 = $11.7 / 월 센서데이터저장요청횟수가 중요!
  • 13.
    AWS DynamoDB 비용 FreeTier : 매달최대2억 건.인덱싱된데이터스토리지 25GB 초당25개의 쓰기(WCU) 및25개의 읽기(RCU) 용량유닛. DynamoDB 스트림으로부터매달2백5십만 건의읽기요청 무료. 센서데이터전송워크로드가일정해야싸진다! (IOPS) 월추가WCU $0.47 / RCU $0.09 월추가스토리지: $0.25/GB (서울은0.27075 USD) 초당1번의 센서데이터저장하는경우,Free Tier 기간동안의비용 Zero
  • 14.
    AWS IoT 비용 MQTT,WebSockets 및HTTP를 지원하여장치와상호통신가능하게함. Free Tier : 매월250,000건의 메시지(게시 또는전송) 무료. 메시지1백만 개당미국$5 / 한국: $6 / 일본$8 512byte 단위,한번에최대128KB 전송 가능. 900byte는 2개! 메시지전송횟수아닌개수가 중요! 초당1개 (500byte) AWS IoT에 게시: 260만개/월 AWS IoT에서 10초당 한번디바이스로전송: 26만개/월 3 x $6 = $18
  • 15.
  • 16.
  • 17.
    본강연이끝난 후… 참고자료 Implementing aServerless AWS IoT Backend with AWS Lambda and Amazon DynamoDB https://aws.amazon.com/ko/blogs/compute/implementing-a-serverless-aws-iot-backend-with-aws-lambda-and-amazon-dynamodb/ AWS Kenesis Firehose https://aws.amazon.com/ko/kinesis/firehose/ AWS Lambda https://aws.amazon.com/ko/lambda/ AWSIoT https://aws.amazon.com/ko/iot-platform/
  • 18.