Download to read offline
![DynamoDB Streamレコード
{
"Records": [
{
"awsRegion": "us-east-1",
"dynamodb": {
"Keys":
{
"user_id" : { "S": "0" },
"created_at" : { "N": "1418638175" }
},
"NewImage":
{
"user_id" : { "S": "0" },
"created_at" : { "N": "1418638175" },
"action" : { "S": "register" }
},
"SequenceNumber": "3758000000000000010265650",
"SizeBytes": 62,
"StreamViewType": "NEW_AND_OLD_IMAGES"
},
"eventID": ” cae695c863e891e573b710d101d4a72a",
"eventName": "INSERT",
"eventSource": "aws:dynamodb",
"eventVersion": "1.0"
}
]
}
classmethod.jp
11
DynamoDB更新情報
イベント情報](https://image.slidesharecdn.com/devio-mtup11-tokyo-009-141216063427-conversion-gate01/85/DynamoDB-Stream-11-320.jpg)
![Lambda Function内容
exports.handler = function(event, context) {
// DynamoDB StreamイベントのデータをNorikraで扱いやすいように整形
async.series(
[
function (callback) { Norikraにターゲット作成; callback(null, true);},
function (callback) { Norikraにイベント送信; callback(null, true);}
],
function (err, results) {
if (err) {context.done('error', err);} else {context.done(null, results);}
}
);
}
classmethod.jp
18
https://github.com/yokota-shinsuke/aws-lambda-dynamodbstream-to-norikra](https://image.slidesharecdn.com/devio-mtup11-tokyo-009-141216063427-conversion-gate01/85/DynamoDB-Stream-18-320.jpg)
![대용량 데이터레이크 마이그레이션 사례 공유 [카카오게임즈 - 레벨 200] - 조은희, 팀장, 카카오게임즈 ::: Games on AWS ...](https://cdn.slidesharecdn.com/ss_thumbnails/t4s2-221108115925-5b63bf11-thumbnail.jpg?width=640&height=640&fit=bounds)
![[db tech showcase Tokyo 2015] A33:Amazon DynamoDB Deep Dive by アマゾン データ サービス ...](https://cdn.slidesharecdn.com/ss_thumbnails/dbts-tokyo-2015a33amazon-dynamodbamazondataservicejapan-150623010315-lva1-app6892-thumbnail.jpg?width=640&height=640&fit=bounds)
DynamoDB Streamを使ったリアルタイム分析
- 1. DynamoDB Streamを使った リアルタイム分析 クラスメソッド株式会社 横田 慎介 classmethod.jp 1 DEVIO-MTUP11-TOKYO-009 2014/12/16
- 2. DynamoDB Stream(Preview) •テーブルの更新ログ –MySQLのbinlogのようなもの •更新内容をリアルタイムに取得できる classmethod.jp 2
- 3. リアルタイム分析 classmethod.jp 3 Amazon Lambda
- 4. DynamoDB •NoSQLデータベース •スキーマレス –ユーザ定義プライマリキー + 任意の項目 classmethod.jp 4
- 5. DynamoDBテーブル例 classmethod.jp 5 user_id created_at action means points 0 1418638175 register 0 1418638260 get_point tutorial 100 1 1418642914 register user_history
- 6.
- 7.
- 8.
- 9.
- 10. DynamoDBアイテム登録 classmethod.jp 10 {“user_id”: “0”, “created_at”:1418638175, “action”: “register”}
- 11. DynamoDB Streamレコード { "Records": [ { "awsRegion": "us-east-1", "dynamodb": { "Keys": { "user_id" : { "S": "0" }, "created_at" : { "N": "1418638175" } }, "NewImage": { "user_id" : { "S": "0" }, "created_at" : { "N": "1418638175" }, "action" : { "S": "register" } }, "SequenceNumber": "3758000000000000010265650", "SizeBytes": 62, "StreamViewType": "NEW_AND_OLD_IMAGES" }, "eventID": ” cae695c863e891e573b710d101d4a72a", "eventName": "INSERT", "eventSource": "aws:dynamodb", "eventVersion": "1.0" } ] } classmethod.jp 11 DynamoDB更新情報 イベント情報
- 12. DynamoDB Streamレコード "NewImage": { "user_id" : { "S": "0" }, "created_at" : { "N": "1418638175" }, "action" : { "S": "register" } }, classmethod.jp 12
- 13. LambdaでレコードをNorikraへ classmethod.jp 13 Amazon Lambda
- 14. Lambda(Preview) •コード実行サービス –イベントを検知し、 –Lambda Functionを実行する •処理すべきイベント数に応じて自動でス ケール classmethod.jp 14
- 15. Lambda classmethod.jp 15 ①Lambda Functionの登録 ②DynamoDB Streamをイベントソースと して登録 ① ②
- 16.
- 17.
- 18. Lambda Function内容 exports.handler= function(event, context) { // DynamoDB StreamイベントのデータをNorikraで扱いやすいように整形 async.series( [ function (callback) { Norikraにターゲット作成; callback(null, true);}, function (callback) { Norikraにイベント送信; callback(null, true);} ], function (err, results) { if (err) {context.done('error', err);} else {context.done(null, results);} } ); } classmethod.jp 18 https://github.com/yokota-shinsuke/aws-lambda-dynamodbstream-to-norikra
- 19.
- 20.
- 21. Lambdaへのイベント登録 classmethod.jp 21 ①Lambda Functionの登録 ②DynamoDB Streamをイベントソースと して登録 ②
- 22.
- 23.
- 24. Norikra •イベントストリームプロセッサ •SQLライクな言語でイベントの集計方法を記述できる –例：直近１時間に新規登録したユーザ数 http://norikra.github.io/index.html classmethod.jp 24 SELECT COUNT(*) AS new_users FROM user_history.win:time_batch(1 hour) WHERE action = ‘register’
- 25. user_id: 0 action:register Norikra classmethod.jp 25 user_id: 1 action: register user_histor user_id: 0 action: get_point new_user: 1 SELECT COUNT(*) AS new_users FROM user_history.win:time_batch(1 hour) WHERE action = ‘register’
- 26. Norikra classmethod.jp 26 user_histor user_id: 0 action: get_point new_user: 2 user_id: 1 action: register SELECT COUNT(*) AS new_users FROM user_history.win:time_batch(1 hour) WHERE action = ‘register’
- 27.
- 28.
- 29.
- 30. Norikra Output classmethod.jp 30 1418713623, {“new_user” : 3} 1418713683, {“new_user” : 1}
- 31. 経路ごとのユーザ登録数 classmethod.jp 31 {“user_id” : 3, “created_at” : 1418713623, “action” : “register”, “entry_from” : “ad01”} SELECT entry_from, COUNT(*) AS new_users FROM user_history.win:time_batch(1 hour) WHERE action = ‘register’ GROUP BY entry_from {“entry_from” : “ad01” ,“new_user” : 3} {“entry_from” : “ad02” ,“new_user” : 1}
- 32. #cmdevio ご清聴ありがとうございました。 このスライドは後日公開いたします。 reGrowth-001