Amazon kinesisで広がるリアルタイムデータプロセッシングとその未来

1. Amazon Kinesisで広がるリアルタイムデータプロセッシングとその未来アマゾンデータサービスジャパン株式会社⼤大⾕谷　晋平榎並　利利晃

2. ⾃自⼰己紹介 !  名前：⼤大⾕谷晋平 •  ohtani@amazon.co.jp •  @shot6 !  仕事： •  お客様のクラウド活⽤用アーキテクチャ⽀支援 •  エマージングソリューション部 !  担当技術分野 •  ビッグデータ、データベース、分散システム

3. ⾃自⼰己紹介 !   名前: 榎並利利晃 (えなみとしあき) !   現職: Partner Solution Architect !   前職: 通信キャリア、電機メーカ、ゲーム会社でのシステム構築・サービス運⽤用経験 !   3年年間 AWSユーザとしてサービス運⽤用 !   好きな AWS のサービス : Kinesis、S3

4. Kinesisとはフルマネージドなリアルタイムデータ処理理サービス

5. AWSが提供するビックデータソリューションとKinesisのポジション DynamoDB RedshiftRDS EMR 提供中サービスクエリータイプバッチタイプ（Map-‐‑‒Reduce) 新しいサービスストリームタイプ Kinesis !   構造化されたデータに対してクエリー処理理を実⾏行行可能 !   ⼤大量量データに対するインデックス処理理を事前に⾏行行う !   半構造化されたデータに対してデータ処理理を数回実⾏行行 !   事前処理理なしで実⾏行行 !   半構造化データをストリームで処理理 !   シンプルなデータ処理理 !   他システムへのデータ転送

6. Amazon Kinesis フルマネージドなリアルタイムデータ処理理サービス Data Sources App.4 [Machine Learning] AWS Endpoint App.1 [Aggregate & De-‐Duplicate] Data Sources Data Sources Data Sources App.2 [Metric Extrac=on] S3 DynamoDB Redshift App.3 [Sliding Window Analysis] Data Sources Availability Zone Shard 1 Shard 2 Shard N Availability Zone Availability Zone 使いやすさリアルタイム処理理⾼高スループット／伸縮⾃自在性インテグレーションアプリ開発SDK 低コスト

7. 今すぐ始められる⼿手軽さ !   Management Consoleで簡単セットアップウィザード形式で Streamが作成できるキャパシティ、レイテンシーをモニタリング。 Cloud Watchで監視も可能（＊） APIでも操作可能！

8. Amazon Kinesisの仕組み

9. Kinesisはどのように動いているか？ストリームシャードシャードデータレコードデータレコードデータレコードデータ送信側 Kinesis アプリケーション Kinesis アプリケーション Kinesis アプリケーション Kinesis

10. データレコード、ストリーム、シャードストリームシャードシャードデータレコードデータレコードデータレコード

11. データレコード、ストリーム、シャードストリームシャードシャードデータレコードデータレコードデータレコードパーティションキーをハッシュ化（MD5）した値を基にシャードに分配する Max: 256Byte データブロブパーティションキーシーケンスナンバー Max: 50KB アプリケーションで指定 Kinesisで指定

12. データレコード、ストリーム、シャードストリームシャードシャードデータレコードデータレコードデータレコード •  ストリームの中にシャードがある •  ストリームにPutされたデータは複数DC に複製されて24時間保存される •  シャードは固定化されたキャパシティ

13. データレコード、ストリーム、シャードストリームシャードシャードデータレコードデータレコードデータレコード •  シャード毎にキャパシティが決まっている •  READ : 5 TPS or 2MB/sec •  WRITE : 1000 TPS or 1MB/sec •  スケールはこのシャードを追加することで増加する事が可能

14. データレコード、ストリーム、シャードストリームシャードシャードデータレコードデータレコードデータレコード 0 MD5 Range 2128 シャード-‐‑‒1 (2128/2 -‐‑‒ 2128) データレコード MD5 (パーティションキー) シャード-‐‑‒0 (0 -‐‑‒ 2128/2)

15. シャードとシーケンスナンバーの関係ストリームシャードシャードデータレコードデータレコードデータレコード •  シャード内にほぼシーケンスナンバー順に　データが⼊入ってくるシャードデータレコード (14) データレコード (15) データレコード (17) データレコード (19) データレコード (20)

16. Kinesisアプリケーション(KCL) ストリームシャードシャード Kinesis アプリケーション (KCL) Kinesis アプリケーション (KCL) ワーカーシーケンスナンバー AAA BBB 12345 98765 24680 データレコード (24680) データレコード (12345) データレコード (98765) データブロブパーティションキーシーケンスナンバー AAA BBB DynamoDB

17. Kinesisアプリケーション(KCL) ストリームシャードシャード Kinesis アプリケーション (KCL) Kinesis アプリケーション (KCL) ワーカーシーケンスナンバー AAA BBB 12345 98765 24680 データレコード (24680) データレコード (12345) データレコード (98765) データブロブパーティションキーシーケンスナンバー AAA BBB DynamoDB 1.  KCLがシャードからデータを取得 2.  設定された間隔でシーケンスナンバーをそのワーカーのIDをキーにした DynamoDBのテーブルに格納

18. ⽬目的に応じてKinesisアプリケーションを追加ストリームシャードシャード Kinesis アプリ S3ストア用 Kinesis アプリ S3ストア用データレコード (24680) データレコード (12345) データレコード (98765) S3-‐‑‒1 S3-‐‑‒2 Kinesis アプリ DynamoDB ストア用 Kinesis アプリ DynamoDB ストア用 D-‐‑‒1 D-‐‑‒2

19. Amazon Kinesis使⽤用例例

20. Raspberry pi +MQTT リアルタイムダッシュボード Kinesis App [Real=me ETL] Frontend [MQTT Proxy] Frontend [MQTT Proxy]

21. Raspberry pi !   Raspberry pi + 温度度センサ(ADT7410) 21 !   I2CでRaspberry piと温度度センサを接続 !   10秒間に1回センサからデータを取得 !   Raspberry piから直接KinesisにPut !   Kinesis アプリで、異異常検知とデータ格納

22. MQTT !   M2M向けのpub/subモデルの軽量量プロトコル !   メッセージの軽量量かつ⾼高速な配信に特化している !   仕様 •  http://public.dhe.ibm.com/software/dw/webservices/ws-‐‑‒ mqtt/mqtt-‐‑‒v3r1.html !   実装 •  Mosquitto : オープンソースのMQTTブローカー実装 •  http://mosquitto.org/ !   こちらを使ってRaspberry piからアップロード •  MQTTプロトコルは直接受けれないのでアダプタ経由 22

23. Raspberry pi +MQTT リアルタイムダッシュボード Kinesis App [Real=me ETL] Frontend [MQTT Proxy] Frontend [MQTT Proxy] import paho.mqtt.publish as publish publish.single("mqttkb/test", "boo", hostname=”xxxx")

24. Raspberry pi +MQTT リアルタイムダッシュボード Kinesis App [Real=me ETL] Frontend [MQTT Proxy] Frontend [MQTT Proxy] MQTT-‐‑‒Kinesisアダプタ部分をみてみましょう

25. Raspberry pi +MQTT リアルタイムダッシュボード Kinesis App [Real=me ETL] Frontend [MQTT Proxy] Frontend [MQTT Proxy]

26. Raspberry pi +MQTT リアルタイムダッシュボード Kinesis App [Real=me ETL] Frontend [MQTT Proxy] Frontend [MQTT Proxy] KinesisアプリケーションでDynamoDBへ書く部分をみてみましょう

27. Raspberry pi +MQTT リアルタイムダッシュボード Kinesis App [Real=me ETL] Frontend [MQTT Proxy] Frontend [MQTT Proxy] Kinesis Client LibraryはPythonではまだないんです。。。

28. では動画でみてみましょう！ 28

29. Amazon Kinesis アプリケーション開発

30. Kinesisアプリケーション開発 !   Kinesis SDK •  最もベーシックなSDK !   Kinesis Client Library(KCL) •  https://github.com/awslabs/amazon-‐‑‒kinesis-‐‑‒client !   Kinesis Connectors •  https://github.com/awslabs/amazon-‐‑‒kinesis-‐‑‒connectors !   Kinesis Storm Spout •  https://github.com/awslabs/kinesis-‐‑‒storm-‐‑‒spout !   EMR Connector •  EMRのAMIに同梱 30

31. Kinesis Client Library(KCL) !   Kinesisアプリを作りやすくするJavaフレームワーク •  DynamoDB, CloudWatch, AutoScalingを利利⽤用 •  ワーカーが死んだ時にオートスケール+担当シャードアサイン !   作るもの •  ブートストラップ •  IRecordProcessorFactoryを継承したファクトリー •  IRecordProcessorを継承したプロセッサー 31 ブートストラップファクトリープロセッサーワーカー⽣生成⽣生成⽣生成実⾏行行利利⽤用

32. サンプル 32

33. Kinesis WebHDFSコネクター作ってみた !   KinesisからEMRのHDFSに簡単にデータを送りたい !   というわけで、WebHDFSのREST経由でやってみた !   リアルタイム TO バッチのシームレス連携 33 RESTで送信 HTTP PUT http://xxx.9101/webhdfs/v1/user/ohtani/ﬁle ?op=create&user.name=hadoop Kinesis EMR Client

34. こんな感じになりました 34 ログ⽣生成側 Kinesis WebHDFSコネクター (EC2で稼働)

35. こんな感じになりました 35 Kinesis WebHDFSコネクター (EC2で稼働) EMR HDFSでしっかり⽣生成されている

36. Kinesis Connectors !   KinesisとAWSサービスの連携コネクタ 36 ITransformer • Kinesis からユーザが使いやすいモデルへの変換 IFilter • データのフィルタリング。フィルタリングして残ったものがバッファーへ⾏行行く IBuﬀer • 指定のレコード数か、バイト数までバッファー IEmitter • 他AWS サービスのコール実施 S3 DynamoDB Redshift Kinesis

37. Amazon Kinesisとアーキテクチャ

38. AWSを使ったアーキテクチャイメージ AWS Endpoint Kinesis App.1 Kinesis App.2 Redshift DynamoDB Kinesis App.3 Availabilit y Zone Shard 1 Shard 2 Shard N Availabi lity Zone Availabi lity Zone RDS 企業内データアナリスト BIツールで統計分析データ as a Serviceを提供エンドユーザ向けサービス提供 S3 企業データの保存エンドユーザへの通知 Kinesisによるストリーム保存

39. サンプルアーキテクチャ !   Streamをパイプラインのようにつなげてデータ処理理を⾏行行うパターン Data Sources Data Sources Data Sources Kinesis App Kinesis App Kinesis App Data Sources Data Sources Data Sources Kinesis App Kinesis App Kinesis App Kinesis App Data Source群A Data Source群B Data Source群A⽤用ETL （クレンジング） Data Source群B⽤用ETL （クレンジング）集計

40. KinesisとEMRの組み合わせで、リアルタイムからバッチ処理理の連動 DynamoDB RedshiftRDS EMR 提供中サービスクエリータイプバッチタイプ（Map-‐‑‒Reduce) 新しいサービスストリームタイプ Kinesis !   構造化されたデータに対してクエリー処理理を実⾏行行可能 !   ⼤大量量データに対するインデックス処理理を事前に⾏行行う !   半構造化されたデータに対してデータ処理理を数回実⾏行行 !   事前処理理なしで実⾏行行 !   半構造化データをストリームで処理理 !   シンプルなデータ処理理 !   他システムへのデータ転送

41. 秒単位分単位時間単位⽉月単位データの到達速度度⾮非常に⾼高速⾮非常に遅い Kinesis Kinesis EMR EMR DynamoDB ElastiCache Redis S3DynamoDB ElastiCache Redis Redshift S3 Redshift EMR 変換と集積化データサイズは増加 KinesisとEMRはデータ変換のゲートウェイとして機能し、各データベースは⽤用途によって変化データ収集処理理単位ごとのデータ処理理ボリューム⼤大規模⼩小規模

42. まとめ !   Kinesisが可能にした事のは・・・ •  ストリーム処理理をサービスとして提供する事で、　全く新しいアプリケーションを可能にした •  まだまだユースケースはあるはず !   Kinesis + AWSサービスを使うと・・・ •  ストリームのリアルタイム処理理から、バッチ処理理までシームレスにデータをながせる !   というわけで皆さん試してみてください！ 42

43. ご清聴ありがとうございました！アマゾンデータサービスジャパン株式会社⼤大⾕谷　晋平榎並　利利晃