アールスリーインスティテュート
金春 利幸(JAWS-UG大阪)
Amazon Kinesis
#jawsdays #ace
このセッションのハッシュタグは、
!
#jawsdays #ace
!
でお願いします
#jawsdays #ace
自己紹介
金春 利幸(こんぱる としゆき)
!
アールスリーインスティテュート
マネージャー&ソリューションアーキテクト
!
JAWS-UG大阪 コアメンバー
!
ブログ: http://www.konpa.ru/...
#jawsdays #ace
アールスリーインスティテュートについて
・2000年創業の大阪のシステム開発会社
!
・大手がやる仕事を少数精鋭で実施するのがコンセプ
ト(実際に大手と提案で勝負すること多々)
!
・2012年からAWSのパートナ...
#jawsdays #ace
初心者向けに事例もまじえ
てわかりやすく説明します!
#jawsdays #ace
Amazon Kinesis
触ったことある人?
#jawsdays #ace
朝一のAWS大谷さんの
セッション参加した人?
#jawsdays #ace
朝一聞いた人は
もう理解しちゃってますね・・・
#jawsdays #ace
Amazon Kinesis
リアルタイム分析
プラットフォーム
#jawsdays #ace
???
#jawsdays #ace
リアルタイムに
不規則に
発生するデータを
漏らすことなく
スマートに処理するための仕組み
#jawsdays #ace
リアルタイム分析の悩み
・データを受け取るための適切なリソースのサイ
ジングを行うのは難しい
!
・安全にデータを保管するのは難しい
!
・受けたデータを適切な速度で処理するのはサイ
ジングが難しい
!
・かといっ...
#jawsdays #ace
Kinesisの基本概念
Data Sources Kinesis Endpoint
Shards Kinesis Application
Instances
Kinesis Stream
RDS
DynamoDB
#jawsdays #ace
Shard
Shard
Partition Key Data Body
Partition Key Data Body
Partition Key Data Body
Partition Key Data Body...
#jawsdays #ace
Shardの考え方の雑なイメージ
…
スーパーのレジを想像してください。
レジがShard お客さんがデータ
#jawsdays #ace
#jawsug っていいよね
#jawsug すごいよね
#jawsug 大阪熱いよね
#aws C3インスタンスにEBS Optimizedを
#aws Workspacesにもっとスペックを
#aws AWS太...
#jawsdays #ace
Amazon Kinesis
Shard
Shard
#jawsug っていいよね
#jawsug すごいよね
#jawsug 大阪熱いよね
#aws C3インスタンスにEBS Optimizedを
#aws Wo...
#jawsdays #ace
GetNextRecord
Kinesis App
Kinesis App
Amazon Kinesis
Shard
Shard
#jawsug っていいよね
#jawsug すごいよね
#jawsug 大阪熱いよ...
#jawsdays #ace
DynamoDB
Kinesis App
Kinesis App
#jawsug: 3
#aws: 3
Kinesisでのデータの流れ方
#jawsdays #ace
Kinesis Client Library(KCL)
・APIを直接使わなくても簡単に使える
!
・データを処理するWorkerの生成
!
・各Shardに対してWorkerがちゃんとつくように制御
!
・Sha...
#jawsdays #ace
Kinesis Connector Library
・Kinesis Streamから必要なデータ変換をしてS3,
DaynamoDB, Redshiftへデータを格納するライブラリ
!
・変換部分の記述に集中でき...
#jawsdays #ace
事例
全国に設置された大量の機器からのデータを処理
【現在】
FTP Server DB Server Web Server
これが何セットもある
#jawsdays #ace
事例
全国に設置された大量の機器からのデータを処理
【Amazon Kinesis】
Region
Kinesis Endpoint
Shards RDS
S3
Web Server
Analysis Server
#jawsdays #ace
事例
全国に設置された大量の機器からのデータを処理
【Amazon Kinesis】
Region
Kinesis Endpoint
Shards RDS
S3
Web Server
Analysis Server...
#jawsdays #ace
事例
全国に設置された大量の機器からのデータを処理
【Amazon Kinesis】
Region
Kinesis Endpoint
Shards RDS
S3
Web Server
Analysis Server...
#jawsdays #ace
事例
全国に設置された大量の機器からのデータを処理
【Amazon Kinesis】
Region
Kinesis Endpoint
Shards RDS
S3
Web Server
Analysis Server...
#jawsdays #ace
事例
全国に設置された大量の機器からのデータを処理
【Amazon Kinesis】
Region
Kinesis Endpoint
Shards RDS
S3
Web Server
Analysis Server...
#jawsdays #ace
解決されること
・お客さんが増えてもShardをスケールさせればデータは受け
られる
!
・万が一お客さんが減ってもスケールダウンさせればムダな
リソースは発生しない
!
・分析側もAutoScalingでデータ量...
#jawsdays #ace
まとめ
・Amazon Kinesisは、従来のAWSのサービス群と違い、
マッチするユースケースがないと利用しづらいと思
います
!
・ただし、マッチするユースケースがある場合は積極
的に使うことによって楽にリア...
#jawsdays #ace
Thank You
JOB Boardに弊社求人を
掲載しています!
一緒にシステム作りましょう!
Upcoming SlideShare
Loading in …5
×

JAWSDAYS2014 Amazon Kinesis for Beginner

1,604 views

Published on

3/15に実施された JAWS DAYS2015
ACEき聞け! Amazon Kinesisで発表した資料です。

最初のネタ話は割愛しています。

Published in: Technology
0 Comments
3 Likes
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total views
1,604
On SlideShare
0
From Embeds
0
Number of Embeds
38
Actions
Shares
0
Downloads
17
Comments
0
Likes
3
Embeds 0
No embeds

No notes for slide

JAWSDAYS2014 Amazon Kinesis for Beginner

  1. 1. アールスリーインスティテュート 金春 利幸(JAWS-UG大阪) Amazon Kinesis
  2. 2. #jawsdays #ace このセッションのハッシュタグは、 ! #jawsdays #ace ! でお願いします
  3. 3. #jawsdays #ace 自己紹介 金春 利幸(こんぱる としゆき) ! アールスリーインスティテュート マネージャー&ソリューションアーキテクト ! JAWS-UG大阪 コアメンバー ! ブログ: http://www.konpa.ru/    (網元AMIで動いてます) FB: t.konparu twitter: t_konparu
  4. 4. #jawsdays #ace アールスリーインスティテュートについて ・2000年創業の大阪のシステム開発会社 ! ・大手がやる仕事を少数精鋭で実施するのがコンセプ ト(実際に大手と提案で勝負すること多々) ! ・2012年からAWSのパートナー ! ・AWSを活用し、AWS上で稼働するシステムを提案 ! ・今年は、今まで以上にAWSに力を入れていく予定 ! ・入り口のJOB Boardに求人出してますのでぜひ!
  5. 5. #jawsdays #ace 初心者向けに事例もまじえ てわかりやすく説明します!
  6. 6. #jawsdays #ace Amazon Kinesis 触ったことある人?
  7. 7. #jawsdays #ace 朝一のAWS大谷さんの セッション参加した人?
  8. 8. #jawsdays #ace 朝一聞いた人は もう理解しちゃってますね・・・
  9. 9. #jawsdays #ace Amazon Kinesis リアルタイム分析 プラットフォーム
  10. 10. #jawsdays #ace ???
  11. 11. #jawsdays #ace リアルタイムに 不規則に 発生するデータを 漏らすことなく スマートに処理するための仕組み
  12. 12. #jawsdays #ace リアルタイム分析の悩み ・データを受け取るための適切なリソースのサイ ジングを行うのは難しい ! ・安全にデータを保管するのは難しい ! ・受けたデータを適切な速度で処理するのはサイ ジングが難しい ! ・かといって、ピーク性能に合わせるとコストがか かる どんどんやってくるデータに対して
  13. 13. #jawsdays #ace Kinesisの基本概念 Data Sources Kinesis Endpoint Shards Kinesis Application Instances Kinesis Stream RDS DynamoDB
  14. 14. #jawsdays #ace Shard Shard Partition Key Data Body Partition Key Data Body Partition Key Data Body Partition Key Data Body Partition Key Data Body Partition Key Data Body1 2 3 4 Shardの能力 Write 1MB/sec(1000write/sec) Read 2MB/sec(5read/sec) 50KB256bytes ストリーム全体でユニークな SequenceNumberが振られる Shard内のデータは 24時間で削除される どのShardにデータが入る かはPartitionKeyで決まる
  15. 15. #jawsdays #ace Shardの考え方の雑なイメージ … スーパーのレジを想像してください。 レジがShard お客さんがデータ
  16. 16. #jawsdays #ace #jawsug っていいよね #jawsug すごいよね #jawsug 大阪熱いよね #aws C3インスタンスにEBS Optimizedを #aws Workspacesにもっとスペックを #aws AWS太っ腹 Kinesisでのデータの流れ方
  17. 17. #jawsdays #ace Amazon Kinesis Shard Shard #jawsug っていいよね #jawsug すごいよね #jawsug 大阪熱いよね #aws C3インスタンスにEBS Optimizedを #aws Workspacesにもっとスペックを #aws AWS太っ腹 Kinesisでのデータの流れ方
  18. 18. #jawsdays #ace GetNextRecord Kinesis App Kinesis App Amazon Kinesis Shard Shard #jawsug っていいよね #jawsug すごいよね #jawsug 大阪熱いよね #aws C3インスタンスにEBS Optimized #aws Workspacesにもっとスペックを #aws AWS太っ腹 Partition Key 1 2 3 4 5 6 GetNextRecord Kinesisでのデータの流れ方
  19. 19. #jawsdays #ace DynamoDB Kinesis App Kinesis App #jawsug: 3 #aws: 3 Kinesisでのデータの流れ方
  20. 20. #jawsdays #ace Kinesis Client Library(KCL) ・APIを直接使わなくても簡単に使える ! ・データを処理するWorkerの生成 ! ・各Shardに対してWorkerがちゃんとつくように制御 ! ・Shard増減時のWorkerの増減 ! ・処理中にWorkerが死んだときの再処理制御 ! ・AutoScaling時にWorkerとShardの割当を自動的に調整
  21. 21. #jawsdays #ace Kinesis Connector Library ・Kinesis Streamから必要なデータ変換をしてS3, DaynamoDB, Redshiftへデータを格納するライブラリ ! ・変換部分の記述に集中できる ! ・最近EMR(ElasticMapReduce)用のConnectorも発表に なりました ! ・Kinesis log4j Appenderも公開されているので、Webサ イトのログをKinesisに流してEMRで分析なんてのも簡 単にできます
  22. 22. #jawsdays #ace 事例 全国に設置された大量の機器からのデータを処理 【現在】 FTP Server DB Server Web Server これが何セットもある
  23. 23. #jawsdays #ace 事例 全国に設置された大量の機器からのデータを処理 【Amazon Kinesis】 Region Kinesis Endpoint Shards RDS S3 Web Server Analysis Server
  24. 24. #jawsdays #ace 事例 全国に設置された大量の機器からのデータを処理 【Amazon Kinesis】 Region Kinesis Endpoint Shards RDS S3 Web Server Analysis Server Amazon Kinesis
  25. 25. #jawsdays #ace 事例 全国に設置された大量の機器からのデータを処理 【Amazon Kinesis】 Region Kinesis Endpoint Shards RDS S3 Web Server Analysis Server Managed Service
  26. 26. #jawsdays #ace 事例 全国に設置された大量の機器からのデータを処理 【Amazon Kinesis】 Region Kinesis Endpoint Shards RDS S3 Web Server Analysis Server Auto Scaling
  27. 27. #jawsdays #ace 事例 全国に設置された大量の機器からのデータを処理 【Amazon Kinesis】 Region Kinesis Endpoint Shards RDS S3 Web Server Analysis Server Auto ScalingManaged Service
  28. 28. #jawsdays #ace 解決されること ・お客さんが増えてもShardをスケールさせればデータは受け られる ! ・万が一お客さんが減ってもスケールダウンさせればムダな リソースは発生しない ! ・分析側もAutoScalingでデータ量に合わせてスケールできる ! ・RAWデータはS3に安全に保管できる ! ・基本的にすべてManagedなので、インフラの運用に関する負 担が非常に小さい
  29. 29. #jawsdays #ace まとめ ・Amazon Kinesisは、従来のAWSのサービス群と違い、 マッチするユースケースがないと利用しづらいと思 います ! ・ただし、マッチするユースケースがある場合は積極 的に使うことによって楽にリアルタイム分析プラット フォームを構築することができます ! ・もし事例があれば、JAWS-UGで公開してください。み んな喜びます
  30. 30. #jawsdays #ace Thank You JOB Boardに弊社求人を 掲載しています! 一緒にシステム作りましょう!

×