Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
アールスリーインスティテュート
金春 利幸(JAWS-UG大阪)
Amazon Kinesis
#jawsdays #ace
このセッションのハッシュタグは、
!
#jawsdays #ace
!
でお願いします
#jawsdays #ace
自己紹介
金春 利幸(こんぱる としゆき)
!
アールスリーインスティテュート
マネージャー&ソリューションアーキテクト
!
JAWS-UG大阪 コアメンバー
!
ブログ: http://www.konpa.ru/...
#jawsdays #ace
アールスリーインスティテュートについて
・2000年創業の大阪のシステム開発会社
!
・大手がやる仕事を少数精鋭で実施するのがコンセプ
ト(実際に大手と提案で勝負すること多々)
!
・2012年からAWSのパートナ...
#jawsdays #ace
初心者向けに事例もまじえ
てわかりやすく説明します!
#jawsdays #ace
Amazon Kinesis
触ったことある人?
#jawsdays #ace
朝一のAWS大谷さんの
セッション参加した人?
#jawsdays #ace
朝一聞いた人は
もう理解しちゃってますね・・・
#jawsdays #ace
Amazon Kinesis
リアルタイム分析
プラットフォーム
#jawsdays #ace
???
#jawsdays #ace
リアルタイムに
不規則に
発生するデータを
漏らすことなく
スマートに処理するための仕組み
#jawsdays #ace
リアルタイム分析の悩み
・データを受け取るための適切なリソースのサイ
ジングを行うのは難しい
!
・安全にデータを保管するのは難しい
!
・受けたデータを適切な速度で処理するのはサイ
ジングが難しい
!
・かといっ...
#jawsdays #ace
Kinesisの基本概念
Data Sources Kinesis Endpoint
Shards Kinesis Application
Instances
Kinesis Stream
RDS
DynamoDB
#jawsdays #ace
Shard
Shard
Partition Key Data Body
Partition Key Data Body
Partition Key Data Body
Partition Key Data Body...
#jawsdays #ace
Shardの考え方の雑なイメージ
…
スーパーのレジを想像してください。
レジがShard お客さんがデータ
#jawsdays #ace
#jawsug っていいよね
#jawsug すごいよね
#jawsug 大阪熱いよね
#aws C3インスタンスにEBS Optimizedを
#aws Workspacesにもっとスペックを
#aws AWS太...
#jawsdays #ace
Amazon Kinesis
Shard
Shard
#jawsug っていいよね
#jawsug すごいよね
#jawsug 大阪熱いよね
#aws C3インスタンスにEBS Optimizedを
#aws Wo...
#jawsdays #ace
GetNextRecord
Kinesis App
Kinesis App
Amazon Kinesis
Shard
Shard
#jawsug っていいよね
#jawsug すごいよね
#jawsug 大阪熱いよ...
#jawsdays #ace
DynamoDB
Kinesis App
Kinesis App
#jawsug: 3
#aws: 3
Kinesisでのデータの流れ方
#jawsdays #ace
Kinesis Client Library(KCL)
・APIを直接使わなくても簡単に使える
!
・データを処理するWorkerの生成
!
・各Shardに対してWorkerがちゃんとつくように制御
!
・Sha...
#jawsdays #ace
Kinesis Connector Library
・Kinesis Streamから必要なデータ変換をしてS3,
DaynamoDB, Redshiftへデータを格納するライブラリ
!
・変換部分の記述に集中でき...
#jawsdays #ace
事例
全国に設置された大量の機器からのデータを処理
【現在】
FTP Server DB Server Web Server
これが何セットもある
#jawsdays #ace
事例
全国に設置された大量の機器からのデータを処理
【Amazon Kinesis】
Region
Kinesis Endpoint
Shards RDS
S3
Web Server
Analysis Server
#jawsdays #ace
事例
全国に設置された大量の機器からのデータを処理
【Amazon Kinesis】
Region
Kinesis Endpoint
Shards RDS
S3
Web Server
Analysis Server...
#jawsdays #ace
事例
全国に設置された大量の機器からのデータを処理
【Amazon Kinesis】
Region
Kinesis Endpoint
Shards RDS
S3
Web Server
Analysis Server...
#jawsdays #ace
事例
全国に設置された大量の機器からのデータを処理
【Amazon Kinesis】
Region
Kinesis Endpoint
Shards RDS
S3
Web Server
Analysis Server...
#jawsdays #ace
事例
全国に設置された大量の機器からのデータを処理
【Amazon Kinesis】
Region
Kinesis Endpoint
Shards RDS
S3
Web Server
Analysis Server...
#jawsdays #ace
解決されること
・お客さんが増えてもShardをスケールさせればデータは受け
られる
!
・万が一お客さんが減ってもスケールダウンさせればムダな
リソースは発生しない
!
・分析側もAutoScalingでデータ量...
#jawsdays #ace
まとめ
・Amazon Kinesisは、従来のAWSのサービス群と違い、
マッチするユースケースがないと利用しづらいと思
います
!
・ただし、マッチするユースケースがある場合は積極
的に使うことによって楽にリア...
#jawsdays #ace
Thank You
JOB Boardに弊社求人を
掲載しています!
一緒にシステム作りましょう!
Upcoming SlideShare
Loading in …5
×

JAWSDAYS2014 Amazon Kinesis for Beginner

1,716 views

Published on

3/15に実施された JAWS DAYS2015
ACEき聞け! Amazon Kinesisで発表した資料です。

最初のネタ話は割愛しています。

Published in: Technology
  • Be the first to comment

JAWSDAYS2014 Amazon Kinesis for Beginner

  1. 1. アールスリーインスティテュート 金春 利幸(JAWS-UG大阪) Amazon Kinesis
  2. 2. #jawsdays #ace このセッションのハッシュタグは、 ! #jawsdays #ace ! でお願いします
  3. 3. #jawsdays #ace 自己紹介 金春 利幸(こんぱる としゆき) ! アールスリーインスティテュート マネージャー&ソリューションアーキテクト ! JAWS-UG大阪 コアメンバー ! ブログ: http://www.konpa.ru/    (網元AMIで動いてます) FB: t.konparu twitter: t_konparu
  4. 4. #jawsdays #ace アールスリーインスティテュートについて ・2000年創業の大阪のシステム開発会社 ! ・大手がやる仕事を少数精鋭で実施するのがコンセプ ト(実際に大手と提案で勝負すること多々) ! ・2012年からAWSのパートナー ! ・AWSを活用し、AWS上で稼働するシステムを提案 ! ・今年は、今まで以上にAWSに力を入れていく予定 ! ・入り口のJOB Boardに求人出してますのでぜひ!
  5. 5. #jawsdays #ace 初心者向けに事例もまじえ てわかりやすく説明します!
  6. 6. #jawsdays #ace Amazon Kinesis 触ったことある人?
  7. 7. #jawsdays #ace 朝一のAWS大谷さんの セッション参加した人?
  8. 8. #jawsdays #ace 朝一聞いた人は もう理解しちゃってますね・・・
  9. 9. #jawsdays #ace Amazon Kinesis リアルタイム分析 プラットフォーム
  10. 10. #jawsdays #ace ???
  11. 11. #jawsdays #ace リアルタイムに 不規則に 発生するデータを 漏らすことなく スマートに処理するための仕組み
  12. 12. #jawsdays #ace リアルタイム分析の悩み ・データを受け取るための適切なリソースのサイ ジングを行うのは難しい ! ・安全にデータを保管するのは難しい ! ・受けたデータを適切な速度で処理するのはサイ ジングが難しい ! ・かといって、ピーク性能に合わせるとコストがか かる どんどんやってくるデータに対して
  13. 13. #jawsdays #ace Kinesisの基本概念 Data Sources Kinesis Endpoint Shards Kinesis Application Instances Kinesis Stream RDS DynamoDB
  14. 14. #jawsdays #ace Shard Shard Partition Key Data Body Partition Key Data Body Partition Key Data Body Partition Key Data Body Partition Key Data Body Partition Key Data Body1 2 3 4 Shardの能力 Write 1MB/sec(1000write/sec) Read 2MB/sec(5read/sec) 50KB256bytes ストリーム全体でユニークな SequenceNumberが振られる Shard内のデータは 24時間で削除される どのShardにデータが入る かはPartitionKeyで決まる
  15. 15. #jawsdays #ace Shardの考え方の雑なイメージ … スーパーのレジを想像してください。 レジがShard お客さんがデータ
  16. 16. #jawsdays #ace #jawsug っていいよね #jawsug すごいよね #jawsug 大阪熱いよね #aws C3インスタンスにEBS Optimizedを #aws Workspacesにもっとスペックを #aws AWS太っ腹 Kinesisでのデータの流れ方
  17. 17. #jawsdays #ace Amazon Kinesis Shard Shard #jawsug っていいよね #jawsug すごいよね #jawsug 大阪熱いよね #aws C3インスタンスにEBS Optimizedを #aws Workspacesにもっとスペックを #aws AWS太っ腹 Kinesisでのデータの流れ方
  18. 18. #jawsdays #ace GetNextRecord Kinesis App Kinesis App Amazon Kinesis Shard Shard #jawsug っていいよね #jawsug すごいよね #jawsug 大阪熱いよね #aws C3インスタンスにEBS Optimized #aws Workspacesにもっとスペックを #aws AWS太っ腹 Partition Key 1 2 3 4 5 6 GetNextRecord Kinesisでのデータの流れ方
  19. 19. #jawsdays #ace DynamoDB Kinesis App Kinesis App #jawsug: 3 #aws: 3 Kinesisでのデータの流れ方
  20. 20. #jawsdays #ace Kinesis Client Library(KCL) ・APIを直接使わなくても簡単に使える ! ・データを処理するWorkerの生成 ! ・各Shardに対してWorkerがちゃんとつくように制御 ! ・Shard増減時のWorkerの増減 ! ・処理中にWorkerが死んだときの再処理制御 ! ・AutoScaling時にWorkerとShardの割当を自動的に調整
  21. 21. #jawsdays #ace Kinesis Connector Library ・Kinesis Streamから必要なデータ変換をしてS3, DaynamoDB, Redshiftへデータを格納するライブラリ ! ・変換部分の記述に集中できる ! ・最近EMR(ElasticMapReduce)用のConnectorも発表に なりました ! ・Kinesis log4j Appenderも公開されているので、Webサ イトのログをKinesisに流してEMRで分析なんてのも簡 単にできます
  22. 22. #jawsdays #ace 事例 全国に設置された大量の機器からのデータを処理 【現在】 FTP Server DB Server Web Server これが何セットもある
  23. 23. #jawsdays #ace 事例 全国に設置された大量の機器からのデータを処理 【Amazon Kinesis】 Region Kinesis Endpoint Shards RDS S3 Web Server Analysis Server
  24. 24. #jawsdays #ace 事例 全国に設置された大量の機器からのデータを処理 【Amazon Kinesis】 Region Kinesis Endpoint Shards RDS S3 Web Server Analysis Server Amazon Kinesis
  25. 25. #jawsdays #ace 事例 全国に設置された大量の機器からのデータを処理 【Amazon Kinesis】 Region Kinesis Endpoint Shards RDS S3 Web Server Analysis Server Managed Service
  26. 26. #jawsdays #ace 事例 全国に設置された大量の機器からのデータを処理 【Amazon Kinesis】 Region Kinesis Endpoint Shards RDS S3 Web Server Analysis Server Auto Scaling
  27. 27. #jawsdays #ace 事例 全国に設置された大量の機器からのデータを処理 【Amazon Kinesis】 Region Kinesis Endpoint Shards RDS S3 Web Server Analysis Server Auto ScalingManaged Service
  28. 28. #jawsdays #ace 解決されること ・お客さんが増えてもShardをスケールさせればデータは受け られる ! ・万が一お客さんが減ってもスケールダウンさせればムダな リソースは発生しない ! ・分析側もAutoScalingでデータ量に合わせてスケールできる ! ・RAWデータはS3に安全に保管できる ! ・基本的にすべてManagedなので、インフラの運用に関する負 担が非常に小さい
  29. 29. #jawsdays #ace まとめ ・Amazon Kinesisは、従来のAWSのサービス群と違い、 マッチするユースケースがないと利用しづらいと思 います ! ・ただし、マッチするユースケースがある場合は積極 的に使うことによって楽にリアルタイム分析プラット フォームを構築することができます ! ・もし事例があれば、JAWS-UGで公開してください。み んな喜びます
  30. 30. #jawsdays #ace Thank You JOB Boardに弊社求人を 掲載しています! 一緒にシステム作りましょう!

×