Your SlideShare is downloading. ×
0
Copylight  ©  Classmethod,  Inc.
CLIでわかる
Amazon Kinesis
2014/6/28
鈴鈴⽊木  亮亮
Copylight  ©  Classmethod,  Inc.
自己紹介
氏名  鈴木亮
所属 クラスメソッド株式会社
Twitter suzryo
!
2
Copylight  ©  Classmethod,  Inc.
好きなAWS
Route53
!
Amazon Kinesis
3
Copylight  ©  Classmethod,  Inc.
Amazon Kinesis
• 大規模ストリーミングデータをリアルタイム処理
• 2013年11月、AWS re:Invent 2013 で発表
• 2013年12月、ベータ提...
Copylight  ©  Classmethod,  Inc.
Kinesisの機能
– 1レコード50KBまでのデータを登録
– 各レコードに一意な連番付与し、24h保持
– 性能調整可能
– 毎秒1000 10万件(2 200MB)
– ...
‹#›Copylight  ©  Classmethod,  Inc.
データ中継
6
Copylight  ©  Classmethod,  Inc.
Kinesis コマンド一覧(CLI)
• create-stream
• list-streams
• describe-stream
• split-shard
• merg...
Copylight  ©  Classmethod,  Inc.
create-stream
8
Kinesis  ストリーム
シャード
Copylight  ©  Classmethod,  Inc.
split-shard
merge-shards
9
Kinesis  ストリーム
シャード
Kinesis  ストリーム
シャードシャード
担当ハッシュ  
(1,2,3,4)...
Copylight  ©  Classmethod,  Inc.
put-record
10
Kinesis  ストリーム
シャード
データ
Copylight  ©  Classmethod,  Inc.
get-shard-iterator
11
Kinesis  ストリーム
シャード
イテレーター
Copylight  ©  Classmethod,  Inc.
get-records
12
Kinesis  ストリーム
シャード
イテレーター
データ
Copylight  ©  Classmethod,  Inc.
Kinesisの特徴
– メンテ不要
– データ受取、EC2レス
– 廉価
– データは冗長保管
– レコード削除不要(24時間で自動消去)
– レコードは複数ワーカ、複数回参照...
Copylight  ©  Classmethod,  Inc.
Kinesis Client
Library
– AWS提供のJavaツール
– 処理済みレコード管理
– KinesisAppインスタンス管理
– 通称:KCL
14
Copylight  ©  Classmethod,  Inc.
Kinesis Connecter
Library
– S3
– DynamoDB
– RedShift
– Apache Storm
– KCL利用した実装
15
Copylight  ©  Classmethod,  Inc.
費用試算例
(SQS・Kinesis)
16
Copylight  ©  Classmethod,  Inc.
Kinesis SQS比較(1)
17
費用($)
0
3.5
7
10.5
14
メッセージ件数
100万 300万 500万 700万 900万
SQS Kinesis
‹#›Copylight  ©  Classmethod,  Inc.
お勧めSQS構成
18
Copylight  ©  Classmethod,  Inc.
Kinesis SQS比較(2)
19
費用($)
0
35
70
105
140
メッセージ件数
1000万 3000万 5000万 7000万 9000万
SQS Kines...
Copylight  ©  Classmethod,  Inc.
Kinesis SQS比較(3)
20
費用($)
0
40000
80000
120000
160000
メッセージ件数
1億 10億 100億 1000億
SQS Kines...
Copylight  ©  Classmethod,  Inc.
月額費用(100億メッセージ)
• SQS   :15,000$
• Kinesis :291$
21
サービス 費用
SQS $15000
Kinesis $291
Copylight  ©  Classmethod,  Inc.
100億メッセージ到達条件
22
頻度度 台数
1回  
(60秒毎)
231481
2回  
(30秒毎)
115741
6回  
(10秒毎)
38580
• 24時間、30...
Copylight  ©  Classmethod,  Inc.
まとめ
• Kinesisなら、従来諦めていたデー
タ、システムに取り込めて、ビッ
クデータ処理の布石になります。
23
‹#›Copylight  ©  Classmethod,  Inc.
解析環境と連携
24
Amazon Kinesis developersio-meetup-05
Upcoming SlideShare
Loading in...5
×

Amazon Kinesis developersio-meetup-05

466

Published on

AWS CLIでわかるAmazon Kinesis

Published in: Engineering, Travel, Business
0 Comments
1 Like
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total Views
466
On Slideshare
0
From Embeds
0
Number of Embeds
5
Actions
Shares
0
Downloads
2
Comments
0
Likes
1
Embeds 0
No embeds

No notes for slide

Transcript of "Amazon Kinesis developersio-meetup-05"

  1. 1. Copylight  ©  Classmethod,  Inc. CLIでわかる Amazon Kinesis 2014/6/28 鈴鈴⽊木  亮亮
  2. 2. Copylight  ©  Classmethod,  Inc. 自己紹介 氏名  鈴木亮 所属 クラスメソッド株式会社 Twitter suzryo ! 2
  3. 3. Copylight  ©  Classmethod,  Inc. 好きなAWS Route53 ! Amazon Kinesis 3
  4. 4. Copylight  ©  Classmethod,  Inc. Amazon Kinesis • 大規模ストリーミングデータをリアルタイム処理 • 2013年11月、AWS re:Invent 2013 で発表 • 2013年12月、ベータ提供開始
  5. 5. Copylight  ©  Classmethod,  Inc. Kinesisの機能 – 1レコード50KBまでのデータを登録 – 各レコードに一意な連番付与し、24h保持 – 性能調整可能 – 毎秒1000 10万件(2 200MB) – SSL – STS(Security Token Service) 5
  6. 6. ‹#›Copylight  ©  Classmethod,  Inc. データ中継 6
  7. 7. Copylight  ©  Classmethod,  Inc. Kinesis コマンド一覧(CLI) • create-stream • list-streams • describe-stream • split-shard • merge-shards • put-record • get-shard-iterator • get-records • delete-stream 7
  8. 8. Copylight  ©  Classmethod,  Inc. create-stream 8 Kinesis  ストリーム シャード
  9. 9. Copylight  ©  Classmethod,  Inc. split-shard merge-shards 9 Kinesis  ストリーム シャード Kinesis  ストリーム シャードシャード 担当ハッシュ   (1,2,3,4) 担当ハッシュ   (1,2) 担当ハッシュ   (3,4)
  10. 10. Copylight  ©  Classmethod,  Inc. put-record 10 Kinesis  ストリーム シャード データ
  11. 11. Copylight  ©  Classmethod,  Inc. get-shard-iterator 11 Kinesis  ストリーム シャード イテレーター
  12. 12. Copylight  ©  Classmethod,  Inc. get-records 12 Kinesis  ストリーム シャード イテレーター データ
  13. 13. Copylight  ©  Classmethod,  Inc. Kinesisの特徴 – メンテ不要 – データ受取、EC2レス – 廉価 – データは冗長保管 – レコード削除不要(24時間で自動消去) – レコードは複数ワーカ、複数回参照可 13
  14. 14. Copylight  ©  Classmethod,  Inc. Kinesis Client Library – AWS提供のJavaツール – 処理済みレコード管理 – KinesisAppインスタンス管理 – 通称:KCL 14
  15. 15. Copylight  ©  Classmethod,  Inc. Kinesis Connecter Library – S3 – DynamoDB – RedShift – Apache Storm – KCL利用した実装 15
  16. 16. Copylight  ©  Classmethod,  Inc. 費用試算例 (SQS・Kinesis) 16
  17. 17. Copylight  ©  Classmethod,  Inc. Kinesis SQS比較(1) 17 費用($) 0 3.5 7 10.5 14 メッセージ件数 100万 300万 500万 700万 900万 SQS Kinesis
  18. 18. ‹#›Copylight  ©  Classmethod,  Inc. お勧めSQS構成 18
  19. 19. Copylight  ©  Classmethod,  Inc. Kinesis SQS比較(2) 19 費用($) 0 35 70 105 140 メッセージ件数 1000万 3000万 5000万 7000万 9000万 SQS Kinesis
  20. 20. Copylight  ©  Classmethod,  Inc. Kinesis SQS比較(3) 20 費用($) 0 40000 80000 120000 160000 メッセージ件数 1億 10億 100億 1000億 SQS Kinesis
  21. 21. Copylight  ©  Classmethod,  Inc. 月額費用(100億メッセージ) • SQS   :15,000$ • Kinesis :291$ 21 サービス 費用 SQS $15000 Kinesis $291
  22. 22. Copylight  ©  Classmethod,  Inc. 100億メッセージ到達条件 22 頻度度 台数 1回   (60秒毎) 231481 2回   (30秒毎) 115741 6回   (10秒毎) 38580 • 24時間、30日、連続稼働
  23. 23. Copylight  ©  Classmethod,  Inc. まとめ • Kinesisなら、従来諦めていたデー タ、システムに取り込めて、ビッ クデータ処理の布石になります。 23
  24. 24. ‹#›Copylight  ©  Classmethod,  Inc. 解析環境と連携 24
  1. A particular slide catching your eye?

    Clipping is a handy way to collect important slides you want to go back to later.

×