AWS CLIでわかるAmazon Kinesis

1. Copylight © Classmethod, Inc.
CLIでわかる
Amazon Kinesis
2014/6/28
鈴鈴⽊木 亮亮

2. Copylight © Classmethod, Inc.
自己紹介
氏名 鈴木亮
所属 クラスメソッド株式会社
Twitter suzryo
!
2

3. Copylight © Classmethod, Inc.
好きなAWS
Route53
!
Amazon Kinesis
3

4. Copylight © Classmethod, Inc.
Amazon Kinesis
• 大規模ストリーミングデータをリアルタイム処理
• 2013年11月、AWS re:Invent 2013 で発表
• 2013年12月、ベータ提供開始

5. Copylight © Classmethod, Inc.
Kinesisの機能
– 1レコード50KBまでのデータを登録
– 各レコードに一意な連番付与し、24h保持
– 性能調整可能
– 毎秒1000 10万件（２ 200MB）
– SSL
– STS（Security Token Service）
5

6. ‹#›Copylight © Classmethod, Inc.
データ中継
6

7. Copylight © Classmethod, Inc.
Kinesis コマンド一覧(CLI)
• create-stream
• list-streams
• describe-stream
• split-shard
• merge-shards
• put-record
• get-shard-iterator
• get-records
• delete-stream
7

8. Copylight © Classmethod, Inc.
create-stream
8
Kinesis ストリーム
シャード

9. Copylight © Classmethod, Inc.
split-shard
merge-shards
9
Kinesis ストリーム
シャード
Kinesis ストリーム
シャードシャード
担当ハッシュ
（１，２，３，４）
担当ハッシュ
（１，２）
担当ハッシュ
（３，４）

10. Copylight © Classmethod, Inc.
put-record
10
Kinesis ストリーム
シャード
データ

11. Copylight © Classmethod, Inc.
get-shard-iterator
11
Kinesis ストリーム
シャード
イテレーター

12. Copylight © Classmethod, Inc.
get-records
12
Kinesis ストリーム
シャード
イテレーター
データ

13. Copylight © Classmethod, Inc.
Kinesisの特徴
– メンテ不要
– データ受取、EC2レス
– 廉価
– データは冗長保管
– レコード削除不要（24時間で自動消去）
– レコードは複数ワーカ、複数回参照可
13

14. Copylight © Classmethod, Inc.
Kinesis Client
Library
– AWS提供のJavaツール
– 処理済みレコード管理
– KinesisAppインスタンス管理
– 通称：KCL
14

15. Copylight © Classmethod, Inc.
Kinesis Connecter
Library
– S3
– DynamoDB
– RedShift
– Apache Storm
– KCL利用した実装
15

16. Copylight © Classmethod, Inc.
費用試算例
（SQS・Kinesis)
16

17. Copylight © Classmethod, Inc.
Kinesis SQS比較（１）
17
費用（＄）
0
3.5
7
10.5
14
メッセージ件数
100万 300万 500万 700万 900万
SQS Kinesis

18. ‹#›Copylight © Classmethod, Inc.
お勧めSQS構成
18

19. Copylight © Classmethod, Inc.
Kinesis SQS比較（２）
19
費用（＄）
0
35
70
105
140
メッセージ件数
1000万 3000万 5000万 7000万 9000万
SQS Kinesis

20. Copylight © Classmethod, Inc.
Kinesis SQS比較（3）
20
費用（＄）
0
40000
80000
120000
160000
メッセージ件数
1億 10億 100億 1000億
SQS Kinesis

21. Copylight © Classmethod, Inc.
月額費用（100億メッセージ）
• SQS ：15,000＄
• Kinesis ：291＄
21
サービス 費用
SQS $15000
Kinesis $291

22. Copylight © Classmethod, Inc.
100億メッセージ到達条件
22
頻度度 台数
1回
（60秒毎）
231481
2回
（30秒毎）
115741
6回
（10秒毎）
38580
• 24時間、30日、連続稼働

23. Copylight © Classmethod, Inc.
まとめ
• Kinesisなら、従来諦めていたデー
タ、システムに取り込めて、ビッ
クデータ処理の布石になります。
23

24. ‹#›Copylight © Classmethod, Inc.
解析環境と連携
24