KinesushiをAmazonKinesisで作った話。

1. Ⓒ Classmethod, Inc.
Kinesushiでみた
Amazon Kinesisの話
1
DEVIO-MTUP11-TOKYO-004
鈴木亮,AWSチーム,クラスメソッド（株）
2014年12月16日

2. Ⓒ Classmethod, Inc.
自己紹介
• 氏名 鈴木 亮（すずき りょう）
• 所属
• クラスメソッドAWSチーム
• チームUKYO reve（ロードレース）
• Twitter suzryo
2

3. 3

4. ストリーミングデータを
リアルタイムで処理する
完全マネージド型サービス
Amazon Kinesis
とは？
4

5. Ⓒ Classmethod, Inc.
AWS Solutions Architect ブログ
5
http://aws.typepad.com/sajp/2014/08/kinesis_01.html

6. Ⓒ Classmethod, Inc.
弊社ブログ（AWS Summitレポート）
6
http://dev.classmethod.jp/cloud/aws/aws-summit2014tokyo-kinesis/

7. Ⓒ Classmethod, Inc.
弊社ブログ２（Kinesis特集）
7
http://dev.classmethod.jp/referencecat/aws-kinesis/

8. Amazon Kinesis
メリット
8

9. スケール性
9

10. Ⓒ Classmethod, Inc.
Kinesushi構成図（水曜日：0日目）
10

11. Ⓒ Classmethod, Inc.
Kinesushi構成図（木曜日：1日目）
11

12. Ⓒ Classmethod, Inc.
木曜日
• 上限緩和申請（AWSサポート申請）
• Kinesisシャード数を10→32
• 検証用Kinesisストリーム設置
• パーティションキーの検証
• 店舗番号を用いる妥当性
• シャード分散確認
12

13. Ⓒ Classmethod, Inc.
Kinesushi構成図（金曜日：2日目）
13

14. Ⓒ Classmethod, Inc.
金曜日
• 10店舗PUT開始
• シャードの実性能確認
• Kinesisシャード上限緩和
14

15. Ⓒ Classmethod, Inc.
Kinesushi構成図（月曜日：3日目）
15

16. Ⓒ Classmethod, Inc.
月曜日
• 377店舗先行PUT開始
• 準備時間3日
• ピーク時：200万PUT／1時間
• 1日：1500∼2000万PUT
• 1ヶ月：5億前後PUT
16

17. Ⓒ Classmethod, Inc.
月額コスト
17
AWSサービス 拡張前 拡張後
Kinesis 数十$ 百数十＄
S3 0.数$ 数＄
EC2 数十＄ 数百＄

18. 可用性
保守性
冪等性
18

19. Ⓒ Classmethod, Inc.
Kinesushi構成図
19

20. Ⓒ Classmethod, Inc.
障害
20
App障害時も、データPUTは継続
データは3重冗長保管
（24時間以内に復旧すれば）データロストなし

21. Ⓒ Classmethod, Inc.
復旧
21
連番による冪等性確保
リトライが可能

22. Ⓒ Classmethod, Inc.
メンテナンス
22
AP一時停止でデータロストなし

23. Ⓒ Classmethod, Inc.
Blue-Green Deployment
23

24. ビッグデータを
お手頃に
24

25. Ⓒ Classmethod, Inc.
EC2（[2,4,8]xlarge）, EMR
25

26. Ⓒ Classmethod, Inc.
Kinesis
26

27. Ⓒ Classmethod, Inc. 27

28. Ⓒ Classmethod, Inc.
まとめ（Kinesisとは）
• 高い拡張性と信頼性を備えたバッファです。
• 入口は１つ、出口は沢山を実現します。
• クラウドならではのメリット、
Dev、Ops、Mng、
皆で享受する事が可能です。
28

29. Ⓒ Classmethod, Inc.
#cmdevio
ご静聴ありがとうございました。
スライドは後日ブログで公開します。
29
DEVIO-MTUP11-TOKYO-004