Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Kinesushi cmregrowth-2014-tokyo-20141216

440 views

Published on

KinesushiをAmazonKinesisで作った話。

Published in: Technology
  • Be the first to comment

Kinesushi cmregrowth-2014-tokyo-20141216

  1. 1. Ⓒ Classmethod, Inc. Kinesushiでみた Amazon Kinesisの話 1 DEVIO-MTUP11-TOKYO-004 鈴木亮,AWSチーム,クラスメソッド(株) 2014年12月16日
  2. 2. Ⓒ Classmethod, Inc. 自己紹介 • 氏名 鈴木 亮(すずき りょう) • 所属 • クラスメソッドAWSチーム • チームUKYO reve(ロードレース) • Twitter suzryo 2
  3. 3. 3
  4. 4. ストリーミングデータを リアルタイムで処理する 完全マネージド型サービス Amazon Kinesis とは? 4
  5. 5. Ⓒ Classmethod, Inc. AWS Solutions Architect ブログ 5 http://aws.typepad.com/sajp/2014/08/kinesis_01.html
  6. 6. Ⓒ Classmethod, Inc. 弊社ブログ(AWS Summitレポート) 6 http://dev.classmethod.jp/cloud/aws/aws-summit2014tokyo-kinesis/
  7. 7. Ⓒ Classmethod, Inc. 弊社ブログ2(Kinesis特集) 7 http://dev.classmethod.jp/referencecat/aws-kinesis/
  8. 8. Amazon Kinesis メリット 8
  9. 9. スケール性 9
  10. 10. Ⓒ Classmethod, Inc. Kinesushi構成図(水曜日:0日目) 10
  11. 11. Ⓒ Classmethod, Inc. Kinesushi構成図(木曜日:1日目) 11
  12. 12. Ⓒ Classmethod, Inc. 木曜日 • 上限緩和申請(AWSサポート申請) • Kinesisシャード数を10→32 • 検証用Kinesisストリーム設置 • パーティションキーの検証 • 店舗番号を用いる妥当性 • シャード分散確認 12
  13. 13. Ⓒ Classmethod, Inc. Kinesushi構成図(金曜日:2日目) 13
  14. 14. Ⓒ Classmethod, Inc. 金曜日 • 10店舗PUT開始 • シャードの実性能確認 • Kinesisシャード上限緩和 14
  15. 15. Ⓒ Classmethod, Inc. Kinesushi構成図(月曜日:3日目) 15
  16. 16. Ⓒ Classmethod, Inc. 月曜日 • 377店舗先行PUT開始 • 準備時間3日 • ピーク時:200万PUT/1時間 • 1日:1500∼2000万PUT • 1ヶ月:5億前後PUT 16
  17. 17. Ⓒ Classmethod, Inc. 月額コスト 17 AWSサービス 拡張前 拡張後 Kinesis 数十$ 百数十$ S3 0.数$ 数$ EC2 数十$ 数百$
  18. 18. 可用性 保守性 冪等性 18
  19. 19. Ⓒ Classmethod, Inc. Kinesushi構成図 19
  20. 20. Ⓒ Classmethod, Inc. 障害 20 App障害時も、データPUTは継続 データは3重冗長保管 (24時間以内に復旧すれば)データロストなし
  21. 21. Ⓒ Classmethod, Inc. 復旧 21 連番による冪等性確保 リトライが可能
  22. 22. Ⓒ Classmethod, Inc. メンテナンス 22 AP一時停止でデータロストなし
  23. 23. Ⓒ Classmethod, Inc. Blue-Green Deployment 23
  24. 24. ビッグデータを お手頃に 24
  25. 25. Ⓒ Classmethod, Inc. EC2([2,4,8]xlarge), EMR 25
  26. 26. Ⓒ Classmethod, Inc. Kinesis 26
  27. 27. Ⓒ Classmethod, Inc. 27
  28. 28. Ⓒ Classmethod, Inc. まとめ(Kinesisとは) • 高い拡張性と信頼性を備えたバッファです。 • 入口は1つ、出口は沢山を実現します。 • クラウドならではのメリット、
 Dev、Ops、Mng、
 皆で享受する事が可能です。 28
  29. 29. Ⓒ Classmethod, Inc. #cmdevio ご静聴ありがとうございました。 スライドは後日ブログで公開します。 29 DEVIO-MTUP11-TOKYO-004

×