Amazon Kinesis developersio-meetup-05

776 views

Published on

AWS CLIでわかるAmazon Kinesis

Published in: Engineering, Travel, Business
0 Comments
1 Like
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total views
776
On SlideShare
0
From Embeds
0
Number of Embeds
295
Actions
Shares
0
Downloads
3
Comments
0
Likes
1
Embeds 0
No embeds

No notes for slide

Amazon Kinesis developersio-meetup-05

  1. 1. Copylight  ©  Classmethod,  Inc. CLIでわかる Amazon Kinesis 2014/6/28 鈴鈴⽊木  亮亮
  2. 2. Copylight  ©  Classmethod,  Inc. 自己紹介 氏名  鈴木亮 所属 クラスメソッド株式会社 Twitter suzryo ! 2
  3. 3. Copylight  ©  Classmethod,  Inc. 好きなAWS Route53 ! Amazon Kinesis 3
  4. 4. Copylight  ©  Classmethod,  Inc. Amazon Kinesis • 大規模ストリーミングデータをリアルタイム処理 • 2013年11月、AWS re:Invent 2013 で発表 • 2013年12月、ベータ提供開始
  5. 5. Copylight  ©  Classmethod,  Inc. Kinesisの機能 – 1レコード50KBまでのデータを登録 – 各レコードに一意な連番付与し、24h保持 – 性能調整可能 – 毎秒1000 10万件(2 200MB) – SSL – STS(Security Token Service) 5
  6. 6. ‹#›Copylight  ©  Classmethod,  Inc. データ中継 6
  7. 7. Copylight  ©  Classmethod,  Inc. Kinesis コマンド一覧(CLI) • create-stream • list-streams • describe-stream • split-shard • merge-shards • put-record • get-shard-iterator • get-records • delete-stream 7
  8. 8. Copylight  ©  Classmethod,  Inc. create-stream 8 Kinesis  ストリーム シャード
  9. 9. Copylight  ©  Classmethod,  Inc. split-shard merge-shards 9 Kinesis  ストリーム シャード Kinesis  ストリーム シャードシャード 担当ハッシュ   (1,2,3,4) 担当ハッシュ   (1,2) 担当ハッシュ   (3,4)
  10. 10. Copylight  ©  Classmethod,  Inc. put-record 10 Kinesis  ストリーム シャード データ
  11. 11. Copylight  ©  Classmethod,  Inc. get-shard-iterator 11 Kinesis  ストリーム シャード イテレーター
  12. 12. Copylight  ©  Classmethod,  Inc. get-records 12 Kinesis  ストリーム シャード イテレーター データ
  13. 13. Copylight  ©  Classmethod,  Inc. Kinesisの特徴 – メンテ不要 – データ受取、EC2レス – 廉価 – データは冗長保管 – レコード削除不要(24時間で自動消去) – レコードは複数ワーカ、複数回参照可 13
  14. 14. Copylight  ©  Classmethod,  Inc. Kinesis Client Library – AWS提供のJavaツール – 処理済みレコード管理 – KinesisAppインスタンス管理 – 通称:KCL 14
  15. 15. Copylight  ©  Classmethod,  Inc. Kinesis Connecter Library – S3 – DynamoDB – RedShift – Apache Storm – KCL利用した実装 15
  16. 16. Copylight  ©  Classmethod,  Inc. 費用試算例 (SQS・Kinesis) 16
  17. 17. Copylight  ©  Classmethod,  Inc. Kinesis SQS比較(1) 17 費用($) 0 3.5 7 10.5 14 メッセージ件数 100万 300万 500万 700万 900万 SQS Kinesis
  18. 18. ‹#›Copylight  ©  Classmethod,  Inc. お勧めSQS構成 18
  19. 19. Copylight  ©  Classmethod,  Inc. Kinesis SQS比較(2) 19 費用($) 0 35 70 105 140 メッセージ件数 1000万 3000万 5000万 7000万 9000万 SQS Kinesis
  20. 20. Copylight  ©  Classmethod,  Inc. Kinesis SQS比較(3) 20 費用($) 0 40000 80000 120000 160000 メッセージ件数 1億 10億 100億 1000億 SQS Kinesis
  21. 21. Copylight  ©  Classmethod,  Inc. 月額費用(100億メッセージ) • SQS   :15,000$ • Kinesis :291$ 21 サービス 費用 SQS $15000 Kinesis $291
  22. 22. Copylight  ©  Classmethod,  Inc. 100億メッセージ到達条件 22 頻度度 台数 1回   (60秒毎) 231481 2回   (30秒毎) 115741 6回   (10秒毎) 38580 • 24時間、30日、連続稼働
  23. 23. Copylight  ©  Classmethod,  Inc. まとめ • Kinesisなら、従来諦めていたデー タ、システムに取り込めて、ビッ クデータ処理の布石になります。 23
  24. 24. ‹#›Copylight  ©  Classmethod,  Inc. 解析環境と連携 24

×