re:Invent報告
2013.11.29
金春 利幸(R3 institute)
Introduction
金春 利幸(こんぱる としゆき)
アールスリーインスティテュート
マネージャー&ソリューションアーキテクト
FB: t.konparu
twitter: t_konparu

2
re:Invent
初参加してきました
今回はそのご報告です
AAの機内食はエサ感満載
AAの機内食はエサ感満載

THE 炭水化物
以上、報告でした
システム開発会社の
人間としての感想は
きた!
AWSはもはや
「インフラ」ではない
いい色の絵の具をみたら絵を描きたくなるように
新しい音色を聞いたら曲のイメージが湧くように
新しいスニーカーを買ったら走りたくなるように

今回の新サービスで
想像力をかきたてましょう
Amazon Kinesis
記事とか読んだけど
ピンとこない人?
Amazon Kinesisは
リアルタイム分析
プラットフォーム
です
は?
想像してください
あなたはTwitter関連サービス
の開発者です
ある日上司に言われました
!

「ハッシュタグの登場回数カ
ウントして!」
「あっ、バッチじゃダメ
だよリアルタイムね」
は?(゜_゜)
膨大なデータくるよな・・・
ちゃんと受け取るには・・・
ハッシュタグで分類するには・・・
カウントの負荷読めないよな・・・
そんなあなたに
Amazon Kinesis
リアルタイムに
不規則に
発生するデータを
漏らすことなく
スマートに処理するための仕組み
Amazon Kinesis

App

Shard
App
データ
発生元

RDS

Shard
Shard

S3
DynamoDB

App

Shard
App

RedShift
Kinesis
#jawsug っていいよね

#awsサンタ C3インスタンスにEBS Optimized

#jawsug 大阪熱いよね
#awsサンタ Workspacesにもっとスペックを

#jawsug すごいよね

#iegg 2/15はクロスエ...
Amazon Kinesis
Shard

Shard
Amazon Kinesis
#jawsug っていいよね

Shard

#awsサンタ C3インスタンスにEBS Optimized

#jawsug 大阪熱いよね

Shard
#awsサンタ Workspacesにもっとスペックを

#...
Amazon Kinesis
Shard
#jawsug っていいよね

#jawsug 大阪熱いよね

#jawsug すごいよね

Shard
#awsサンタ C3インスタンスにEBS Optimized

#awsサンタ Workspac...
Partion Key
Amazon Kinesis
Shard

1

Kinesis App

#jawsug っていいよね

GetNextRecord
#jawsug すごいよね

#jawsug 大阪熱いよね

2

4

Shard...
Partion Key
Amazon Kinesis
Shard

1

Kinesis App
GetNextRecord

#jawsug すごいよね

#jawsug 大阪熱いよね

2

#jawsug っていいよね

4

Shard...
Partion Key
Amazon Kinesis
Shard

1

Kinesis App
GetNextRecord

#jawsug すごいよね

#jawsug 大阪熱いよね

2

#jawsug っていいよね

4

Shard...
DynamoDB
Kinesis App
#jawsug: 3

Kinesis App
#awsサンタ: 2

#iegg: 1
できた!
Twitterのストリームなんか
処理することないし・・・
#jawsug っていいよね

#awsサンタ C3インスタンスにEBS Optimized

#jawsug 大阪熱いよね
#awsサンタ Workspacesにもっとスペックを

#jawsug すごいよね

#iegg 2/15はクロスエ...
レタス

キャベツ

はくさい
キャベツ

はくさい

レタス
POSから送られるデータから
リアルタイムで売れてる
商品を探せ
あっ!
ってなった人?
もうあなたは
Kinesis使えます
Kinesis Client Library(KCL)
Kinesis Appを作りやすくする便利ライブラリ
APIを直接使わなくても簡単に使える
データを処理するWorkerの生成
各Shardに対してWorkerがちゃんとつくよう
に制御
...
Limited Previewの申込はこちら
http://aws.amazon.com/jp/kinesis/
RDS for
PostgreSQL
やっとか・・・
Keynoteでの発表時に会場から
「Yeah!!!!!!!!!!!!!」
の声が上がりました
海外ではMySQLがOracleに買収さ
れてからOracleがオープンソースに
素っ気ないので、PostgreSQLに乗
り換える動きが出ています
日本は、元々なぜかPostgreSQLの
人気が高く利用者も多いです
日本のAWS界隈でも
RDSが出た当初から
「ぽすぐれを・・・」
と声が上がっていました
やっとか・・・
基本、全部入りです
DB Snapshot
Multi-AZ
Automated Backup
Point-in-time Recovery
Provisioned IOPS
PostgreSQL独自機能もサポート

PostGIS
PL/PGSQL
など
1つだけ・・・

リードレプリカ
がありません
そのうちできるよう
になると思います
注意
PostgreSQLのバージョンは9.3.1
バージョン8などを使っている人をちゃんと検証を!
PostgreSQLはバージョン上げると
「SQLが通らなくなったり」
「通るんだけど結果が違う」
とかあります
(実話です)
RDS
Cross-Region
Read Replica
リードレプリカを
リージョンを
またいで作る
読み込みは
Replicaで分散
書き込みは
Masterへ

レプリケーションの速度は
CloudWatchで監視

出典:http://aws.typepad.com/aws_japan/2013/11/cross-region-read-...
Thank You!
Join Us
http://www.r3it.com/
JAWS-UG Osaka Special re:Invent 2013
JAWS-UG Osaka Special re:Invent 2013
JAWS-UG Osaka Special re:Invent 2013
JAWS-UG Osaka Special re:Invent 2013
JAWS-UG Osaka Special re:Invent 2013
JAWS-UG Osaka Special re:Invent 2013
JAWS-UG Osaka Special re:Invent 2013
JAWS-UG Osaka Special re:Invent 2013
JAWS-UG Osaka Special re:Invent 2013
Upcoming SlideShare
Loading in …5
×

JAWS-UG Osaka Special re:Invent 2013

1,412 views

Published on

11/29 開催のJAWS-UG大阪特別編で発表した資料です。

Published in: Technology
0 Comments
4 Likes
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total views
1,412
On SlideShare
0
From Embeds
0
Number of Embeds
531
Actions
Shares
0
Downloads
9
Comments
0
Likes
4
Embeds 0
No embeds

No notes for slide

JAWS-UG Osaka Special re:Invent 2013

  1. 1. re:Invent報告 2013.11.29 金春 利幸(R3 institute)
  2. 2. Introduction 金春 利幸(こんぱる としゆき) アールスリーインスティテュート マネージャー&ソリューションアーキテクト FB: t.konparu twitter: t_konparu 2
  3. 3. re:Invent 初参加してきました
  4. 4. 今回はそのご報告です
  5. 5. AAの機内食はエサ感満載
  6. 6. AAの機内食はエサ感満載 THE 炭水化物
  7. 7. 以上、報告でした
  8. 8. システム開発会社の 人間としての感想は
  9. 9. きた!
  10. 10. AWSはもはや 「インフラ」ではない
  11. 11. いい色の絵の具をみたら絵を描きたくなるように 新しい音色を聞いたら曲のイメージが湧くように 新しいスニーカーを買ったら走りたくなるように 今回の新サービスで 想像力をかきたてましょう
  12. 12. Amazon Kinesis
  13. 13. 記事とか読んだけど ピンとこない人?
  14. 14. Amazon Kinesisは リアルタイム分析 プラットフォーム です
  15. 15. は?
  16. 16. 想像してください
  17. 17. あなたはTwitter関連サービス の開発者です
  18. 18. ある日上司に言われました ! 「ハッシュタグの登場回数カ ウントして!」
  19. 19. 「あっ、バッチじゃダメ だよリアルタイムね」
  20. 20. は?(゜_゜)
  21. 21. 膨大なデータくるよな・・・ ちゃんと受け取るには・・・ ハッシュタグで分類するには・・・ カウントの負荷読めないよな・・・
  22. 22. そんなあなたに Amazon Kinesis
  23. 23. リアルタイムに 不規則に 発生するデータを 漏らすことなく スマートに処理するための仕組み
  24. 24. Amazon Kinesis App Shard App データ 発生元 RDS Shard Shard S3 DynamoDB App Shard App RedShift Kinesis
  25. 25. #jawsug っていいよね #awsサンタ C3インスタンスにEBS Optimized #jawsug 大阪熱いよね #awsサンタ Workspacesにもっとスペックを #jawsug すごいよね #iegg 2/15はクロスエッグだよね
  26. 26. Amazon Kinesis Shard Shard
  27. 27. Amazon Kinesis #jawsug っていいよね Shard #awsサンタ C3インスタンスにEBS Optimized #jawsug 大阪熱いよね Shard #awsサンタ Workspacesにもっとスペックを #jawsug すごいよね #iegg 2/15はクロスエッグだよね
  28. 28. Amazon Kinesis Shard #jawsug っていいよね #jawsug 大阪熱いよね #jawsug すごいよね Shard #awsサンタ C3インスタンスにEBS Optimized #awsサンタ Workspacesにもっとスペックを #iegg 2/15はクロスエッグだよね
  29. 29. Partion Key Amazon Kinesis Shard 1 Kinesis App #jawsug っていいよね GetNextRecord #jawsug すごいよね #jawsug 大阪熱いよね 2 4 Shard 3 5 Kinesis App #awsサンタ C3インスタンスにEBS Optimized #awsサンタ Workspacesにもっとスペックを #iegg 2/15はクロスエッグだよね 6 GetNextRecord
  30. 30. Partion Key Amazon Kinesis Shard 1 Kinesis App GetNextRecord #jawsug すごいよね #jawsug 大阪熱いよね 2 #jawsug っていいよね 4 Shard 3 5 Kinesis App #awsサンタ C3インスタンスにEBS Optimized #awsサンタ Workspacesにもっとスペックを #iegg 2/15はクロスエッグだよね 6 GetNextRecord
  31. 31. Partion Key Amazon Kinesis Shard 1 Kinesis App GetNextRecord #jawsug すごいよね #jawsug 大阪熱いよね 2 #jawsug っていいよね 4 Shard #awsサンタ Workspacesにもっとスペックを #iegg 2/15はクロスエッグだよね 6 3 5 Kinesis App GetNextRecord #awsサンタ C3インスタンスにEBS Optimized
  32. 32. DynamoDB Kinesis App #jawsug: 3 Kinesis App #awsサンタ: 2 #iegg: 1
  33. 33. できた!
  34. 34. Twitterのストリームなんか 処理することないし・・・
  35. 35. #jawsug っていいよね #awsサンタ C3インスタンスにEBS Optimized #jawsug 大阪熱いよね #awsサンタ Workspacesにもっとスペックを #jawsug すごいよね #iegg 2/15はクロスエッグだよね
  36. 36. レタス キャベツ はくさい キャベツ はくさい レタス
  37. 37. POSから送られるデータから リアルタイムで売れてる 商品を探せ
  38. 38. あっ! ってなった人?
  39. 39. もうあなたは Kinesis使えます
  40. 40. Kinesis Client Library(KCL) Kinesis Appを作りやすくする便利ライブラリ APIを直接使わなくても簡単に使える データを処理するWorkerの生成 各Shardに対してWorkerがちゃんとつくよう に制御 Shard増減時のWorkerの増減 処理中にWorkerが死んだときの再処理制御 AutoScaling時にWorkerとShardの割当を 自動的に調整
  41. 41. Limited Previewの申込はこちら http://aws.amazon.com/jp/kinesis/
  42. 42. RDS for PostgreSQL
  43. 43. やっとか・・・
  44. 44. Keynoteでの発表時に会場から 「Yeah!!!!!!!!!!!!!」 の声が上がりました
  45. 45. 海外ではMySQLがOracleに買収さ れてからOracleがオープンソースに 素っ気ないので、PostgreSQLに乗 り換える動きが出ています
  46. 46. 日本は、元々なぜかPostgreSQLの 人気が高く利用者も多いです
  47. 47. 日本のAWS界隈でも RDSが出た当初から 「ぽすぐれを・・・」 と声が上がっていました
  48. 48. やっとか・・・
  49. 49. 基本、全部入りです DB Snapshot Multi-AZ Automated Backup Point-in-time Recovery Provisioned IOPS
  50. 50. PostgreSQL独自機能もサポート PostGIS PL/PGSQL など
  51. 51. 1つだけ・・・ リードレプリカ がありません
  52. 52. そのうちできるよう になると思います
  53. 53. 注意 PostgreSQLのバージョンは9.3.1 バージョン8などを使っている人をちゃんと検証を! PostgreSQLはバージョン上げると 「SQLが通らなくなったり」 「通るんだけど結果が違う」 とかあります (実話です)
  54. 54. RDS Cross-Region Read Replica
  55. 55. リードレプリカを リージョンを またいで作る
  56. 56. 読み込みは Replicaで分散 書き込みは Masterへ レプリケーションの速度は CloudWatchで監視 出典:http://aws.typepad.com/aws_japan/2013/11/cross-region-read-replicas-for-amazon-rds-for-mysql.html
  57. 57. Thank You! Join Us http://www.r3it.com/

×