Download free for 30 days
Sign in
Upload
Language (EN)
Support
Business
Mobile
Social Media
Marketing
Technology
Art & Photos
Career
Design
Education
Presentations & Public Speaking
Government & Nonprofit
Healthcare
Internet
Law
Leadership & Management
Automotive
Engineering
Software
Recruiting & HR
Retail
Sales
Services
Science
Small Business & Entrepreneurship
Food
Environment
Economy & Finance
Data & Analytics
Investor Relations
Sports
Spiritual
News & Politics
Travel
Self Improvement
Real Estate
Entertainment & Humor
Health & Medicine
Devices & Hardware
Lifestyle
Change Language
Language
English
Español
Português
Français
Deutsche
Cancel
Save
EN
Uploaded by
Ryuichi Tokugami
1,002 views
Counter Table Pattern & Temporary Table Pattern (2012-04-13 CDP Night)
Lifestyle
◦
Read more
3
Save
Share
Embed
Embed presentation
Download
Download to read offline
1
/ 18
2
/ 18
3
/ 18
4
/ 18
5
/ 18
6
/ 18
7
/ 18
8
/ 18
9
/ 18
10
/ 18
11
/ 18
12
/ 18
13
/ 18
14
/ 18
15
/ 18
16
/ 18
17
/ 18
18
/ 18
More Related Content
PPTX
Amazon Redshift ことはじめ
by
Shiro Miyazaki
PPTX
EC2に対するcloudwatchのアクション設定がポリシーで使えないときの代替策
by
Daisuke Nagao
PPTX
MapReduceを使った並列化 20111212
by
marony
PPTX
さくらの夕べ大阪(公開用)
by
真俊 横田
PDF
コスト削減から考えるAWSの効果的な利用方法
by
Aya Komuro
PDF
Awsコスト削減
by
Yuya Fujiwara
PDF
Apache Airflow で作る GCP のデータパイプライン @ 酔いどれGCPUG 2017/11/28
by
Yuta Hono
ODP
別の角度からAWSを眺めてみた話
by
Junichi Tanabe
Amazon Redshift ことはじめ
by
Shiro Miyazaki
EC2に対するcloudwatchのアクション設定がポリシーで使えないときの代替策
by
Daisuke Nagao
MapReduceを使った並列化 20111212
by
marony
さくらの夕べ大阪(公開用)
by
真俊 横田
コスト削減から考えるAWSの効果的な利用方法
by
Aya Komuro
Awsコスト削減
by
Yuya Fujiwara
Apache Airflow で作る GCP のデータパイプライン @ 酔いどれGCPUG 2017/11/28
by
Yuta Hono
別の角度からAWSを眺めてみた話
by
Junichi Tanabe
What's hot
PDF
Google Cloud Dataflow を理解する - #bq_sushi
by
Google Cloud Platform - Japan
PDF
AWSクラウドサービスツアー
by
a-hisame
PDF
BigQuery + Fluentd
by
徹 上野山
PDF
速習 AWS Lambda
by
Masayuki Uchida
PPTX
CfnClusterを使って10分強でHPC環境を構築する
by
Daisuke Nagao
PPTX
Table storage&sql azure jazug
by
Surf174
PPTX
Microsoft Azure - SQL Data Warehouse
by
Microsoft
PPTX
Try aws personalize in japanese presentation jawsug niigata
by
Masayuki Sakamoto
PDF
GCPUG-FUKUOKA データ加工&可視化ハンズオン
by
Wasaburo Miyata
PDF
[serverlessconf2017]FaaSで簡単に実現する数十万RPSスパイク負荷試験
by
Takahiro Moteki
PDF
AWS Lambda を使ってみた話 at づや会Vol.3
by
ko ty
PPTX
ゾウ使いへの第一歩
by
Fumito Ito
PPTX
A 2-3ゾウ使いへの第一歩 hadoop on azure 編
by
GoAzure
PDF
[2018bcu30]1年半もかけてしまったビッグデータ環境のリプレイス
by
Takahiro Moteki
PPTX
JAWS-UG HPC #0 LT資料
by
Daisuke Nagao
PDF
Quincy: Fair Scheduling for Distributed Computing Clusters (SOSP’09) を読む
by
peryaudo
PPTX
Capistrano introduction
by
Misa Kondo
PPTX
ログ解析をあきらめない、あるいはSumoLogicの紹介
by
Yasuhiro Araki, Ph.D
PDF
AWS Instance Schedulerは、ぜひ使うべきなのか?
by
株式会社クライム
PDF
[Cloud OnAir] クラウド移行後の最適化方法を伝授。でも最適化ってなんですか? (LIVE) 2018年2月8日 放送
by
Google Cloud Platform - Japan
Google Cloud Dataflow を理解する - #bq_sushi
by
Google Cloud Platform - Japan
AWSクラウドサービスツアー
by
a-hisame
BigQuery + Fluentd
by
徹 上野山
速習 AWS Lambda
by
Masayuki Uchida
CfnClusterを使って10分強でHPC環境を構築する
by
Daisuke Nagao
Table storage&sql azure jazug
by
Surf174
Microsoft Azure - SQL Data Warehouse
by
Microsoft
Try aws personalize in japanese presentation jawsug niigata
by
Masayuki Sakamoto
GCPUG-FUKUOKA データ加工&可視化ハンズオン
by
Wasaburo Miyata
[serverlessconf2017]FaaSで簡単に実現する数十万RPSスパイク負荷試験
by
Takahiro Moteki
AWS Lambda を使ってみた話 at づや会Vol.3
by
ko ty
ゾウ使いへの第一歩
by
Fumito Ito
A 2-3ゾウ使いへの第一歩 hadoop on azure 編
by
GoAzure
[2018bcu30]1年半もかけてしまったビッグデータ環境のリプレイス
by
Takahiro Moteki
JAWS-UG HPC #0 LT資料
by
Daisuke Nagao
Quincy: Fair Scheduling for Distributed Computing Clusters (SOSP’09) を読む
by
peryaudo
Capistrano introduction
by
Misa Kondo
ログ解析をあきらめない、あるいはSumoLogicの紹介
by
Yasuhiro Araki, Ph.D
AWS Instance Schedulerは、ぜひ使うべきなのか?
by
株式会社クライム
[Cloud OnAir] クラウド移行後の最適化方法を伝授。でも最適化ってなんですか? (LIVE) 2018年2月8日 放送
by
Google Cloud Platform - Japan
Similar to Counter Table Pattern & Temporary Table Pattern (2012-04-13 CDP Night)
PDF
[db tech showcase Tokyo 2015] A14:Amazon Redshiftの元となったスケールアウト型カラムナーDB徹底解説 その...
by
Insight Technology, Inc.
PPTX
NoSQL Bigtable and Azure Table
by
Takekazu Omi
PDF
Deep Dive: Amazon DynamoDB (db tech showcase 2016)
by
Amazon Web Services Japan
PDF
NoSQLとビックデータ入門編Update版
by
Koichiro Nishijima
PDF
Cassandraとh baseの比較して入門するno sql
by
Yutuki r
PDF
DBP-009_クラウドで実現するスケーラブルなデータ ウェアハウス Azure SQL Data Warehouse 解説
by
decode2016
PDF
AWS Black Belt Online Seminar 2017 Amazon DynamoDB
by
Amazon Web Services Japan
PDF
InfoTalk springbreak_2012
by
Hiroshi Bunya
PDF
DynamoDB MyNA・JPUG合同DB勉強会 in 東京
by
Yuko Mori
PDF
NOSQLの基礎知識(講義資料)
by
CLOUDIAN KK
PDF
Sql server 2012 の新機能を使ってみよう。db 管理者向け機能の紹介
by
Masayuki Ozawa
PDF
Random partionerのデータモデリング
by
2t3
PDF
Amazon DynamoDB Advanced Design Pattern
by
Amazon Web Services Japan
PDF
20110517 okuyama ソーシャルメディアが育てた技術勉強会
by
Takahiro Iwase
PDF
業務システムにおけるMongoDB活用法
by
Yoshitaka Mori
PDF
[INSIGHT OUT 2011] b21 ひとつのデータベース技術では生き残れない part2 no sql, hadoop
by
Insight Technology, Inc.
PDF
db-tech-showcase-sapporo-b24-20150911p
by
Satoru Ishikawa
PDF
20120409 aws meister-reloaded-dynamo-db
by
Amazon Web Services Japan
PPTX
Okuyama説明資料 20120119 ss
by
Takahiro Iwase
PDF
「NOSQLの基礎知識」講義資料 第20回JDMC定例セミナー(201310)
by
CLOUDIAN KK
[db tech showcase Tokyo 2015] A14:Amazon Redshiftの元となったスケールアウト型カラムナーDB徹底解説 その...
by
Insight Technology, Inc.
NoSQL Bigtable and Azure Table
by
Takekazu Omi
Deep Dive: Amazon DynamoDB (db tech showcase 2016)
by
Amazon Web Services Japan
NoSQLとビックデータ入門編Update版
by
Koichiro Nishijima
Cassandraとh baseの比較して入門するno sql
by
Yutuki r
DBP-009_クラウドで実現するスケーラブルなデータ ウェアハウス Azure SQL Data Warehouse 解説
by
decode2016
AWS Black Belt Online Seminar 2017 Amazon DynamoDB
by
Amazon Web Services Japan
InfoTalk springbreak_2012
by
Hiroshi Bunya
DynamoDB MyNA・JPUG合同DB勉強会 in 東京
by
Yuko Mori
NOSQLの基礎知識(講義資料)
by
CLOUDIAN KK
Sql server 2012 の新機能を使ってみよう。db 管理者向け機能の紹介
by
Masayuki Ozawa
Random partionerのデータモデリング
by
2t3
Amazon DynamoDB Advanced Design Pattern
by
Amazon Web Services Japan
20110517 okuyama ソーシャルメディアが育てた技術勉強会
by
Takahiro Iwase
業務システムにおけるMongoDB活用法
by
Yoshitaka Mori
[INSIGHT OUT 2011] b21 ひとつのデータベース技術では生き残れない part2 no sql, hadoop
by
Insight Technology, Inc.
db-tech-showcase-sapporo-b24-20150911p
by
Satoru Ishikawa
20120409 aws meister-reloaded-dynamo-db
by
Amazon Web Services Japan
Okuyama説明資料 20120119 ss
by
Takahiro Iwase
「NOSQLの基礎知識」講義資料 第20回JDMC定例セミナー(201310)
by
CLOUDIAN KK
More from Ryuichi Tokugami
PPTX
Attention is all you need!!! を入門する前に
by
Ryuichi Tokugami
PPTX
Azure Databricksで始めるSpark 構築から活用までの第一歩
by
Ryuichi Tokugami
PDF
de:code 2019 AI04 あなたがコルタナさんに「ラーメン」と尋ねたとき、それはコルタナさんに何を求めていますか?
by
Ryuichi Tokugami
PDF
改めまして、Cognitive ToolKit です。
by
Ryuichi Tokugami
PDF
平成最後の1月ですし、Databricksでもやってみましょうか
by
Ryuichi Tokugami
PDF
Silk
by
Ryuichi Tokugami
PDF
Azure MLで機械学習をやってみよう
by
Ryuichi Tokugami
PDF
UserDataでEC2をより便利に (2013-07-25 Jawsug中央線 第0回)
by
Ryuichi Tokugami
PDF
初めてのSimpleDB (2013-06-22 JAWS-UG 大阪 第8回 )
by
Ryuichi Tokugami
PDF
Elastic beanstalk AWS 初心者から 次の一歩へ (2013-04-27 JAWS-UG つくば 第1回 勉強会)
by
Ryuichi Tokugami
PDF
Autoscalingとか
by
Ryuichi Tokugami
PPTX
JAWS-UG アップデート (2012-09-14 JAWS-UG 第13回 勉強会 )
by
Ryuichi Tokugami
PDF
"restaurant démonstration" (2012-09-01 クラウドごった煮 第6回 AWS枠)
by
Ryuichi Tokugami
KEY
AWSアップデート (2012-08-27 JAWS-UG 札幌 第7回 勉強会)
by
Ryuichi Tokugami
PDF
AWS上にサービスを作る (2012-06-22 JAWS-UG 福岡)
by
Ryuichi Tokugami
PDF
Talking about love for DynamoDB & SimpleDB (2012-06-05 CloudDB Night)
by
Ryuichi Tokugami
PDF
CloudSearch初披露 (2012-05-18 JAWS-UG 札幌 第6回 勉強会)
by
Ryuichi Tokugami
PDF
Aws禅 (2012-05-13 JAWS-UG 子ども会)
by
Ryuichi Tokugami
PDF
サンタクラウド番外編 (2011-12-22 第11回 AWS User Group - Japan 東京勉強会)
by
Ryuichi Tokugami
PDF
S3解説 - 第1回 ビギナー編 AWS User Group - Japan 東京勉強会
by
Ryuichi Tokugami
Attention is all you need!!! を入門する前に
by
Ryuichi Tokugami
Azure Databricksで始めるSpark 構築から活用までの第一歩
by
Ryuichi Tokugami
de:code 2019 AI04 あなたがコルタナさんに「ラーメン」と尋ねたとき、それはコルタナさんに何を求めていますか?
by
Ryuichi Tokugami
改めまして、Cognitive ToolKit です。
by
Ryuichi Tokugami
平成最後の1月ですし、Databricksでもやってみましょうか
by
Ryuichi Tokugami
Silk
by
Ryuichi Tokugami
Azure MLで機械学習をやってみよう
by
Ryuichi Tokugami
UserDataでEC2をより便利に (2013-07-25 Jawsug中央線 第0回)
by
Ryuichi Tokugami
初めてのSimpleDB (2013-06-22 JAWS-UG 大阪 第8回 )
by
Ryuichi Tokugami
Elastic beanstalk AWS 初心者から 次の一歩へ (2013-04-27 JAWS-UG つくば 第1回 勉強会)
by
Ryuichi Tokugami
Autoscalingとか
by
Ryuichi Tokugami
JAWS-UG アップデート (2012-09-14 JAWS-UG 第13回 勉強会 )
by
Ryuichi Tokugami
"restaurant démonstration" (2012-09-01 クラウドごった煮 第6回 AWS枠)
by
Ryuichi Tokugami
AWSアップデート (2012-08-27 JAWS-UG 札幌 第7回 勉強会)
by
Ryuichi Tokugami
AWS上にサービスを作る (2012-06-22 JAWS-UG 福岡)
by
Ryuichi Tokugami
Talking about love for DynamoDB & SimpleDB (2012-06-05 CloudDB Night)
by
Ryuichi Tokugami
CloudSearch初披露 (2012-05-18 JAWS-UG 札幌 第6回 勉強会)
by
Ryuichi Tokugami
Aws禅 (2012-05-13 JAWS-UG 子ども会)
by
Ryuichi Tokugami
サンタクラウド番外編 (2011-12-22 第11回 AWS User Group - Japan 東京勉強会)
by
Ryuichi Tokugami
S3解説 - 第1回 ビギナー編 AWS User Group - Japan 東京勉強会
by
Ryuichi Tokugami
Counter Table Pattern & Temporary Table Pattern (2012-04-13 CDP Night)
1.
四
⽉月 ⼗十 三 ⽇日 CloudDesignPattern night
2.
Counter Table
⽬目的
3.
⽬目的
実装 データ件数に関わらず変わらぬ パフォーマンスで 合計、countなどの集計が欲しい KVSを利⽤用しているとGROUP化が出来ないため、 条件に合うデータの数や、数値の合計、数値の平均 等を求めるためには、アプリケーション側で実装す る必要があった。 データの件数が増えても、変わらぬパフォーマンス KVSの弱点 でこれら集計結果の値を取得したい。
4.
実装
構造 集計専⽤用のテーブルを作る ItemのUpdate,Put,Deleteの際に 集計専⽤用 集計専⽤用のテーブルを作成する。 ItemのUpdate,Put,Deleteを⾏行う際 同時に集計専⽤用テーブルの値もUPDATEする (CAS操作) アイテム数に制限のないDynamoDBなら可能 データ本体はSimpleDBでも良い
5.
構造
利点 sum count data
6.
利点
注意点 データ量が増えたとしても集計の処理がなくなり、 時間は1回のReadの時間になるので、集計のパ フォーマンスが保証される
7.
注意点
利⽤用事 予めGROUP化するAttributeを決める必要がある。 必要なWriteUnitが単純に2倍以上になる。 但し、集計するためにReadを6回以上しそうなデー タ量であればコストは安くなる。
8.
利⽤用事例
寄贈し データ マイニング データマイニングでは、⼤大量のデータを扱う ⼤大量のデータ使うなら、なにも考えずに DynamoDB使いたい。 だけどDynamoDBだとSUM,AVG,COUNTとか⾟辛 い。そんな時
9.
寄贈したアーキテクト
好きなAWS DyamoDB SimpleDB JAWS-‑UG Osaka CloudSearch @tottokug ⼀一⾔言 わざわざTableを作らなくても、同じテーブルの Itemでやったらいいんじゃないか?という説もある けれど、 CounterTableと⾔言いたかっただけです。
10.
もうひとつ
11.
Temporary Table
⽬目的
12.
⽬目的
実装 データベースのコストを下げる 集計処理がしたいようなデータを扱っています。 時間課⾦金のデータベースを利⽤用していると、もしア クセスが無くても費⽤用が掛かってしまう。 スペックの⾼高いものを使うようだと、もう⼤大変
13.
実装
構造 CPU使⽤用時間や、データ量に よって課⾦金されるサービスに ⼀一時的に書込 RDBMSに⼊入れるはずのデータを ⼀一旦仮でQueueや単価の低いストレージに⼊入れ、 その後、定期的にバッチ処理などでデータベースに 格納する。 バッチ処理⽤用のサーバはScheduled Autoscalingパ ターンを利⽤用
14.
構造
利点
15.
利点
注意点 RDBMSは読込が必要な時とtemporaryからデータ を移す時だけたちあげておけば良い。 書込がぐんと減るので、RDBMSのスペックを⼀一つ 下げられるかもしれない。 コストダウン出来る。
16.
注意点
利⽤用事 リアルタイムでの集計は出来ない。 タイムラグがあっても問題ないデータの集計をする のに向いている。
17.
利⽤用事例
寄贈し Webサービスの 課⾦金 APIコールがある毎に課⾦金情報をRDBMSに⼊入れて いたら⼤大変。 ⼀一時テーブルに⼊入れておいて、⽉月次の〆の処理をす るのも⼤大変 そんな時にTemporary Table Pattern 1⽇日⼀一回とかRDBMSに移す。
18.
寄贈したアーキテクト
好きなAWS DyamoDB SimpleDB JAWS-‑UG Miyazaki CloudSearch @tottokug ⼀一⾔言 c1.mediumより上のインスタンス使ったら負けかな と思ってます。 microしか使わないのが理想
Download