Sapporo devfesta 2019/11/13

© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.S U M M I T
AWSの
15あるデータベース
を使いこなそう
アマゾンウェブサービスジャパン株式会社
シニアエバンジェリスト
亀田治伸

© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
データベース

万能のデータベース
は存在しない
“A one size fits all database
doesn't fit anyone”
Werner Vogels
CTO - Amazon.com

従来のエンタープライズ DB システム
アプリ
オンライン
トランザクション
ETLツール
分析
BIツールOLTP DB OLAP DB

データベースの選択
• AWS では多様な
データベースの選択肢
• ワークロードに応じて
最適な選択が可能
Purpose built
The right tool for
the right job
https://www.allthingsdistributed.com/2018/06/purpose-built-databases-in-aws.html
適材適所の選択

データの種類に応じて適切なデータストアを選択
サーバー
ローカル
ストレージ
サーバー
ローカル
ストレージ
共有
ストレージ
データベース
(RDBMS)
データベース
(NoSQL)
・ショッピングカート
・セッション情報
・ユーザ情報
・商品情報
・在庫情報
・商品画像データ
複数データストアの使い分けで効率を向上
“A one size fits all database
doesn't fit anyone”

A m a z o n
D y n a m o D B
キー
バリューインメモリグラフリレーショナル
A m a z o n
R D S
A m a z o n
Q L D B
元帳時系列
A m a z o n
T i m e s t r e a m
A m a z o n
A u r o r a
A m a z o n
D o c u m e n t D B
ドキュメント
A m a z o n
N e p t u n e
A m a z o n
E l a s t i C a c h e
A m a z o n
R D S f o r
V M W a r e E l a s t i C a c h e
f o r R e d i s
E l a s t i C a c h e
f o r M e m c a c h e d
A m a z o n
R e d s h i f t
データ
ウェアハウス移行
AWS Database Migration
Service
ワークロードに適した最適なデータベース選択

データカテゴリ
Relational
Referential
integrity, ACID
transactions,
schema-
on-write
Lift and shift, ERP,
CRM, finance
Key-value
High
throughput, low-
latency reads
and writes, endless
scale
Real-time bidding,
shopping cart, social,
product catalog,
customer preferences
Document
Store documents
and quickly
access querying
on any attribute
Content
management,
personalization,
mobile
In-memory
Query by key
with
microsecond
latency
Leaderboards,
real-time analytics,
caching
Graph
Quickly and
easily create and
navigate
relationships
between
data
Fraud detection,
social networking,
recommendation
engine
Time-series
Collect, store,
and process data
sequenced by
time
IoT applications,
event tracking
Ledger
Complete,
immutable, and
verifiable history of
all changes to
application data
Systems
of record, supply
chain, health care,
registrations,
financial

データカテゴリ
Relational
Referential
integrity, ACID
transactions,
schema-
on-write
CRM, finance
Key-value
High
throughput, low-
latency reads
and writes, endless
scale
Real-time bidding,
product catalog,
Document
Store documents
and quickly
access querying
on any attribute
Content
management,
personalization,
mobile
In-memory
Query by key
with
microsecond
latency
Leaderboards,
caching
Graph
Quickly and
easily create and
navigate
relationships
between
data
Fraud detection,
social networking,
recommendation
engine
Time-series
Collect, store,
and process data
sequenced by
time
IoT applications,
event tracking
Ledger
Complete,
immutable, and
all changes to
application data
Systems
of record, supply
chain, health care,
registrations,
financial
リレーショナル
キーバリュー
ドキュメント
インメモリー
グラフ
時系列
台帳

AWS のデータベースサービス
Relational
Referential
integrity, ACID
transactions,
schema-
on-write
CRM, finance
Key-value
High
throughput, low-
latency reads
and writes, endless
scale
Real-time bidding,
product catalog,
Document
Store documents
and quickly
access querying
on any attribute
Content
management,
personalization,
mobile
In-memory
Query by key
with
microsecond
latency
Leaderboards,
caching
Graph
Quickly and
easily create and
navigate
relationships
between
data
Fraud detection,
social networking,
recommendation
engine
Time-series
Collect, store,
and process data
sequenced by
time
IoT applications,
event tracking
Ledger
Complete,
immutable, and
all changes to
application data
Systems
of record, supply
chain, health care,
registrations,
financial
Amazon
DynamoDB
Amazon
Neptune
Amazon
RDS
Aurora CommercialCommunity
Amazon
Timestream
Amazon
QLDB
Amazon
ElastiCache
Amazon
DocumentDB
マネージドサービス

オンプレミスミドルウェア on EC2 マネージドサービス
お客様がご担当する作業 AWSが提供するマネージド機能
電源、ネットワーク
ラック導入管理
サーバーメンテナンス
OSのパッチ
ミドルウェアのパッチ
バックアップ
スケーラビリティ
可用性
ミドルウェアの導入
OSの導入
アプリからの利用
OSのパッチ
バックアップ
可用性
OSの導入
OSのパッチ
バックアップ
可用性
OSの導入
マネージドサービスの特性

オンプレミスのサーバー仮想サーバー
データベース
サービス
データベース構築の選択肢
AWS Cloud
Amazon EC2 Amazon RDS 等

Relational
Referential
integrity, ACID
transactions,
schema-
on-write
CRM, finance
Key-value
High
throughput, low-
latency reads
and writes, endless
scale
Real-time bidding,
product catalog,
Document
Store documents
and quickly
access querying
on any attribute
Content
management,
personalization,
mobile
In-memory
Query by key
with
microsecond
latency
Leaderboards,
caching
Graph
Quickly and
easily create and
navigate
relationships
between
data
Fraud detection,
social networking,
recommendation
engine
Time-series
Collect, store,
and process data
sequenced by
time
IoT applications,
event tracking
Ledger
Complete,
immutable, and
all changes to
application data
Systems
of record, supply
chain, health care,
registrations,
financial
DynamoDB NeptuneAmazon RDS
Timestream QLDBElastiCacheDocumentDB

リレーショナルデータベース
RDBMS
Relational

リレーショナルデータ
• テーブル間でデータを分割
• 高度に構造化されたデータ
• キーを介して確立された
リレーションシップ(関係性)
• データの完全性と一貫性
Patient
* Patient ID
First Name
Last Name
Gender
DOB
* Doctor ID
Visit
* Visit ID
* Patient ID
* Hospital ID
Date
* Treatment ID
Medical Treatment
* Treatment ID
Procedure
How Performed
Adverse Outcome
Contraindication
Doctor
* Doctor ID
First Name
Last Name
Medical Specialty
* Hospital Affiliation
Hospital
* Hospital ID
Name
Address
Rating
リレーション
多対 1

Amazon Relational Database Service (Amazon RDS)
6つのデータベースエンジンから選択できるマネージリレーショナルデータベース
容易な管理高可用性と永続性高スケール高速でセキュア
マネージドによる
運用自動化
データレプリケーション、
自動バックアップ、
スナップショット、
自動フェイルオーバー
コンピュートと
ストレージをスケール可能
SSDストレージのI/O保証、
保存時と通信時の暗号化

Aurora 基本アーキテクチャ
• SSDを利用したシームレスに
スケールするストレージ
• 10GBから64TBまでシームレスに自動で
スケールアップ
• 実際に使った分だけ課金
• 標準で高可用性を実現
• 3AZに6つのデータのコピーを作成
• 継続的に S3 へ増分バックアップ
• MySQL と Postgres 互換
SQL
Transactions
AZ 1 AZ 2 AZ 3
Caching
Amazon S3

ディスク障害検知と修復
• 2つのコピーに障害が起こっても、読み書きに影響は無い
• 3つのコピーに障害が発生しても読み込みは可能
• 自動検知、修復
SQL
Transaction
AZ 1 AZ 2 AZ 3
Caching
SQL
Transaction
AZ 1 AZ 2 AZ 3
Caching
読み書き可能読み込み可能

リードレプリカ構成
Master Replica Replica Replica
Availability Zone 1
Aurora ストレージ
(共有ストレージボリューム)
プライマリイン
スタンス
リードレプリカ
リード
レプリカ
リード
レプリカ
Availability Zone 2 Availability Zone 3
リージョン

Aurora Serverless
Master Replica Replica Replica
Availability Zone 1
Aurora ストレージ
(共有ストレージボリューム)
プライマリイン
スタンス
Availability Zone 2 Availability Zone 3
リージョン

Relational
Referential
integrity, ACID
transactions,
schema-
on-write
CRM, finance
Key-value
High
throughput, low-
latency reads
and writes, endless
scale
Real-time bidding,
product catalog,
Document
Store documents
and quickly
access querying
on any attribute
Content
management,
personalization,
mobile
In-memory
Query by key
with
microsecond
latency
Leaderboards,
caching
Graph
Quickly and
easily create and
navigate
relationships
between
data
Fraud detection,
social networking,
recommendation
engine
Time-series
Collect, store,
and process data
sequenced by
time
IoT applications,
event tracking
Ledger
Complete,
immutable, and
all changes to
application data
Systems
of record, supply
chain, health care,
registrations,
financial
DynamoDB NeptuneAmazon RDS
Timestream QLDBElastiCacheDocumentDB
Non Relational

Non Relational – “ Not only SQL”
NoSQL：
 RDBMSではないデータベースの総称
 従来のRDBMSの課題を解決するために生まれた
 NoSQLは非常に多くの種類がある

RDBMS と NoSQL の主な特徴
リレーショナルデータベース NoSQL
ストレージに最適化計算リソースに最適化
正規化/リレーショナル非正規化
SQLを使用可能
各データベースによって
異なるクエリ方法
トランザクション処理トランザクション処理は限定的
データの堅牢性／一貫性
データの堅牢性／一貫性
はデータベースによる
https://aws.amazon.com/jp/nosql/

Key Value Store
Key-value

キーバリューストア (KVS)
• キーとバリュー（値）という単純な構造
• 超高速なパフォーマンス
• RDBMSに比べ読み書きが高速
Key1 Value1
Key2 Value2
Key3 Value3
1 対 1

選択指針
• スケーラビリティが求められる
• レスポンスタイム数ミリ秒が求められる
• シンプルなクエリ
• Amazon DynamoDB
• 規模に関係なく、数ミリ秒のレスポンス
• 1 日に 10 兆件以上のリクエスト処理可能
• 毎秒 2,000 万件を超えるリクエストをサポート
• マルチリージョンマルチマスター構成

ドキュメントデータベース
Document

ドキュメント指向データベース
• JSONやXML等の不定形なデータ構造に対応
• 複雑なデータモデリングを容易に表現可能
{
”id": ”tttak”,
“job”: “sa”,
”info": {
”skill": [ “youtuber”, ”video-shoping" ],
”database": ”oracle"
}
}
Key1 Object1
Key2 Object2
Key3 Object3

選択指針
• スキーマを決められないデータの格納
• 後から属性情報の変更を行いたい
• JSONやXML形式のをそのまま扱いたい
• 構造を意識したドキュメント思考の検索
• Amazon DocumentDB
• フルマネージドなMongoDB(3.6)互換
• 読み取り容量を数百万件/秒までスケール

インメモリーデータベース
In-memory

インメモリーデータベース
• KVS (キーバリューストア)
• 最大限メモリで処理
• 短い応答時間が期待できる

選択指針
• ミリ秒未満のレイテンシー求められる
• キャッシュ可能
• 障害時のデータ損失リスクを許容できる
• インメモリ処理のため障害によるデータ損失の可能性がある
• Amazon ElastiCache
• マイクロ秒の応答時間
• フルマネージドな運用管理
ElastiCac he
for Red is
ElastiCac he
for Memc ac hed

グラフデータベース
Graph

グラフ指向データベース
• データ間を相互に結びつけて
データ同士の関係をグラフという形で表す
• 複雑な関係性を表すのを得意とする
• SNSのフレンドの関連性等
多対多

ユースケース
SNSニュースフィードリコメンデーション不正検出
Friends
Use
Play
Like
Check in
Like
Connect
Read
Credit
card
Product
Email
address
Credit
card
Known
fraud
Uses
Paid
with
Uses
Paid
with
Paid with
Purchased
Approve
purchase?
Sport
Product
Purchased
Purchased
People
who also
follow sports
purchased…
Purchased
Knows
Knows
Do you
know…
Follows
Follows
Follows

サンプルデータ
ID Node Name Next Ptr
1 A NULL
2 B C
3 C A

サンプルデータその２
ID Node Name Next Ptr
1 A B
2 B C
3 C A
4 B A

ID Node Name Next Ptr Attr Num
1 A NULL NULL NULL
2 B C Like 1
3 C A Dislike 1
4 B A Like 2
5 B A Dislike 1
サンプルデータその3

選択指針
• 関連を探索するクエリ (トラバーサル)
• 短いクエリが大量に来る要件がある
• Amazon Neptune
• 数十億のリレーションシップを扱える
• ミリ秒台のレイテンシー
• グラフに最適化された、専用のグラフデータベースエンジン
• SPARQLとGremlinに対応

時系列データベース
Time-series

時系列データ
• 時間が唯一の主軸
• 特定の間隔で記録され続ける
• 時間の経過に伴う変化を測定
• リアルタイムの意思決定、警告等

選択指針
• 時系列データを扱うか
• 大量、粒度が小さい、すぐに分析したい
• 多数のソース (IoTデバイスなど) からの頻繁に送信されるか
• 一定の時間間隔で分析を実行したいか
• Amazon Timestream (Public Preview)
• RDB の 1/10 のコストで 1,000 倍のパフォーマンス
• 一日あたり数兆規模のイベントに対応
• 挿入とクエリを異なる処理階層で実行し、競合を解消

台帳データベース
Ledger

Basics of Block Chain
ビザンチン耐性
イミュータブルトランザクション

通常のオンラインバンキング
1:N取引であり銀行が
TrustAnchor
TrustAnchorへの攻撃が
成功すれば
ハッキング可能
高いセキュリティが必要
メンテナンス、障害による
ダウンタイムが発生

BlockChain の P2Pネットワーク
攻撃者は複数のノードを一度に攻撃しデータを
書き換える必要がある
→不可能。高セキュリティ
DNSやCDN(のEdge）と同じように、すべての
ノードが一度に停止することはない
→ゼロダウンタイムの実現
ビザンチン耐性

Block [Chain]
x x
x x
x x

台帳データベース
• データの変更履歴はイミュータブル
(変更や削除が不可能)
• 意図しない変更が発生していないことを
暗号技術で検証
C | H
J

選択指針
• 履歴の追跡と変更管理
• 完全で検証可能な変更履歴を長期間維持したい
• 管理者でも変更履歴を改ざんできないことを保証したい
• Amazon Quantum Ledger Database
• スケーラブルで完全
• 検証可能なトランザクション
• データの変更全てを追跡可能

データ構造
ID Manufacturer Model Year VIN Owner
1 Tesla Model S 2012 123456789 Robert Dennison
History
Current
INSERT… UPDATE… DELETE… UPDATE… UPDATE… UPDATE…
SEQUENCE
NUMBER: 789
SEQUENCE
NUMBER: 790
SEQUENCE
NUMBER: 791
SEQUENCE
NUMBER: 793
SEQUENCE
NUMBER: 792
SEQUENCE
NUMBER: --
Journal
元帳
データ Amazon
Quantum
Ledger Database
ID Version Start Manufacturer Model Year VIN Owner
1 0 7/16/2012 Tesla Model S 2012 123456789 Traci Russell
1 1 8/03/2013 Tesla Model S 2012 123456789 Ronnie Nash
1 2 9/02/2016 Tesla Model S 2012 123456789 Robert Dennison

1
Tracy buys a car on Aug 3, 2013
Journal CurrentDMV Scenario
History
Immutability
ID Version Manufacturer Model Year VIN Owner Date of
Purchase
1 0 Tesla Model S 2012 123456789 Traci
Russell
8/3/2013
ID Version Manufacturer Model Year VIN Owner Date of Purchase
Russell
9/10/2014

1
2
Tracy sells car to
Ronnie on Sept 10, 2014
Immutability
Purchase
Russell
8/3/2013
1 1 Tesla Model S 2012 123456789 Ronnie
Nash
9/10/2014
Nash
9/10/2014
History

1
2
Tracy sells car to
Ronnie on Sept 10, 2014
3
Ronnie’s car gets in an
accident and gets totaled
Purchase
Russell
8/3/2013
Nash
9/10/2014
1 2 Deleted
Immutability
History
DELETE
DATE: 09/02/2016

数学的なデータ結合性
Journal
INSERT cars
ID:1
Manufacturer: Tesla
Model: Model S
Year: 2012
VIN: 123456789
Owner: Traci Russell
Metadata: {
Date:08/03/2013
}
H (T1) UPDATE cars
ID:1
Owner: Ronnie Nash
Metadata: {
Date:09/10/2014
}
H(T2) DELETE cars
ID:1
Metadata: {
Date: 09/02/2016
}
H(T3)
H(T1) H(T1) + Update
= H(T2)
H(T2) + Update
= H(T3)

Sapporo devfesta 2019/11/13

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Similar to Sapporo devfesta 2019/11/13

Similar to Sapporo devfesta 2019/11/13 (20)

More from Kameda Harunobu

More from Kameda Harunobu (20)

Recently uploaded

Recently uploaded (15)

Sapporo devfesta 2019/11/13