More Related Content
PPTX
PPTX
PDF
Amazon Redshift 概要 (20分版) PPTX
NTTデータが考えるデータ基盤の次の一手 ~AI活用のために知っておくべき新潮流とは?~(NTTデータ テクノロジーカンファレンス 2020 発表資料) PPTX
分析指向データレイク実現の次の一手 ~Delta Lake、なにそれおいしいの?~(NTTデータ テクノロジーカンファレンス 2020 発表資料) PDF
PDF
AWS Black Belt Online Seminar 2016 AWS上でのファイルサーバ構築 PDF
20210127 今日から始めるイベントドリブンアーキテクチャ AWS Expert Online #13 What's hot
PPTX
SQLまで使える高機能NoSQLであるCouchbase Serverの勉強会資料 PDF
PDF
20200303 AWS Black Belt Online Seminar AWS Cloud Development Kit (CDK) PPTX
マルチクラウドDWH(Snowflake)のすすめ PDF
HBaseとRedisを使った100億超/日メッセージを処理するLINEのストレージ PPTX
NTTデータ流Infrastructure as Code~ 大規模プロジェクトを通して考え抜いた基盤自動化の新たな姿~(NTTデータ テクノロジーカンフ... PDF
PDF
PDF
PDF
20190911 AWS Black Belt Online Seminar AWS Batch PDF
PDF
20200818 AWS Black Belt Online Seminar AWS Shield Advanced PPTX
大規模データ活用向けストレージレイヤソフトのこれまでとこれから(NTTデータ テクノロジーカンファレンス 2019 講演資料、2019/09/05) PDF
Day 1 with Amazon Web Services - AWSご利用開始時に最低限おさえておきたい10のこと PDF
Amazon SNS+SQSによる Fanoutシナリオの話 PDF
20190206 AWS Black Belt Online Seminar Amazon SageMaker Basic Session PPTX
PDF
Snowflake Architecture and Performance PPTX
PDF
Apache Kafkaって本当に大丈夫?~故障検証のオーバービューと興味深い挙動の紹介~ More from Kenta Hattori
PPT
PPT
PPT
PPT
PPT
PPT
PPT
PPT
PPT
PPT
PPTX
PPTX
PPTX
PPTX
PPTX
PPTX
PPTX
PPTX
PPT
PPT
分散システム第7章(前半)
- 1.
- 2.
- 3.
複製の理由
なぜわざわざデータを複製するのか?
信頼性(Reliability)
複製(レプリカ)のうちの1つがクラッシュしても別の複製に
アクセス可能
3つのうちのどれか1つの書き込みに失敗しても多数決で修正
可能
性能(Performance)
クライアント数が増大したら,サーバを複製し処理を分割する
地理的にエリアが拡大したら,クライアントの近くにサーバの
複製を配置する
複製の代償
複数のレプリカで一貫性(Consistency)を保証する必要
あり
1つのコピーに対する変更がすべてのコピーに対して行われる
2013/6/283 第7章:「一貫性とレプリケーション」
- 4.
- 5.
データ中心一貫性モデル
データストア(data store)
データを格納する論理的な場所
共有メモリ,データベース,ファイルシステムなど
物理的には複数のマシンに分散しているかもしれない
分散共有メモリ,分散データベース,分散ファイルシステムな
ど
プロセスはデータストア全体のうち,自分に近いローカ
ルコピーにアクセス
2013/6/285 第7章:「一貫性とレプリケーション」
- 6.
データ中心一貫性モデル
一貫性モデル(consistency model)
本質的にはプロセスとデータストア間の契約である
プロセスが定められたルールに従ってアクセスすれば,データ
ストアが正しく動作することを約束する
様々な一貫性モデル
通常はあるデータを読み取るプロセスは,そのデータへ
最後に書き込まれた値が返ってくることを期待
⇒グローバルクロックがない状況では,どの書き込みが
最後のものかを正確に定義するのは難しい
⇒他の定義を用意する必要がある
トレードオフ
制限の少ないモデルは使いやすいが,制限の多いモデル
に比べて性能が出しにくい
2013/6/286 第7章:「一貫性とレプリケーション」
- 7.
連続的一貫性(continuous consistency)
データ複製の最善解は存在しない
一貫性を緩和することで,効率的な解決策が得られる
⇒一貫性を緩和する一般的な方法も存在しない
不一貫性を定義する3つの独立した軸
数値的相違(numerical deviation)
レプリカ間でどこまで値の数値的なズレを許すか
株式市場価格のようにデータが数値的意味を持つアプリで使用
陳腐化相違(staleness deviaion)
どこまで古いデータを許すか
天気予報は数時間程度なら古いデータでも問題ない
順番的相違(ordering deviation)
更新の順番がある範囲に収まっている限り,レプリカ間で異
なっていてもよいようなアプリ
2013/6/287 第7章:「一貫性とレプリケーション」
- 8.
- 9.
- 10.
コニットの例(続き)
コニット:変数xとyを含む
各レプリカはベクトルクロックを保持
BはAにオペレーション[<5,B>: x := x+2]を送信
Aはこのオペレーションをコミットし,ロールバックで
きない
Aは3つの保留状態のオペレーションを持つ
⇒順番的相違=3
AはBからのオペレーション<10,B>をまだ感知していな
い
⇒数値的相違=(1, 5)
回数相違=1
値相違=5(このオペレーションを受け取ると,y+=5で現在の
値より5大きくなるので)
2013/6/2810 第7章:「一貫性とレプリケーション」
- 11.
- 12.
- 13.
- 14.
- 15.
- 16.
- 17.
- 18.
- 19.
- 20.
- 21.
- 22.
- 23.
- 24.
- 25.
- 26.
- 27.
- 28.
- 29.
- 30.
- 31.