Download free for 30 days
Sign in
Upload
Language (EN)
Support
Business
Mobile
Social Media
Marketing
Technology
Art & Photos
Career
Design
Education
Presentations & Public Speaking
Government & Nonprofit
Healthcare
Internet
Law
Leadership & Management
Automotive
Engineering
Software
Recruiting & HR
Retail
Sales
Services
Science
Small Business & Entrepreneurship
Food
Environment
Economy & Finance
Data & Analytics
Investor Relations
Sports
Spiritual
News & Politics
Travel
Self Improvement
Real Estate
Entertainment & Humor
Health & Medicine
Devices & Hardware
Lifestyle
Change Language
Language
English
Español
Português
Français
Deutsche
Cancel
Save
Submit search
EN
Uploaded by
tyonekura
PDF, PPTX
12,429 views
普通の人でもわかる Paxos
Paxos Made Simpleをさらに簡単に説明するよう試みてみました。
Engineering
◦
Read more
32
Save
Share
Embed
Embed presentation
Download
Download as PDF, PPTX
1
/ 64
2
/ 64
3
/ 64
Most read
4
/ 64
Most read
5
/ 64
6
/ 64
7
/ 64
8
/ 64
9
/ 64
10
/ 64
11
/ 64
12
/ 64
13
/ 64
14
/ 64
15
/ 64
16
/ 64
17
/ 64
18
/ 64
19
/ 64
20
/ 64
21
/ 64
22
/ 64
23
/ 64
24
/ 64
25
/ 64
26
/ 64
27
/ 64
28
/ 64
29
/ 64
30
/ 64
31
/ 64
32
/ 64
33
/ 64
34
/ 64
35
/ 64
36
/ 64
37
/ 64
38
/ 64
39
/ 64
40
/ 64
41
/ 64
42
/ 64
43
/ 64
44
/ 64
45
/ 64
46
/ 64
47
/ 64
48
/ 64
49
/ 64
Most read
50
/ 64
51
/ 64
52
/ 64
53
/ 64
54
/ 64
55
/ 64
56
/ 64
57
/ 64
58
/ 64
59
/ 64
60
/ 64
61
/ 64
62
/ 64
63
/ 64
64
/ 64
More Related Content
PDF
Paxos
by
Preferred Networks
PDF
分散システムの限界について知ろう
by
Shingo Omura
PPTX
地理分散DBについて
by
Kumazaki Hiroki
PPTX
分散システムについて語らせてくれ
by
Kumazaki Hiroki
PPTX
トランザクションの設計と進化
by
Kumazaki Hiroki
PPT
Raft
by
Preferred Networks
PDF
詳説データベース輪読会: 分散合意その2
by
Sho Nakazono
PDF
Grafana LokiではじめるKubernetesロギングハンズオン(NTT Tech Conference #4 ハンズオン資料)
by
NTT DATA Technology & Innovation
Paxos
by
Preferred Networks
分散システムの限界について知ろう
by
Shingo Omura
地理分散DBについて
by
Kumazaki Hiroki
分散システムについて語らせてくれ
by
Kumazaki Hiroki
トランザクションの設計と進化
by
Kumazaki Hiroki
Raft
by
Preferred Networks
詳説データベース輪読会: 分散合意その2
by
Sho Nakazono
Grafana LokiではじめるKubernetesロギングハンズオン(NTT Tech Conference #4 ハンズオン資料)
by
NTT DATA Technology & Innovation
What's hot
PDF
Apache Kafkaって本当に大丈夫?~故障検証のオーバービューと興味深い挙動の紹介~
by
NTT DATA OSS Professional Services
PDF
Linux女子部 systemd徹底入門
by
Etsuji Nakai
PDF
Dockerからcontainerdへの移行
by
Kohei Tokunaga
PPTX
Docker Tokyo
by
cyberblack28 Ichikawa
PDF
例外設計における大罪
by
Takuto Wada
PDF
20180729 Preferred Networksの機械学習クラスタを支える技術
by
Preferred Networks
PDF
ストリーム処理を支えるキューイングシステムの選び方
by
Yoshiyasu SAEKI
PPTX
本当は恐ろしい分散システムの話
by
Kumazaki Hiroki
PDF
Docker Compose 徹底解説
by
Masahito Zembutsu
PPTX
Dockerからcontainerdへの移行
by
Akihiro Suda
PDF
何となく勉強した気分になれるパーサ入門
by
masayoshi takahashi
PDF
SAT/SMTソルバの仕組み
by
Masahiro Sakai
PDF
できる!並列・並行プログラミング
by
Preferred Networks
PDF
At least onceってぶっちゃけ問題の先送りだったよね #kafkajp
by
Yahoo!デベロッパーネットワーク
PDF
Kubernetesによる機械学習基盤への挑戦
by
Preferred Networks
PPTX
トランザクションをSerializableにする4つの方法
by
Kumazaki Hiroki
PDF
大規模ソーシャルゲーム開発から学んだPHP&MySQL実践テクニック
by
infinite_loop
PDF
トランザクションの並行実行制御 rev.2
by
Takashi Hoshino
PDF
ゼロからはじめるKVM超入門
by
VirtualTech Japan Inc.
PPTX
Prometheus入門から運用まで徹底解説
by
貴仁 大和屋
Apache Kafkaって本当に大丈夫?~故障検証のオーバービューと興味深い挙動の紹介~
by
NTT DATA OSS Professional Services
Linux女子部 systemd徹底入門
by
Etsuji Nakai
Dockerからcontainerdへの移行
by
Kohei Tokunaga
Docker Tokyo
by
cyberblack28 Ichikawa
例外設計における大罪
by
Takuto Wada
20180729 Preferred Networksの機械学習クラスタを支える技術
by
Preferred Networks
ストリーム処理を支えるキューイングシステムの選び方
by
Yoshiyasu SAEKI
本当は恐ろしい分散システムの話
by
Kumazaki Hiroki
Docker Compose 徹底解説
by
Masahito Zembutsu
Dockerからcontainerdへの移行
by
Akihiro Suda
何となく勉強した気分になれるパーサ入門
by
masayoshi takahashi
SAT/SMTソルバの仕組み
by
Masahiro Sakai
できる!並列・並行プログラミング
by
Preferred Networks
At least onceってぶっちゃけ問題の先送りだったよね #kafkajp
by
Yahoo!デベロッパーネットワーク
Kubernetesによる機械学習基盤への挑戦
by
Preferred Networks
トランザクションをSerializableにする4つの方法
by
Kumazaki Hiroki
大規模ソーシャルゲーム開発から学んだPHP&MySQL実践テクニック
by
infinite_loop
トランザクションの並行実行制御 rev.2
by
Takashi Hoshino
ゼロからはじめるKVM超入門
by
VirtualTech Japan Inc.
Prometheus入門から運用まで徹底解説
by
貴仁 大和屋
普通の人でもわかる Paxos
1.
普通の人でもわかるPaxos @tyonekura
2.
前提 • 一番シンプルなPaxosプロトコル (Paxos Made Simple)を紹介します。
3.
Paxosとは • ある値を、過半数のノードに書き込むプロトコ ル。もうちょっと正確には、過半数のノードに 書き込まれた時点で合意したとみなせるプロ トコル。 • 途中でネットワークが途切れたり、ノードが死 んだり、生き返ったり、色々しても大丈夫。
4.
登場人物 • クライアント – プロポーザに、書き込みをお願いする人 –
登場人物といっておきながら、話はプロポーザが値を 持ってから始めればいいので、以下登場しません。 • プロポーザ – アクセプタの過半数に同じ値を書き込むよう頑張る • アクセプタ – プロポーザから来た値をよきにはからう(後述) • リスナ – 最後に、過半数のアクセプタから値をゲット。
5.
基本的な動き(フェーズ1) • フェーズ1a (プロポーザ側) – アクセプタにお伺いをたてる。その際、メッセージ IDを添える。 • フェーズ1b (アクセプタ側) – 初めてのお伺いや、これまで約束したお伺いより 高いIDだったら、約束を返す。もし今までアクセプ トをしていたら、その値も返す。 – これまで約束したお伺いより低いIDは無視する。 オレンジのキーワードは、送られるメッセージの種類を指しています。
6.
基本的な動き(フェーズ2) • フェーズ2a(プロポーザ側) – 過半数のアクセプタから約束が返ってこなかったら、 どこかで諦めて、メッセージIDを増やして最初からや りなおし。 –
過半数のアクセプタから約束が返ってきたら、メッ セージIDと値を添えてアクセプタにプロポーズを送る。 – プロポーズを送る際に、もしも約束に(ID, 値)の組が ついて返ってきたら、自分の値を、返ってきた約束の 中で一番高いIDの値で書き換えてプロポーズを送る。 (IDは自分の。なぜなら、約束が返ってきたということ は、その時点で自分のIDが一番高い。)
7.
基本的な動き(フェーズ2) • フェーズ2b(アクセプタ側) – プロポーズのIDが最後に約束したIDか、それより 大きい場合、アクセプトする。 – プロポーズのIDが最後に約束したIDより小さい場 合、お断りする。
8.
基本的な動き(終わり) • フェーズ2c? (プロポーザ側) – 過半数からアクセプトが返ってきたら終了 – 過半数に達せずタイムアウトするか、過半数から お断りされたらメッセージIDを増やして最初に戻 る。 • リスナーは、アクセプタに聞いて回って、過半 数のアクセプタが同じ値を持っていたらその 値を信じる。
9.
と、こう書くと • よくわからなくなる。 •
たぶん、例が少ないのでわからないのだと思 う。 • なので、以下パラパラ漫画
10.
一番単純なケース アクセプタ1 アクセプタ2 アクセプタ3 プロポーズしていいですか?(1) プロポーズしていいですか?(1) プロポーズしていいですか?(1) お伺い お伺い お伺い 0 0 0 プロポーザ
11.
一番単純なケース アクセプタ1 アクセプタ2 アクセプタ3 いいですよ(1) いいですよ(1) いいですよ(1) 約束 約束 約束 1 1 1 プロポーザ
12.
一番単純なケース アクセプタ1 アクセプタ2 アクセプタ3 鈴木です。(1) 鈴木です(1) 鈴木です(1) プロポーズ プロポーズ プロポーズ 1 1 1 プロポーザ
13.
一番単純なケース アクセプタ1 アクセプタ2 アクセプタ3 プロポーザ アクセプト(1) アクセプト(1) アクセプト(1) 1 1 1 鈴木 鈴木 鈴木
14.
一番単純なケース アクセプタ1 アクセプタ2 アクセプタ3 リスナー 1 1 1 鈴木 鈴木 鈴木 鈴木ね
15.
アクセプタ一台故障 アクセプタ1 アクセプタ2 アクセプタ3 プロポーズしていいですか?(1) プロポーズしていいですか?(1) プロポーズしていいですか?(1) お伺い お伺い お伺い 0 0 0 プロポーザ
16.
アクセプタ一台故障 アクセプタ1 アクセプタ2 アクセプタ3 いいですよ(1) いいですよ(1) 約束 約束 1 0 1 プロポーザ
17.
アクセプタ一台故障 アクセプタ1 アクセプタ2 アクセプタ3 鈴木です。(1) 鈴木です(1) プロポーズ プロポーズ 1 0 1 プロポーザ
18.
アクセプタ一台故障 アクセプタ1 アクセプタ2 アクセプタ3 プロポーザ アクセプト(1) アクセプト(1) 1 0 1 鈴木 鈴木
19.
アクセプタ一台故障 アクセプタ1 アクセプタ2 アクセプタ3 リスナー 1 0 1 鈴木 鈴木 鈴木ね
20.
アクセプタ一台故障と思ったら生き 返った アクセプタ1 アクセプタ2 アクセプタ3 プロポーズしていいですか?(1) プロポーズしていいですか?(1) プロポーズしていいですか?(1) お伺い お伺い お伺い 0 0 0 プロポーザ
21.
アクセプタ一台故障と思ったら生き 返った アクセプタ1 アクセプタ2 アクセプタ3 いいですよ(1) いいですよ(1) 約束 約束 1 1 1 プロポーザ
22.
アクセプタ一台故障と思ったら生き 返った アクセプタ1 アクセプタ2 アクセプタ3 鈴木です。(1) 鈴木です(1) プロポーズ プロポーズ 1 1 1 プロポーザ プロポーズ 鈴木です(1) 約束返ってきてなくてもとりあえずプロポーズする。
23.
アクセプタ一台故障と思ったら生き 返った アクセプタ1 アクセプタ2 アクセプタ3 プロポーザ アクセプト(1) アクセプト(1) 1 1 1 鈴木 鈴木 アクセプト(1) いままでで一番IDが大きいのでアクセプトする。 鈴木
24.
アクセプタ一台故障と思ったら生き 返った アクセプタ1 アクセプタ2 アクセプタ3 リスナー 1 1 1 鈴木 鈴木 鈴木ね 鈴木
25.
プロポーザ2人 アクセプタ1 アクセプタ2 アクセプタ3 プロポーズしていいですか?(1) プロポーズしていいですか?(1) プロポーズしていいですか?(1) お伺い お伺い お伺い 0 0 0 プロポーザ
26.
プロポーザ2人 アクセプタ1 アクセプタ2 アクセプタ3 いいですよ(1) いいですよ(1) 約束 約束 1 1 1 プロポーザ いいですよ(1) 約束
27.
プロポーザ2人 アクセプタ1 アクセプタ2 アクセプタ3 プロポーズしていいですか?(2) プロポーズしていいですか?(2) プロポーズしていいですか?(2) お伺い お伺い お伺い 1 1 1
28.
プロポーザ2人 アクセプタ1 アクセプタ2 アクセプタ3 いいですよ(2) いいですよ(2) 約束 約束 2 2 2 いいですよ(2) 約束
29.
プロポーザ2人 アクセプタ1 アクセプタ2 アクセプタ3 鈴木です。(1) 鈴木です(1) プロポーズ プロポーズ 2 2 2 プロポーザ プロポーズ 鈴木です(1)
30.
プロポーザ2人 アクセプタ1 アクセプタ2 アクセプタ3 プロポーザ リジェクト(2) リジェクト(2) 2 2 2 リジェクト(2)
31.
プロポーザ2人 アクセプタ1 アクセプタ2 アクセプタ3 佐藤です。(2) 佐藤です(2) プロポーズ プロポーズ 2 2 2 プロポーズ 佐藤です(2)
32.
プロポーザ2人 アクセプタ1 アクセプタ2 アクセプタ3 プロポーザ アクセプト(2) アクセプト(2) 2 2 2 佐藤 佐藤 アクセプト(2) 佐藤
33.
プロポーザ2人 アクセプタ1 アクセプタ2 アクセプタ3 リスナー 2 2 2 佐藤 佐藤 佐藤ね 佐藤
34.
もしリスナーが選ぶ前にリトライしたら 敗者復活? アクセプタ1 アクセプタ2 アクセプタ3 プロポーズしていいですか?(3) プロポーズしていいですか?(3) プロポーズしていいですか?(3) お伺い お伺い お伺い 2 2 2 佐藤 佐藤 佐藤
35.
おや?約束に、他人の名前が。。 アクセプタ1 アクセプタ2 アクセプタ3 いいですよ(佐藤、2) いいですよ(佐藤、2) 約束 約束 いいですよ(佐藤、2) 約束 3 3 3 佐藤 佐藤 佐藤
36.
なぜ他人の名前で。。せつない。。 アクセプタ1 アクセプタ2 アクセプタ3 佐藤です。(3) 佐藤です(3) プロポーズ プロポーズ 2 2 2 プロポーズ 佐藤です(3) 2 2 2 佐藤 佐藤 佐藤 この後の処理は結果が変わらないので、実装依存
37.
プロポーザ3人 アクセプタ1 アクセプタ2 アクセプタ3 プロポーズしていいですか?(1) プロポーズしていいですか?(1) プロポーズしていいですか?(1) お伺い お伺い お伺い 0 0 0 プロポーザ
38.
プロポーザ3人 アクセプタ1 アクセプタ2 アクセプタ3 いいですよ(1) いいですよ(1) 約束 約束 1 1 1 プロポーザ いいですよ(1) 約束
39.
プロポーザ3人 アクセプタ1 アクセプタ2 アクセプタ3 プロポーズしていいですか?(2) プロポーズしていいですか?(2) お伺い お伺い 1 1 1 二人目の時、1台不調
40.
プロポーザ3人 アクセプタ1 アクセプタ2 アクセプタ3 いいですよ(2) 約束 1 2 2 いいですよ(2) 約束
41.
プロポーザ3人(1台目復活) アクセプタ1 アクセプタ2 アクセプタ3 鈴木です。(1) 鈴木です(1) プロポーズ プロポーズ 1 2 2 プロポーザ プロポーズ 鈴木です(1)
42.
プロポーザ3人 アクセプタ1 アクセプタ2 アクセプタ3 プロポーザ アクセプト(1) リジェクト(2) 1鈴木 2 2 リジェクト(2)
43.
2人目がアクセプタ2にプロポーズし たところで。。 アクセプタ1 アクセプタ2 アクセプタ3 佐藤です(2) プロポーズ 1鈴木 2 2佐藤 まだとどいてない。 まだとどいてない。 アクセプト(2)
44.
3人目が登場。 アクセプタ1 アクセプタ2 アクセプタ3 1鈴木 2 2佐藤 プロポーズしていいですか?(3) プロポーズしていいですか?(3) お伺い お伺い プロポーズしていいですか?(3) お伺い
45.
3人目が登場。 アクセプタ1 アクセプタ2 アクセプタ3 3鈴木 3 3佐藤 いいですよ(1, 鈴木) 約束 いいですよ(3) 約束 いいですよ(2, 佐藤) 約束
46.
3人目は佐藤を推す。 アクセプタ1 アクセプタ2 アクセプタ3 3鈴木 3 3佐藤 佐藤です。(3) プロポーズ プロポーズ プロポーズ 佐藤です(3) 佐藤です(3) もしこの前に佐藤さんのプロポーズが届いたら、 それはID2なので無視される。
47.
プロポーザ3人 アクセプタ1 アクセプタ2 アクセプタ3 プロポーザ アクセプト(3) アクセプト(3) 3 3 3 佐藤 佐藤 アクセプト(3) 佐藤
48.
プロポーザ3人 アクセプタ1 アクセプタ2 アクセプタ3 リスナー 3 3 3 佐藤 佐藤 佐藤ね 佐藤
49.
その他 • 色んなパターンを試しても、過半数のアクセプ タといずれかのプロポーザが生きているなら、 いずれは合意が取れるようになっています。 • よくできてますね。。
50.
ライブロック アクセプタ1 アクセプタ2 アクセプタ3 プロポーズしていいですか?(1) プロポーズしていいですか?(1) プロポーズしていいですか?(1) お伺い お伺い お伺い 0 0 0 プロポーザ
51.
ライブロック アクセプタ1 アクセプタ2 アクセプタ3 いいですよ(1) いいですよ(1) 約束 約束 1 1 1 プロポーザ いいですよ(1) 約束
52.
ライブロック アクセプタ1 アクセプタ2 アクセプタ3 プロポーズしていいですか?(2) プロポーズしていいですか?(2) プロポーズしていいですか?(2) お伺い お伺い お伺い 1 1 1
53.
ライブロック アクセプタ1 アクセプタ2 アクセプタ3 いいですよ(2) いいですよ(2) 約束 約束 2 2 2 いいですよ(2) 約束
54.
ライブロック アクセプタ1 アクセプタ2 アクセプタ3 鈴木です。(1) 鈴木です(1) プロポーズ プロポーズ 2 2 2 プロポーザ プロポーズ 鈴木です(1)
55.
ライブロック アクセプタ1 アクセプタ2 アクセプタ3 プロポーザ リジェクト(2) リジェクト(2) 2 2 2 リジェクト(2)
56.
ライブロック アクセプタ1 アクセプタ2 アクセプタ3 プロポーズしていいですか?(3) プロポーズしていいですか?(3) プロポーズしていいですか?(3) お伺い お伺い お伺い 2 2 2 プロポーザ
57.
ライブロック アクセプタ1 アクセプタ2 アクセプタ3 いいですよ(3) いいですよ(3) 約束 約束 3 3 3 プロポーザ いいですよ(3) 約束
58.
ライブロック アクセプタ1 アクセプタ2 アクセプタ3 佐藤です。(2) 佐藤です(2) プロポーズ プロポーズ 3 3 3 プロポーズ 佐藤です(2)
59.
ライブロック アクセプタ1 アクセプタ2 アクセプタ3 プロポーザ リジェクト(3) リジェクト(3) 3 3 3 リジェクト(3) 以下、永遠につづくかも。 (ランダムでsleep入れるとか、工夫する。)
60.
以下、混乱しやすい点を
61.
これらはPaxosの範疇じゃない • トランザクション – Paxosは、過半数にある値を届けて合意を取るも のであって、広い意味での(DB的な)トランザクショ ンではない。 • クラスタメンバーシップ – とりあえず、メンバーは固定。アクセプタが増えた り減ったりする場合は実装側で。(メンバーシップ 情報をPaxosで同期したりとか。)
62.
これらはPaxosの範疇じゃない • プロポーザ選択 – 適当にどれか1台をプロポーザにする。 – クライアントが複数のプロポーザを選んで同時に 別々の提案をしても、大丈夫。 • 過半数に達した後の少数側の扱い – 実装上はデータ同期させたほうがいいと思うけど、 それはPaxosの範疇外
63.
これらはPaxosの範疇じゃない • ビザンチン障害 – 具体的には、 –
メッセージID偽装 • 約束されてないIDでプロポーズを投げる • 一意じゃないIDというのも、これに含まれると思う。 – アクセプタがアクセプトしてない値を捏造 – アクセプタが約束してないIDを返す – 等等 • 過半数を超える障害 – 例:9台5台のアクセプタがアクセプトした、と思ったら、その5台のう ち1台が壊れた。 – 実用上は過半数、というところを変えてあげればOK. – 例:9台中5台に書き込めたらOKではなく、9台中7台に書き込めた らOKにして、アクセプトまでは2台障害に耐え、リスナーがチェック するときは5台でOKにするとか。
64.
これらはPaxosの範疇じゃない • メッセージIDをどうやって一意にするか • Macアドレス + シーケンス番号とか。 •
ノードID + シーケンス番号とか。 – シーケンス番号同士を比べて、同じだったらノードID を比べる。 – ノード番号同士を比べて、同じだったらシーケンス番 号を比べる。 – 普通は前者。後者は、複数プロポーザケースに必ず 1台が勝つことになるが、別にそれでもPaxos的には 問題ない。
Download