22
pg_hba.conf の設定
通常の StreamingReplication 用設定と同じで OK.
レプリケーション専用ユーザを使う場合には、別途レプリ
ケーション権限をもつユーザを作成しておく必要がある。
Logical Replication
# Allow replication connections from localhost, by a user with the
# replication privilege.
local replication postgres trust
この例では postgres ユーザで
接続してるけど、本当は
レプリケーション専用ユーザを
作る方がいいです。
53
異なる構造間の Logical Replication
LogicalReplication は以下のようなテーブルの差異があっ
ても複製は可能。
列定義の順番が異なっていても OK 。
複製先テーブルには、複製元にない列があっても OK
（ null 可列の場合）
ただし、複製テーブルには、複製元の列が全てなくてはい
けない。ややこしい。
Logical Replication
54.
54
異なる構造間の Logical Replication
LogicalReplication
列 A 列 B 列 C
AAA BBB CCC
複製元
列 C 列 B 列 A
CCC BBB AAA
複製先
列 A 列 B 列 C
AAA BBB CCC
複製元
列 A 列 B 列 C 列 X
AAA BBB CCC (null)
複製先
列 A 列 B 列 C
AAA BBB CCC
複製元
列 A 列 B
AAA BBB
複製先
58
異バージョン間複製
ex. PostgreSQL 10と PostgreSQL 11 間での複製
Logical Replication
PostgreSQL 11 server (srv2)
PG11
DB クラスタ
PG10
DB クラスタ
全 DB 全 DB
PostgreSQL 10 server (srv1)
更新
操作
Logical
Replication
PG10
DB クラスタ
全 DB
PostgreSQL 10 server (srv2)
Physical
Replication
pg_upgrade
PostgreSQL 11-devel が
使えるようになったら
試さねば・・・
59.
59
異アーキテクチャ間複製
Linux 版と Windows版との間の複製もできるのでは？
Logical Replication
PostgreSQL 10 serve
PG10
DB クラスタ
PG10
DB クラスタ
全 DB 全 DB
PostgreSQL 10 server
更新
操作
Logical
Replication
70
従来の定義方式
親テーブルの定義。
Declarative Partitioning
CREATE TABLEjapan (
pref text,
city text,
data text
);
CREATE TABLE tokyo (
CHECK (pref IN (' 東京 '))
) INHERITS (japan);
CREATE TABLE kanagawa (
CHECK (pref IN (' 神奈川 '))
) INHERITS (japan);
CREATE TABLE shizuoka (
CHECK (pref IN (' 静岡 '))
) INHERITS (japan);
子テーブルの定義
To be continued
71.
71
従来の定義方式（つづき）
トリガ関数の定義
Declarative Partitioning
CREATE ORREPLACE FUNCTION pref_insert_trigger_func()
RETURNS TRIGGER AS $$
BEGIN
IF ( NEW.pref = ' 東京 ') THEN
INSERT INTO tokyo VALUES (NEW.*);
ELSIF ( NEW.pref = ' 神奈川 ') THEN
INSERT INTO kanagawa VALUES (NEW.*);
ELSIF ( NEW.pref = ' 静岡 ') THEN
INSERT INTO shizuoka VALUES (NEW.*);
ELSE
RAISE EXCEPTION 'Date out of range. Fix the pref_insert_trigger()
function!';
END IF;
RETURN NULL;
END;
$$
LANGUAGE plpgsql;
To be continued
72.
72
従来の定義方式（つづき）
トリガの定義
Declarative Partitioning
REATE TRIGGERpref_insert_trigger
BEFORE INSERT ON japan
FOR EACH ROW EXECUTE PROCEDURE pref_insert_trigger_func();
まとめ
テーブル定義だけでなく、トリガ関数定義・トリガ定義が必
要になる。
関数を書かないといけないのは何かと大変。
パーティション追加によりトリガ関数の変更が入りやすい。
74
PostgreSQL 10 の定義方式
親テーブルの定義。
DeclarativePartitioning
CREATE TABLE japan (
pref text,
city text,
data text
)
PARTITION BY LIST (pref);
CREATE TABLE tokyo PARTITION OF japan
FOR VALUES IN (' 東京 ');
CREATE TABLE kanagawa PARTITION OF japan
FOR VALUES IN (' 神奈川 ');
CREATE TABLE shizuoka PARTITION OF japan
FOR VALUES IN (' 静岡 ');
子テーブルの定義
これだけで完了！ ( レンジパーティションもだいたい同じ）
77
多段パーティションの定義例
親テーブルの定義。
Declarative Partitioning
CREATE TABLEjapan (
pref text,
city text,
data text
)
PARTITION BY LIST (pref);
CREATE TABLE tokyo PARTITION OF japan
FOR VALUES IN (' 東京 ');
CREATE TABLE kanagawa PARTITION OF japan
FOR VALUES IN (' 神奈川 ')
PARTITION BY LIST (city);
CREATE TABLE shizuoka PARTITION OF japan
FOR VALUES IN (' 静岡 ');
子テーブルの定義
これだけで完了！
CREATE TABLE "kanagawa.yokohama"
PARTITION OF kanagawa
FOR VALUES IN (' 横浜 ');
CREATE TABLE "kanagawa.kawasaki"
PARTITION OF kanagawa
FOR VALUES IN (' 川崎 ');
CREATE TABLE "kanagawa.machida"
PARTITION OF kanagawa
FOR VALUES IN (' 町田 ');
91
パーティション間更新の制約
代替手段として、 DELETE→INSERT する必要がある。
DeclarativePartitioning
To be continued
partition=# SELECT * FROM japan WHERE id = 6;
id | pref | city | data
----+--------+------+--------
6 | 神奈川 | 町田 | 竹の助
(1 row)
partition=# BEGIN;
BEGIN
partition=# DELETE FROM japan WHERE id = 6;
DELETE 1
partition=# INSERT INTO japan VALUES (6, ' 東京 ', ' 町田 ', ' 竹の助 ');
INSERT 0 1
partition=# COMMIT;
COMMIT
partition=# SELECT * FROM japan WHERE id = 6;
id | pref | city | data
----+------+------+--------
6 | 東京 | 町田 | 竹の助
(1 row)
92.
92
パーティション間更新の制約
RETURNING 句を使って 1つのクエリにすることも可能
Declarative Partitioning
partition=# SELECT * FROM japan WHERE id = 6;
id | pref | city | data
----+--------+------+--------
6 | 神奈川 | 町田 | 竹の助
(1 row)
partition=# WITH tmp AS
(DELETE FROM japan WHERE id = 6 RETURNING id, ' 東京 ', city, data)
INSERT INTO japan SELECT * FROM tmp;
INSERT 0 1
partition=# SELECT * FROM japan WHERE id = 6;
id | pref | city | data
----+------+------+--------
6 | 東京 | 町田 | 竹の助
(1 row)
ぐぬぬ・・・
町田は東京に奪われました
93.
93
インデックス関連の制約
パーティションの親テーブルには Primary keyが設定でき
ない！
Declarative Partitioning
partition=# CREATE TABLE japan (
id integer primary key,
pref text,
city text,
data text
)
PARTITION BY LIST (pref);
ERROR: primary key constraints are not supported on partitioned tables
LINE 2: id integer primary key,
^
To be continued
94.
94
インデックス関連の制約
子テーブルを持つテーブルにはインデックスが作成できない。
Declarative Partitioning
partition=# djapan
Table "public.japan"
Column | Type | Collation | Nullable | Default
--------+---------+-----------+----------+---------
id | integer | | |
pref | text | | |
city | text | | |
data | text | | |
Partition key: LIST (pref)
Number of partitions: 3 (Use d+ to list them.)
partition=# CREATE INDEX japan_id ON japan USING btree (id);
ERROR: cannot create index on partitioned table "japan"
親テーブルにインデックス設定したら、子テーブルに自動的に
伝播してくれればいいのになあ、とも思う・・・。
![26
CREATE PUBLICATION syntax
https://www.postgresql.org/docs/devel/static/sql-createpublication.html
Logical Replication
CREATE PUBLICATION name
[ FOR TABLE table_name [, ...]
| FOR ALL TABLES ]
[ WITH ( option [, ... ] ) ]
where option can be:
PUBLISH INSERT | NOPUBLISH INSERT
| PUBLISH UPDATE | NOPUBLISH UPDATE
| PUBLISH DELETE | NOPUBLISH DELETE
わりと最近になって構文が
大きく変わりました・・・](https://image.slidesharecdn.com/jpug-study-postgresql-10-pub-170527052329/85/Jpug-study-postgre-sql-10-pub-26-320.jpg)
![27
CREATE PUBLICATION syntax
https://www.postgresql.org/docs/devel/static/sql-createpublication.html
Logical Replication
CREATE PUBLICATION name
[ FOR TABLE [ ONLY ] table_name [ * ] [, ...]
| FOR ALL TABLES ]
[ WITH ( publication_parameter [= value] [, ... ] ) ]
現状、 publication_parameter には publisher のみ指定可
能。
publisher にはどういった更新種別 (insert, delete,
update) をレプリケーション対象にするのかを指定する。](https://image.slidesharecdn.com/jpug-study-postgresql-10-pub-170527052329/85/Jpug-study-postgre-sql-10-pub-27-320.jpg)
![28
CREATE SUBSCRIPTION syntax
https://www.postgresql.org/docs/devel/static/sql-createsubscription.html
Logical Replication
CREATE SUBSCRIPTION subscription_name
CONNECTION 'conninfo'
PUBLICATION { publication_name [, ...] }
[ WITH ( option [, ... ] ) ]
where option can be:
| ENABLED | DISABLED
| CREATE SLOT | NOCREATE SLOT
| SLOT NAME = slot_name
| COPY DATA | NOCOPY DATA
| NOCONNECT
わりと最近になって構文が
大きく変わりました・・・](https://image.slidesharecdn.com/jpug-study-postgresql-10-pub-170527052329/85/Jpug-study-postgre-sql-10-pub-28-320.jpg)
![29
CREATE SUBSCRIPTION syntax
https://www.postgresql.org/docs/devel/static/sql-createsubscription.html
Logical Replication
CREATE SUBSCRIPTION subscription_name
CONNECTION 'conninfo'
PUBLICATION publication_name [, ...]
[ WITH ( subscription_parameter [= value] [, ... ] ) ]
CREATE SUBSCRIPTION についても、 PUBLICATION と
同様の構文変更があった。
option に指定できるパラメータは、 copy_data,
create_slot, enabled, slot_name, synchronous_commit,
connect](https://image.slidesharecdn.com/jpug-study-postgresql-10-pub-170527052329/85/Jpug-study-postgre-sql-10-pub-29-320.jpg)
![43
INSERT の Conflict 発生時のログ
パブリッシャー側のサーバログ
Logical Replication
2017-04-01 15:05:25.470 JST [63830] LOG: logical decoding found consistent point at
0/172D268
2017-04-01 15:05:25.470 JST [63830] DETAIL: There are no running transactions.
2017-04-01 15:05:25.476 JST [63830] LOG: unexpected EOF on standby connection
2017-04-01 15:05:30.490 JST [63833] LOG: starting logical decoding for slot
"sub_kanagawa_machida"
2017-04-01 15:05:30.490 JST [63833] DETAIL: streaming transactions committing after
0/172D2A0, reading WAL from 0/172D268
2017-04-01 15:05:25.475 JST [63829] ERROR: duplicate key value violates unique
constraint "machida_pkey"
2017-04-01 15:05:25.475 JST [63829] DETAIL: Key (id)=(3) already exists.
2017-04-01 15:05:25.476 JST [1994] LOG: worker process: logical replication worker
for subscription 16425 (PID 63829) exited with exit code 1
サブスクライバ側のサーバログ](https://image.slidesharecdn.com/jpug-study-postgresql-10-pub-170527052329/85/Jpug-study-postgre-sql-10-pub-43-320.jpg)
![67
CREATE TABLE 構文
親テーブル側
Declarative Partitioning
CREATE [ [ GLOBAL | LOCAL ] { TEMPORARY | TEMP } | UNLOGGED ] TABLE [ IF NOT
EXISTS ] table_name ( [
{ column_name data_type [ COLLATE collation ] [ column_constraint [ ... ] ]
| table_constraint
| LIKE source_table [ like_option ... ] }
[, ... ]
] )
[ INHERITS ( parent_table [, ... ] ) ]
[ PARTITION BY { RANGE | LIST } ( { column_name | ( expression ) } [ COLLATE
collation ] [ opclass ] [, ... ] ) ]
[ WITH ( storage_parameter [= value] [, ... ] ) | WITH OIDS | WITHOUT OIDS ]
[ ON COMMIT { PRESERVE ROWS | DELETE ROWS | DROP } ]
[ TABLESPACE tablespace_name ]](https://image.slidesharecdn.com/jpug-study-postgresql-10-pub-170527052329/85/Jpug-study-postgre-sql-10-pub-67-320.jpg)
![68
CREATE TABLE 構文
子テーブル側
Declarative Partitioning
CREATE [ [ GLOBAL | LOCAL ] { TEMPORARY | TEMP } | UNLOGGED ] TABLE [ IF NOT EXISTS ]
table_name
PARTITION OF parent_table [ (
{ column_name [ column_constraint [ ... ] ]
| table_constraint }
[, ... ]
) ] FOR VALUES partition_bound_spec
[ PARTITION BY { RANGE | LIST } ( { column_name | ( expression ) } [ COLLATE
collation ] [ opclass ] [, ... ] ) ]
[ WITH ( storage_parameter [= value] [, ... ] ) | WITH OIDS | WITHOUT OIDS ]
[ ON COMMIT { PRESERVE ROWS | DELETE ROWS | DROP } ]
[ TABLESPACE tablespace_name ]
子テーブル側にも PARTITION BY が！
多段パーティション定義が可能！](https://image.slidesharecdn.com/jpug-study-postgresql-10-pub-170527052329/85/Jpug-study-postgre-sql-10-pub-68-320.jpg)
![80
パーティション状態の確認
子テーブルの確認
Declarative Partitioning
partition=# d+ kanagawa
Table "public.kanagawa"
Column | Type | Collation | Nullable | Default | Storage | Stats target |
Description
--------+------+-----------+----------+---------+----------+--------------
+-------------
pref | text | | | | extended | |
city | text | | | | extended | |
data | text | | | | extended | |
Partition of: japan FOR VALUES IN (' 神奈川 ')
Partition constraint: ((pref IS NOT NULL) AND (pref = ANY (ARRAY[' 神奈川 '::text])))
所属する親テーブルと、パーティションキー値、制約条件
を表示してくれる。](https://image.slidesharecdn.com/jpug-study-postgresql-10-pub-170527052329/85/Jpug-study-postgre-sql-10-pub-80-320.jpg)
![100
GUC の差分
GUC の差分
パラメータ名 変更種別 変更内容 ぬこメモ
archive_timeout 説明変更 “xlog” → “wal”
bgwriter_lru_maxpages 最大値変更 1000 → 1073741823
enable_gathermerge 追加 パラレルクエリに関す
るプランナ制御
hot_standby デフォルト値
変更
of -> on
log_directory デフォルト値変
更
pg_log → log
log_line_prefix デフォルト値
変更
'' → '%m [%p]'
max_logical_replication_w
orkers
追加 ロジカルレプリケー
ション用のワーカ最大
数
max_parallel_workers 追加 パラレルクエリ制御](https://image.slidesharecdn.com/jpug-study-postgresql-10-pub-170527052329/85/Jpug-study-postgre-sql-10-pub-100-320.jpg)
![[Postgre sql9.4新機能]レプリケーション・スロットの活用](https://cdn.slidesharecdn.com/ss_thumbnails/postgresql9-140909012453-phpapp01-thumbnail.jpg?width=640&height=640&fit=bounds)
![[db tech showcase Tokyo 2015] B17:PostgreSQLで動的にスケールアウト可能な負荷分散DBクラスタを作ろう！ by ...](https://cdn.slidesharecdn.com/ss_thumbnails/dbts-tokyo-2015b17postgresqlsraoss-150616021919-lva1-app6892-thumbnail.jpg?width=640&height=640&fit=bounds)
