HighLoad++ 2017 Зал «Кейптаун», 7 ноября, 12:00 Тезисы: http://www.highload.ru/2017/abstracts/2868.html В Avito объявления хранятся в базах данных Postgres. При этом уже на протяжении многих лет активно применяется логическая репликация. С помощью неё успешно решаются вопросы роста объема данных и количества запросов к ним, масштабирования и распределения нагрузки, доставки данных в DWH и поисковые подсистемы, меж-базные и меж-сервисные синхронизации данных и пр. ...

1. Логическая
репликация
и
Костантин Евтеев
Михаил Тюрин
Сергей Бурладян

2. Гибкость хранения
Event tracking
Управление доступом
Масштабирование
Интеграция
Обновление
Логическая репликация

3. Логическая репликация в Авито
Доставка справочников
Распределение нагрузки
Partial replication в сервисы
Доставка данных в поисковые системы
Persistent queue
Межсервисное взаимодестивие
Building data streams (PGDAY 2016) goo.gl/1ZT4Bb
Поток данных в Авито (PgConf.Russia 2016) goo.gl/mwhwya

4. История
1999: PostgreSQL 6.5.3 MVCC

5. История
1999: PostgreSQL 6.5.3 MVCC
2000: Rep script

6. История
1999: PostgreSQL 6.5.3 MVCC
2001: PostgreSQL 7.1: write-ahead log
2000: Rep script

7. История
1999: PostgreSQL 6.5.3 MVCC
2001: PostgreSQL 7.1: write-ahead log
2000: Rep script
2004: Slony

8. История
2000: Rep script
2004: Slony
1999: PostgreSQL 6.5.3 MVCC
2001: PostgreSQL 7.1: write-ahead log
2005: PostgreSQL 8.0: point-in-time
recovery

9. История
1999: PostgreSQL 6.5.3 MVCC
2001: PostgreSQL 7.1: write-ahead log
2005: PostgreSQL 8.0: point-in-time
recovery
2000: Rep script
2004: Slony
2007 PgQ, Londiste

10. 2008: 8.3: standby

11. 2008: 8.3: standby
2010: 9.0: hot standby, streaming replication

12. 2008: 8.3: standby
2010: 9.0: hot standby, streaming replication
2013: 9.3: sb can follow timeline switch

13. 2008: 8.3: standby
2010: 9.0: hot standby, streaming replication
2013: 9.3: sb can follow timeline switch
2014: 9.4: replication slots, logical decoding

14. 2008: 8.3: standby
2010: 9.0: hot standby, streaming replication
2013: 9.3: sb can follow timeline switch
2014: 9.4: replication slots, logical decoding
2017: 10: logical replication

15. MVCC
BEGIN
BEGIN COMMIT
COMMIT
insert into t (val)
values 1
insert into t (val) values
(2)
select * from t where val
in (1,2)
( 0 rows )
select * from t where val
in (1,2)
( 2 rows )

16. MVCC
txid = 1301
COMMIT
Snapshot
xmin = 1302
xmax = 1306 ( 1305 +1)
xip = xip = [1302, 1305]
time
txid = 1302
txid = 1303
txid = 1304
txid = 1305
txid = 1306

17. Rep script Вадима Михеева

18. Slony
Slonik
Slon
Slony Schema
– конфигурация и текущее состояние в таблицах бд
– Процедуры, которые вызывают slon/slonik
Triggers запись в очередь

19. Идеи
Vadim Mikheev (rserv)
We can export internal Postgres visibility info
(trancaction id /snapshot).

20. Идеи
Vadim Mikheev (rserv)
We can export internal Postgres visibility info
(trancaction id /snapshot).
Верхний ряд: Thomas Lockhart, Jan Wieck, Tom Lane, Marc Fournier
Нижний ряд: Vadim Mikheev, Bruce Momjian
https://www.postgresql.org/files/developer/history.pdf

21. Идеи
Jan Wieck (Slony-I)
If we have 2 snapshots, we can query events that
happened between them.
“Agreeable order” - order taken from sequence in
AFTER trigger

22. Идеи
Jan Wieck (Slony-I)
If we have 2 snapshots, we can query events that
happened between them.
“Agreeable order” - order taken from sequence in
AFTER trigger
Верхний ряд: Thomas Lockhart, Jan Wieck, Tom Lane, Marc Fournier
Нижний ряд: Vadim Mikheev, Bruce Momjian
https://www.postgresql.org/files/developer/history.pdf

23. Postgres специфичное решение,
на основе MVCC
Transaction IDs (txid) назначаются последовательно
Транзакции могут быть открыты различное время, и их результаты должны
быть невидимы в этот момент
Snapshot представляет собой точку во времени и он разделяет txids,
результаты которых доступны и те, которые продолжают выполняться

24. PGQ, Londiste
Xmin – lowest transaction ID in progress
Xmax – first unassigned transaction ID
Xip – list of transaction Ids in progress
txid_visible_in_snapshot(txid, snap) =
txid < snap.xmin
OR
( txid < snap.xmax AND txid NOT IN (snap.xip) )

25. Snapshot 1: xmin1, xmax1, xip1
Snapshot 2: xmin2, xmax2, xip2
select * from queue q
where ... and
not is_visible(q.ev_txid, snap1)
and is_visible(q.ev_txid, snap2)
https://wiki.postgresql.org/wiki/SkyTools

26. Snapshot 1: xmin1, xmax1, xip1
Snapshot 2: xmin2, xmax2, xip2
select * from queue q
where q.ev_txid between xmin1 and xmax2 and
not is_visible(q.ev_txid, snap1)
and is_visible(q.ev_txid, snap2)
https://wiki.postgresql.org/wiki/SkyTools

27. Londiste
https://www.pgcon.org/2009/schedule/attachments/91_pgq.pdf

28. Streaming
heap
Postgres executor
Shared buffers
8K 8K 8K 8K 8K8K
8K 8K 8K8K 8K
app
master

29. Streaming
heap
Postgres executor
16 Mb
16 Mb
16 Mb
16 Mb
Oscache
Shared buffers
8K 8K 8K 8K 8K8K
8K 8K 8K8K 8K
app
master

30. Streaming
heap
Postgres executor
16 Mb
16 Mb
16 Mb
16 Mb
16 Mb
16 Mb
16 Mb
archiveOscacheDisc
16 Mb
Shared buffers
8K 8K 8K 8K 8K8K
8K 8K 8K8K 8K
app
master

31. Streaming
heap
Postgres executor
16 Mb
16 Mb
16 Mb
16 Mb
16 Mb
16 Mb
16 Mb
Replication slot
archiveOscacheDisc
16 Mb
WAL sender
Shared buffers
8K 8K 8K 8K 8K8K
8K 8K 8K8K 8K
WAL receiver
app
master standby

32. Streaming
heap
Postgres executor
16 Mb
16 Mb
16 Mb
16 Mb
16 Mb
16 Mb
16 Mb
Replication slot
archiveOscacheDisc
16 Mb
WAL sender
Shared buffers
8K 8K 8K 8K 8K8K
8K 8K 8K8K 8K
WAL receiver
16 Mb
16 Mb
16 Mb
16 Mb
16 Mb
16 Mb
16 Mb
OscacheDisc
app
master standby

33. Streaming
heap
Postgres executor
16 Mb
16 Mb
16 Mb
16 Mb
16 Mb
16 Mb
16 Mb
Replication slot
archiveOscacheDisc
16 Mb
WAL sender
Shared buffers
8K 8K 8K 8K 8K8K
8K 8K 8K8K 8K
WAL receiver
heap
Postgres executor
Shared buffers
8K 8K 8K 8K 8K8K
8K 8K 8K8K 8K
16 Mb
16 Mb
16 Mb
16 Mb
16 Mb
16 Mb
16 Mb
OscacheDisc
app
Startup process
master standby

34. Logical
heap
Postgres executor
16 Mb
16 Mb
16 Mb
16 Mb
16 Mb
16 Mb
16 Mb
Replication slot
archiveOscacheDisc
16 Mb
WAL sender
Logical replicaton launcher
Shared buffers
8K 8K 8K 8K 8K8K
8K 8K 8K8K 8K
Logical (commit order)
Logical
decoding
Logical replication
worker for
subscription N
heap
Postgres executor
Shared buffers
8K 8K 8K 8K 8K8K
8K 8K 8K8K 8K
16 Mb
16 Mb
16 Mb
16 Mb
16 Mb
16 Mb
16 Mb
archiveOscacheDisc
16 Mb
app
publisher subscriber

35. MatView
db
category
location
title
...
description
items
_id
value_1
value_2
value_3
...
value_4
options.category_xxx
_id
pay info
category_xxx
item_coordinates
moderated_data
lock
CONSTRAINT TRIGGER
category
values
...
repca_mv
item_id
https://goo.gl/sXABqK (19 слайд)
https://goo.gl/a6Z3gE
https://goo.gl/jR5Sa2
https://pgconf.ru/media2015c/tyurin.pdf (11 слайд)

36. MatView + Londiste
indexer
repca
category
values
...
repca_mv
item_id
Shared
buffers
db
category
location
title
...
description
items
_id
value_1
value_2
value_3
...
value_4
options.category_xxx
_id
pay info
category_xxx
item_coordinates
moderated_data
lock
CONSTRAINT TRIGGER
category
values
...
repca_mv
item_id
repca_mv
repca_mv_c_1
repca_mv_c_2
repca_mv_c_3
repca_mv_c_xxx
londiste

37. Repca
2014 2016 2017
0
1000
2000
3000
4000
5000
6000
7000
2014 2016 2017
0
100
200
300
400
500
600
700
800
900
CPU usage
CPU
Year
%
~800% ~500% ~700%
TPS
~4000 ~6500 ~5000
TPS
Cpu usage
~700%
~5000

38. MatView + Londiste
indexer
repca
category
values
...
repca_mv
item_id
Shared
buffers
db
category
location
title
...
description
items
_id
value_1
value_2
value_3
...
value_4
_id
pay info
category_xxx
item_coordinates
moderated_data
lock
CONSTRAINT TRIGGER
category
values
...
repca_mv
item_id
repca_mv
repca_mv_c_1
repca_mv_c_2
repca_mv_c_3
repca_mv_c_xxx
londiste

39. Real time Sphinx index
3 секунды!!!
Main DB
mat_view_index
Id
field1
….
filedN
DB-RE-IND
mat_view_index
Id
field1
….
filedN
sphinx
londiste
pgq pgq consumer

40. Sphinx reindex
Main DB
mat_view_index
Id
field1
….
filedN
DB-RE-IND
mat_view_index
Id
field1
….
filedN
sphinx
londiste
Select full reindex
pgq
Select full reindex
Select full reindex
Select full reindex
...

41. MatView + Londiste
indexer
repca
category
values
...
repca_mv
item_id
Shared
buffers
db
category
location
title
...
description
items
_id
value_1
value_2
value_3
...
value_4
_id
pay info
category_xxx
item_coordinates
moderated_data
lock
CONSTRAINT TRIGGER
category
values
...
repca_mv
item_id
repca_mv
repca_mv_c_1
repca_mv_c_2
repca_mv_c_3
repca_mv_c_xxx
londiste

42. Производное от данных
●
Deffered trigger
●
Собрать все сигналы (GUC for session)
●
На приемнике конвеер обработки и передача по цепочке

43. Падение provider
provider
sb
subscriber
provider
undo

44. Падение provider
provider
sb
subscriber
provider
1 crash
undo

45. Падение provider
provider
sb
subscriber
provider2 promote
undo

46. Падение provider
promoted
provider
sb
subscriber
3 play undo
undo

47. Падение provider
promoted
provider
sb
subscriber
4 start
сonsumer
undo

48. Падение subscriber
provider Subscriber
master
Subscriber
standby

49. Падение subscriber
provider Subscriber
master
Subscriber
standby
1 crash

50. Падение subscriber
provider Subscriber
master
Promoted
subscriber
standby
2 Promote

51. Падение subscriber
provider Subscriber
master
Promoted
subscriber
standby
3 change queue position
according to destination
and start

52. Падение subscriber
provider Subscriber
master
Promoted
subscriber
standby
4 Start logical
replay

53. Создание копии подписчика
provider
subscriber
subscriber

54. Создание копии подписчика
provider
subscriber
subscriber
1 crash

55. Создание копии подписчика
provider
subscriber
subscriber
2 resubscribe

56. Создание копии подписчика
provider
subscriber
subscriber
subscriber
3 wait 2 and
copy
(pg_dump - j)

57. Создание копии подписчика
provider
subscriber
subscriber
subscriber
4 change queue position
according to destination

58. Создание копии подписчика
provider
subscriber
subscriber
subscriber5 start

59. План демонстрации
Londiste (9.6) и Logical (10):
● инициализация базы master, standby, repca1
(items, cats, INSERT)
● создание логической репликации
● создать вторую реплику через pg_dump
● авария и promote standby
● UNDO
● ok!

60. План демонстрации
https://github.com/avito-tech/dba-docs/blob/master/2017-h
ighload/plan.text

61. Проблемы logical
● текущая сессия: LSN, replication origin
● lock replication
● для pg_replication_origin_advance нужно commit stop
● pg_replication_origin_advance не сдвигает слот на src (REDO)
● replication origin не транзакционен (shared memory + WAL реплики)
● pg_dump (replication origin, pg_subscription_rel, и т.п.)
● logical slots на standby (дырка после promote)

62. SkyTools PostgreSQL10
Repca OK OK
Sphinx OK OK
Event tracking OK OK (overhead на proxy
таблицу)
Rt index OK ОК(sql protocol)
Unlogged table OK -
Undo OK OK (хочется простой
реализации из коробки)
Redo OK OK (хочется чтобы
pg_replication_origin_advanc
e сдвигал слот на src)
Upgrade OK OK

63. WALs out of page cache (archive)
heap
Postgres executor
16 Mb
16 Mb
16 Mb
16 Mb
16 Mb
16 Mb
16 Mb
archiveOscacheDisc
16 Mb
Shared buffers
8K 8K 8K 8K 8K8K
8K 8K 8K8K 8K
heap
Postgres executor
Shared buffers
8K 8K 8K 8K 8K8K
8K 8K 8K8K 8K
16 Mb
16 Mb
16 Mb
16 Mb
16 Mb
16 Mb
16 Mb
OscacheDisc
app
WAL archiver
16 Mb16 Mb16 Mb16 Mb16 Mb
16 Mb16 Mb16 Mb16 Mb16 Mb16 Mb
Startup process
Double Buffering Blues (https://goo.gl/wbPs4L) https://goo.gl/hz6NWE

64. WALs out of page cache ( logical)
heap
Postgres executor
16 Mb
16 Mb
16 Mb
16 Mb
16 Mb
16 Mb
16 Mb
Replication slot
archiveOscacheDisc
16 Mb
WAL sender
Logical replicaton launcher
Shared buffers
8K 8K 8K 8K 8K8K
8K 8K 8K8K 8K
Logical (commit order)
Logical
decoding
Logical replication
worker for
subscription N
heap
Postgres executor
Shared buffers
8K 8K 8K 8K 8K8K
8K 8K 8K8K 8K
16 Mb
16 Mb
16 Mb
16 Mb
16 Mb
16 Mb
16 Mb
archiveOscacheDisc
16 Mb
app

65. kevteev@avito.ru
https://habrahabr.ru/company/avito/
https://github.com/avito-tech/dba-docs