Download as ODP, PPTX
![9
Вопросы и источники
●
Что происходит при OID wraparond?
●
Сказывается ли это на производительности?
●
Могут ли закончиться OID?
●
В каком случае, и что тогда произойдет?
●
Документация про OID
●
[HACKERS] 32bit OID wrap around conceerns](https://image.slidesharecdn.com/5-160324150607/85/Hacking-PostgreSQL-9-320.jpg)
![18
pg_buffercache
db=# CREATE EXTENSION pg_buffercache;
db=# SELECT * FROM pg_buffercache WHERE relfilenode ='tbl'::regclass ;
-[ RECORD 1 ]----+------
bufferid | 454
relfilenode | 16502
reltablespace | 1663
reldatabase | 16501
relforknumber | 0
relblocknumber | 0
isdirty | t
usagecount | 2
pinning_backends | 0
db=# CHECKPOINT;
db=# SELECT * FROM pg_buffercache WHERE relfilenode ='tbl'::regclass ;
-[ RECORD 1 ]----+------
bufferid | 454
relfilenode | 16502
reltablespace | 1663
reldatabase | 16501
relforknumber | 0
relblocknumber | 0
isdirty | f
usagecount | 2
pinning_backends | 0](https://image.slidesharecdn.com/5-160324150607/85/Hacking-PostgreSQL-18-320.jpg)
![19
pageinspect
~/projects/postgresql_data/base/16501$ wc -c 16502
/*В файле появились данные!*/
db=# CREATE EXTENSION pageinspect;
db=# select * from heap_page_items(get_raw_page('tbl',0));
-[ RECORD 1 ]-------------------
lp | 1
lp_off | 8160
lp_flags | 1
lp_len | 32
t_xmin | 720
t_xmax | 0
t_field3 | 0
t_ctid | (0,1)
t_infomask2 | 2
t_infomask | 2048
t_hoff | 24
t_bits |
t_oid |
t_data | x0100000001000000](https://image.slidesharecdn.com/5-160324150607/85/Hacking-PostgreSQL-19-320.jpg)
![27
Forks
src/include/common/relpath.h
typedef enum ForkNumber
{
InvalidForkNumber = -1,
MAIN_FORKNUM = 0,
FSM_FORKNUM,
VISIBILITYMAP_FORKNUM,
INIT_FORKNUM
} ForkNumber;
src/common/relpath.c
const char *const forkNames[] = {
"main", /* MAIN_FORKNUM */
"fsm", /* FSM_FORKNUM */
"vm", /* VISIBILITYMAP_FORKNUM */
"init" /* INIT_FORKNUM */
};](https://image.slidesharecdn.com/5-160324150607/85/Hacking-PostgreSQL-27-320.jpg)
![34
PageHeaderData
src/include/storage/bufpage.h
typedef struct PageHeaderData
{
/* XXX LSN is member of *any* block, not only page-organized ones */
PageXLogRecPtr pd_lsn; /* LSN: next byte after last byte of xlog
* record for last change to this page */
uint16 pd_checksum; /* checksum */
uint16 pd_flags; /* flag bits, see below */
LocationIndex pd_lower; /* offset to start of free space */
LocationIndex pd_upper; /* offset to end of free space */
LocationIndex pd_special; /* offset to start of special space */
uint16 pd_pagesize_version;
TransactionId pd_prune_xid; /* oldest prunable XID, or zero if none */
ItemIdData pd_linp[FLEXIBLE_ARRAY_MEMBER]; /* line pointer array */
} PageHeaderData;](https://image.slidesharecdn.com/5-160324150607/85/Hacking-PostgreSQL-34-320.jpg)
Uploaded byAnastasia Lubennikova
Hacking PostgreSQL. Физическое представление данных
Документ рассматривает физическое представление данных в PostgreSQL, включая темы, такие как идентификаторы объектов (OID), файловая структура и управление хранением. В нем также обсуждаются отношения между таблицами и файлами, а также типы объектов и их идентификаторы. В заключение приведены вопросы и источники, касающиеся OID и связанных тем.
More Related Content
![[Practical owi] lock & latch](https://cdn.slidesharecdn.com/ss_thumbnails/practicalowilocklatch-160421010819-thumbnail.jpg?width=640&height=640&fit=bounds)
Similar to Hacking PostgreSQL. Физическое представление данных
Hacking PostgreSQL. Физическое представление данных
- 1. www.postgrespro.ru Физическое Представление данных HackingPostgreSQL 24.03.2016
- 2.
- 3. 3 Ответ на вопрос Вопрос: Гденайти номера стратегий для написания класса операторов? Ответ: src/include/access/stratnum.h
- 4. 4 Relation – объектбазы данных src/include/catalog/pg_class.h #define RELKIND_RELATION 'r' /* ordinary table */ #define RELKIND_INDEX 'i' /* secondary index */ #define RELKIND_SEQUENCE 'S' /* sequence object */ #define RELKIND_TOASTVALUE 't' /* for out-of-line values */ #define RELKIND_VIEW 'v' /* view */ #define RELKIND_COMPOSITE_TYPE 'c' /* composite type */ #define RELKIND_FOREIGN_TABLE 'f' /* foreign table */ #define RELKIND_MATVIEW 'm' /* materialized view */
- 5. 5 OID src/include/postgres_ext.h /* Object IDis a fundamental type in Postgres. */ typedef unsigned int Oid; #define InvalidOid ((Oid) 0) src/include/access/transam.h #define FirstBootstrapObjectId 10000 #define FirstNormalObjectId 16384
- 6. 6 Генератор OID src/backend/catalog/catalog.c Oid GetNewOid(Relation relation) Oid GetNewRelFileNode (Oid reltablespace, Relation pg_class, char relpersistence) src/backend/access/transam/varsup.c Oid GetNewObjectId()
- 7.
- 8. 8 Приведение типов SELECT oid,relname FROM pg_class LIMIT 1; oid | relname ------+-------------- 2619 | pg_statistic SELECT * FROM pg_attribute WHERE attrelid = 'pg_statistic'::regclass; SELECT * FROM pg_attribute WHERE attrelid = (SELECT oid FROM pg_class WHERE relname = 'pg_statistic'); SELECT 'pg_statistic'::regclass::oid; oid ------ 2619 SELECT 2619::regclass; regclass -------------- pg_statistic
- 9. 9 Вопросы и источники ● Чтопроисходит при OID wraparond? ● Сказывается ли это на производительности? ● Могут ли закончиться OID? ● В каком случае, и что тогда произойдет? ● Документация про OID ● [HACKERS] 32bit OID wrap around conceerns
- 10. 10 $PGDATA PGDATA="/home/anastasia/projects/postgresql_data" ls -CF base/ pg_multixact/pg_tblspc/ global/ pg_notify/ pg_twophase/ pg_clog/ pg_replslot/ PG_VERSION pg_commit_ts/ pg_serial/ pg_xlog/ pg_dynshmem/ pg_snapshots/ postgresql.auto.conf pg_hba.conf pg_stat/ postgresql.conf pg_ident.conf pg_stat_tmp/ postmaster.opts pg_logical/ pg_subtrans/
- 11. 11 $PGDATA/global ls -CF 1136 12332396_vm 2846_vm 4060 1136_fsm 1260 2397 2847 4060_vm 1136_vm 1260_fsm 2671 2964 4061 1137 1260_vm 2672 2964_vm 6000 1213 1261 2676 2965 6000_vm 1213_fsm 1261_vm 2677 2966 6001 1213_vm 1262 2694 2966_vm 6002 1214 1262_fsm 2695 2967 pg_control 1214_fsm 1262_vm 2697 3592 pg_filenode.map 1214_vm 2396 2698 3592_vm pg_internal.init 1232 2396_fsm 2846 3593
- 12. 12 Файлы в pg_global postgres=#SELECT oid, spcname FROM pg_tablespace ; oid | spcname ------+------------ 1663 | pg_default 1664 | pg_global postgres=# SELECT oid, relfilenode, relname FROM pg_class WHERE reltablespace = 1664 ORDER BY oid; oid | relfilenode | relname ------+-------------+----------------------------------------- 1136 | 0 | pg_pltemplate 1137 | 0 | pg_pltemplate_name_index 1213 | 0 | pg_tablespace 1214 | 0 | pg_shdepend 1232 | 0 | pg_shdepend_depender_index 1233 | 0 | pg_shdepend_reference_index 1260 | 0 | pg_authid 1261 | 0 | pg_auth_members 1262 | 0 | pg_database 2396 | 0 | pg_shdescription 2397 | 0 | pg_shdescription_o_c_index 2671 | 0 | pg_database_datname_index
- 13. 13 Файлы в pg_global(2) postgres=# SELECT oid, relfilenode, relname FROM pg_class WHERE reltablespace = 1664 ORDER BY oid; oid | relfilenode | relname ------+-------------+----------------------------------------- 2676 | 0 | pg_authid_rolname_index 2677 | 0 | pg_authid_oid_index 2694 | 0 | pg_auth_members_role_member_index 2695 | 0 | pg_auth_members_member_role_index 2697 | 0 | pg_tablespace_oid_index 2698 | 0 | pg_tablespace_spcname_index 2846 | 0 | pg_toast_2396 2847 | 0 | pg_toast_2396_index 2964 | 0 | pg_db_role_setting 2965 | 0 | pg_db_role_setting_databaseid_rol_index 2966 | 0 | pg_toast_2964 2967 | 0 | pg_toast_2964_index 3592 | 0 | pg_shseclabel 3593 | 0 | pg_shseclabel_object_index 4060 | 0 | pg_toast_3592 4061 | 0 | pg_toast_3592_index 6000 | 0 | pg_replication_origin 6001 | 0 | pg_replication_origin_roiident_index
- 14. 14 Tablespaces src/include/catalog/pg_tablespace.h Документация pg_tblspc/ ● содержит ссылки надиректории ● view pg_tablespace содержит имена объектов и их идентификаторы ● НЕ является независимой частью кластера!
- 15. 15 $PGDATA/base ls -CF 1/ 12423/12424/ 16501/ pgsql_tmp/ contrib/oid2name $oid2name All databases: Oid Database Name Tablespace ---------------------------------- 16501 db pg_default 12424 postgres pg_default 12423 template0 pg_default 1 template1 pg_default
- 16. 16 pg_relation_filepath src/backend/utils/adt/dbsize.c db=# df pg*relation* Listof functions Schema | Name | Result data type | Argument data types | Type ------------+--------------------------+------------------+---------------------+-------- pg_catalog | pg_filenode_relation | regclass | oid, oid | normal pg_catalog | pg_relation_filenode | oid | regclass | normal pg_catalog | pg_relation_filepath | text | regclass | normal pg_catalog | pg_relation_is_updatable | integer | regclass, boolean | normal pg_catalog | pg_relation_size | bigint | regclass | normal pg_catalog | pg_relation_size | bigint | regclass, text | normal pg_catalog | pg_total_relation_size | bigint | regclass | normal db=# SELECT pg_relation_filepath('tbl'); pg_relation_filepath ---------------------- base/16497/16498 db=# SELECT pg_filenode_relation(0, 16498); pg_filenode_relation ---------------------- tbl
- 17. 17 $PGDATA/base/16501 db=# CREATE TABLEtbl (a int, b int); db=# SELECT oid, relname, relfilenode FROM pg_class WHERE relname='tbl'; oid | relname | relfilenode -------+---------+------------- 16502 | tbl | 16502 ~/projects/postgresql_data/base/16501$ ls 16502* 16502 ~/projects/postgresql_data/base/16501$ wc -c 16502 /*абсолютно пустой файл*/ db=# INSERT INTO tbl VALUES (1,1); ~/projects/postgresql_data/base/16501$ wc -c 16502 /*снова абсолютно пустой файл*/
- 18. 18 pg_buffercache db=# CREATE EXTENSIONpg_buffercache; db=# SELECT * FROM pg_buffercache WHERE relfilenode ='tbl'::regclass ; -[ RECORD 1 ]----+------ bufferid | 454 relfilenode | 16502 reltablespace | 1663 reldatabase | 16501 relforknumber | 0 relblocknumber | 0 isdirty | t usagecount | 2 pinning_backends | 0 db=# CHECKPOINT; db=# SELECT * FROM pg_buffercache WHERE relfilenode ='tbl'::regclass ; -[ RECORD 1 ]----+------ bufferid | 454 relfilenode | 16502 reltablespace | 1663 reldatabase | 16501 relforknumber | 0 relblocknumber | 0 isdirty | f usagecount | 2 pinning_backends | 0
- 19. 19 pageinspect ~/projects/postgresql_data/base/16501$ wc -c16502 /*В файле появились данные!*/ db=# CREATE EXTENSION pageinspect; db=# select * from heap_page_items(get_raw_page('tbl',0)); -[ RECORD 1 ]------------------- lp | 1 lp_off | 8160 lp_flags | 1 lp_len | 32 t_xmin | 720 t_xmax | 0 t_field3 | 0 t_ctid | (0,1) t_infomask2 | 2 t_infomask | 2048 t_hoff | 24 t_bits | t_oid | t_data | x0100000001000000
- 20. 20 oid vs relfilenode db=#SELECT oid, relname,relfilenode FROM pg_class WHERE relname='tbl'; oid | relname | relfilenode -------+---------+------------- 16502 | tbl | 16502 db=# TRUNCATE tbl ; db=# SELECT oid, relname,relfilenode FROM pg_class WHERE relname='tbl'; oid | relname | relfilenode -------+---------+------------- 16502 | tbl | 16531
- 21. 21 RelFileNode src/include/storage/relfilenode.h typedef struct RelFileNode { OidspcNode; /* tablespace */ Oid dbNode; /* database */ Oid relNode; /* relation */ } RelFileNode; typedef struct RelFileNodeBackend { RelFileNode node; BackendId backend; } RelFileNodeBackend;
- 22.
- 23.
- 24. 24 Страница(блок) – единицаI/O src/include/storage/bufpage.h src/backend/access/nbtree/nbtpage.c Разные методы доступа отличаются структурой данных на странице
- 25. 25 Сегмент (файл) -набор блоков src/include/storage/block.h typedef uint32 BlockNumber; #define InvalidBlockNumber ((BlockNumber) 0xFFFFFFFF) #define MaxBlockNumber (BlockNumber) 0xFFFFFFFE) typedef struct BlockIdData { uint16 bi_hi; uint16 bi_lo; } BlockIdData; /* block identifier */ typedef BlockIdData *BlockId;
- 26. 26 Relation – наборсегментов + системные данные (forks)
- 27. 27 Forks src/include/common/relpath.h typedef enum ForkNumber { InvalidForkNumber= -1, MAIN_FORKNUM = 0, FSM_FORKNUM, VISIBILITYMAP_FORKNUM, INIT_FORKNUM } ForkNumber; src/common/relpath.c const char *const forkNames[] = { "main", /* MAIN_FORKNUM */ "fsm", /* FSM_FORKNUM */ "vm", /* VISIBILITYMAP_FORKNUM */ "init" /* INIT_FORKNUM */ };
- 28. 28 MAIN src/include/catalog/storage.h src/backend/catalog/storage.c src/include/storage/buf.h src/include/storage/bufmgr.h void RelationCreateStorage(RelFileNode rnode, charrelpersistence) Buffer ReadBuffer (Relation reln, BlockNumber blockNum)
- 29.
- 30.
- 31. 31 VisibilityMap src/backend/access/heap/visibilitymap.c 2 бита настраницу: ● All visible ● All frozen
- 32.
- 33. 33 Страница src/include/storage/bufpage.h * +----------------+---------------------------------+ * |PageHeaderData | linp1 linp2 linp3 ... | * +-----------+----+---------------------------------+ * | ... linpN | | * +-----------+--------------------------------------+ * | ^ pd_lower | * | | * | v pd_upper | * +-------------+------------------------------------+ * | | tupleN ... | * +-------------+------------------+-----------------+ * | ... tuple3 tuple2 tuple1 | "special space" | * +--------------------------------+-----------------+
- 34. 34 PageHeaderData src/include/storage/bufpage.h typedef struct PageHeaderData { /*XXX LSN is member of *any* block, not only page-organized ones */ PageXLogRecPtr pd_lsn; /* LSN: next byte after last byte of xlog * record for last change to this page */ uint16 pd_checksum; /* checksum */ uint16 pd_flags; /* flag bits, see below */ LocationIndex pd_lower; /* offset to start of free space */ LocationIndex pd_upper; /* offset to end of free space */ LocationIndex pd_special; /* offset to start of special space */ uint16 pd_pagesize_version; TransactionId pd_prune_xid; /* oldest prunable XID, or zero if none */ ItemIdData pd_linp[FLEXIBLE_ARRAY_MEMBER]; /* line pointer array */ } PageHeaderData;
- 35. 35 PageAddItem src/include/storage/bufpage.h src/backend/storage/page/bufpage.c OffsetNumber PageAddItem(Page page, Itemitem, Size size, OffsetNumber offsetNumber, bool overwrite, bool is_heap)
- 36. 36 Домашнее задание. Подумать. ● Чтопроисходит при OID wraparond? ● Могут ли закончиться OID?
- 37. 37 Домашнее задание. ● Простое ● Регрессионные тестыдля pageinspect ● Перенести функции gevel в pageinspect ● Контриб, который воспроизводимо ломает данные в файле таблицы/индекса (чисто в академических целях). Может быть функция в pageinspect. ● Сложное ● Обновление default значений ● Чтение данных из битых файлов
- 38.
- 39. 39 Ребята, помогите Насте успетьк Feature Freeze ● https://commitfest.postgresql.org/9/433/ ● https://commitfest.postgresql.org/9/494/
- 40. 40 Отмена лекций Занятий 31.03 и07.04 не будет
- 41. www.postgrespro.ru Спасибо за внимание! Вопросы? HackingPostgreSQL 24.03.2016 hacking@postgrespro.ru
Editor's Notes
- #5 Прежде, чем говорить о физическом хранении данных в базе, надо сначала понять, какие же собственно объекты могут в ней находиться. Обратимся к нашему любимому каталогу. В этой лекции самым полезным и интересным будет pg_class. В этом каталоге описываются таблицы и практически всё, что имеет колонки или каким-то образом подобно таблице. У каждого relation есть уникальный идентификатор OID.
- #6 OID или object indentificator, вообще говоря, есть не только у отношений, но у любого объекта PostgreSQL. Объектами являются сами базы данных, отношения, функции, типы данных и так далее. Каждому элементу enum в постгресе тоже присваивается отдельный OID. Глубоко внутри OID это всего лишь unsigned int, но небольшой набор правил превращает его в фундаментальный тип данных постгреса. Итак OID со значением 0 обозначает невалидный OID. Первые 10 тысяч значений зарезервированы для назначения вручну предопределенных OID. Используются они, например, в файлах src/include/catalog Значения от 10 тысяч до 16383 (совершенно необъяснимое магическое число) зарезервированы для назначения в процессе работы initdb. Значения OID начиная с 16384 назначаются генератором OID в процессе обычной работы сервера. Unsigned int содержит много значений, но всё-таки не бесконечно. Поэтому иногда происходит wraparound генератора OID, при этом значения от 0 до FirstNormalObjectId пропускаются.
- #7 При создания нового объекта (кроме объектов отношений), нужно сначала сгенерировать для него OID. Функция GetNewOid генерирует OID, уникальный в пределах заданного отношения. Например для создания новой базы нужно вызвать GetNewOid от таблицы каталога pg_database. Уникальность обеспечивается тем, что на всех соответствующих таблицах каталога есть уникальный индекс. При создании relation, OID, если нужно, назначается функцией GetNewRelFileNode. Про то, что такое relfilenode чуть позже. Обе эти функции вызывают внутренний генератор GetNewObjectId, который получает значение nextOid из глобального для всего кластера счетчика OID. Зачем я вам всё это рассказываю? С практической стороны глобальные OID — одно из препятствий, которое нужно преодолеть, для реализации бэкапа отдельной базы.
- #8 Если вы создаете новую запись в системном каталоге вручную, например добавляете функцию в pg_proc, нужно выбрать для неё OID и вписать его в строку самостоятельно. Скрипт unused_oids помогает найти свободные для использования OID. Если для некоторых целей вам понадобился целый набор OID, лучше выбрать последовательные значения. Скрипт duplicate_oids можно использовать для проверки уникальности OID. Например, после merge.
- #9 Некоторые таблицы каталога содержат системную скрытую колонку OID, чтобы вывести её, надо явно задать её в select. Select * не выдаст вам oid. Для удобства есть различные alias для OID. Например regclass. Помимо regclass есть ещё regproc, regtype и другие типы идентификаторов, которые соответствуют разным таблицам каталога.
- #10 Если вы создаете новую запись в системном каталоге вручную, например добавляете функцию в pg_proc, нужно выбрать для неё OID и вписать его в строку самостоятельно. Скрипт unused_oids помогает найти свободные для использования OID. Если для некоторых целей вам понадобился целый набор OID, лучше выбрать последовательные значения. Скрипт duplicate_oids можно использовать для проверки уникальности OID. Например, после merge.
- #11 Postgres работает поверх файловой системы. Данные, относящиеся к одному инстансу postgres лежат в директории data. Её расположение можно задать переменной окружения $PGDATA. Эта директория содержит несколько управляющих файлов и поддиректорий, каждая из которых имеет особое назначение. Сегодня мы будем говорить не про все из них, а только про те, которые содержат непосредственно данные пользователя базы или управляют их физической структурой. Файлы журналов, поддержку транзакционности, статистику и много других интересных разделов отложим до следующих занятий, хотя физически все эти данные также по умолчанию лежат в директории PGDATA. Кстати, недавно найденный баг pg_basebackup в Debian. Конфиги там лежат отдельно, и большинство утилит постгреса умеют это понимать, а вот pg_basebackup что-то делает неправильно. Опять же, когда он создается с шаблонным файлом postgesql.conf, тот ложится в pgdata (как на других системах), а не к остальным конфигам.
- #12 В директории global лежат данные, общие для всех баз данного инстанса. А именно: pg_control — позиция последнего checkpoint, необходимая для WAL. При запуске восстановления сервер в первую очередь проверяет файл pg_global. Если кому-то интересно, что конкретно там лежит заглядывайте в файл src/include/catalog/pg_control.h pg_filenode.map Для большинства таблиц физическое расположение файла определяется записью в pg_class.relfilenode. Очевидно, что для самого pg_class это не работает. На самом деле не только для pg_class, но и для некоторых других базовых и глобальных relation. Маппингом для них занимается pg_filenode.map. src/backend/utils/cache/relmapper.c pg_internal.init — файл, который используется для ускорения загрузки бэкенда.
- #13 Давайте узнаем, что за куча файлов лежит в pg_global. Выберем из pg_class всё, что относится к tablespace global. Я не буду подробно говорить про все эти файлы. Это таблицы каталога и индексы на них. Отмечу только, что relfilenode у них равен нулю. Это значит, что маппингом этих файлов занимается тот самый pg_filenode.map, про который мы узнали на предыдущем слайде.
- #14 Просто продолжение таблички с предыдущего слайда.
- #15 Табличные пространства позволяют администратору управлять дисковым пространством для инсталляции PostgreSQL. Это полезно минимум по двум причинам. Во-первых, это нехватка места в разделе, на котором был инициализирован кластер и невозможность его расширения. Табличное пространство можно создать в другом разделе и использовать его до тех пор, пока не появится возможность переконфигурирования системы. Even though located outside the main PostgreSQL data directory, tablespaces are an integral part of the database cluster and cannot be treated as an autonomous collection of data files. They are dependent on metadata contained in the main data directory, and therefore cannot be attached to a different database cluster or backed up individually. Similarly, if you lose a tablespace (file deletion, disk failure, etc), the database cluster might become unreadable or unable to start. Placing a tablespace on a temporary file system like a RAM disk risks the reliability of the entire cluster.
- #16 Давайте наконец вернемся к нашим базам. Они лежат в поддиректории base. Посмотрим её содержимое. Здорово. Но непонятно. Здесь нам на помощь приходит скрипт oid2name. ... Стало значительно лучше. Три стандартных базы, которые есть в любом постгресе и ещё одна пользовательская.
- #17 Можно развлекаться с oid2name. Можно воспользоваться встроенными функциями для маппинга имени relation в файл.
- #18 Здорово. Но непонятно. Здесь нам на помощь приходит скрипт oid2name. Рассказать про его работу. Стало значительно лучше. Три стандартных базы, которые есть в любом постгресе и ещё одна пользовательская.
- #19 Здорово. Но непонятно. Здесь нам на помощь приходит скрипт oid2name. Рассказать про его работу. Стало значительно лучше. Три стандартных базы, которые есть в любом постгресе и ещё одна пользовательская.
- #20 Здорово. Но непонятно. Здесь нам на помощь приходит скрипт oid2name. Рассказать про его работу. Стало значительно лучше. Три стандартных базы, которые есть в любом постгресе и ещё одна пользовательская.
- #21 При выполнении некоторых операций, таких как truncate, cluster, relfilenode меняется, в то время как OID остается прежним.
- #22 В коде есть структура relfilenode, которая содержит всё, что нужно для физического доступа к relation. Здесь мы рассматриваем relation как нечто атомарное, хотя как мы увидим дальше и он разделен на много разных файлов.
- #24 В Berkley Postgres было реализовано несколько различных storage managers. Они не входили во внешние релизы Postgres. Теперь осталась только одна реализация storage manager - (magnetic disk). Название, впрочем, уже не отражает суть. До сих пор есть возможность написать другой storage manager. Честно говоря, я не очень активно слежу за рассылками, но не слышала, чтобы кто-то этим интересовался. В berkley каждый relation имел тэг, который связывал его с smgr. Сейчас этого нет. И если когда-нибудь будет реализован новый smgr, наверное лучше связывать их с tablespace. smgr.c — переключение между различными smgr, управление кэшем SmgrRelation md.c — реализация слоя между API smgr и API файловой системы.
- #26 * each data file (heap or index) is divided into postgres disk blocks * (which may be thought of as the unit of i/o -- a postgres buffer * contains exactly one disk block). the blocks are numbered * sequentially, 0 to 0xFFFFFFFE. * * InvalidBlockNumber is the same thing as P_NEW in buf.h. * * the access methods, the buffer manager and the storage manager are * more or less the only pieces of code that should be accessing disk * blocks directly. * this is a storage type for BlockNumber. in other words, this type * is used for on-disk structures (e.g., in HeapTupleData) whereas * BlockNumber is the type on which calculations are performed (e.g., * in access method code). * * there doesn't appear to be any reason to have separate types except * for the fact that BlockIds can be SHORTALIGN'd (and therefore any * structures that contains them, such as ItemPointerData, can also be * SHORTALIGN'd). this is an important consideration for reducing the * space requirements of the line pointer (ItemIdData) array on each * page and the header of each heap or index tuple, so it doesn't seem * wise to change this without good reason.
- #28 Есть 4 типа форков.
- #29 Код для создания и удаления физического хранилища для relation. Создается только главный форк, остальные создаются только в момент, когда они нужны. Эта функция транзакционна. Если транзакция отменена, storage будет удален. В то же время, drop table удаляет файлы не сразу, а только после коммита транзакции Since most code wants to access the main fork, a shortcut version of ReadBuffer that accesses MAIN_FORKNUM is provided in the buffer manager for convenience.
- #31 FSM обновлена в версии 8.4. FSM — бинарное дерево. Для каждой страницы хранится количество свободного места с гранулярностью 1/256. То есть freespace деленное на BLCKSZ/256. Плюсы: Чтобы узнать, что страницы с таким количеством места нет — достаточно проверить root.
- #34 Если кто-то хочет быстрой славы) Можете поправить выравнивание этого комментария)