Postgresql microconf

PostgreSQL â âûñîêîíàãðóæåííûõ ïðîåêòàõ

Âàñèëüåâ Àëåêñåé Þðüåâè÷
leopard.in.ua

Èþíü 2011

Âàñèëüåâ Î.Þ. PostgreSQL â âûñîêîíàãðóæåííûõ ïðîåêòàõ

×òî òàêîå PostgreSQL?

Ââåäåíèå
PostgreSQL ñâîáîäíàÿ îáúåêòíî-ðåëÿöèîííàÿ ñèñòåìà
óïðàâëåíèÿ áàçàìè äàííûõ (ÑÓÁÄ).
Ïî÷åìó PostgreSQL?
Íàäåæíîñòü;
Ïîääåðæêà ÁÄ ïðàêòè÷åñêè íåîãðàíè÷åííîãî ðàçìåðà;
Ìîùíûå è íàä¼æíûå ìåõàíèçìû òðàíçàêöèé è ðåïëèêàöèè;
Íàñëåäîâàíèå;
Ëåãêàÿ ðàñøèðÿåìîñòü;


Ââåäåíèå
Ïðîèçâîäèòåëüíîñòü â PostgreSQL

Íå èñïîëüçóéòå íàñòðîéêè
ïî óìîë÷àíèþ
Èñïîëüçóéòå àêòóàëüíóþ
âåðñèþ ñåðâåðà
Òåñòû ïðîèçâîäèòåëüíîñòè
ñëóæàò äëÿ ïðîäâèæåíèÿ
êîíêðåòíûõ ïðîäóêòîâ


Âûáîð îïòèìàëüíûõ íàñòðîåê

Ìåòîä ñðàâíèòåëüíîãî
òåñòèðîâàíèÿ
pgtune íàñòðîéêè ïî
¾æåëåçó¿


Îïòèìèçàöèÿ ÁÄ è ïðèëîæåíèÿ

Ãðàììîòíîå
ïðîåêòèðîâàíèå áàçû
Íàëè÷èå áûñòðûõ ïóòåé
äîñòóïà ê äàííûì
èíäåêñîâ
Îáõîä èçâåñòíûõ ïðîáëåì
(ìåäëåííûé count, unions è
ò.ä.)


×òî òàêîå ìàñøòàáèðîâàíèå?
Ìàñøòàáèðîâàíèå PostgreSQL

Ìàñøòàáèðîâàíèå ýòî
ïðîöåññ îáåñïå÷åíèÿ ðîñòà
ñèñòåìû, ò.å.
ìàñøòàáèðóåìîñòè. Â ñâîþ
î÷åðåäü,
ìàñøòàáèðóåìîñòü ýòî
ñâîéñòâî ñèñòåìû, ñîõðàíÿÿ
ïðîïóñêíóþ ñïîñîáíîñòü,
ñïðàâëÿòüñÿ ñ óâåëè÷åíèåì
íàãðóçêè ïðè óâåëè÷åíèè
îïðåäåëåííûõ ðåñóðñîâ
ñèñòåìû.


Ïðîáëåìû

Îãðàíè÷åíèå ïðîïóñêíîé
ñïîñîáíîñòè ÷òåíèÿ
äàííûõ
Îãðàíè÷åíèå ïðîïóñêíîé
ñïîñîáíîñòè çàïèñè äàííûõ


Ïîäõîäû

Âåðòèêàëüíîå
ìàñøòàáèðîâàíèå
Ãîðèçîíòàëüíîå
ìàñøòàáèðîâàíèå


Ìåòîäû

Ïàðòèöèîíèðîâàíèå(ñåêöèîíèðîâàíèå) òàáëèö
Ðåïëèêàöèÿ
Øàðäèíã


Ïàðòèöèîíèðîâàíèå (ñåêöèîíèðîâàíèå) òàáëèö

Ïàðòèöèîíèðîâàíèå (ñåêöèîíèðîâàíèå) ýòî ðàçáèåíèå
áîëüøèõ ñòðóêòóð áàç äàííûõ (òàáëèöû, èíäåêñû) íà ìåíüøèå
êóñî÷êè. PostgreSQL ïîääåðæèâàåò äâà êðèòåðèÿ äëÿ ñîçäàíèÿ
ïàðòèöèé:
Ïàðòèöèîíèðîâàíèå ïî äèàïàçîíó çíà÷åíèé (range)
Ïàðòèöèîíèðîâàíèå ïî ñïèñêó çíà÷åíèé (list)


Ìåòîäû äåëåíèÿ äàííûõ íà ïàðòèöèè


Ïàðòèöèîíèðîâàíèå â PostgreSQL



Ðåïëèêàöèÿ ìåõàíèçì
ñèíõðîíèçàöèè ñîäåðæèìîãî
íåñêîëüêèõ êîïèé îáúåêòà
(íàïðèìåð, ñîäåðæèìîãî áàçû
äàííûõ). Óòèëèòû äëÿ
ñîçäàíèÿ ðåïëèêàöèè â
PostgreSQL:
Slony-I
pgpool-I/II
Bucardo
Londiste
RubyRep
Ïîòîêîâàÿ ðåïëèêàöèÿ

Slony-I

Îñîáåííîñòè :
Ìàñòåð/ñëåéâ ðåïëèêàöèÿ
Ðàáîòà ÷åðåç òðèããåðû
Âîçìîæíîñòü ïîòàáëè÷íîé
ðåïëèêàöèè
Ïîääåðæêà êàñêàäíîé
Ïîääåðæêà
îòêàçîóñòîé÷èâîñòè
Íåäîñòàòêè:
Ñëîæíàÿ íàñòðîéêà
Äîáàâëåíèå óçëà
òðóäîåìêàÿ îïåðàöèÿ
Òàáëèöû äîëæíû èìåòü
primary key

Londiste

Âîçìîæíîñòü
äâóõñòîðîííåãî ñðàâíåíèÿ
òàáëèö
Ïðîñòîòà óñòàíîâêè è
íàñòðîéêè
Îòñóòñòâèå êàñêàäíîé
Îòñóòñòâèå

Bucardo

Ìàñòåð/ìàñòåð èëè
Ïîääåðæêà êàñêàäíîé
Perl, òðåáóåòñÿ Pl/PgSQL è
Pl/PerlU

RubyRep

Ìàñòåð/ìàñòåð èëè
Ïðîñòîòà óñòàíîâêè è
íàñòðîéêè
Ruby, ¾ïîåäàåò¿ ïàìÿòü è
ïðîöåññîð ïðè áîëüøèõ
îáúåìàõ äàííûõ

Streaming Replication (Ïîòîêîâàÿ ðåïëèêàöèÿ)

Èç êîðîáêè íà÷èíàÿ ñ 9
âåðñèè PostgreSQL
Ðàáîòà ÷åðåç WAL ëîãè
Ðåïëèöèðóåòñÿ èíñòàíñ
PostgreSQL, à íå îòäåëüíàÿ
áàçà äàííûõ (ñîçäàåòñÿ
òî÷íàÿ êîïèÿ èíñòàíñà
ÑÓÁÄ)
Îòäåëüíî áàçó äàííûõ
ðåïëèöèðîâàòü íåëüçÿ

PgPool-II

PgPool-IIýòî ïðîñëîéêà,
ðàáîòàþùàÿ ìåæäó ñåðâåðàìè
PostgreSQL è êëèåíòàìè ÑÓÁÄ
PostgreSQL. Îíà ïðåäîñòàâëÿåò
ñëåäóþùèå ôóíêöèè:
Îáúåäèíåíèå ñîåäèíåíèé
Áàëàíñèðîâêà íàãðóçêè
Îãðàíè÷åíèå ëèøíèõ
ñîåäèíåíèé
Ïàðàëëåëüíûå çàïðîñû
Êåøèðîâàíèå çàïðîñîâ


PgPool-II ðåïëèêàöèÿ

Ìèíóñ ïàäåíèå ïðîèçâîäèòåëüíîñòè (ñèíõðîííàÿ ðåïëèêàöèÿ,
áëîêèðîâêà òàáëèöû)


Ïðèìåð ðåøåíèÿ ïðîáëåìû ÷òåíèÿ äàííûõ

Ñîçäàíèå êëàñòåðà PostgreSQL äëÿ ðåøåíèÿ ïðîáëåìû ÷òåíèÿ
äàííûõ:
PgPool-II 3 + PostgreSQL 9


Âçàèìîäåéñòâèå PgPool-II 3 ñ PostgreSQL 9
PgPool-II 3 è PostgreSQL 9

Íåäîñòàòêè ïîòîêîâîé ðåïëèêàöèè â PostgreSQL 9:
Îòñóòñòâèå îòêàçîóñòîé÷èâîñòè
Íåò ïóëîâ ñîåäèíåíèé
Íåò áàëàíñèðîâêè íàãðóçêè
Íóæíî ó÷èòûâàòü, êàêèå çàïðîñû íå ïðèíèìàþò ñëåéâû
(INSERT, UPDATE, DELETE, COPY FROM, TRUNCATE è
ò.ä.)


Âçàèìîäåéñòâèå PgPool-II 3 ñ PostgreSQL 9


Ïëþñû è ìèíóñû

Ïëþñû:
Ïðîèçâîäèòåëüíîñòü çàïèñè ïàäàåò íåçíà÷èòåëüíî
Îòêàçîóñòîé÷èâîñòü
Ïóëû ñîåäèíåíèé
Áàëàíñèðîâêà íàãðóçêè óâåëè÷åíèå ïðîèçâîäèòåëüíîñòè
íà ÷òåíèå
Ìèíóñû:
Àñèíõðîííàÿ ðåïëèêàöèÿ õîòü è çàäåðæêà ðåïëèêàöèè
îòíîñèòåëüíî íèçêàÿ, ìîãóò âîçíèêàòü ïðîáëåìû ïðè
áàëàíñèðîâêå


Íîâûå âîçìîæíîñòè â pgpool-II 3

Íîâûé ïàðàìåòð ¾sub_mode¿ äëÿ ïîòîêîâîé ðåïëèêàöèè
Îòïðàâêà íà ìàñòåð çàïðîñîâ íà çàïèñü
Èíòåëëåêòóàëüíàÿ áàëàíñèðîâêà íàãðóçêè: ïðîâåðêà
çàäåðæêè ðåïëèêàöèè ìåæäó ìàñòåðîì è ñëåéâîì.
Äîáàâëåíèå ñëåéâîâ áåç îñòàíîâêè pgpool-II


Îáíàðóæåíèå çàäåðæêè ðåïëèêàöèè

Îáíàðóæåíèå çàäåðæêè ðåïëèêàöèè: êàê ýòî ðàáîòàåò?
(SELECT pg_current_xlog_location())
-
(SELECT pg_last_xlog_receive_location())
=
åñëè ðåçóëüòàò ïðåâûøàåò ¾delay_threshold¿ çàïðîñ
îòïðàâëÿåòñÿ íà ìàñòåð.


Ëîãèðîâàíèå çàäåðæêè ðåïëèêàöèè

Ïàðàìåòð ¾log_standby_delay¿ ìîæåò áûòü:
none: íå ëîãèðîâàòü çàäåðæêó
if_over_threshold: ëîãèðîâàòü, åñëè ðåçóëüòàò ïðåâûñèë
delay_threshold
always: âñåãäà ëîãèðîâàòü çàäåðæêó


Çàäåðæêà ðåïëèêàöèè Slony-I
PgPool-II 3 è PostgreSQL 9 vs Slony-I


Íèçêîå ïàäåíèå ïðîèçâîäèòåëüíîñòè ìàñòåðà


Íèçêàÿ çàäåðæêà ðåïëèêàöèè


Èòîã

Ïðîñòîòà â íàñòðîéêå è
îáñëóæèâàíèè
Ìû ìîæåì äîáàâëÿòü
ñëåéâ ñåðâåðà áåç ïîòåðè
ïðîèçâîäèòåëüíîñòè íà
çàïèñü
Áîëüøå ñëåéâ ñåðâåðîâ
áîëüøå
ïðîèçâîäèòåëüíîñòü íà
÷òåíèå
Íèçêàÿ çàäåðæêà
ðåïëèêàöèè ìåæäó
ìàñòåðîì è ñëåéâîì

Øàðäèíã

Øàðäèíã ðàçäåëåíèå
äàííûõ íà óðîâíå ðåñóðñîâ.
Êîíöåïöèÿ øàðäèíãà
çàêëþ÷àåòñÿ â ëîãè÷åñêîì
ðàçäåëåíèè äàííûõ ïî
ðàçëè÷íûì ðåñóðñàì èñõîäÿ èç
òðåáîâàíèé ê íàãðóçêå.
Óòèëèòû äëÿ ñîçäàíèÿ
øàðäèíãà â PostgreSQL:
PL/Proxy
Sequoia
GridSQL for EnterpriseDB
Advanced Server
Greenplum Database
HadoopDB

Ïóëû ñîåäèíåíèé
Óçêèå ìåñòà â PostgreSQL

Ìóëüòèïëåêñîðû ñîåäèíåíèé
(ïðîãðàììû äëÿ ñîçäàíèÿ
ïóëà êîííåêòîâ) ïîçâîëÿþò
óìåíüøèòü íàêëàäíûå ðàñõîäû
íà áàçó äàííûõ, â ñëó÷àå, êîãäà
îãðîìíîå êîëè÷åñòâî
ôèçè÷åñêèõ ñîåäèíåíèé âåäåò ê
ïàäåíèþ ïðîèçâîäèòåëüíîñòè
PostgreSQL.
PgBouncer
Pgpool


Âîïðîñû è Îòâåòû

Ñïàñèáî çà âíèìàíèå!

Postgresql microconf

Recommended

Recommended

More Related Content

Viewers also liked

Viewers also liked (6)

Postgresql microconf