Highload для начинающих, Дмитрий Обухов (Mail.ru)

HighLoad
äëÿ íà÷èíàþùèõ

HighLoad äëÿ íà÷èíàþùèõ
Dmitry E. Oboukhov
31 îêòÿáðÿ 2014

HighLoad, ÷òî ýòî?
I Êîíôåðåíöèÿ?

I Âûñîêàÿ íàãðóçêà?

I Âûñîêàÿ íàãðóçêà?
I Ìèô?!

Âûñîêàÿ íàãðóçêà ÷òî ýòî?

I 53:328 109 çàïðîñîâ â ñåêóíäó?

I 53:328 109 çàïðîñîâ â ñåêóíäó? - ñðåäíèé CPU

I Áîëåå ðåàëèñòè÷íî!

I 1 çàïðîñ â ñåêóíäó?

I 1 çàïðîñ â ñåêóíäó? - ëþáîé âåá ñåðâåð?...

I 1 çàïðîñ â ñåêóíäó? - ëþáîé âåá ñåðâåð?...
ïåðåêîäèðóþùèé âèäåîðîëèêè? :)

Âûñîêàÿ íàãðóçêà ýòî:

Âûñîêàÿ íàãðóçêà ýòî:
Íàãðóçêà, ñ êîòîðîé íå ñïðàâëÿåòñÿ
æåëåçî

Êîãäà ýòî áûâàåò?

Äîñòèãíóòû òåõíè÷åñêèå îãðàíè÷åíèÿ

I Ñåòü

I Ñåòü - çà ðàìêàìè äàííîãî äîêëàäà

I Ïàìÿòü

I Ïàìÿòü
I CPU

I Ïàìÿòü
I CPU
I Õðàíèëèùå äàííûõ

Ïðè÷èíû
I Íåäîèñïîëüçîâàíèå æåëåçà

Ïðè÷èíû
I Íåäîèñïîëüçîâàíèå æåëåçà
I Òðóäíîñòè ìàñøòàáèðîâàíèÿ

Ïðè÷èíû
Àðõèòåêòóðíûå ïðîáëåìû

Íåäîèñïîëüçîâàíèå æåëåçà
Ðàññìîòðèì òèïè÷íûé âåáñåðâåð.

Ðàññìîòðèì òèïè÷íûé âåáñåðâåð. íà Perl

Ðàññìîòðèì òèïè÷íûé âåáñåðâåð. íà Perl, Python

Ðàññìîòðèì òèïè÷íûé âåáñåðâåð. íà Perl, Python, Ruby

Ðàññìîòðèì òèïè÷íûé âåáñåðâåð. íà Perl, Python, Ruby...
Çàäà÷è îäíîãî öèêëà

I ×òåíèå çàïðîñà èç ñåòè.

I Ïàðñèíã çàïðîñà http.

I Âàëèäàöèÿ çàïðîñà, âûáîð
êîíòðîëëåðà.

I Çàïðîñ(û) ê õðàíèëèùó äàííûõ.

I Ôîðìèðîâàíèå îòâåòà (template).

I Îòïðàâêà îòâåòà êëèåíòó.

Òðàäèöèîííàÿ ðåàëèçàöèÿ

I îäèí ïðîöåññ íà îäèí öèêë

I îäèí ïðîöåññ íà îäèí öèêë
I îäèí òðåä íà îäèí öèêë

Íà÷àëèñü ðàçãîâîðû î HighLoad?

I Óâåëè÷åíèå ÷èñëà ïðîöåññîâ/òðåäîâ.

I Óâåëè÷åíèå ÷èñëà ïðîöåññîâ/òðåäîâ.
I Óâåëè÷åíèå ÷èñëà ñåðâåðîâ.

Âåðíåìñÿ ê ðàññìàòðèâàåìîìó ñåðâåðó

I Ïðîáëåìû íàñòóïèëè ïðè 100 çàïðîñàõ â ñåêóíäó.

I Óâåëè÷èëè ÷èñëî ïðîöåññîâ â ðàáîòå.

Ïîìîãëî.

Ïîìîãëî.
I Íîâûå ïðîáëåìû ïðè 150 çàïðîñîâ â ñåêóíäó.

Ïîìîãëî.
I Íîâûå ïðîáëåìû ïðè 150 çàïðîñîâ â ñåêóíäó.
I Äàëüíåéøåå óâåëè÷åíèå ÷èñëà ïðîöåññîâ ïîìîãàåò ñëàáî.

×òî äåëàòü?

I Ìåíÿòü àðõèòåêòóðó?

- Ìû íàä ýòèì 3 ãîäà ðàáîòàëè!

I Äîáàâëÿòü âòîðîé ñåðâåð?

- Ýòî òîæå íå ïðîñòî!
(áèçíåñëîãèêà)
Ñïîêîéíî!

Ñïîêîéíî!
I Ïðîâåñòè àíàëèç àðõèòåêòóðû.

Ñïîêîéíî!
I Ïðîâåñòè èçìåðåíèÿ.

Ñïîêîéíî!
I Ïðîâåñòè èçìåðåíèÿ.
I Íàéòè ñëàáûå ìåñòà.

Èçìåðåíèÿ

Èçìåðåíèÿ
×òåíèå çàïðîñà èç ñåòè. 15Ê RPS

Èçìåðåíèÿ
Ïàðñèíã çàïðîñà, âàëèäàöèÿ, âûáîð êîíòðîëëåðà. 150Ê RPS/CPU

Èçìåðåíèÿ
Çàïðîñû ê õðàíèëèùó. 60Ê RPS

Èçìåðåíèÿ
Ôîðìèðîâàíèå îòâåòà (Ñîåäèíåíèå äàííûõ ñ template) 100Ê RPS/CPU

Èçìåðåíèÿ
Ôîðìèðîâàíèå îòâåòà (Ñîåäèíåíèå äàííûõ ñ template) 100Ê RPS/CPU
Îòïðàâêà îòâåòà êëèåíòó. 15Ê RPS

Èòîãî
1
1
+ 1
+ 1
+ 1
+ 1
15 103150 10360 103100 10315 103
= 6000RPS

Èòîãî
1
1
+ 1
+ 1
+ 1
+ 1
15 103150 10360 103100 10315 103
= 6000RPS
Íî, ïîçâîëüòå!

Èòîãî
1
1
+ 1
+ 1
+ 1
+ 1
15 103150 10360 103100 10315 103
= 6000RPS
I Ó íàñ ïðîáëåìû íà 150 RPS!

Èòîãî
1
1
+ 1
+ 1
+ 1
+ 1
15 103150 10360 103100 10315 103
= 6000RPS
I Ó íàñ ïðîáëåìû íà 150 RPS!
I Òóò ÷òî-òî íå òàê!

Íà÷èíàåì ðàçáèðàòüñÿ

I Õðàíèëèùå âûõîäèò íà ñâîè RPS ïðè äîñòàòî÷íî áîëüøîì ÷èñëå
ñîåäèíåíèé ê íåìó.

I Ëèáî õðàíèëèùå íàäî ðàñïîëàãàòü ëîêàëüíî.

íåïðèåìëåìî.

I Òî æå ñàìîå è ñ âçàèìîäåéñòâèåì ñ êëèåíòîì.

I Ïîïðîáóåì åùå óâåëè÷èòü ÷èñëî ïðîöåññîâ?

I Ïðîáëåìû ñòàëè áîëüøå!

I Ïðîáëåìû ñòàëè áîëüøå!
I Ïî÷åìó?!

Ðåçþìå ñèòóàöèè, åùå ðàç

I Èìååòñÿ 100500 ñòðîê êîäà, íàä êîòîðûì ðàáîòàëè íåñêîëüêî ëåò.

I Ýòîò êîä AS IS ïî ðåçóëüòàòàì èçìåðåíèé ìîæåò âûäàâàòü ãîðàçäî
áîëüøå RPS ÷åì â ðåàëüíîñòè.

I Ýòîò êîä AS IS ïî ðåçóëüòàòàì èçìåðåíèé ìîæåò âûäàâàòü ãîðàçäî
áîëüøå RPS ÷åì â ðåàëüíîñòè.
I Ïðîáëåìû íà÷èíàþòñÿ íà óðîâíå RPS íà ïîðÿäîê ìåíüøèõ, íåæåëè
ðàñ÷åòíûå.

Åùå ðàç ðàññìîòðèì öèêë îáðàáîòêè

I Îæèäàíèå çàïðîñà (äàííûõ) îò ïîëüçîâàòåëÿ.

I Ïàðñèíã çàïðîñà, âàëèäàöèÿ.

I Ôîðìèðîâàíèå çàïðîñà (çàïðîñîâ) â ÁÄ.

I Îæèäàíèå îòâåòà (îòâåòîâ) èç ÁÄ.

I Ñîåäèíåíèå äàííûõ èç ÁÄ ñ øàáëîíîì.

I Îæèäàíèå îòïðàâêè äàííûõ êëèåíòó.

I Ñëåäóþùèé êëèåíò!

Èçìåðÿåì

Èçìåðÿåì
Îæèäàíèå çàïðîñà (äàííûõ) îò ïîëüçîâàòåëÿ. 70 ìêñ

Èçìåðÿåì
Ïàðñèíã çàïðîñà, âàëèäàöèÿ. 6 ìêñ

Èçìåðÿåì
Ôîðìèðîâàíèå çàïðîñà (çàïðîñîâ) â ÁÄ. 1 ìêñ

Èçìåðÿåì
Îæèäàíèå îòâåòà (îòâåòîâ) èç ÁÄ. 16 ìêñ

Èçìåðÿåì
Ñîåäèíåíèå äàííûõ èç ÁÄ ñ øàáëîíîì. 10 ìêñ

Èçìåðÿåì
Ñîåäèíåíèå äàííûõ èç ÁÄ ñ øàáëîíîì. 10 ìêñ
Îæèäàíèå îòïðàâêè äàííûõ êëèåíòó. 70 ìêñ

Èòîãî
I Êîä âûïîëíÿëñÿ: 6 + 1 + 10 =

Èòîãî
I Êîä âûïîëíÿëñÿ: 6 + 1 + 10 = 17 ìêñ

Èòîãî
I ×åãî-ëèáî îæèäàëè: 70 + 16 + 70 =

Èòîãî
I ×åãî-ëèáî îæèäàëè: 70 + 16 + 70 = 156 ìêñ

Èòîãî
I Êîä âûïîëíÿåòñÿ òîëüêî 10% âðåìåíè!

Èòîãî
I Êîä âûïîëíÿåòñÿ òîëüêî 10% âðåìåíè!
I È ïðè ýòîì òîðìîçèò!

#include unistd.h
int main(int argc, char **argv) {
int i;
for (;;) {
usleep(70); usleep(7);
usleep(16); usleep(10);
usleep(70);
}
}

Èòîãî

Èòîãî
I Êîä, äåëàþùèé òîëüêî sleep â öèêëå íåïëîõî ãðóçèò CPU

Èòîãî
- ïî ìîèì èçìåðåíèÿì - ãäå-òî 15% çàãðóçêè íà CPU

Èòîãî
I Çàïóñòèâ äåñÿòîê òàêèõ “âîðêåðîâ”, ïîëó÷àåì ïðèìåðíî òàêóþ æå
íàãðóçêó êàê íà ïðîáëåìíîì ñåðâåðå.

Èòîãî
I Ïîíÿòíî ÷òî ïðèìåð ñèíòåòè÷åñêèé (åñòü âîïðîñû ê ðåàëèçàöèè usleep).

Èòîãî
Âåðíåìñÿ ê íàøåìó ñåðâåðó

Èòîãî
I Êàæäàÿ îòäåëüíàÿ ÷àñòü èìååò õîðîøóþ ïðîèçâîäèòåëüíîñòü

Èòîãî
äîñòàòî÷íóþ äëÿ ðàçâèòèÿ ïðîåêòà åùå íà íåñêîëüêî ëåò âïåðåä.

Èòîãî
I Áîëüøóþ ÷àñòü âðåìåíè (90%) íàø êîä ïðîâîäèò â îæèäàíèè.

Èòîãî
I Áîëüøóþ ÷àñòü âðåìåíè (90%) íàø êîä ïðîâîäèò â îæèäàíèè.
I ×òî äåëàòü?

Ïðîñòî ðåîðãàíèçîâàòü êîä

Ñîáûòèéíî-îðèåíòèðîâàííîå ïðîãðàììèðîâàíèå
Êîìïüþòåð ýòî êîíå÷íûé àâòîìàò. Òðåäû äëÿ òåõ ëþäåé,
êîòîðûå íå óìåþò ïðîãðàììèðîâàòü êîíå÷íûå àâòîìàòû.
Àëàí Êîêñ

Èçáàâèìñÿ îò òðåäîâ!

Èçáàâèìñÿ îò òðåäîâ!
- è ïðîöåññîâ.

Ìàøèíà ñîáûòèé

I Âñÿ ðàáîòà äåëàåòñÿ â îáðàáîò÷èêå ñîáûòèÿ.

- â îáùåì ñëó÷àå - callback.

I Êîãäà ïðîãðàììå íå÷åãî äåëàòü (íàïðèìåð îíà æäåò ñîáûòèÿ), òî
óïðàâëåíèå âîçâðàùàåòñÿ ìàøèíå ñîáûòèé.

â îáùåì ñëó÷àå - return èç callback.

â îáùåì ñëó÷àå - return èç callback.
I Îáðàáîò÷èê ñîáûòèÿ ìîæåò ãåíåðèðîâàòü äðóãèå ñîáûòèÿ è
óñòàíàâëèâàòü äðóãèå îáðàáîò÷èêè.

Ïåðåñòðîèì íàø ñåðâåð

I Îæèäàíèå çàïðîñà îò ïîëüçîâàòåëÿ.

- çàìåíèòñÿ îáðàáîò÷èêîì ñîáûòèÿ ïðèøåë çàïðîñ îò ïîëüçîâàòåëÿ

- íå èçìåíèòñÿ

- çàìåíèòñÿ îáðàáîò÷èêîì ñîáûòèÿ ïðèøåë îòâåò èç ÁÄ

- çàìåíèòñÿ îáðàáîò÷èêîì ñîáûòèÿ äàííûå ïîëüçîâàòåëþ îòïðàâëåíû

Èòîãî

Èòîãî
I Ïðîèçâîäèòåëüíîñòü îäíîãî ñåðâåðà âûðîñëà â 10 ðàç

Èòîãî
I Îäíîãî CPU/êîííåêòà ê ÁÄ äîñòàòî÷íî äëÿ åùå íåñêîëüêèõ ëåò ðîñòà
íàãðóçêè.

Èòîãî
I Îäíîãî CPU/êîííåêòà ê ÁÄ äîñòàòî÷íî äëÿ åùå íåñêîëüêèõ ëåò ðîñòà
íàãðóçêè.
I Íî ñëèøêîì ìíîãî ïåðåäåëîê!

×òî çàòðîíóòî èçìåíåíèÿìè

I Èíòåðôåéñ ñ âåáñåðâåðîì (ïîëó÷åíèå ïàðàìåòðîâ çàïðîñà èòï)

- íåêðèòè÷íî. Â êðàéíåì ñëó÷àå îáõîäèòñÿ íàïèñàíèåì âðàïïåðîâ. Â
áîëüøèíñòâå ñëó÷àåâ âîîáùå íåçàìåòíî.

I Èíòåðôåéñ ñ ÁÄ.

I Èíòåðôåéñ ñ ÁÄ.
- êðèòè÷íî. Ìíîãî êîäà áèçíåñëîãèêè ïîåõàëî â callbacks. Ñëîæíóþ
ëîãèêó ïðàêòè÷åñêè íåâîçìîæíî ðåàëèçîâàòü. Òðåáóåòñÿ ïåðåïèñûâàíèå
90% ïðîåêòà.

Ïëàíèðîâùèê
Ïîñêîëüêó ïëàíèðîâùèê OS - î÷åíü òÿæåëûé, íåîáõîäèì ïëàíèðîâùèê
userspace.

userspace.
I Íåâûòåñíÿþùàÿ ìíîãîçàäà÷íîñòü

userspace.
I Ïðîñòîå ïîðîæäåíèå “ïðîöåññîâ”

userspace.
I Ïðîñòîå óïðàâëåíèå

userspace.
Òðè îñíîâíûõ ìåòîäà

userspace.
I Ñîçäàòü ïðîöåññ (create, async)

userspace.
I Ïåðåäàòü óïðàâëåíèå ïëàíèðîâùèêó (yield, cede)

userspace.
I Ïåðåäàòü óïðàâëåíèå ïëàíèðîâùèêó (yield, cede)
I Ðàçáóäèòü âûáðàííûé ïðîöåññ (wakeup, ready)

Èíòåãðèðóåì ñ ìàøèíîé ñîáûòèé
Ñòðóêòóðà êîäà òåïåðü âûãëÿäèò òàê:

I Ðåãèñòðàöèÿ ñîáûòèÿ â ìàøèíå ñîáûòèé

I Ïåðåäà÷à óïðàâëåíèÿ ïëàíèðîâùèêó

I Ñîáûòèå áóäèò òåêóùèé ïðîöåññ (ôàéáåð)

I Ïðîãðàììà ïðîäîëæàåò ðàáîòó ñ äàííûìè îò ñîáûòèÿ

I Ïðîãðàììà ïðîäîëæàåò ðàáîòó ñ äàííûìè îò ñîáûòèÿ
Èòîãî
Âåðíóëèñü ê (ïî÷òè) òðàäèöèîííîìó âèäó ïðîãðàììû.

I Äîáàâëÿåì ìàøèíó ñîáûòèé

I Äîáàâëÿåì áèáëèîòåêó fibers

I Ïåðåïèñûâàåì èíòåðôåéñ ñ âåáñåðâåðîì

- íåêðèòè÷íî, ðåøàåòñÿ âðàïïåðîì.

I Ïåðåïèñûâàåì èíòåðôåéñ ñ ÁÄ

- îòíîñèòåëüíî òðóäîåìêî, íî ðåøàåòñÿ âðàïïåðîì.

I Ïåðåïèñûâàåì äðóãèå ñåòåâûå îáðàùåíèÿ (åñëè åñòü)

- âðàïïåðû

- âðàïïåðû
I Èòîãî: ïåðåïèñûâàåì îêîëî 5% êîäà.

Áèáëèîòåêè è ÿçûêè

I Perl

I Perl
Coro + AnyEvent

I Perl
Coro + AnyEvent
I Python

I Perl
Coro + AnyEvent
I Python
fibers + twisted

I Perl
Coro + AnyEvent
I Python
fibers + twisted
I PHP5

I Perl
Coro + AnyEvent
I Python
fibers + twisted
I PHP5
ïîÿâèëñÿ îïåðàòîð yield, fiber

×òî äàëüøå?
I Èñïîëüçóåì fiber’û/event-ìàøèíû â òîì ÿçûêå ê êîòîðîìó ïðèâûêëè

I Ðàññìàòðèâàåì ñóùåñòâóþùèå âàðèàíòû

I Node.JS

I Node.JS
- îòêàçàëèñü îò ïàðàäèãìû fibers

I Node.JS
- îòêàçàëèñü îò ïàðàäèãìû fibers
I Tarantool...

Tarantool
I Ïîëíîöåííûé app-ñåðâåð

Tarantool
I ÁÄ íà áîðòó

Tarantool
- in-memory

Tarantool
- in-memory
- disk

Tarantool
- in-memory
- disk
I Ñîêåòû, äèñê, http-ñåðâåð, î÷åðåäè

Íåäîñòàòêè
I Äëÿ áîëüøèõ ïðîåêòîâ îäíîãî CPU âñå-òàêè ìàëîâàòî

Íåäîñòàòêè
I Äëÿ áîëüøèõ ïðîåêòîâ îäíîãî CPU âñå-òàêè ìàëîâàòî
I Ðåàëèçàöèè fiber’îâ äëÿ òðàäèöèîííûõ ßÏ ïëîõî ìàñøòàáèðóþòñÿ ïî
CPU/õîñòàì.

Ïåðñïåêòèâà
I Erlang

I Erlang
- õîðîøåå ìàñøòàáèðîâàíèå ïî CPU è õîñòàì

I Erlang
- î÷åíü êà÷åñòâåííîå ðåøåíèå

I Erlang
- âûñîêèé ïîðîã âõîæäåíèÿ

I Erlang
I Go

I Erlang
I Go
- áîëåå íèçêèé ïîðîã âõîæäåíèÿ

Highload для начинающих, Дмитрий Обухов (Mail.ru)

Highload для начинающих, Дмитрий Обухов (Mail.ru)

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

More from Ontico

More from Ontico (20)

Highload для начинающих, Дмитрий Обухов (Mail.ru)