1. Ïîèñê: êîìïîíåíòû è àðõèòåêòóðà
ßðîñëàâ Ëåîíîâ
ëåòî 2013
ßðîñëàâ Ëåîíîâ
Ïîèñê: êîìïîíåíòû è àðõèòåêòóðà
ëåòî 2013
1 / 17

2. Ïðåäñòàâëåíèå äëÿ ïîëüçîâàòåëÿ
The Internet
Search Engine
ßðîñëàâ Ëåîíîâ
Ïîèñê: êîìïîíåíòû è àðõèòåêòóðà
ëåòî 2013
2 / 17

3. Êîíâååð ïîèñêà
Search Engine
Spider
Robot
The Internet
Search
ßðîñëàâ Ëåîíîâ
Ïîèñê: êîìïîíåíòû è àðõèòåêòóðà
ëåòî 2013
3 / 17

4. Ïàóê
Ïàóê
ßðîñëàâ Ëåîíîâ
Ïîèñê: êîìïîíåíòû è àðõèòåêòóðà
ëåòî 2013
4 / 17

5. Ñòðóêòóðà ïàóêà
Spider
Zora
The Internet
Downloader
Cache
robot
ßðîñëàâ Ëåîíîâ
Ïîèñê: êîìïîíåíòû è àðõèòåêòóðà
ëåòî 2013
5 / 17

6. Ïàóê â ÷èñëàõ
Ðóíåò:
Ñåðâåðà: 300
Íàãðóçêà: 20 òûñÿ÷ äîêóìåíòîâ â ñåêóíäó
Òðàôèê: 400 MByte/s (3200 Mbit/s)
Âñ¼ âìåñòå:
Ñåðâåðà: 700
Íàãðóçêà: 35 òûñÿ÷ äîêóìåíòîâ â ñåêóíäó
Òðàôèê: 700 MByte/s (5600 Bbit/s)
ßðîñëàâ Ëåîíîâ
Ïîèñê: êîìïîíåíòû è àðõèòåêòóðà
ëåòî 2013
6 / 17

7. Ðîáîò
Ðîáîò
ßðîñëàâ Ëåîíîâ
Ïîèñê: êîìïîíåíòû è àðõèòåêòóðà
ëåòî 2013
7 / 17

8. Ñòðóêòóðà Ðîáîòà
Spider
Robot
mapreduce
robot
archive
search
ßðîñëàâ Ëåîíîâ
Ïîèñê: êîìïîíåíòû è àðõèòåêòóðà
ëåòî 2013
8 / 17

9. Ðîáîò â ÷èñëàõ
Ñåðâåðà
Ðîññèéñêàÿ áàçà:
walrus: 650
primus: 169
dech: 878
htarc: 172
Ìèðîâàÿ áàçà:
walrus: 301
primus: 120
dech: ???
htarc: 60
ßðîñëàâ Ëåîíîâ
Ïîèñê: êîìïîíåíòû è àðõèòåêòóðà
ëåòî 2013
9 / 17

10. Ðîáîò â ÷èñëàõ
Îáú¼ìû äàííûõ
Äîêóìåíòû: ≈ 25 ìëðä.
Ïåðèîäè÷íîñòü: 1-2 ðàçà â íåäåëþ
ßðîñëàâ Ëåîíîâ
Ïîèñê: êîìïîíåíòû è àðõèòåêòóðà
ëåòî 2013
10 / 17

11. Ðîáîò â ÷èñëàõ
Ïîèñêîâàÿ áàçà
Ðàçìåð: ≈ 214 ÒÁ
Òèðû: áîëåå 10
Øàðäû: 6700 øò. × 32 ÃÁ
Âûêëàäêà äåëüòà-áàçû: 2 äíÿ
Âûêëàäêà ïîëíîé áàçû: 3-4 äíÿ
ßðîñëàâ Ëåîíîâ
Ïîèñê: êîìïîíåíòû è àðõèòåêòóðà
ëåòî 2013
11 / 17

12. Ïîèñê
Ïîèñê
ßðîñëàâ Ëåîíîâ
Ïîèñê: êîìïîíåíòû è àðõèòåêòóðà
ëåòî 2013
12 / 17

13. Ïîèñê
Ìàñøòàá áåäñòâèÿ
Ðåæèì ðàáîòû 24/7/36[5,6]
ßðîñëàâ Ëåîíîâ
Ïîèñê: êîìïîíåíòû è àðõèòåêòóðà
ëåòî 2013
13 / 17

14. Ïîèñê
Ìàñøòàá áåäñòâèÿ
Ðåæèì ðàáîòû 24/7/36[5,6]
Ƽñòêèå KPI íà âðåìÿ ðàáîòû (50ìñ)
ßðîñëàâ Ëåîíîâ
Ïîèñê: êîìïîíåíòû è àðõèòåêòóðà
ëåòî 2013
13 / 17

15. Ïîèñê
Ìàñøòàá áåäñòâèÿ
Ðåæèì ðàáîòû 24/7/36[5,6]
Ƽñòêèå KPI íà âðåìÿ ðàáîòû (50ìñ)
Ƽñòêèå KPI íà ïîëíîòó ïîèñêà (100%)
ßðîñëàâ Ëåîíîâ
Ïîèñê: êîìïîíåíòû è àðõèòåêòóðà
ëåòî 2013
13 / 17

16. Ïîèñê
Ìàñøòàá áåäñòâèÿ
Ðåæèì ðàáîòû 24/7/36[5,6]
Ƽñòêèå KPI íà âðåìÿ ðàáîòû (50ìñ)
Ƽñòêèå KPI íà ïîëíîòó ïîèñêà (100%)
5-7 äàòàöåíòðîâ
ßðîñëàâ Ëåîíîâ
Ïîèñê: êîìïîíåíòû è àðõèòåêòóðà
ëåòî 2013
13 / 17

17. Ïîèñê
Ìàñøòàá áåäñòâèÿ
Ðåæèì ðàáîòû 24/7/36[5,6]
Ƽñòêèå KPI íà âðåìÿ ðàáîòû (50ìñ)
Ƽñòêèå KPI íà ïîëíîòó ïîèñêà (100%)
5-7 äàòàöåíòðîâ
Äàòàöåíòðû àôôèëèðîâàíû äðóã ñ äðóãîì
ßðîñëàâ Ëåîíîâ
Ïîèñê: êîìïîíåíòû è àðõèòåêòóðà
ëåòî 2013
13 / 17

18. Ïîèñê
Ìàñøòàá áåäñòâèÿ
Ðåæèì ðàáîòû 24/7/36[5,6]
Ƽñòêèå KPI íà âðåìÿ ðàáîòû (50ìñ)
Ƽñòêèå KPI íà ïîëíîòó ïîèñêà (100%)
5-7 äàòàöåíòðîâ
Äàòàöåíòðû àôôèëèðîâàíû äðóã ñ äðóãîì
Ðàçâåðòûâàíèå èç áåêàïîâ äî íåäåëè
ßðîñëàâ Ëåîíîâ
Ïîèñê: êîìïîíåíòû è àðõèòåêòóðà
ëåòî 2013
13 / 17

19. Ïîèñê
Ìàñøòàá áåäñòâèÿ
Ðåæèì ðàáîòû 24/7/36[5,6]
Ƽñòêèå KPI íà âðåìÿ ðàáîòû (50ìñ)
Ƽñòêèå KPI íà ïîëíîòó ïîèñêà (100%)
5-7 äàòàöåíòðîâ
Äàòàöåíòðû àôôèëèðîâàíû äðóã ñ äðóãîì
Ðàçâåðòûâàíèå èç áåêàïîâ äî íåäåëè
Ìû ìîæåì ïåðåãðåòü ÄÖ
ßðîñëàâ Ëåîíîâ
Ïîèñê: êîìïîíåíòû è àðõèòåêòóðà
ëåòî 2013
13 / 17

20. Ïîèñê
Ìàñøòàá áåäñòâèÿ
Ðåæèì ðàáîòû 24/7/36[5,6]
Ƽñòêèå KPI íà âðåìÿ ðàáîòû (50ìñ)
Ƽñòêèå KPI íà ïîëíîòó ïîèñêà (100%)
5-7 äàòàöåíòðîâ
Äàòàöåíòðû àôôèëèðîâàíû äðóã ñ äðóãîì
Ðàçâåðòûâàíèå èç áåêàïîâ äî íåäåëè
Ìû ìîæåì ïåðåãðåòü ÄÖ
Ìû ìîæåì ðàñïëàâèòü àâòîìàòû â ÄÖ
ßðîñëàâ Ëåîíîâ
Ïîèñê: êîìïîíåíòû è àðõèòåêòóðà
ëåòî 2013
13 / 17

21. Ïîèñê
Ìàñøòàá áåäñòâèÿ
Ðåæèì ðàáîòû 24/7/36[5,6]
Ƽñòêèå KPI íà âðåìÿ ðàáîòû (50ìñ)
Ƽñòêèå KPI íà ïîëíîòó ïîèñêà (100%)
5-7 äàòàöåíòðîâ
Äàòàöåíòðû àôôèëèðîâàíû äðóã ñ äðóãîì
Ðàçâåðòûâàíèå èç áåêàïîâ äî íåäåëè
Ìû ìîæåì ïåðåãðåòü ÄÖ
Ìû ìîæåì ðàñïëàâèòü àâòîìàòû â ÄÖ
Ìû ìîæåì ñâåñòè ñ óìà ñåòåâîå îáîðóäîâàíèå
ßðîñëàâ Ëåîíîâ
Ïîèñê: êîìïîíåíòû è àðõèòåêòóðà
ëåòî 2013
13 / 17

22. Ïîèñê
Ìàñøòàá áåäñòâèÿ
Ðåæèì ðàáîòû 24/7/36[5,6]
Ƽñòêèå KPI íà âðåìÿ ðàáîòû (50ìñ)
Ƽñòêèå KPI íà ïîëíîòó ïîèñêà (100%)
5-7 äàòàöåíòðîâ
Äàòàöåíòðû àôôèëèðîâàíû äðóã ñ äðóãîì
Ðàçâåðòûâàíèå èç áåêàïîâ äî íåäåëè
Ìû ìîæåì ïåðåãðåòü ÄÖ
Ìû ìîæåì ðàñïëàâèòü àâòîìàòû â ÄÖ
Ìû ìîæåì ñâåñòè ñ óìà ñåòåâîå îáîðóäîâàíèå
Ìû óìååì äåëàòü ßíäåêñ.Ïîèñê
ßðîñëàâ Ëåîíîâ
Ïîèñê: êîìïîíåíòû è àðõèòåêòóðà
ëåòî 2013
13 / 17

23. Ïîèñê
Ñêîëüêî ïîèñêîâ â ßíäåêñå?
The Internet
Balance
L3 balancer
http balancer
Web front
wizard
misspeller
antirobot
sfront
x4
x100
Meta search
resinfod
mmeta
x186
other_searches
x7
Core search
int
Side searches
x36
Base search
ßðîñëàâ Ëåîíîâ
Ïîèñê: êîìïîíåíòû è àðõèòåêòóðà
ëåòî 2013
14 / 17

24. Ïîèñê
Ñêîëüêî ïîèñêîâ â ßíäåêñå?
Ïðîêåòû: 50 - 100
Êîíôèãóðàöèè ïðîãðàìì: ≈ 200
Àêòèâíûõ ïðîãðàìì: 400000
Êîíôèãóðàöèîííûõ ôàéëîâ: ≈ 25000
ßðîñëàâ Ëåîíîâ
Ïîèñê: êîìïîíåíòû è àðõèòåêòóðà
ëåòî 2013
15 / 17

25. Ïîèñê
Ñèëà âîîáðàæåíèÿ
Ãåíåðàöèÿ òîïîëîãèè êëàñòåðà
Êîìïèëÿöèÿ òîïîëîãèè êëàñòåðà â êîíôèãóðàöèþ
3-4 êîíôèãóðàöèè êëàñòåðà äëÿ îòêàòà
topology
compile
configuration
CMS
resources
cluster
ßðîñëàâ Ëåîíîâ
Ïîèñê: êîìïîíåíòû è àðõèòåêòóðà
ëåòî 2013
16 / 17

26. Ñïèñîê ëèòåðàòóðû
,
WIKI http:// wiki.yandex-team.ru
,
.
Ïîèñêîâûé èíäåêñ
http://ru.wikipedia.org/wiki/Ïîèñêîâûé_èíäåêñ.
ßðîñëàâ Ëåîíîâ
Ïîèñê: êîìïîíåíòû è àðõèòåêòóðà
ëåòî 2013
17 / 17