Seznam.cz crawler SeznamBot pro vybrané stránky nově interpretuje javascript. Přednáška popíše technické aspekty řešení a představí další plánovaná vylepšení v získávání stránek z internetu.

1. SeznamBot: renderování stránek
Martin Kirschner
Product Manager Senior

3. Renderovaná stránka

10. Renderovaná stránka
Náhodná stránka
Pokrytí elementů 90 %
F1
0.87
Přesnost 85 %
Zpravodajský článek
Pokrytí elementů 84 %
F1
0.90
Přesnost 97 %
Plain stránka
Náhodná stránka
Pokrytí elementů 57 %
F1
0.66
Přesnost 80 %
Zpravodajský článek
Pokrytí elementů 64 %
F1
0.77
Přesnost 96 %

11. Na renderované stránce
udělá detekce hlavního textu
chybu asi ve třetině případů
oproti plain stránce.

12. Technikálie

13. WEB
PREFETCH
RENDER
DOWNLOADER
SCHEDULING&SHAPING
CACHE

14. • k8s
• 73.x (latest stable)
• Virtual time budget
• Request interception
• 3 tabs per instance
• Prefetch

15. Dopady na crawl budget
• Aktuální objem renderu: asi 100 tis. URL denně
• Jeden render vyžaduje průměrně desítky requestů
• Všechny requesty shapujeme
Bezpečnost a správný render je těžký.
Crawl budget bude těžší.

16. Budoucí plány

17. Robot začíná víc robotovat
• Chytřejší výběr
• Volnější shaping
• Identifikace problematických webů
WEB
DB

19. Obrázky
50 MB
Web stránky
6 MB
PDF
50 MB

21. E-mail: martin.kirschner@firma.seznam.cz
Twitter: @martin_kirschne, @SeznamBot
Martin Kirschner
Product Manager Senior