Advertisement
Check these out next
Crawl budget (Vladimír Saur)
Jun. 18, 2017•0 likes•6,749 views
0 likes
Be the first to like this
Show More
views
Total views
0
On Slideshare
0
From embeds
0
Number of embeds
0
Download to read offline
Report
Data & Analytics
Co to je crawl budget a proč byste se o něj měli zajímat? U jakých webů jej má smysl řešit, u jakých naopak ne? Jakým způsobem můžete ovlivnit, jak robot vyhledávače stahuje vaše stránky? A má vůbec smysl robota nějak limitovat?
Taste MedioFollow
Taste MedioAdvertisement
Advertisement
Advertisement
Recommended
Brána do pekla botů (SEO restart 2017)Zdeněk Nešpor
Seologer naživo - Analýza logůFilip Podstavec
Zrychlování mobilního webu aneb LTE máme jenom v Praze | Jarda Hanslík - Slev...skrzczdev
Glami - jak řešíme performance, aneb jak neshodit web TV reklamouPetr Bechyně
Zrychlování webuSlevomat.cz, s.r.o.
Kontinualni testovani a monitoring SEO - SEO robotJaroslav Hlavinka
Crawl budget (Vladimír Saur)
- CRAWL BUDGET VLADIMÍR SAUR saur@dedouch.cz @dedouch
- JAKÝ JE CRAWL BUDGET VAŠEHO WEBU?
- JAKÝ JE CRAWL BUDGET VAŠEHO WEBU?
- JE TO MOC?
- CO OVLIVŇUJE PŘIDĚLENÝ CRAWL BUDGET?
- CO OVLIVŇUJE PŘIDĚLENÝ CRAWL BUDGET? • Počet stránek webu • Rank/popularita • Častost aktualizace • Rychlost webu/odezvy serveru
- SEZNAM VS. GOOGLE
- SEZNAMBOT robots.txt 552x homepage 10x sitemap 16x URL GET Vše 20 700 27 600 HTML 11 400 15 200 Obrázky 9 300 11 700 <lastmod> Stahuje se i se starším datem
- GOOGLEBOT URL GET POST OPTIONS Vše 85 700 304 700 14 400 130 HTML 52 500 103 100 14 400 130 Obrázky 32 700 79 900 Fonty 5 32 000 CSS 1 2 000 Javascript 15 86 700 <lastmod> Stahuje jen poslední datum (aktuální den), starší ne robots.txt 68x homepage 196x sitemap 11x
- JAK SI CRAWL BUDGET CO NEJLÉPE VYPLÁCAT? Velký počet URL s nízkou hodnotou • Duplicity • Podobnosti • Soft errors
- JAK SI CRAWL BUDGET CO NEJLÉPE VYPLÁCAT? Další linkované soubory • Javascripty • CSS • Fonty
- JAK SI CRAWL BUDGET CO NEJLÉPE VYPLÁCAT? Technické nedostatky • Redirect chains • URL bez obsahu
- JAK SI CRAWL BUDGET CO NEJLÉPE VYPLÁCAT? SPA (Single-Page Applications) Indexace pomocí hashbang: 1. www.example.com/#!klic1=hod nota1&klic2=hodnota2 2. <meta name="fragment" content="!"> 3. www.example.com/? _escaped_fragment_=klic1=hod nota1%26klic2=hodnota2
- ŘÍZENÍ CRAWLINGU – CO (TÉMĚŘ) NEFUNGUJE? • Meta robots • X-Robots-Tag • Javascriptové odkazy • Kanonizace
- ŘÍZENÍ CRAWLINGU – CO MŮŽE FUNGOVAT? • Sitemaps • Google Search Console – parametry • Robots.txt • If-Modified-Since v HTTP hlavičce
- SITEMAPS <?xml version="1.0" encoding="UTF-8"?> <urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9"> <url> <loc>http://www.example.com/</loc> <lastmod>2005-01-01</lastmod> <changefreq>monthly</changefreq> <priority>0.8</priority> </url> </urlset>
- GOOGLE SEARCH CONSOLE – PARAMETRY
- ROBOTS.TXT User-agent: * Disallow: / User-agent: SeznamBot Disallow: User-agent: googlebot Disallow: /cat*.php Disallow: /cat*.php3$
- ROBOTS.TXT 2.0 User-agent: * Robot-version: 2.0 Disallow: /test* Disallow: /ko?? Disallow: /file? Disallow: /[0-9][^0-9]*
- ? VLADIMÍR SAUR saur@dedouch.cz @dedouch
Advertisement