1. Screaming Frog
Martin Žatkovič

3. Normální PC
*16 GB RAM

4. Martin Žatkovič - @zatkoma
Dva rekordy
🏎 1 395 URL/s 🏎
📦 4 317 847 URL 📦
* s 16 GB ram

6. Martin Žatkovič - @zatkoma
• Zejména technické SEO, data a automatizace
• Skripty, API a další zábava
• SEO konzultant pro zbozi.cz
• Zakladatel Marketingové Plzně
Martin Žatkovič
SEO konzultant v Seznam.cz

7. Jak často crawlujete?

8. Martin Žatkovič - @zatkoma
Co nás čeká
• Tipy na nastavení a vyzkoušení
• Screaming Frog vs Sitebulb
• Efektivní workflow
• Netradiční využití

9. Martin Žatkovič - @zatkoma
Neomezujte se

10. Martin Žatkovič - @zatkoma
Co nás čeká
• Tipy na nastavení a vyzkoušení
• Screaming Frog vs Sitebulb
• Efektivní workflow
• Netradiční využití

11. Tipy na nastavení

12. Martin Žatkovič - @zatkoma
Nastavení

13. Martin Žatkovič - @zatkoma
Rychlost
• Můžete si nastavit vlastní placebo.
• Fyzická vlákna nebo virtuální?
• Maximální počet URL pro případ omezení.
• 💽 Někteří vývojáři se bojí o servery.

14. Martin Žatkovič - @zatkoma
User Agent
• Buďte féroví k ostatním.
• Buďte pozorní k sobě.
• $ “Bot” a Německo.
• Co zkusit nějaký custom user-agent.
• Bude se vám hodit při analýze accesslogů.

15. Martin Žatkovič - @zatkoma
Memory
• Důležité zejména v případě ukládání crawlu do RAM.
• Doporučuji zvýšit na 1/2 z kapacity zařízení nebo 75%.
• Pozor, občas chcete dělat i něco jiného, než crawlovat.
• Automaticky rovnou zvýšit!

16. Martin Žatkovič - @zatkoma
Storage
• RAM je pouze dočasná.
• Database toho zvládne víc.
• Zvykněte si používat Google Disk, Dropbox, iCloud,…
• Nejenom při crawlování!
• 🏹 Migrace na nové řešení.

17. Martin Žatkovič - @zatkoma
Robots.txt
• Tato sekce je vaším největším přítelem.
• Většinou chcete jen nějakou část webu.
• Instantní zrychlení crawlování a nepřetěžování serveru.
• Disallow: /
• Allow: /…
• 📦 4 317 847 URL

18. Martin Žatkovič - @zatkoma
Rendrování JavaScriptu
• Kdo z vás tu má web s Angularem nebo Reactem?
• Jak hlídáte, že se robotovi zobrazí to samé co uživateli?
• Jak zjistit, že dynamic rendering funguje správně?

19. Martin Žatkovič - @zatkoma
Extrakce
• Ohromná výhoda proti nástroji Sitebulb.
• Potřebujete něco získat z webovky a použít jinde.
• Kontrola analytiky, ID produktů, Autoři,…
• XPath / CSSPath
• 🔪 Rozšíření Scraper

20. Martin Žatkovič - @zatkoma
List
• Nemusíte používat Screaming Frog jen v “discovery” módu.
• Lze jej poslat pouze na určité URL, které chcete zkontrolovat.
• Kontrola externích odkazů, přesměrování,…

21. Martin Žatkovič - @zatkoma
Automatická nastavení

22. Martin Žatkovič - @zatkoma
Sitemapy

23. Martin Žatkovič - @zatkoma
Omezení

24. Martin Žatkovič - @zatkoma
Canonicals / Redirect chain

25. Martin Žatkovič - @zatkoma
Strukturovaná data

26. Martin Žatkovič - @zatkoma
Pracujte s konfigurací

27. Martin Žatkovič - @zatkoma
Pracovat s API?

28. Martin Žatkovič - @zatkoma
Pravidla pro úspěch
• ' Nikdy nechcete sestřelit cílový web.
• ( Zanechejte po sobě stopu.
• ) Robots.txt je svaté.
• * Používejte Scraper / OpenRefine
• + Extrakcí si ušetříte práci.

29. SF 11

30. Martin Žatkovič - @zatkoma
Page Speed API

31. Martin Žatkovič - @zatkoma

34. Martin Žatkovič - @zatkoma

35. Martin Žatkovič - @zatkoma

39. SF vs SB

40. Martin Žatkovič - @zatkoma
Sitebulb je super!

41. Martin Žatkovič - @zatkoma
…ale…
• Stále SB nedokáže SF nahradit ve 100%.
• Nedělejme z toho další souboj!
• Udělej si sám versus vše na podnose.
• Agentura versus in-house.

42. Martin Žatkovič - @zatkoma
V čem je lepší?
• Vše si musíte vyřešit sami.
• Vytáhnete si co potřebujete.
• Musíte myslet.
• Vše máte na zlatém podnose.
• Krásné interface.
• Problémy a priority.

43. Martin Žatkovič - @zatkoma
Sledujte i další nástroje

44. Martin Žatkovič - @zatkoma
…ala…

45. Martin Žatkovič - @zatkoma
Interpretace

46. Martin Žatkovič - @zatkoma

47. Martin Žatkovič - @zatkoma

48. Martin Žatkovič - @zatkoma
Google Data Studio

49. Martin Žatkovič - @zatkoma
Přehled crawlu

50. Martin Žatkovič - @zatkoma
Přehled stavových kódů

51. Martin Žatkovič - @zatkoma
Parametry v URL

52. Martin Žatkovič - @zatkoma
Přehled nad sitemap.xml

53. Martin Žatkovič - @zatkoma
Google Data Studio

54. Martin Žatkovič - @zatkoma
Data blending je zlo!

56. Martin Žatkovič - @zatkoma

57. Martin Žatkovič - @zatkoma
Případ co nastal
• “Líbil by se nám reporting na základě kategorií”
• “Rozhodně není problém - to dává smysl”
• Kombinace dat: Google Sheet + GSC + GA + Colllabim
• “V GDS to nedělejte, nedává to smysl”

58. Martin Žatkovič - @zatkoma
Power BI

59. Martin Žatkovič - @zatkoma
1:N, 1:1, N:N vazby

60. Martin Žatkovič - @zatkoma
Robin Rozhon
• https://rozhon.com/blog/blending-log-files-with-other-data-
sources-for-seo-in-power-bi/
• https://www.youtube.com/watch?v=gaREGSztXAY

61. Martin Žatkovič - @zatkoma
Výsledné spojení

62. Martin Žatkovič - @zatkoma
Power BI

63. Efektivní workflow

64. Martin Žatkovič - @zatkoma
Správné ukládání

65. Martin Žatkovič - @zatkoma
Jak ukládat a kde?
• Vše si pečlivě třiďte a ukládejte.
• Optimálně využívejte jeden disk a roztřídit pěkně po klientech.
• Je dobré si pamatovat, co jste chtěli nacrawlovat a proč.
• Špatné / nekopletní crawly rovnou mažte.

66. Martin Žatkovič - @zatkoma
Ukládejte na síti

67. Martin Žatkovič - @zatkoma
Disk může kdykoliv odejít
• Cloud vám pofičí neustále.
• Chcete-li mít přístup k projektům a starým crawlům.
• Neukládejte jenom .seospider soubory ale i výsledky.
• Používáte-li nějakou transformaci, tak ukládejte před i po.
• Google Drive - 1 TB = 299 Kč / měsíc
• iCloud - 2 TB = 249 Kč / měsíc

68. Martin Žatkovič - @zatkoma
Crawlování na serveru

69. Martin Žatkovič - @zatkoma
Server je váš přítel
• Optimálně AWS / Google Cloud.
• Lze jednoduše škálovat a brát si větší výkon.
• V případě větších firem interní server, kde to budete ovládat.
• Má to smysl?

70. Martin Žatkovič - @zatkoma
Opravdu interní server?
• Opravdu potřebujete provést kompletní crawl celého webu?
• Opravdu má smysl crawlovat weby s 5 000 000 stránek a víc?
• Opravdu má smysl udržovat v provozu server?
• Vyzkoušíte a uvidíte.
• SF jede i na linuxu.
• Hledejte spot instance.

71. Martin Žatkovič - @zatkoma
AWS, Google Cloud
• Buď používáte Windows Server, kde máte okno a můžete klikat.
• Předpřipravený balíček v Dockeru.
• Po spuštění provede instalaci a nastavení.
• Spustí crawl webu.
• Data pošle do Big Querry / FTP.
• Zabije se jakmile je hotovo.

72. Martin Žatkovič - @zatkoma
Práce s CLI

73. Martin Žatkovič - @zatkoma
Naučte se s CLI
• Máte-li stejné případy využití (technický audit, analýza,…).
• Můžete si vytvořit jednoduché spouštění pomocí .bat / .sh skriptů.
• Vše (/ exporty) si připravíte jednou a následně máte vyřešeno.
• Po dokončení crawlu se vám vše nahraje do složek a zazálohuje se.
• Výsledné složky můžete “odposlouchávat” a výstupy obohacovat.

74. Martin Žatkovič - @zatkoma
Jak to může fungovat?

75. Martin Žatkovič - @zatkoma

76. Martin Žatkovič - @zatkoma

77. Martin Žatkovič - @zatkoma

78. Martin Žatkovič - @zatkoma

79. Netradiční využití

80. Martin Žatkovič - @zatkoma
Vizualizace interního
prolinkování

81. Martin Žatkovič - @zatkoma
Analýza klíčových slov
• Použil někdo už Screaming Frog při analýze klíčových slov?
• V jakém segmentu? Jaké jste dopadli?
• Většinou jde o extrakci konkrétních částí webu na míru projektu.

82. Martin Žatkovič - @zatkoma
Dva případy
• 💂 Vykradení obsahu
• Obsah konkurence.
• Používaná klíčová slova.
• N-Gramy
• Frekvenční analýza
• 📚 Knihy, filmy a další díla
• Názvy děl a autoři.
• Případně herci a další…
• Unikátní seznam

83. Martin Žatkovič - @zatkoma
Generování XML feedu
• Potřebujete-li si něco rychle otestovat.
• Nechcete ubírat kapacitu programátorům.
• Podpora pro jiné týmy.
• Podpora pro DSA kampaně.
• Podpora pro akce / e-mailing.
• Otestování datových zdrojů.

84. Martin Žatkovič - @zatkoma
Reálný výsledek

85. Martin Žatkovič - @zatkoma
Generování sitemap
• Chcete-li si vytvořit obrázkovou sitemapu.
• Stačí vám využít jedno tlačítko na export.
• Screaming Frog ohlídá základní pravidla.

86. Martin Žatkovič - @zatkoma
Rozdíly na webu
• Jak poznat, že se něco na nové verzi webu něco změnilo?
• Jak jednoduše srovnat dva crawly webu?
• Lze to vůbec srovnat nějak jednoduše?

87. Martin Žatkovič - @zatkoma
Jak to udělat jednoduše?
• Pomocí “SQL” 1:1
• Stavové kódy, titulky, H1,…
• Export všech odkazů
• Navázat pomocí URL
• Push nových souborů.
• Můžete srovnat celé HTML.
• git add —all
• git commit -m "crawl 1"
• git push

88. Martin Žatkovič - @zatkoma
Případ Muziker
• “Večer budeme spouštět novou verzi webu”
• Jednoduché srovnání crawlů by odhalilo většinu problémů.

89. Závěr

90. Martin Žatkovič - @zatkoma
Co si odnést / udělat?
1.Proklikejte (ale opravdu) si zítra ráno Screaming Frog.
2.Projděte si nastavení vašeho workflow a aktualizujte jej.
3.Propojte spojený crawl s daty z GSC a něco určitě vymyslíte.

91. Martin Žatkovič - @zatkoma
Všechno jde 🙃

92. Martin Žatkovič - @zatkoma
Děkuji za pozornost
Otázky nad rámec prezentace?
📧 ➡ martin@zatkovic.cz ⬅ 📧