Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Brána do pekla botů (SEO restart 2017)

5,778 views

Published on

Exkurze do odlehlých zákoutí webů. Využití server logů pro SEO. Praktický návod jak odhalit a zneškodnit pasti pro boty. A bonusová dokumentární vsuvka monitorující život bota.

Published in: Marketing
  • Be the first to comment

  • Be the first to like this

Brána do pekla botů (SEO restart 2017)

  1. 1. Zanechte vší naděje, kdo vstupujete.
  2. 2. VAROVÁNÍ Arachnofobie Epilepsie Úzkost z matematiky
  3. 3. BRÁNA DO PEKLA BOTŮ
  4. 4. Analýza logůSpider Traps Vizualizace
  5. 5. Chyby v relativních URL http://priklad.cz/a/ <a href="b/">odkaz</a> http://priklad.cz/a/b/ http://priklad.cz/a/b/b/ http://priklad.cz/a/b/b/b/ ... http://priklad.cz/a/b/b/b/b/b/b/b/b/b/b/b/b/b/b/b/b/b/b/
  6. 6. Řešení chyb v relativních URL Neexistující URL musí vracet status kód 404.
  7. 7. Redirect Loops /a /b /c/d /e 301 301 301301 301
  8. 8. Řešení chyb v relativních URL Přesměrovávat na platné URL. Nevytvářet dlouhé redirectovací řetězce, ideálně vždy jen jedno přesměrování.
  9. 9. Permutace 𝒏! 3! 1×2×3 = 6 𝒏 = 3 (počet značek)
  10. 10. Variace 𝒏! 𝒏 − 𝒑 ! 𝟑! 𝟑−𝟐 ! = 6 𝒏 = 3 (počet značek) 𝒑 = 2 (vybíráme ze dvou)
  11. 11. Všechny variace + permutace 𝒑=𝟎 𝒏 𝒑! 𝒏! 𝒑! 𝒏 − 𝒑 !
  12. 12. Kombinace 𝒏! 𝒑! 𝒏 − 𝒑 ! 𝟐 𝒏 Výběr podmnožiny značek Všechny kombinace
  13. 13. Variace Kombinace 3 4 5 6 7 8 9 10 Počet možností Všechny kombinace Všechny variace + permutace 1 2 2 2 4 5 3 8 16 4 16 65 5 32 326 6 64 1 957 7 128 13 700 8 256 109 601 9 512 986 410 10 1 024 9 864 101 11 2 048 108 505 112 12 4 096 1 302 061 345 13 8 192 16 926 797 486 14 16 384 236 975 164 805 15 32 768 3 554 627 472 076
  14. 14. You shall not pass!
  15. 15. Ïa, ïa!
  16. 16. Stránky, které crawler nenavštěvuje. Jaké status kódy vrací stránky. Intenzita a frekvence crawlování. Orphan pages. Referer spam v akci. Nejlepší nejúplnější data, která máte k dispozici. Access logy
  17. 17. 66.249.64.244 - - [10/May/2017:00:00:11 +0200] "GET /pneu-dodavkove-bridgestone-215-60r16-c-103t- duravis-r-410 HTTP/1.1" 200 19230 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" IP Timestamp URL Status kód User-Agent
  18. 18. Memory JAVA-Hog Alert
  19. 19. Screaming Frog Log Analyser Výhody • Příznivá cena • Propojení dat z crawlu • Drag & Drop • Jednoduché rozhraní Nevýhody • JAVA • Pomalé zpracování dat • Pomalé načítání • Absence vlastních user-agents
  20. 20. ELK Stack Sběr a transformace dat Vyhledávání a analýza dat Vizualizace
  21. 21. OnCrawl Log Analyser Výhody • Dostupný i zdarma • Rychlost a přehlednost • Jednoduché rozhraní • ELK Nevýhody • Technicky náročný setup • Komplikovaná customizace • Horší práce s daty • Není možnost porovnat crawl data
  22. 22. Logz.io Log Analyser Výhody • Cloud + ELK • Plně customizovatelné • Community driven • Velké množství druhů logů Nevýhody • Technicky velmi náročné • Cena • Omezená doba uchování dat • Vhodné spíše pro velké weby
  23. 23. Dlouhodobá aktivita. Logy archivujte!
  24. 24. Google Dostupné běžným crawlerem Dostupné jen v logu Chyba
  25. 25. Google Nenavštíveno botem V logu Chyba
  26. 26. Seznam Nenavštíveno botem V logu Chyba
  27. 27. Majestic Nenavštíveno botem V logu Chyba
  28. 28. Analýza logůSpider Traps Vizualizace
  29. 29. nespor@medio.cz zdenek@link-brain.cz @Chaoticum
  30. 30. Děkuji za pozornost!
  31. 31. QUESTION ANSWER REPEAT.

×