Successfully reported this slideshow.
Your SlideShare is downloading. ×

Brána do pekla botů (SEO restart 2017)

Ad

Zanechte vší naděje,
kdo vstupujete.

Ad

VAROVÁNÍ
Arachnofobie
Epilepsie
Úzkost z matematiky

Ad

BRÁNA DO PEKLA BOTŮ

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Loading in …3
×

Check these out next

1 of 48 Ad
1 of 48 Ad

Brána do pekla botů (SEO restart 2017)

Download to read offline

Exkurze do odlehlých zákoutí webů. Využití server logů pro SEO. Praktický návod jak odhalit a zneškodnit pasti pro boty. A bonusová dokumentární vsuvka monitorující život bota.

Exkurze do odlehlých zákoutí webů. Využití server logů pro SEO. Praktický návod jak odhalit a zneškodnit pasti pro boty. A bonusová dokumentární vsuvka monitorující život bota.

Advertisement
Advertisement

More Related Content

Viewers also liked (20)

Advertisement

Brána do pekla botů (SEO restart 2017)

  1. 1. Zanechte vší naděje, kdo vstupujete.
  2. 2. VAROVÁNÍ Arachnofobie Epilepsie Úzkost z matematiky
  3. 3. BRÁNA DO PEKLA BOTŮ
  4. 4. Analýza logůSpider Traps Vizualizace
  5. 5. Chyby v relativních URL http://priklad.cz/a/ <a href="b/">odkaz</a> http://priklad.cz/a/b/ http://priklad.cz/a/b/b/ http://priklad.cz/a/b/b/b/ ... http://priklad.cz/a/b/b/b/b/b/b/b/b/b/b/b/b/b/b/b/b/b/b/
  6. 6. Řešení chyb v relativních URL Neexistující URL musí vracet status kód 404.
  7. 7. Redirect Loops /a /b /c/d /e 301 301 301301 301
  8. 8. Řešení chyb v relativních URL Přesměrovávat na platné URL. Nevytvářet dlouhé redirectovací řetězce, ideálně vždy jen jedno přesměrování.
  9. 9. Permutace 𝒏! 3! 1×2×3 = 6 𝒏 = 3 (počet značek)
  10. 10. Variace 𝒏! 𝒏 − 𝒑 ! 𝟑! 𝟑−𝟐 ! = 6 𝒏 = 3 (počet značek) 𝒑 = 2 (vybíráme ze dvou)
  11. 11. Všechny variace + permutace 𝒑=𝟎 𝒏 𝒑! 𝒏! 𝒑! 𝒏 − 𝒑 !
  12. 12. Kombinace 𝒏! 𝒑! 𝒏 − 𝒑 ! 𝟐 𝒏 Výběr podmnožiny značek Všechny kombinace
  13. 13. Variace Kombinace 3 4 5 6 7 8 9 10 Počet možností Všechny kombinace Všechny variace + permutace 1 2 2 2 4 5 3 8 16 4 16 65 5 32 326 6 64 1 957 7 128 13 700 8 256 109 601 9 512 986 410 10 1 024 9 864 101 11 2 048 108 505 112 12 4 096 1 302 061 345 13 8 192 16 926 797 486 14 16 384 236 975 164 805 15 32 768 3 554 627 472 076
  14. 14. You shall not pass!
  15. 15. Ïa, ïa!
  16. 16. Stránky, které crawler nenavštěvuje. Jaké status kódy vrací stránky. Intenzita a frekvence crawlování. Orphan pages. Referer spam v akci. Nejlepší nejúplnější data, která máte k dispozici. Access logy
  17. 17. 66.249.64.244 - - [10/May/2017:00:00:11 +0200] "GET /pneu-dodavkove-bridgestone-215-60r16-c-103t- duravis-r-410 HTTP/1.1" 200 19230 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" IP Timestamp URL Status kód User-Agent
  18. 18. Memory JAVA-Hog Alert
  19. 19. Screaming Frog Log Analyser Výhody • Příznivá cena • Propojení dat z crawlu • Drag & Drop • Jednoduché rozhraní Nevýhody • JAVA • Pomalé zpracování dat • Pomalé načítání • Absence vlastních user-agents
  20. 20. ELK Stack Sběr a transformace dat Vyhledávání a analýza dat Vizualizace
  21. 21. OnCrawl Log Analyser Výhody • Dostupný i zdarma • Rychlost a přehlednost • Jednoduché rozhraní • ELK Nevýhody • Technicky náročný setup • Komplikovaná customizace • Horší práce s daty • Není možnost porovnat crawl data
  22. 22. Logz.io Log Analyser Výhody • Cloud + ELK • Plně customizovatelné • Community driven • Velké množství druhů logů Nevýhody • Technicky velmi náročné • Cena • Omezená doba uchování dat • Vhodné spíše pro velké weby
  23. 23. Dlouhodobá aktivita. Logy archivujte!
  24. 24. Google Dostupné běžným crawlerem Dostupné jen v logu Chyba
  25. 25. Google Nenavštíveno botem V logu Chyba
  26. 26. Seznam Nenavštíveno botem V logu Chyba
  27. 27. Majestic Nenavštíveno botem V logu Chyba
  28. 28. Analýza logůSpider Traps Vizualizace
  29. 29. nespor@medio.cz zdenek@link-brain.cz @Chaoticum
  30. 30. Děkuji za pozornost!
  31. 31. QUESTION ANSWER REPEAT.

Editor's Notes

  • Lasciate ogne speranza, voi ch'entrate.
    Abandon all hope ye who enter here.
  • Vzniká obvykle u dlouhých řetězců přesměrování
  • Finitní spider traps
  • Majestic bot crawluje jen robots a homepage
    Googlebot jen robots a feed
    Screenshotátor bot si interpretuje js
  • Nevymýšlet kraviny a bulharské konstanty ale věnovat se existujícím věcem.
    Data!
    Nedělat prasárny
  • Vaše peklo – béčkové filmy.

×