Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Crawl-Budget-Booster für eine bessere Search Engine Experience

19 views

Published on

Mein Vortrag auf der SEO-Campixx 2017

Published in: Business
  • Be the first to comment

  • Be the first to like this

Crawl-Budget-Booster für eine bessere Search Engine Experience

  1. 1. TechnicalSEO.de - André Goldmann Search Engine Experience. …oder für alle die es gerne kurz haben: SEX.
  2. 2. TechnicalSEO.de - André Goldmann André Goldmann 2 • Seit 1996 Front-End Entwickler 
 & Optimierer aus Leidenschaft • Chief Operating Officer bei der 121WATT
 CEO bei Pixeldreher. Irgendwas mit Internet. Seit 1996. • Seminare bei der 121WATT:
 Technical-SEO-Seminar
 SEO-Aufbau-Seminar • Twitter: @andregoldmann
 E-Mail: andre@technicalseo.de
  3. 3. TechnicalSEO.de - André Goldmann Meine Zeit bei Unister… 3
  4. 4. TechnicalSEO.de - André Goldmann 4
  5. 5. TechnicalSEO.de - André Goldmann 5 https://chrome.google.com/webstore/detail/seo-dashboard-von-technic/ gjacalkbpoekfffccejaohcdbapbapel?hl=de
  6. 6. TechnicalSEO.de - André Goldmann
  7. 7. TechnicalSEO.de - André Goldmann
  8. 8. TechnicalSEO.de - André Goldmann https://www.google.com/about/datacenters/inside/locations/index.html
  9. 9. TechnicalSEO.de - André Goldmann Stelle dir immer die Frage: Würdest du für die URL die du gerade in den Index jagst 10 € an Google überweisen?
  10. 10. TechnicalSEO.de - André Goldmann Habt ihr Ideen?
 Was könnte Crawl-Budget sein?
  11. 11. TechnicalSEO.de - André Goldmann Die Menge an Ressourcen die Googles Crawler in meine Website investieren.
  12. 12. TechnicalSEO.de - André Goldmann …und Ressourcen teilt man nur, wenn man sich mag und vertraut.
  13. 13. TechnicalSEO.de - André Goldmann Also geben wir der
 „Liebe“ eine Chance!
  14. 14. TechnicalSEO.de - André Goldmann Let’s talk about SEX
  15. 15. TechnicalSEO.de - André Goldmann Was gehört zu gutem SEX? Crawlbarkeit Indexierbarkeit Rankfähigkeit
  16. 16. TechnicalSEO.de - André Goldmann Welche Bereiche fallen in die Optimierung der Crawlbarkeit? • robots.txt • Ladezeitoptimierung • URL-Struktur • Statuscodes • Weiterleitungen • Inhaltsarchitektur • Externe Links • XML-Sitemaps 16
  17. 17. TechnicalSEO.de - André Goldmann Welche Bereiche fallen in die Optimierung der Indexierbarkeit? • Einzigartiger Content (kein DC) • Canonical-Attribut • Meta-Tag „robots“ • robots.txt 17
  18. 18. TechnicalSEO.de - André Goldmann Welche Bereiche fallen in die Optimierung der Rankfähigkeit? • Content-Qualität • OnPage-Optimierung • Externe Links • Ladezeitoptimierung • (hreflang-Attribut) 18
  19. 19. TechnicalSEO.de - André Goldmann Fangen wir vorne an…
  20. 20. TechnicalSEO.de - André Goldmann Das Vorspiel…
  21. 21. TechnicalSEO.de - André Goldmann Crawlbarkeit einer Domain
  22. 22. TechnicalSEO.de - André Goldmann Tipp 01 – 100000000…
  23. 23. TechnicalSEO.de - André Goldmann Reduziert eure URLs.
  24. 24. TechnicalSEO.de - André Goldmann URL Profiler 24 http://urlprofiler.com/
  25. 25. TechnicalSEO.de - André Goldmann Vorraussetzungen für gute SEX (Search Experience) • URLs müssen immer auffindbar sein • Keine verwaisten Seiten im Projekt • Valider Quellcode (damit meine ich nicht zwingend W3C 😉) • Keine Interstitials oder Paywalls • Ladezeiten unter 1 Sekunde • Statuscode 200 • Wenige Weiterleitungen – so wenig wie möglich 25
  26. 26. TechnicalSEO.de - André Goldmann Vorraussetzungen für gute SEX (Search Experience) 26
  27. 27. TechnicalSEO.de - André Goldmann Vorraussetzungen für gute SEX (Search Experience) 27
  28. 28. TechnicalSEO.de - André Goldmann Vorraussetzungen für gute SEX (Search Experience) 28
  29. 29. TechnicalSEO.de - André Goldmann Wissenswertes zur robots.txt • Blockiert den Crawler VOR dem Betreten einer URL oder Pfades • Schützt nicht vor einer Indexierung (externe Zugänge zur URL, noindex konnte nicht wirken, da die robots.txt den Weg blockiert) • Muss zwingend im Root-Verzeichnis der Domain liegen • Kann Sollte einen Hinweis auf die XML-Sitemap haben Vorsicht: Keine externe Linkkraft durch Crawler-Blockierung verschenken 29
  30. 30. TechnicalSEO.de - André Goldmann Wissenswertes zu Statuscodes • Nutzt für dauerhafte Weiterleitungen immer einen 301- Statuscode • Intern verlinkte Weiterleitungen bitte grundsätzlich entfernen • Der 404-Statuscode ist ein Fehler und kein dauerhafter Zustand! Inhalt gelöscht = 410-Statuscode (Gone.) • Bei sprachbasierte Weiterleitungen bitte per 302- oder 303- Statuscode 30
  31. 31. TechnicalSEO.de - André Goldmann Wissenswertes zu XML-Sitemaps • XML-Sitemaps sollten immer nur URLs die einen 200- Statuscode ausgeben und tatsächlich im Index landen sollen beinhalten • Sollten nach einem Relaunch mit URL-Wechsel noch eine Weile die alten URLs zur Verfügung stellen (am besten in einer separaten Sitemap, um die Indexierung überwachen zu können) • Können jetzt jeweils bis zu 50 MB groß sein und 50k Zeilen beinhalten • Verfügen über eine hreflang-Funktion 31
  32. 32. TechnicalSEO.de - André Goldmann Navigations-Konzepte für die interne Verlinkung
  33. 33. TechnicalSEO.de - André Goldmann Navigations-Konzepte für die interne Verlinkung 33 • Gute „populäre“ Inhalte oben anzeigen • Mischung mit frischen Inhalten • Ähnliche Inhalte • Breadcrumb nutzen • Verzeichnisse • A bis Z • HTML-Sitemaps
  34. 34. TechnicalSEO.de - André Goldmann Navigations-Konzepte für die interne Verlinkung 34 • Gute „populäre“ Inhalte oben anzeigen • Mischung mit frischen Inhalten • Ähnliche Inhalte • Breadcrumb nutzen • Verzeichnisse • A bis Z • HTML-Sitemaps
  35. 35. TechnicalSEO.de - André Goldmann Navigations-Konzepte für die interne Verlinkung 35 • Gute „populäre“ Inhalte oben anzeigen • Mischung mit frischen Inhalten • Ähnliche Inhalte • Breadcrumb nutzen • Verzeichnisse • A bis Z • HTML-Sitemaps
  36. 36. TechnicalSEO.de - André Goldmann Navigations-Konzepte für die interne Verlinkung 36 • Gute „populäre“ Inhalte oben anzeigen • Mischung mit frischen Inhalten • Ähnliche Inhalte • Breadcrumb nutzen • Verzeichnisse • A bis Z • HTML-Sitemaps
  37. 37. TechnicalSEO.de - André Goldmann Navigations-Konzepte für die interne Verlinkung 37 • Gute „populäre“ Inhalte oben anzeigen • Mischung mit frischen Inhalten • Ähnliche Inhalte • Breadcrumb nutzen • Verzeichnisse • A bis Z • HTML-Sitemaps
  38. 38. TechnicalSEO.de - André Goldmann Navigations-Konzepte für die interne Verlinkung 38
  39. 39. TechnicalSEO.de - André Goldmann Nutzt du Paginationen?
  40. 40. TechnicalSEO.de - André Goldmann Rechenbeispiel für Paginationen 40 • 25.000 Produkte/Inhalte auf deiner Website • 150 Produkte pro Paginations-Liste = 1.250 URLs für Paginationen • 25.000 Produkte/Inhalte auf deiner Website • 20 Produkte pro Paginations-Liste = 166 URLs für Paginationen
  41. 41. TechnicalSEO.de - André Goldmann Verwenden eure Nutzer die Pagination? 41 ga('send', 'event', 'Category', 'Menu click', 'Menu item title', 100);
  42. 42. TechnicalSEO.de - André Goldmann Klickpfadtiefe mit OnPage.org 42
  43. 43. TechnicalSEO.de - André Goldmann Wissenswertes zur Ladezeit- Optimierung
  44. 44. TechnicalSEO.de - André Goldmann Wie schwer ist eigentlich eine [mobile] Website?
  45. 45. TechnicalSEO.de - André Goldmann Beispiel posterxxl.de: Requests: 118 • 1500 kb Bilder • 802,3 kb Script • 290,6 kb Diverses • 54,1 kb HTML • 28,6 kb CSS Page Size: 2.6 MB
 http://www.posterxxl.de/ Wie schwer ist eine [mobile] Website?
  46. 46. TechnicalSEO.de - André Goldmann Ladezeit für 2,6 MB: • GPRS: 56 kbit/sec
 2,6 MB = 46 Sekunden • EDGE: 220 kbit/sec
 2,6 MB = 12 Sekunden • UMTS (3G): 376 kbit/sec
 2,6 MB = 7 Sekunden • HSPA: 7,2 Mbit/sec – 42,2 Mbit/sec
 2,6 MB = 0,3 Sekunden • LTE (4G): 100 Mbit/sec
 2,6 MB = 0,02 Sekunden Was bedeutet das für mobile?
  47. 47. TechnicalSEO.de - André Goldmann Beispiel m.zalando.de: Requests: 129 • 507,3 kb Script • 243,9 kb Bilder • 35,7 kb CSS • 26,1 kb Diverses • 21,8 kb HTML Page Size: 834,9 kb
 
 m.zalando.de Wie schwer ist eine [mobile] Website?
  48. 48. TechnicalSEO.de - André Goldmann Ladezeit für 834,9 kb: • GPRS: 56 kbit/sec
 834,9 kb = 15 Sekunden • EDGE: 220 kbit/sec
 834,9 kb = 4 Sekunden • UMTS (3G): 376 kbit/sec
 834,9 kb = 2 Sekunden • HSPA: 7,2 Mbit/sec – 42,2 Mbit/sec
 834,9 kb = 0,1 Sekunden • LTE (4G): 100 Mbit/sec
 834,9 kb = 0,008 Sekunden Was bedeutet das für mobile?
  49. 49. TechnicalSEO.de - André Goldmann Beispiel 121watt.de: Requests: 66 • 321,2 kb Bilder • 147,6 kb Script • 84,3 kb Diverses • 18,7 kb CSS • 13 kb HTML Page Size: 584.7 kb
 http://www.121watt.de Wie schwer ist eine [mobile] Website?
  50. 50. TechnicalSEO.de - André Goldmann Ladezeit für 584,7 kb: • GPRS: 56 kbit/sec
 584,7 kb = 10 Sekunden • EDGE: 220 kbit/sec
 584,7 kb = 3 Sekunden • UMTS (3G): 376 kbit/sec
 584,7 kb = 2 Sekunden • HSPA: 7,2 Mbit/sec – 42,2 Mbit/sec
 584,7 kb = 0,08 Sekunden • LTE (4G): 100 Mbit/sec
 584,7 kb = 0,005 Sekunden Was bedeutet das für mobile?
  51. 51. TechnicalSEO.de - André Goldmann
  52. 52. TechnicalSEO.de - André Goldmann Wissenswertes zur Ladezeit-Optimierung 52 https://developers.google.com/speed/pagespeed/insights/
  53. 53. TechnicalSEO.de - André Goldmann Was kann die Ladezeit beeinflussen? 53 • Verbindungsaufbau zum Server • Download vom Quellcode • CSS-Dateien • JavaScript-Dateien • Externe und interne Webfonts • Bilder • Webanalyse-Scripte • Werbe- und Conversionpixel
  54. 54. TechnicalSEO.de - André Goldmann Bereit für den Weg in die SERPs?
  55. 55. TechnicalSEO.de - André Goldmann Indexierbarkeit einer Domain
  56. 56. TechnicalSEO.de - André Goldmann Wissenswertes zum Canonical-Attribut • Muss nicht zwingend verwendet werden – ich empfehle es jedoch, um sich vor falschen Servereinstellungen vor DC zu schützen • Das Canonical-Attribut kann Cross-Domain genutzt werden • Schützt 100%ig vor einer Indexierung bei einem Verweis auf das Original (wenn es sich um ein Duplikat handelt) • Kann bei falschem Einsatz zu einem Ranking-Absturz führen 56
  57. 57. TechnicalSEO.de - André Goldmann Wissenswertes zum Meta-Tag „robots“ • Spart kein Crawl-Budget, da die Seiten erst heruntergeladen und anschließend in den Rechenzentren analysiert werden • Sollten intern nie „nofollow“ vergeben – Crawler-Sackgasse • Können mehr als nur „noindex, follow“ beinhalten:
 noimageindex, noindex, noarchive, nosnippet, noydir, noodp 57
  58. 58. TechnicalSEO.de - André Goldmann Auf dem Weg zum Höhepunkt.
  59. 59. TechnicalSEO.de - André Goldmann Rankfähigkeit
  60. 60. TechnicalSEO.de - André Goldmann Content-Qualität verbessern 60
  61. 61. TechnicalSEO.de - André Goldmann Externe Links 61
  62. 62. TechnicalSEO.de - André Goldmann hreflang-Attribut nutzen – Internationalisierung von deutschen Inhalten 62 https://www.121watt.de/seo/hreflang/
  63. 63. TechnicalSEO.de - André Goldmann Done?
  64. 64. TechnicalSEO.de - André Goldmann Genügt Onsite-Crawling meiner Website? • OnPage.org • Deepcrawl • Audisto • Screaming Frog SEO-Spider • SEO-Tools for Excel • Searchmetrics • SISTRIX Optimizer • … 64
  65. 65. TechnicalSEO.de - André Goldmann NEIN.
  66. 66. TechnicalSEO.de - André Goldmann Logfile-Analyse für mehr Insights 66 https://www.screamingfrog.co.uk/log-file-analyser/
  67. 67. TechnicalSEO.de - André Goldmann Logfile-Analyse für mehr Insights 67 https://www.technicalseo.de/seo-tools/?fwp_ressourcen_kategorie=crawling-indexierung
  68. 68. TechnicalSEO.de - André Goldmann Checkliste für Montag Log-Files analysieren (bitte regelmässig) Alle 404-Fehler beseitigen (nicht nur die aus der Search Console) „Website“-Gewicht überprüfen und reduzieren Antwort-Geschwindigkeit vom Server beschleunigen SSL-Migration planen und zukünftig HTTP/2 nutzen Interne Verlinkung sauber aufsetzen und wichtige Seiten stark verlinken URL-Menge aufs wesentliche Reduzieren (!!!) 68
  69. 69. TechnicalSEO.de - André Goldmann Vielen Dank! 69 André Goldmann
 @andregoldmann Pixeldreher. Irgendwas mit Internet. Seit 1996.
 Tel.: 0341 /392992660 andre@technicalseo.de
 www.technicalseo.de

×