Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Analyse Logs + crawl : Retour sur 10 ans d’expérience - Mathieu Chapon - SEOCamp'us Paris 2019

1,520 views

Published on

Mathieu Chapon vous propose un tour d’horizon des principaux enseignements qu’on tire de ces analyses ainsi que les erreurs à ne pas commettre.

Les rapports obtenus sont en général complexes et leurs mauvaises interprétations peuvent vous exposer à de mauvaises conclusions. Enfin, vous aurez l’occasion de voir les optimisations qui vous permettent de mieux maitriser ce fameux budget de crawl.

Published in: Internet
  • DOWNLOAD THIS BOOKS INTO AVAILABLE FORMAT (Unlimited) ......................................................................................................................... ......................................................................................................................... Download Full PDF EBOOK here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... Download Full EPUB Ebook here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... ACCESS WEBSITE for All Ebooks ......................................................................................................................... Download Full PDF EBOOK here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... Download EPUB Ebook here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... Download doc Ebook here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... ......................................................................................................................... ......................................................................................................................... .............. Browse by Genre Available eBooks ......................................................................................................................... Art, Biography, Business, Chick Lit, Children's, Christian, Classics, Comics, Contemporary, Cookbooks, Crime, Ebooks, Fantasy, Fiction, Graphic Novels, Historical Fiction, History, Horror, Humor And Comedy, Manga, Memoir, Music, Mystery, Non Fiction, Paranormal, Philosophy, Poetry, Psychology, Religion, Romance, Science, Science Fiction, Self Help, Suspense, Spirituality, Sports, Thriller, Travel, Young Adult,
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here
  • DOWNLOAD THIS BOOKS INTO AVAILABLE FORMAT (Unlimited) ......................................................................................................................... ......................................................................................................................... Download Full PDF EBOOK here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... Download Full EPUB Ebook here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... ACCESS WEBSITE for All Ebooks ......................................................................................................................... Download Full PDF EBOOK here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... Download EPUB Ebook here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... Download doc Ebook here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... ......................................................................................................................... ......................................................................................................................... .............. Browse by Genre Available eBooks ......................................................................................................................... Art, Biography, Business, Chick Lit, Children's, Christian, Classics, Comics, Contemporary, Cookbooks, Crime, Ebooks, Fantasy, Fiction, Graphic Novels, Historical Fiction, History, Horror, Humor And Comedy, Manga, Memoir, Music, Mystery, Non Fiction, Paranormal, Philosophy, Poetry, Psychology, Religion, Romance, Science, Science Fiction, Self Help, Suspense, Spirituality, Sports, Thriller, Travel, Young Adult,
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here
  • DOWNLOAD THIS BOOKS INTO AVAILABLE FORMAT (Unlimited) ......................................................................................................................... ......................................................................................................................... Download Full PDF EBOOK here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... Download Full EPUB Ebook here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... ACCESS WEBSITE for All Ebooks ......................................................................................................................... Download Full PDF EBOOK here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... Download EPUB Ebook here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... Download doc Ebook here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... ......................................................................................................................... ......................................................................................................................... .............. Browse by Genre Available eBooks ......................................................................................................................... Art, Biography, Business, Chick Lit, Children's, Christian, Classics, Comics, Contemporary, Cookbooks, Crime, Ebooks, Fantasy, Fiction, Graphic Novels, Historical Fiction, History, Horror, Humor And Comedy, Manga, Memoir, Music, Mystery, Non Fiction, Paranormal, Philosophy, Poetry, Psychology, Religion, Romance, Science, Science Fiction, Self Help, Suspense, Spirituality, Sports, Thriller, Travel, Young Adult,
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here
  • DOWNLOAD THIS BOOKS INTO AVAILABLE FORMAT (Unlimited) ......................................................................................................................... ......................................................................................................................... Download Full PDF EBOOK here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... Download Full EPUB Ebook here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... ACCESS WEBSITE for All Ebooks ......................................................................................................................... Download Full PDF EBOOK here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... Download EPUB Ebook here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... Download doc Ebook here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... ......................................................................................................................... ......................................................................................................................... .............. Browse by Genre Available eBooks ......................................................................................................................... Art, Biography, Business, Chick Lit, Children's, Christian, Classics, Comics, Contemporary, Cookbooks, Crime, Ebooks, Fantasy, Fiction, Graphic Novels, Historical Fiction, History, Horror, Humor And Comedy, Manga, Memoir, Music, Mystery, Non Fiction, Paranormal, Philosophy, Poetry, Psychology, Religion, Romance, Science, Science Fiction, Self Help, Suspense, Spirituality, Sports, Thriller, Travel, Young Adult,
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here
  • DOWNLOAD THIS BOOKS INTO AVAILABLE FORMAT (Unlimited) ......................................................................................................................... ......................................................................................................................... Download Full PDF EBOOK here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... Download Full EPUB Ebook here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... ACCESS WEBSITE for All Ebooks ......................................................................................................................... Download Full PDF EBOOK here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... Download EPUB Ebook here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... Download doc Ebook here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... ......................................................................................................................... ......................................................................................................................... .............. Browse by Genre Available eBooks ......................................................................................................................... Art, Biography, Business, Chick Lit, Children's, Christian, Classics, Comics, Contemporary, Cookbooks, Crime, Ebooks, Fantasy, Fiction, Graphic Novels, Historical Fiction, History, Horror, Humor And Comedy, Manga, Memoir, Music, Mystery, Non Fiction, Paranormal, Philosophy, Poetry, Psychology, Religion, Romance, Science, Science Fiction, Self Help, Suspense, Spirituality, Sports, Thriller, Travel, Young Adult,
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here

Analyse Logs + crawl : Retour sur 10 ans d’expérience - Mathieu Chapon - SEOCamp'us Paris 2019

  1. 1. #seocamp 1Mathieu.chapon@search-foresight.com - Tel : 01 74 18 29 40
  2. 2. #seocamp 2Mathieu.chapon@search-foresight.com - Tel : 01 74 18 29 40 CoFondateur de Search Foresight 10 ans d’expérience sur des problématiques SEO Grands Comptes & E-commerce. L’ADN de L’agence • Former en continu nos consultants • Étudier les moteurs de recherche • Créer des nouvelles Approches & Expertises • Maitriser tous les outils & CMS du marché • Se concentrer sur le résultat • Former nos clients au SEO Mon rôle • Former les équipes • Développer des outils R&D • Faire évoluer les méthodes • Accompagner sur les problématiques techniques
  3. 3. #seocamp 3Mathieu.chapon@search-foresight.com - Tel : 01 74 18 29 40 Sommaire 1. Les raisons qui poussent à analyser le crawl de Google 2. Le fonctionnement du crawl 3. Analyser les passages de Google 4. Les outils 5. L'analyse croisées : Logs + Crawl • Le principe • Cas pratique • Les pages orphelines • Qu'est ce qui influence le crawl? • L'influence le Performance? • Qu'est ce qui influence le crawl? • L'influence de la profondeur
  4. 4. #seocamp 4Mathieu.chapon@search-foresight.com - Tel : 01 74 18 29 40Agence conseil en stratégie digitale | SEO • SEM • CRO • Inbound Marketing • Analytics LE CRAWL DU BOT
  5. 5. #seocamp 5Mathieu.chapon@search-foresight.com - Tel : 01 74 18 29 40 Le fonctionnement d’un moteur de recherche Crawleur, indexeur, requêteur
  6. 6. #seocamp 6Mathieu.chapon@search-foresight.com - Tel : 01 74 18 29 40
  7. 7. #seocamp 7Mathieu.chapon@search-foresight.com - Tel : 01 74 18 29 40 L’objectif de Google Gagner un max d’argent!!!!  Fournir la meilleure réponse aux utilisateurs, en temps réel!
  8. 8. #seocamp 8Mathieu.chapon@search-foresight.com - Tel : 01 74 18 29 40 Donc, il faut explorer l’Internet 1,7 milliard de sites 165 mille milliards de pages http://www.internetlivestats.com/watch/websites/
  9. 9. #seocamp 9Mathieu.chapon@search-foresight.com - Tel : 01 74 18 29 40 Pour les crawler une fois, il faudrait crawler 5 000 000 pages par seconde pendant 1 an
  10. 10. #seocamp 10Mathieu.chapon@search-foresight.com - Tel : 01 74 18 29 40 Ne peut pas répondre à l’objectif de fraîcheur du résultat Et D’exhaustivité
  11. 11. #seocamp 11Mathieu.chapon@search-foresight.com - Tel : 01 74 18 29 40 Les chiffres de Google en 2018 Chaque jour, Google crawl 20 milliards de pages Donc 232 000 par seconde
  12. 12. #seocamp 12Mathieu.chapon@search-foresight.com - Tel : 01 74 18 29 40 Les chiffres de Google en 2018 Chaque jour, Google répond à 3,3 milliards de recherches Dont 15% n’avaient jamais été posé avant!
  13. 13. #seocamp 13Mathieu.chapon@search-foresight.com - Tel : 01 74 18 29 40 Donc Google doit faire des choix!
  14. 14. #seocamp 14Mathieu.chapon@search-foresight.com - Tel : 01 74 18 29 40 Quel est son processus d’exploration? À partir de sites de son index, il découvre de nouvelles urls/sites depuis des sites Il l’ajoute à sa liste d’urls à crawler Puis il la crawl Popularité - technique
  15. 15. #seocamp 15Mathieu.chapon@search-foresight.com - Tel : 01 74 18 29 40 Comment il priorise? Pour prioriser son crawl, Google calcul un Score d’importance de la page Technique - Contenu
  16. 16. #seocamp 16Mathieu.chapon@search-foresight.com - Tel : 01 74 18 29 40 Comment il pondère son crawl? En fonction de son expérience d’exploration sur votre site, il attribue un Budget de crawl qui est « flexible » Technique – contenu - popularité
  17. 17. #seocamp 17Mathieu.chapon@search-foresight.com - Tel : 01 74 18 29 40 Budget de crawl flexible en fonction de… • La performance • La santé du site (3xx, 4xx, 5xx) • La qualité du contenus de vos pages • Le linking interne • Inrank et l’outrank • La profondeur Technique – contenu - popularité
  18. 18. #seocamp 18Mathieu.chapon@search-foresight.com - Tel : 01 74 18 29 40 LE PASSAGE DU BOT
  19. 19. #seocamp 19Mathieu.chapon@search-foresight.com - Tel : 01 74 18 29 40 Qu’est-ce que les logs serveurs? Les logs serveur sont des fichiers qui comptabilisent toutes les visites bots ou utilisateurs Vous obtiendrez ainsi des informations sur • La fréquence • Les (plus) pages visités • Les bots qui vous visitent • Les sources des visites • Le rescode de votre site • Le volume de crawl • …
  20. 20. #seocamp 20Mathieu.chapon@search-foresight.com - Tel : 01 74 18 29 40 Ou trouve-t-on les logs?
  21. 21. #seocamp 21Mathieu.chapon@search-foresight.com - Tel : 01 74 18 29 40 Quelques points d’attention! 1) Est-ce que vous stockez vos logs ? Oui/non? Quels sont les principaux problèmes qu’on rencontre en général? • L’article 6 de la Loi n° 2004-575 du 21 juin 2004 pour la confiance dans l'économie numérique prévoit une durée de 1 an. • La Loi n° 2006-64 du 23 janvier 2006 relative à la lutte contre le terrorisme préconise 1 an. • La CNIL recommande 6 mois à des fins de contrôle des utilisateurs.
  22. 22. #seocamp 22Mathieu.chapon@search-foresight.com - Tel : 01 74 18 29 40 Quelques points d’attention! 2) Est-ce que vous stockez toutes les informations nécessaires dans vos logs?  L’adresse IP du client demandeur du contenu  Le nom d'hôte  La date et l'heure de la requête  La requête effectuée ou l'url visitée ainsi que le protocole (HTTP/1.1)  Le statut de la réponse  La taille des données servies  Le User Agent  Le Referer (informations sur le client qui lance la requête) Quels sont les principaux problèmes qu’on rencontre en général?
  23. 23. #seocamp 23Mathieu.chapon@search-foresight.com - Tel : 01 74 18 29 40 Quelques autres points d’attention? Vos serveurs, serveurs proxies, servers de cache, load balancing, serveurs de réécriture Et pas des plus anodins! Récupérer vos logs avec les urls réécrites Ils sont souvent répartis entre les frontaux et les serveurs de cache Où récupérer vos logs serveurs? Attention à la réécriture! Récupérer la totalité des logs
  24. 24. #seocamp 24Mathieu.chapon@search-foresight.com - Tel : 01 74 18 29 40 Les outils pour l’analyse de logs  Gratuit  $ Payant $ Le temps, c’est de l’argent! ELK
  25. 25. #seocamp 25Mathieu.chapon@search-foresight.com - Tel : 01 74 18 29 40Agence conseil en stratégie digitale | SEO • SEM • CRO • Inbound Marketing • Analytics L’analyse croisée Logs + Crawl
  26. 26. #seocamp 26Mathieu.chapon@search-foresight.com - Tel : 01 74 18 29 40 Le principe Croiser le crawl de Google avec le crawl d’un outil! Logs + Crawl
  27. 27. #seocamp 27Mathieu.chapon@search-foresight.com - Tel : 01 74 18 29 40 FOCUS SUR LE CRAWL: ACCESSIBILITÉ Contenu Non Existant (ex: nouvel univers potentiel) Contenu disponible (ex: pages bloquées aux moteurs) Pages Mises en Ligne Pages Crawlées Pages indexées Mots Clefs Positionnées Mots Clefs Cherchées 100% 10% 50% Vérifier qu’on exploite bien tous les contenus à disposition Optimiser en local les pages du site Vérifier que toutes les pages utiles soient bien accessibles aux moteurs de recherche PERDITIONSEO ROI Mots Clefs Cherchées PERDITIONSEO ACCESSIBILITÉ L’analyse croisée Logs + crawl
  28. 28. #seocamp 28Mathieu.chapon@search-foresight.com - Tel : 01 74 18 29 40 Qu’est ce qu’on y voit? Ce croisement est très riche d’enseignements • Taux de crawl: Quel est le ratio de crawl vue par Google vs crawlable dans le site? • Taux de pages actives: Combien de pages ont fait au moins une visite sur la période? • L'âge des pages actives: Parmi les pages qui ont fait des visites, depuis quand Google est passé? • La fenêtre de crawl: Combien de temps se passe entre 2 crawls pour les pages actives? • L’efficacité crawl / visites: le ratio entre le crawl et visite : plus c’est élevé plus le crawl est efficace. • Répartition du crawl et des visites par typologie de pages • Répartition des codes réponses par types de pages • Les pages Orphelines : Pages vues par Google mais présente dans la structure
  29. 29. #seocamp 29Mathieu.chapon@search-foresight.com - Tel : 01 74 18 29 40 Cas pratique: vision de la superposition! Quelles sont les conclusions à tirer de ce graphique? Raisons: Réécriture, http/https, mauvais logs
  30. 30. #seocamp 30Mathieu.chapon@search-foresight.com - Tel : 01 74 18 29 40 Cas pratique: vision de la superposition! Quels sont les conclusions à tirer de ce graphique? Raisons Problème de crawlabilité du site Erreur configuration de votre crawl
  31. 31. #seocamp 31Mathieu.chapon@search-foresight.com - Tel : 01 74 18 29 40 Cas pratique: vision de la superposition! Quelles sont les conclusions à tirer de ce graphique? Raisons Vous n’avez pas l’exhaustivité de vos logs La performance ou la profondeur sont mauvaises
  32. 32. #seocamp 32Mathieu.chapon@search-foresight.com - Tel : 01 74 18 29 40 Cas pratique: vision de la superposition! Quelles sont les conclusions à tirer de ce graphique? Raisons: Ajax, obfuscation inefficace, autres domaines
  33. 33. #seocamp 33Mathieu.chapon@search-foresight.com - Tel : 01 74 18 29 40 Cas pratique: vision de la superposition! Quelles sont les conclusions à tirer de ce graphique? Raisons: Totale inefficacité du crawl de Google sur le site
  34. 34. #seocamp 34Mathieu.chapon@search-foresight.com - Tel : 01 74 18 29 40 Les pages orphelines Question Quels sont les cas les plus courants des pages orphelines?
  35. 35. #seocamp 35Mathieu.chapon@search-foresight.com - Tel : 01 74 18 29 40 Les pages orphelines Réponse Les urls en 3xx et 4xx - Des pages produits/annonces expirées - Migration récente - Passage au http https
  36. 36. #seocamp 36Mathieu.chapon@search-foresight.com - Tel : 01 74 18 29 40 Qu'est-ce qui influence le crawl d'un site? • Le temps de chargement • La profondeur • Les erreurs 3XX, 4XX et 5XX • Google Shoping et Adsense • Le(s) sitemap(s) • La popularité • Le robots.txt Par Googlebot • La fraîcheur des pages • Les liens internes et externes • La qualité du contenu • L’Usage • La techno: Ajax, Javascript • Les balises canonical, noindex,
  37. 37. #seocamp 37Mathieu.chapon@search-foresight.com - Tel : 01 74 18 29 40 L’influence de la performance Exemple depuis la search console
  38. 38. #seocamp 38Mathieu.chapon@search-foresight.com - Tel : 01 74 18 29 40 L’influence de la profondeur Question Quel est le taux de crawl en niveau 5?
  39. 39. #seocamp 39Mathieu.chapon@search-foresight.com - Tel : 01 74 18 29 40 L’influence de la profondeur Réponse - de 20%
  40. 40. #seocamp 40Mathieu.chapon@search-foresight.com - Tel : 01 74 18 29 40 L’influence de la profondeur Le crawl décroit en fonction de la profondeur – pourquoi?
  41. 41. #seocamp 41Mathieu.chapon@search-foresight.com - Tel : 01 74 18 29 40 La mauvaise influence du crawl Qu’est-ce qui peut expliquer un taux de crawl aussi important dans la profondeur?
  42. 42. #seocamp 42Mathieu.chapon@search-foresight.com - Tel : 01 74 18 29 40 L’Influence du crawl Question Quel est le seul User agent de Google qui ne respecte pas la règle suivante User-Agent: * Disallow: /
  43. 43. #seocamp 43Mathieu.chapon@search-foresight.com - Tel : 01 74 18 29 40 L’Influence du crawl Réponse mediapartners-Google
  44. 44. #seocamp 44Mathieu.chapon@search-foresight.com - Tel : 01 74 18 29 40 L’influence sur l’explorabilité Question Quelle technique d’obfuscation de liens fonctionne ci-dessous? <span onclick=customFunction((‘url’))> <button onclick(location.href(‘url’)> "items":[{"label":"Caduc","count":681,"url":"https://domain.com/plantes/plantes-d-exterieur/rosiers.html <span data-atc=‘shd455dhf’>
  45. 45. #seocamp 45Mathieu.chapon@search-foresight.com - Tel : 01 74 18 29 40 L’Influence sur l’explorabilité Réponse <span data-atc=‘shd455dhf’>
  46. 46. #seocamp 46Mathieu.chapon@search-foresight.com - Tel : 01 74 18 29 40 L’Influence du crawl Question Quelles sont les balises qui font perdre du temps à Google?
  47. 47. #seocamp 47Mathieu.chapon@search-foresight.com - Tel : 01 74 18 29 40 L’Influence du crawl Réponse Balise Noindex Balise canonical
  48. 48. #seocamp 48Mathieu.chapon@search-foresight.com - Tel : 01 74 18 29 40 L’Influence du crawl L’exemple qui le montre
  49. 49. #seocamp 49Mathieu.chapon@search-foresight.com - Tel : 01 74 18 29 40 L’influence le crawl Question Dans une structure optimisé, qu’elle est l’autre raison, pour que Google ne crawl pas les pages?
  50. 50. #seocamp 50Mathieu.chapon@search-foresight.com - Tel : 01 74 18 29 40 L’influence le crawl Réponse Les pages zombies D’Olivier Duffez
  51. 51. #seocamp 51Mathieu.chapon@search-foresight.com - Tel : 01 74 18 29 40 L’influence le crawl Comment les identifier?
  52. 52. #seocamp 52Mathieu.chapon@search-foresight.com - Tel : 01 74 18 29 40 L’influence le crawl Comment les identifier?
  53. 53. #seocamp 53Mathieu.chapon@search-foresight.com - Tel : 01 74 18 29 40Agence conseil en stratégie digitale | SEO • SEM • CRO • Inbound Marketing • Analytics Les Analyses plus poussées
  54. 54. #seocamp 54Mathieu.chapon@search-foresight.com - Tel : 01 74 18 29 40 Depuis quand une page active n’a pas été crawlée ? En général, sur la plupart d’un site, une page active à été visité dans les 7 derniers jours. Pourquoi?
  55. 55. #seocamp 55Mathieu.chapon@search-foresight.com - Tel : 01 74 18 29 40 Fréquence de crawl par segment de pages Pourquoi les villes entre 50K à 100K habitants est moins crawlées que les villes 20K à 50K?
  56. 56. #seocamp 56Mathieu.chapon@search-foresight.com - Tel : 01 74 18 29 40 Quels sont les indicateurs qui pêchent pour mieux se positionner? Les termes suivants, les plus générateurs de trafic, ont des KPIs SEO à améliorer.
  57. 57. #seocamp 57Mathieu.chapon@search-foresight.com - Tel : 01 74 18 29 40 Merci de votre écoute
  58. 58. #seocamp 58Mathieu.chapon@search-foresight.com - Tel : 01 74 18 29 40 Question Mug Comment s’appelle le User Agent du bot de Google crawlant la version mobile?
  59. 59. #seocamp 59Mathieu.chapon@search-foresight.com - Tel : 01 74 18 29 40 MERCI AUX SPONSORS

×