1. Indexation et désindexation
SEO Campus
14 mars 2013
Olivier Andrieu
(Abondance)
olivier@abondance.com
http://www.abondance.com/

2. Présentation
Olivier Andrieu
Basé à Heiligenstein (67140)
- Premiers pas sur Internet en 1993
- Création de la société Abondance en 1996
- Audit, conseil, accompagnement, formations, etc.
autour du référencement naturel (SEO)

3. Indexation et désindexation
1. Pourquoi désindexer ?
2. Que désindexer ?
3. Comment désindexer ?
4. Suivre une désindexation
Les slides seront en ligne demain

4. Indexation et désindexation
Pourquoi désindexer ?
- Pour fournir aux internautes uniquement des pages
de bonne qualité
- Pour améliorer le taux de rebond sur son site
- Pour améliorer le "pogo sticking" de Google
- Désindexer = parfois "ne pas encore indexer"
- Pour des raisons de confidentialité
- Pour "bétonner" la non-indexation d'un intranet
ou d'une zone accessible aux abonnés/clients…
- Pour éviter d'indexer des fichiers inutiles (CSS, JS, cgi-bin, etc.)
- Pour obliger l'internaute à venir sur votre site
chercher un document
- Pour être en conformité avec les "guidelines" de Google
(pages de résultats du moteur interne)
- Pour des problèmes de droits
- Pour faciliter le travail de crawl de Google
- Pour cause de diffamation ou demande à finalité juridique
- Pour interdire l'accès à des robots "exotiques”
- Pour éviter les foudres de Panda

5. Indexation et désindexation
Les risques de la désindexation
- Moins de pages indexées = perte de confiance
de la part de Google ?
- Moins de trafic de Longue Traîne ?
- Montrer aux autres les "zones d'ombre"
du site
- La perte de transmission de PR
(augmentation des "dangling pages")
Pourquoi s'embêter à désindexer ?
- On n'a pas l'habitude :-)
- Une pratique récente
- Pourquoi faire le boulot de Google à sa place ?

6. Indexation et désindexation
Que désindexer ?
- Les pages en "duplicate content" ?
- Les pages obsolètes ?
- Les pages avec peu de contenu textuel
- Les pages peu intéressantes (formulaires)
- Les images (copyright ?)
- Les versions de test d'un site web
- Les pages de résultats de votre moteur interne
- Des pages diffamantes
Globalement, les pages qui n'apportent pas une réponse satisfaisante aux
internautes si on les trouve dans les SERP, notamment si elles sont présentes en
grande quantité sur votre site…
- Rappel : Google demande que vous ne désindexiez pas les JS et CSS
(http://www.abondance.com/actualites/20120326-11319-matt-cutts-laissez-googlebot-
crawler-vos-css-et-javascript.html).

7. Indexation et désindexation
Que désindexer ?
- Les pages en "duplicate content" ?
Exemples :
- Mêmes produits dans des couleurs différentes
- Même article dans des rubriques différentes
- Article repris depuis une source originale
- DUST (Duplicate URL, Same Text)
A priori, préférer la balise canonical
qui transfère les backlinks des pages dupliquées
vers les canoniques.
La désindexation peut être obligatoire
si la source le demande (mais c'est dommage
pour tout le monde, la canonical est préférable)
Problématique des contenus disponibles sous différents formats (Doc, PDF, etc.)

8. Indexation et désindexation
Que désindexer ?
- Les pages obsolètes ?
A traiter au cas par cas…
Leur Contenu est-il vraiment
totalement inintéressant ?
Dans ce cas, ne vaut-il pas mieux
envisager une 301 vers une
page plus intéressante ?

9. Indexation et désindexation
Que désindexer ?
- Les pages de faible qualité
Oui, ça semble logique…
- Formulaires
- Pages avec très peu de texte
- Pages ne répondant pas potentiellement
aux questions des internautes
Mais désindexer uniquement
si leur volume est important
Faites preuve de bon sens…

10. Indexation et désindexation
Comment désindexer ?
- Fichier robots.txt
(interdit le crawl)
- Balise meta "robots"
(interdit l'indexation)
- Directive X-Robots-Tag
(interdit l'indexation)
- Google Webmaster Tools
(interdit l'indexation)

11. Indexation et désindexation
Comment désindexer ?
- Fichier robots.txt
(interdit le crawl) User-agent: Googlebot
Disallow:
http://www.votresite.com/robots.txt User-agent: *
Disallow: /
User-agent:*
Seul Googlebot est autorisé
Disallow: /images/
Disallow: /fichiers
User-Agent: *
User-agent: * Disallow: /repertoire/chemin/page.html
Disallow: Disallow: /repertoire/chemin/page2.html
Opérations portes ouvertes
Disallow: /repertoire/chemin/page3.html
Désindexation d'URL précises
User-agent: *
Disallow: /
User-Agent: *
Fermé à double tour Disallow: /repertoire/chemin/page
Comment autoriser /repertoire/chemin/page2 au crawl ?

12. Indexation et désindexation
Comment désindexer ?
- Fichier robots.txt
(interdit le crawl)
- Les robots de Google >
- Liste des autres robots :
http://www.robotstxt.org/db.html
Source : http://support.google.com/webmasters/bin/answer.py?hl=fr&answer=1061943

13. Indexation et désindexation
Comment désindexer ?
- Fichier robots.txt
(interdit le crawl)
- Eviter les jokers (*, $, etc.) qui ne sont compatibles qu'avec Google et Bing
Disallow: /*price=
Disallow: /*{{config path=$
Disallow: /*.flv$
- Idem pour "Allow:"
- Ne pas insérer de lignes blanches
après le User-agent:
QuickTime™ and a
Graphics decompressor
are needed to see this picture.

14. Indexation et désindexation
Comment désindexer ?
- Fichier robots.txt
(interdit le crawl)
- Le bloc le plus spécifique sera pris en compte :
User-agent: *
Disallow:
User-agent: Bingbot
Disallow: /
Attention aux directives contradictoires !

15. Indexation et désindexation
Comment désindexer ?
- Fichier robots.txt
(interdit le crawl)
- Testez vos robots.txt :
* Google Webmaster Tools
(Etat de santé > URL bloquées)
* Outils dédiés :
http://tool.motoricerca.info/robots-checker.phtml

16. Indexation et désindexation
Comment désindexer ?
- Fichier robots.txt
(interdit le crawl)
- Les pages sont connues de Google,
les URL sont donc indexées
mais pas explorées
(mais un titre explicite
est parfois indiqué par Google)

17. Indexation et désindexation
Comment désindexer ?
- Fichier robots.txt
(interdit le crawl)
- L'URL est indexée, pas le contenu.
- Mais elle est "présente" dans les SERP !
- Que se passe-t-il si le contenu était
indexé avant la mise en place du robots.txt ?
> Délai avant remise à jour des données
- Le fichier robots.txt d'un site n'est pas lu par Google à chaque visite.
Il faut le créer bien avant la mise en ligne des contenus "interdits"

18. Indexation et désindexation
Comment désindexer ?
- Fichier robots.txt
(interdit le crawl)
- Attention si vous recevez ce type de message :
- Conclusion : le robots.txt est une solution plutôt à déconseiller

19. Indexation et désindexation
Comment désindexer ?
- Balise meta robots
(interdit l'indexation)
<meta name="robots" content="noindex,follow">
<meta name="robots" content="noindex,nofollow">
<meta name="googlebot" content="noindex,follow">
- Fonctionne pour les pages web
- Ne fonctionne pas pour les autres formats (PDF, Word, PPT, images, etc.)
- Bien penser à ne pas mettre les URL dans le fichier robots.txt

20. Indexation et désindexation
Comment désindexer ?
- Directive X-Robots-Tag
(interdit l'indexation)
- Dans l'en-tête HTTP
- Convient pour tous les formats de documents.
- Bien penser à ne pas mettre les URL dans le fichier robots.txt
- Peut être intéressant pour ne pas indexer les pages https déjà disponibles en http
(http://www.yapasdequoi.com/apache/2983-len-tete-x-robot-tag-ou-comment-vite-desindexer-des-
pages.html)
- Plus d'infos : https://developers.google.com/webmasters/control-crawl-index/docs/robots_meta_tag

21. Indexation et désindexation
Comment désindexer ?
- Directive X-Robots-Tag
(interdit l'indexation)
Quelques exemples :
HTTP/1.1 200 OK
Date: Tue, 25 May 2010 21:42:43 GMT
(…)
X-Robots-Tag: noindex HTTP/1.1 200 OK
(…) Date: Tue, 25 May 2010 21:42:43 GMT
(…)
X-Robots-Tag: googlebot: nofollow
HTTP/1.1 200 OK X-Robots-Tag: otherbot: noindex, nofollow
Date: Tue, 25 May 2010 21:42:43 GMT (…)
(…)
X-Robots-Tag: noarchive
X-Robots-Tag: unavailable_after: 25 Jun 2013 15:00:00 PST
(…)

22. Indexation et désindexation
Comment désindexer ?
- Directive X-Robots-Tag
(interdit l'indexation)
Source : https://developers.google.com/webmasters/control-crawl-index/docs/robots_meta_tag

23. Indexation et désindexation
Comment désindexer ?
- Directive X-Robots-Tag
(interdit l'indexation)
Exemple PHP :
header("X-Robots-Tag: noindex", true);
header("X-Robots-Tag: noindex, nofollow", true);
Exemple via le .htaccess :
<FilesMatch ".doc$">
Header set X-Robots-Tag "noindex, noarchive"
</Files>
<FilesMatch ".(doc|pdf)$">
Header set X-Robots-Tag "noindex, noarchive"
</Files>

24. Indexation et désindexation
Comment désindexer ?
- Google Webmaster Tools
(interdit l'indexation)
Le contenu supprimé à l'aide de cet outil est exclu de l'index Google pour une période minimale de 90
jours. Au cours de cette période, vous pouvez à tout moment utiliser l'outil de demande de
suppression d'URL pour réintégrer votre contenu.
Voir : https://support.google.com/webmasters/bin/answer.py?hl=fr&answer=59819

25. Indexation et désindexation
Comment désindexer ?
- Google Webmaster Tools
(interdit l'indexation)
"Gardez à l'esprit que cet outil supprime toutes les versions d'une page (http/https et www/non
www), même la version principale."
Autre cas ici :
http://support.google.com/webmasters/bin/answer.py?hl=fr&answer=1269119

26. Indexation et désindexation
Comment suivre une désindexation ?
- Requête "site:"
- Google Webmaster Tools : Etat de santé > Etat de l'indexation
- Eventuellement, créer un Sitemap spécial
"Désindexation" et le suivre dans les GWT

27. Indexation et désindexation
Quelques infos supplémentaires
- Google n'a pas de limite de nombre de pages
crawlées / indexées par site.
- Vous ne pouvez pas désindexer les
sites de vos concurrents :-)
- Si vous demandez à Google de désindexer un contenu pour cause de diffamation
ou autre motif, le seul moyen d'arriver à vos fins est de faire un procès…
- Mais vous pouvez faire une demande Digital Millennium Copyright Act (DMCA) (
http://www.google.fr/intl/fr/dmca.html) en cas de violation des droits d’auteur

28. Indexation et désindexation
Conclusion
- La désindexation, une pratique nouvelle
mais parfois utile et nécessaire
- Séparer le bon grain de l’ivraie sur son site
- Ne donner à manger à Goole que
ce qu’il peut bien digérer
- Préférer la balise meta “robots”
et la directive X-Robots-Tag

29. Indexation et désindexation
Quelques liens :
Protocole robots.txt et standards associés :
http://www.robotstxt.org/
Page de référence de Google sur les balises meta robots et x-robots-tag :
https://developers.google.com/webmasters/control-crawl-index/docs/robots_meta_tag
Pages de référence de Google sur le fichier robots.txt et les extensions du standard propres à
ce moteur :
http://googlewebmastercentral.blogspot.fr/2008/06/improving-on-robots-exclusion-
protocol.html
http://support.google.com/webmasters/bin/answer.py?
hl=fr&answer=156449&from=40367&r d=1
https://developers.google.com/webmasters/control-crawl-index/docs/faq

30. Indexation et désindexation
MERCI !!
Merci à Philippe Yonnet et David Degrelle
pour la relecture et les suggestions :))

31. Indexation et désindexation
CONTENT IS KING, LINK IS HIS QUEEN,
OPTIMIZED CONTENT IS EMPEROR !!!
Le référencement sert à donner une
bonne visibilité à un contenu de qualité !
Support proposé par Olivier Andrieu
olivier@abondance.com