Le fichier robots.txt : à quoi sert-il et comment l'utiliser ?

Le fichier robots.txt est un simple fichier texte placé à la racine d'un site (https://www.exemple.com/robots.txt). Il indique aux robots d'exploration quelles parties du site ils peuvent ou ne peuvent pas visiter.

Un point crucial : exploration n'est pas indexation

Le robots.txt contrôle l'exploration, pas l'indexation. Une URL bloquée peut tout de même apparaître dans les résultats (sans description) si d'autres sites pointent vers elle. Pour empêcher une page d'être indexée, utilisez la balise noindex et laissez la page accessible aux robots, car ils doivent pouvoir la lire pour voir cette consigne.

La syntaxe de base

User-agent: *
Disallow: /panier/
Disallow: /recherche/

Sitemap: https://www.exemple.com/sitemap.xml

• User-agent : le robot concerné (* signifie tous les robots).
• Disallow : le chemin à ne pas explorer.
• Allow : une exception à une règle d'interdiction.
• Sitemap : l'adresse de votre sitemap XML.

À quoi l'utiliser ?

• Éviter que les robots perdent du temps sur des pages sans intérêt SEO : panier, pages de recherche interne, filtres générant de nombreuses combinaisons d'URL.
• Réduire la charge sur le serveur sur de grands sites.
• Indiquer l'emplacement du sitemap.

Les erreurs à éviter

• Bloquer tout le site par erreur : la ligne Disallow: / interdit l'exploration de l'ensemble. C'est une erreur classique après une mise en production depuis un site de test.
• Bloquer les fichiers CSS et JavaScript nécessaires à l'affichage : Google doit pouvoir voir la page comme un visiteur.
• Utiliser le robots.txt pour cacher des informations sensibles : le fichier est public, donc il révèle les chemins que vous voulez masquer. Protégez-les par une authentification.
• Combiner Disallow et noindex sur la même page : le robot ne pourra pas lire le noindex.

Comment tester

Ouvrez l'adresse /robots.txt dans votre navigateur et vérifiez le contenu. La Google Search Console propose un rapport sur le robots.txt pour voir comment Google l'a lu, et l'outil d'inspection d'URL indique si une page est bloquée.

Gardez ce fichier court et clair, et revérifiez-le à chaque refonte ou migration.