robots.txt et sitemap.xml : bien faire indexer son site

Deux petits fichiers déposés à la racine d'un site décident en grande partie de ce que les moteurs de recherche vont explorer et indexer. Le robots.txt dit où les robots ont le droit d'aller, le sitemap.xml leur dit quelles pages existent. Ils sont souvent confondus, alors qu'ils font deux choses différentes, et une erreur dans l'un des deux peut rendre un site entier invisible.

Le fichier robots.txt

C'est un simple fichier texte, placé à la racine du domaine, accessible à l'adresse votredomaine.fr/robots.txt. Il contient des règles indiquant aux robots quelles parties du site ils ne doivent pas parcourir.

La syntaxe

User-agent désigne le robot concerné, l'astérisque signifiant tous les robots. Disallow interdit un chemin, Allow en autorise un. La ligne Sitemap indique où trouver votre plan de site : elle est facultative mais fortement recommandée, car elle fonctionne pour tous les moteurs à la fois.

Ce que le robots.txt ne fait pas

C'est le malentendu le plus coûteux du référencement. Un Disallow empêche le robot de lire la page, il ne l'empêche pas de l'indexer. Si d'autres sites pointent vers cette adresse, Google peut parfaitement l'afficher dans ses résultats, avec un titre approximatif et la mention indiquant qu'aucune description n'est disponible.

Pire : comme le robot n'a pas le droit de lire la page, il ne verra jamais la balise <meta name="robots" content="noindex"> qui s'y trouve. Bloquer une page dans le robots.txt pour la désindexer produit donc exactement l'effet inverse.

Les erreurs classiques

• Un Disallow: / oublié. Une seule barre oblique, et le site entier est fermé aux moteurs. C'est le vestige typique d'une phase de développement. À vérifier en premier dès qu'un site n'apparaît nulle part.
• Bloquer le CSS et le JavaScript. Interdire /css/ ou /js/ empêche Google d'afficher la page comme le ferait un visiteur. Il ne peut plus juger de son rendu, notamment sur mobile.
• Croire que le fichier protège quelque chose. Le robots.txt est public et lisible par n'importe qui. Y lister vos répertoires sensibles revient à en publier la carte. Ce n'est pas un dispositif de sécurité.
• Un fichier qui renvoie une erreur. Si robots.txt renvoie un code 500, certains robots interrompent complètement l'exploration du site. Un fichier absent, en revanche, est sans conséquence : tout est alors autorisé par défaut.

Le fichier sitemap.xml

Le plan de site est un fichier XML qui liste les adresses que vous souhaitez voir indexées. Il ne garantit rien, mais il aide beaucoup : il permet au moteur de découvrir des pages peu liées depuis votre navigation, et de repérer plus vite celles que vous venez de modifier.

La structure

Seule la balise <loc> est obligatoire. <lastmod> est utile à condition d'être sincère : une date de modification remise à aujourd'hui sur toutes les pages à chaque publication finit par être ignorée. Les balises <changefreq> et <priority>, elles, ne sont plus prises en compte par Google.

Les règles à respecter

• Un fichier ne doit pas dépasser 50 000 adresses ni 50 Mo décompressés. Au delà, découpez en plusieurs fichiers reliés par un fichier d'index.
• Les adresses doivent être absolues et toutes sur le même domaine que le sitemap.
• N'y mettez que des pages qui renvoient un code 200. Une redirection, une page en erreur ou une page en noindex dans un sitemap est un signal contradictoire.
• Chaque adresse doit être la version canonique de la page. Ne listez pas à la fois la version avec et sans barre oblique finale.
• Encodez les caractères spéciaux : une esperluette doit s'écrire & dans le XML, faute de quoi le fichier est invalide.

Faut-il un sitemap ?

Sur un petit site bien maillé, dont toutes les pages sont accessibles en deux ou trois clics depuis l'accueil, l'apport est faible. Il devient réellement utile dans quatre cas : un site de plusieurs centaines de pages, un site neuf sans aucun lien entrant, un site dont certaines pages ne sont liées nulle part, ou un site mis à jour très souvent.

Les deux fichiers ensemble

La bonne configuration de départ, pour la grande majorité des sites, tient en quelques lignes. Un robots.txt qui n'interdit que ce qui doit vraiment l'être et qui déclare le sitemap. Un sitemap.xml à jour, ne contenant que des pages canoniques en 200. Et pour les pages à exclure des résultats, une balise noindex dans la page elle même, sans blocage dans le robots.txt.

Une fois les deux fichiers en place, déclarez le sitemap dans la Search Console de Google et dans les outils pour webmasters de Bing. Vous y verrez combien d'adresses ont été lues, combien ont été indexées, et pour quelles raisons les autres ne l'ont pas été.

Questions fréquentes

Où placer exactement ces fichiers ?

Le robots.txt doit impérativement se trouver à la racine du domaine. Un fichier placé dans un sous répertoire n'est jamais lu. Le sitemap.xml est plus souple : il peut être ailleurs, du moment qu'il est déclaré dans le robots.txt ou dans la Search Console.

Combien de temps avant que mes modifications soient prises en compte ?

Les moteurs relisent le robots.txt régulièrement, en général sous 24 heures. Pour le sitemap, comptez de quelques jours à quelques semaines selon la fréquence de passage du robot sur votre site.

Mon sitemap contient 200 pages mais Google n'en indexe que 60

C'est fréquent et ce n'est pas un dysfonctionnement. Un sitemap est une suggestion, pas une commande. Les pages écartées le sont généralement parce qu'elles sont jugées trop pauvres, trop proches d'une autre page du site, ou parce qu'elles renvoient vers une adresse canonique différente. Le rapport d'indexation de la Search Console indique le motif pour chaque page.

Faut il lister les images et les PDF ?

Les PDF peuvent être indexés et ont leur place dans un sitemap s'ils comptent pour vous. Pour les images, il existe un format de sitemap dédié, utile surtout aux sites dont les images sont le contenu principal.