annuaire-info

Bien plus qu'un annuaire d'annuaires !

Les blocs d’instructions dans robots.txt

Bloc d’instructions: ce qu’il faut savoir

Le fichier robots.txt est composé d’un ou plusieurs blocs d’instructions. Chaque bloc comprend des directives et éventuellement des commentaires. Les blocs sont séparés entre eux par une ou plusieurs lignes vides. Ceci veut aussi dire que vous ne pouvez pas placer une ligne vide à l’intérieur d’un bloc d’instructions.

Les deux principales directives sont User-agent et Disallow.

Les commentaires commencent par le caractère # et ils sont ignorés par les robots.

Chaque bloc commence par une ou plusieurs directives User-agent suivies par une ou plusieurs directives Disallow. Des commentaires peuvent être intercalés entre n’importe quelles lignes.

Ce qui donne,

User-agent: gigabot
User-agent: exabot
Disallow: /abc/
Disallow: /xyz/
 
User-agent: googlebot
# Pas pour Google !
Disallow: /seo/
Disallow: /seo2/

Dans cet exemple,

  • les robots de Gigablast et Exalead peuvent visiter tout le site sauf les répertoires /abc/ et /xyz/
  • les robots de Google peuvent visiter tout le site sauf les répertoires /seo/ et /seo2/
  • les autres robots peuvent visiter tout le site sans restriction
  • notez la ligne vide indispensable qui sépare les deux blocs d’instructions
  • notez aussi la présence du commentaire commençant par #

Un mauvais exemple de fichier robots.txt

L’exemple suivant n’est pas correct. Il est présenté pour clarifier ce qu’il ne faut pas faire.
User-agent: gigabot
User-agent: exabot
Disallow: /abc/
User-agent: googlebot
Disallow: /xyz/

Les robots ne sauront pas quoi faire de ces instructions:

  • Si l’intention était d’avoir un seul bloc d’instructions, toutes les directives User-agent auraient dû précéder les directives Disallow.
  • Par contre, si l’intention était de créer deux blocs d’instructions, il aurait fallu que les blocs soient séparés par une ou plusieurs lignes vides.


Aucun commentaire à propos de “Les blocs d’instructions dans robots.txt

Soyez le premier à commenter !

Ajout de commentaire