annuaire-info

Bien plus qu'un annuaire d'annuaires !

La directive User-agent

Au début de chaque bloc d’instructions, on trouve une ou plusieurs directive User-agent. Elle indique à quels robots s’adressent le bloc d’instructions.

User-agent: googlebot désigne les robots du moteur de recherche Google.

User-agent: slurp désigne les robots de Yahoo.

User-agent: msnbot désigne les robots de Live Search (MSN Search) de Microsoft.

et ainsi de suite. La liste est longue et il est important d’utiliser le nom exact du robot. Notre liste des robots publie cette information pour de nombreux robots.

User-agent: *

La directive User-agent: * désigne tous les robots sauf ceux qui sont désignés explicitement dans un autre bloc d’instructions. Attention, car cela ne correspond pas toujours à l’interprétation intuitive de cette directive.

Exemple 1 de fichier robots.txt

User-agent: robof
Disallow: /
 
User-agent: *
Disallow: /admin/

Dans ce premier exemple,

  • le robot « robof » n’est autorisé nulle part dans le site, puisqu’il est interdit dans le répertoire racine et donc automatiquement dans tous ses sous-répertoires.
  • les autres robots peuvent visiter tout le site sauf le répertoire /admin/

Exemple 2 de fichier robots.txt

User-agent: *
Disallow: /admin/
 
User-agent: robof
Disallow: /images/

Dans cet exemple,

  • le robot « robof » peut visiter tout le site sauf le répertoire /images/
  • les autres robots peuvent visiter tout le site sauf le répertoire /admin/
  • notez bien qu’ainsi, « robof » peut visiter le répertoire /admin/

Exemple 3 de fichier robots.txt

User-agent: *
Disallow: /admin/
 
User-agent: robof
Disallow: /admin/
Disallow: /images/

Dans ce nouvel exemple,

  • le robot « robof » peut visiter tout le site sauf les répertoires /admin/ et /images/
  • les autres robots peuvent visiter tout le site sauf le répertoire /admin/


Aucun commentaire à propos de “La directive User-agent

Soyez le premier à commenter !

Ajout de commentaire