annuaire-info

Bien plus qu'un annuaire d'annuaires !

La directive Disallow

A l’intérieur de chaque blocs d’instructions, on trouve une ou plusieurs directives Disallow. Elle indique quelles adresses ne peuvent pas être visitées par les robots.

Cette page présente la syntaxe standard universellement acceptée de la directive Disallow. Cette syntaxe est comprise et respectée par tous les robots « polis » (tous les robots, sauf les robots « malveillants » des hackers et des spammeurs). Des extensions à cette syntaxe sont proposées par Google, Yahoo et Microsoft. Vous les trouverez dans la page Extensions à robots.txt. Ces trois moteurs de recherche sont importants, mais de nombreux robots ne comprennent pas leurs extensions.

Selon le standard, les robots ne seront pas autorisés à visiter les adresses du site qui commencent pas le « texte » qui suit les deux points dans la directive.

Disallow, pour interdire tout le site

Disallow: /
La directive interdit tout accès au site puisque toute adresse du site commence par un /.

Disallow, pour interdire un répertoire

Disallow: /waw/
La directive interdit tout accès au répertoire /waw/. Sont donc interdits, les accès à :

  • /waw/index.php
  • /waw/fleur.jpg
  • /waw/
  • /waw/machin/abcdef.html
  • /waw/page.php?alfa=12&beta=34

Jusqu’ici, nos exemples de fichiers robots.txt se limitaient à interdire l’accès à des répertoires donnés, mais robots.txt peut être utilisés pour interdire l’accès à une seule page ou à d’autres groupes d’adresses.

Disallow, pour interdire une image

Disallow: /ma_photo.jpg
La directive interdit uniquement l’accès au fichier /ma_photo.jpg.

Disallow, pour interdire un script

Disallow: /application_geniale.php
La directive interdit tout accès à /application_geniale.php. Sont donc interdits, les accès à :

  • /application_geniale.php
  • /application_geniale.php?couleur=bleu
  • /application_geniale.php?couleur=vert&fonction=impression

Disallow, pour interdire un script avec des paramètres

Disallow: /application_geniale.php?
La directive n’interdit pas l’accès à /application_geniale.php, mais elle interdit tout accès à toutes les adresses commençant par /application_geniale.php?. Sont donc interdits, les accès à :

  • /application_geniale.php?
  • /application_geniale.php?couleur=bleu
  • /application_geniale.php?couleur=vert&fonction=impression

Disallow, pour interdire un script avec des paramètres particuliers

Disallow: /application_geniale.php?couleur=rouge
La directive n’interdit pas l’accès à /application_geniale.php, ni à /application_geniale.php?couleur=bleu, mais elle interdit tout accès à toutes les adresses commençant par /application_geniale.php?couleur=rouge. Sont donc interdits, les accès à :

  • /application_geniale.php?
  • /application_geniale.php?couleur=rouge
  • /application_geniale.php?couleur=rouge&fonction=impression

Disallow, pour interdire un groupe de répertoires et de scripts

Disallow: /wp-
Parfois utilisé avec WordPress, cette directive interdit l’accès à toute adresse commençant par /wp-. Sont notamment interdits, les accès à :

  • /wp-admin/
  • /wp-content/
  • /wp-include/
  • /wp-config.php
  • /wp-login.php

Disallow, pour ne rien interdire

Disallow:
Cette version spéciale de la directive (rien ne suit le Disallow: ) autorise l’accès à tout le site. On peut l’utiliser comme ceci:
User-agent: *
Disallow: /forum/
 
User-agent: robot_pub
Disallow:

De cette façon, aucun robot ne peut visiter le répertoire /forum/, sauf « robot_pub ».



Aucun commentaire à propos de “La directive Disallow

Soyez le premier à commenter !

Ajout de commentaire