annuaire-info

Bien plus qu'un annuaire d'annuaires !

Yahoo! Slurp supporte * et $ dans robots.txt

Le blog de Yahoo! Search annonce que, comme Googlebot et MSNbot, Yahoo! Slurp supporte maintenant les caractères spéciaux * et $ dans les directives Disallow: du fichier robots.txt. L’astérisque * remplace n’importe quelle séquence de caractères, tandis que le dollar $ marque la fin de l’URL.

Ceci doit permettre une écriture plus intuitive et plus puissante des directives :

User-Agent: Yahoo! Slurp
Disallow: /*_print*.html

De cette manière, on a interdit l’accès aux pages avec l’extension .html dont l’adresse comprend _print. Par exemple, les pages /commande_print.html ou /camera_print/produit.html ne seront pas visitées par le robot.

User-Agent: Yahoo! Slurp
Disallow: /*?sid=*
Disallow: /*&sid=*

Cet autre exemple interdit à Yahoo! Slurp de visiter les pages contenant le paramètre sid.

Le blog Yahoo! Search spécifie User-Agent: Yahoo! Slurp, alors que les autres documents Yahoo spécifient User-agent: Slurp.

Dans la foulée, Yahoo! Search annonce le support de la directive Allow:, mais l’emploi de cette directive reste problématique, car, pour pouvoir l’utiliser, il est indispensable de savoir comment les priorités sont fixées entre les directives Allow: et Disallow: qui concernent une même URL.

Publié le 2 novembre 2006 à 22h55 sous Robots, Yahoo! Search


Aucun commentaire à propos de “Yahoo! Slurp supporte * et $ dans robots.txt”

Soyez le premier à commenter !

Sorry, the comment form is closed at this time.