Yahoo! Slurp supporte * et $ dans robots.txt
Le blog de Yahoo! Search annonce que, comme Googlebot et MSNbot, Yahoo! Slurp supporte maintenant les caractères spéciaux * et $ dans les directives Disallow: du fichier robots.txt. L’astérisque * remplace n’importe quelle séquence de caractères, tandis que le dollar $ marque la fin de l’URL.
Ceci doit permettre une écriture plus intuitive et plus puissante des directives :
User-Agent: Yahoo! Slurp
Disallow: /*_print*.html
De cette manière, on a interdit l’accès aux pages avec l’extension .html dont l’adresse comprend _print. Par exemple, les pages /commande_print.html ou /camera_print/produit.html ne seront pas visitées par le robot.
User-Agent: Yahoo! Slurp
Disallow: /*?sid=*
Disallow: /*&sid=*
Cet autre exemple interdit à Yahoo! Slurp de visiter les pages contenant le paramètre sid.
Le blog Yahoo! Search spécifie User-Agent: Yahoo! Slurp, alors que les autres documents Yahoo spécifient User-agent: Slurp.
Dans la foulée, Yahoo! Search annonce le support de la directive Allow:, mais l’emploi de cette directive reste problématique, car, pour pouvoir l’utiliser, il est indispensable de savoir comment les priorités sont fixées entre les directives Allow: et Disallow: qui concernent une même URL.
