Où mettre le fichier robots.txt ?
Le fichier robots.txt doit toujours être placé dans le répertoire racine du site et nulle part ailleurs. ce sera donc habituellement le répertoire où se trouve index.php ou index.html.
Pour vérifier que vous avez placé votre robots.txt au bon endroit, tapez :
http://www.votre_site.com/robots.txt dans la barre d’adresse de votre navigateur, où, bien entendu, vous remplacez www.votre_site.com par le nom de votre site. Le navigateur affichera alors le contenu de votre fichier robots.txt.
Si vous utilisez des sous-domaines, il faudra un robots.txt par sous-domaine. Par exemple, avec les sous-domaines forum et annuaire, il faudra un robots.txt à l’adresse http://forum.mon_site.com/robots.txt et un autre à l’adresse http://annuaire.mon_site.com/robots.txt.
Si votre site est uniquement accessible comme sous-répertoire d’un site principal, ce sera le robots.txt du site principal qui s’appliquera à votre site. Par exemple, pour les sites www.blabla.com/mon-site/ et www.blabla.com/un-autre-site/, seul le robots.txt accessible à l’adresse http://www.blabla.com/robots.txt sera utilisé par les robots.
FAQ robots.txt
Vous trouverez la réponse à de nombreuses autres questions dans notre FAQ robots.txt.
