robots.txt et sous-domaine
Vous avez ajouté un sous-domaine à votre site, mais vous ne souhaitez pas que ce nouveau sous-domaine soit indexé par les moteurs de recherche ? Voici la marche à suivre en utilisant robots.txt.
Pour fixer les idées, le domaine principal s’appellera mon-site.com et le sous-domaine secret. Nous supposerons que les fichiers du sous-domaine secret.mon-site.com sont également accessibles par des URL de la forme www.mon-site.com/repertoire_secret. C’est souvent le cas: par exemple, quand http://secret.mon-site.com/index.php et http://www.mon-site.com/repertoire_secret/index.php conduisent à la même page.
Pour éliminer tout risque d’indexation du contenu, on créera deux fichiers robots.txt, le premier dans www.mon-site.com, le second dans secret.mon-site.com.
Le fichier robots.txt de www.mon-site.com contiendra:
User-agent: *
Disallow: /repertoire_secret/
Le fichier robots.txt de secret.mon-site.com contiendra:
User-agent: *
Disallow: /
Pour vous assurer que les robots des moteurs de recherche sauront lire ces fichiers et que vous les avez sauvegardés à la bonne place, vérifiez vous-même en tapant ces deux URL dans la barre d’adresse de votre navigateur:
- http://www.mon-site.com/robots.txt
- http://secret.mon-site.com/robots.txt
Pour d’autres informations, visitez notre page sur le fonctionnement de robots.txt et notre FAQ sur le Protocole d’Exclusion des Robots.