robots.txt et sous-domaine
Vous avez ajouté un sous-domaine à votre site, mais vous ne souhaitez pas que ce nouveau sous-domaine soit indexé par les moteurs de recherche ? Voici la marche à suivre en utilisant robots.txt.
Pour fixer les idées, le domaine principal s’appellera mon-site.com et le sous-domaine secret. Nous supposerons que les fichiers du sous-domaine secret.mon-site.com sont également accessibles par des URL de la forme www.mon-site.com/repertoire_secret. C’est souvent le cas: par exemple, quand http://secret.mon-site.com/index.php et http://www.mon-site.com/repertoire_secret/index.php conduisent à la même page.
Pour éliminer tout risque d’indexation du contenu, on créera deux fichiers robots.txt, le premier dans www.mon-site.com, le second dans secret.mon-site.com.
Le fichier robots.txt de www.mon-site.com contiendra:
User-agent: *
Disallow: /repertoire_secret/
Le fichier robots.txt de secret.mon-site.com contiendra:
User-agent: *
Disallow: /
Pour vous assurer que les robots des moteurs de recherche sauront lire ces fichiers et que vous les avez sauvegardés à la bonne place, vérifiez vous-même en tapant ces deux URL dans la barre d’adresse de votre navigateur:
- http://www.mon-site.com/robots.txt
- http://secret.mon-site.com/robots.txt
Pour d’autres informations, visitez notre page sur le fonctionnement de robots.txt et notre FAQ sur le Protocole d’Exclusion des Robots.
Oui mais comment faire pour prevenir la double indexation par les moteurs de recherche de pages webs via le domaine et le sub domaine pour eviter les penalité des moteurs de recherche (cloaking)
Ecrit le 26 novembre 2008 à 19h04 par nada