annuaire-info

Bien plus qu'un annuaire d'annuaires !

robots.txt et sous-domaine

Vous avez ajouté un sous-domaine à votre site, mais vous ne souhaitez pas que ce nouveau sous-domaine soit indexé par les moteurs de recherche ? Voici la marche à suivre en utilisant robots.txt.

Pour fixer les idées, le domaine principal s’appellera mon-site.com et le sous-domaine secret. Nous supposerons que les fichiers du sous-domaine secret.mon-site.com sont également accessibles par des URL de la forme www.mon-site.com/repertoire_secret. C’est souvent le cas: par exemple, quand http://secret.mon-site.com/index.php et http://www.mon-site.com/repertoire_secret/index.php conduisent à la même page.

Pour éliminer tout risque d’indexation du contenu, on créera deux fichiers robots.txt, le premier dans www.mon-site.com, le second dans secret.mon-site.com.

Le fichier robots.txt de www.mon-site.com contiendra:

User-agent: *
Disallow: /repertoire_secret/

Le fichier robots.txt de secret.mon-site.com contiendra:

User-agent: *
Disallow: /

Pour vous assurer que les robots des moteurs de recherche sauront lire ces fichiers et que vous les avez sauvegardés à la bonne place,  vérifiez vous-même en tapant ces deux URL dans la barre d’adresse de votre navigateur:

  • http://www.mon-site.com/robots.txt
  • http://secret.mon-site.com/robots.txt

Pour d’autres informations, visitez notre page sur le fonctionnement de robots.txt et notre FAQ sur le Protocole d’Exclusion des Robots.

Publié le 23 octobre 2006 à 13h14 sous Robots


Un commentaire à propos de “robots.txt et sous-domaine”

  1. Oui mais comment faire pour prevenir la double indexation par les moteurs de recherche de pages webs via le domaine et le sub domaine pour eviter les penalité des moteurs de recherche (cloaking)

    Ecrit le 26 novembre 2008 à 19h04 par nada

Sorry, the comment form is closed at this time.