annuaire-info

Bien plus qu'un annuaire d'annuaires !

FAQ robots.txt  et balise META « robots »

Voici une série de questions et réponses concernant l’utilisation du fichier robots.txt et de la balise META « robots ». Si vous avez d’autres questions, n’hésitez pas à les poser ci-dessous. Nous y répondrons directement ou l’ajouterons à la FAQ.

  1. A quoi sert le fichier robots.txt ?
     
  2. Puis-je protéger un fichier sensible avec robots.txt ?
     
  3. Comment protéger les fichiers sensibles ?
     
  4. Où mettre le fichier robots.txt ?
     
  5. Pourquoi mes statistiques indiquent-elles des erreurs 404 pour robots.txt ?
     
  6. Pourquoi pas robot.txt ou Robots.txt ?
     
  7. robots.txt permet-il d’empêcher l’apparition d’une page dans les résultats d’un moteur de recherche ?
     
  8. La balise META « robots » permet-elle de supprimer une page d’un moteur de recherche ?
     
  9. Dans quel délai un changement dans robots.txt est-il pris en compte ?
     
  10. Dans quel délai un changement dans une balise META « robots » est-il pris en compte ?
     
  11. Puis-je utiliser robots.txt et la balise META « robots » sur un même site ?

Vous avez une question à laquelle cette FAQ ne répond pas ? Posez-la ci-dessous. Nous y répondrons rapidement.

Autres articles à propos de robots.txt et META « robots »

Nous proposons une série d’articles destinés à ceux qui veulent comprendre le Protocole d’Exclusion des Robots et apprendre le fonctionnement du fichier robots.txt et de la balise META « robots ».



Un commentaire à propos de “FAQ robots.txt  et balise META « robots »”

  1. Bonjour,
    J’ai 2 domaines dont la racine pointe vers le même répertoire sur mon serveur. Or je souhaite qu’1 des 2 sites soit totalement invisible des moteurs de recherche afin d’éviter un duplicate content avec l’autre site.
    Comment faire pour autoriser les robots sur 1 des sites et les refuser sur l’autre, sachant qu’ils partagent le même fichier robots.txt?

    Ecrit le 18 mars 2009 à 9h47 par david

Ajout de commentaire