FAQ robots.txt et balise META « robots »
Voici une série de questions et réponses concernant l’utilisation du fichier robots.txt et de la balise META « robots ». Si vous avez d’autres questions, n’hésitez pas à les poser ci-dessous. Nous y répondrons directement ou l’ajouterons à la FAQ.
- A quoi sert le fichier robots.txt ?
- Puis-je protéger un fichier sensible avec robots.txt ?
- Comment protéger les fichiers sensibles ?
- Où mettre le fichier robots.txt ?
- Pourquoi mes statistiques indiquent-elles des erreurs 404 pour robots.txt ?
- Pourquoi pas robot.txt ou Robots.txt ?
- robots.txt permet-il d’empêcher l’apparition d’une page dans les résultats d’un moteur de recherche ?
- La balise META « robots » permet-elle de supprimer une page d’un moteur de recherche ?
- Dans quel délai un changement dans robots.txt est-il pris en compte ?
- Dans quel délai un changement dans une balise META « robots » est-il pris en compte ?
- Puis-je utiliser robots.txt et la balise META « robots » sur un même site ?
Vous avez une question à laquelle cette FAQ ne répond pas ? Posez-la ci-dessous. Nous y répondrons rapidement.
Autres articles à propos de robots.txt et META « robots »
Nous proposons une série d’articles destinés à ceux qui veulent comprendre le Protocole d’Exclusion des Robots et apprendre le fonctionnement du fichier robots.txt et de la balise META « robots ».
Bonjour,
J’ai 2 domaines dont la racine pointe vers le même répertoire sur mon serveur. Or je souhaite qu’1 des 2 sites soit totalement invisible des moteurs de recherche afin d’éviter un duplicate content avec l’autre site.
Comment faire pour autoriser les robots sur 1 des sites et les refuser sur l’autre, sachant qu’ils partagent le même fichier robots.txt?
Ecrit le 18 mars 2009 à 9h47 par david