robots.txt permet-il de supprimer une page d’un moteur de recherche ?
Pas à tous les coups ! Le rôle du fichier robots.txt se limite à demander aux robots de ne pas venir lire certaines pages.
En théorie, ce n’est pas parce qu’un moteur de recherche ne visite pas une page qu’il ne peut pas en afficher l’adresse dans des résultats de recherche. Il est vrai qu’en pratique, la plupart des adresses interdites par robots.txt seront ignorées par les moteurs de recherche, mais ce n’est pas garanti.
Le moteur peut avoir trouvé cette adresse ailleurs et les textes des divers liens vers cette page peuvent être suffisants pour que le moteur décide d’afficher cette adresse dans les résultats. Toutefois, comme le moteur ne connaît pas le contenu de la page, il ne pourra en afficher ni le titre, ni un extrait.
FAQ robots.txt
Vous trouverez la réponse à de nombreuses autres questions dans notre FAQ robots.txt.
