Dans quel délai un changement dans robots.txt est-il pris en compte ?
Un changement ne pourra être pris en compte avant la prochaine lecture de robots.txt.
Comme la plupart des robots lisent le fichier au moins une fois dans les 24 heures qui précèdent l’accès à d’autres fichiers, les modifications sont généralement prise en compte rapidement.
Mais n’oublions pas que “ne plus venir voir une page” ne veut pas dire “supprimer la page des résultats de recherche”, ni “effacer la version en cache de la page” (capturée par les robots avant la modification du robots.txt ). Pour cela, il faudra beaucoup plus de patience.
FAQ robots.txt
Vous trouverez la réponse à de nombreuses autres questions dans notre FAQ robots.txt.