Pourquoi ai-je des erreurs 404 pour robots.txt ?
Que vous ayez placé un fichier robots.txt dans le répertoire racine de votre site ou pas, les robots respectueux des standards commencent toujours leurs visites par une (tentative de) lecture de ce fichier.
Si le fichier n’existe pas, votre serveur web leur renvoie un code 404 indiquant l’absence de ce fichier. Le robot sait alors qu’il peut visiter librement l’ensemble du site. Pour les robots, c’est une situation parfaite. Elle n’entravera en rien l’indexation de votre site par les moteurs de rcherche.
Il n’est pas obligatoire d’avoir un fichier robots.txt. Le seul inconvénient de l’absence de robots.txt sera que vos statistiques risquent d’être envahies de ces “erreurs 404″ si les robots sont nombreux à visiter votre site. Pour éviter cela, placez un fichier robots.txt vide dans le répertoire racine de votre site. Il signifie également que vous laisser les robots accéder à l’ensemble de votre site.
FAQ robots.txt
Vous trouverez la réponse à de nombreuses autres questions dans notre FAQ robots.txt.
