Comment protéger les fichiers sensibles ?
Il ne faut en aucun cas utiliser le fichier robots.txt ou la META “robots” pour essayer de protéger des fichiers sensibles.
Le Protocole d’Exclusion des Robots définit des moyens de communiquer les intentions du webmaster aux robots, mais les robots font ce qu’ils veulent des informations reçues. Un robot dont le propriétaire est mal intentionné peut utiliser vos listes de pages à ne pas visiter pour rechercher des fichiers confidentiels.
La bonne règle est de placer tous les fichiers confidentiels en dehors des répertoires accessibles au serveur web.
Si un fichier ou un répertoire doit être accessible à certains utilisateurs et pas à d’autres, on pourra utiliser une protection par mot de passe. Si le mot de passe ou l’autorisation d’accès sont codés dans l’adresse des pages, ces pages pourraient devenir accessibles aux moteurs de recherche. Veillez alors à strictement limiter la validité de ces autorisations d’accès.
FAQ robots.txt
Vous trouverez la réponse à de nombreuses autres questions dans notre FAQ robots.txt.