Puis-je protéger un fichier sensible avec robots.txt ?
Contrairement à ce qu’on croit parfois, robots.txt n’est pas capable d’empêcher la visite d’un site par les robots malveillants.
robots.txt communique une liste d’adresse aux robots en les invitant à ne pas y accéder. De nombreux robots respectent ces instructions, mais ce n’est certainement pas le cas de programmes dont les auteurs sont mal intentionnés.
Ces programmes pourraient même puiser dans robots.txt des informations leur facilitant le piratage de votre site. On ne peut donc, en aucun cas, utiliser robots.txt pour protéger des fichiers sensibles.
Quoi qu’il en soit, il existe une astuce qui permet de ne pas dévoiler aux intrus les adresses exactes dont on veut éviter l’accès. Il faudra utiliser des adresses assez longues et n’indiquer que le début des adresses interdites dans robots.txt, comme ceci:
Disallow: /abcd/fichier_top
Cette ligne interdit l’accès à toutes les adresses commençant par /abcd/fichier_top. Elle ne permet pas de découvrir le nom du fichier interdit qui s’appelerait /abcd/fichier_top_secret_dont_le_nom_est_123456.html.
FAQ robots.txt
Vous trouverez la réponse à de nombreuses autres questions dans notre FAQ robots.txt.
