A quoi sert le fichier robots.txt ?
Le fichier robots.txt permet de demander, Ã un ou plusieurs robots du web, de ne pas visiter un site ou une partie de site.
Il y a deux raisons principales pour demander à un robot de ne pas visiter un site.
Certains robots sont particulièrement gourmands en bande passante, or les contrats d’hébergement limitent souvent celle-ci. Laisser envahir son site par les robots d’un moteur de recherche qui n’apporte pas de visiteur peut donc être coûteux et inutile. Grâce à robots.txt, on peut réduire la bande passante consommée par des robots inutiles.
D’autre part, les moteurs de recherche n’aiment pas les doublons (duplicate content ). Quand un moteur de recherche découvre le même contenu à différents endroits sur un site, il va soit négliger les pages contenant les doublons, soit pénaliser l’ensemble du site pour ce qui peut passer pour une “tricherie” pour améliorer le référencement. On veillera donc à n’autoriser l’accès à une page que par une seule adresse afin d’éliminer le risque de duplicate content.
FAQ robots.txt
Vous trouverez la réponse à de nombreuses autres questions dans notre FAQ robots.txt.
