Protocole d'Exclusion des Robots
|
Le Protocole d'Exclusion des Robots (Robots Exclusion Protocol) définit le format du fichier robots.txt et de la balise META "robots". Il a été approuvé le 30 juin 1994. Il s'agit de deux techniques complémentaires de communication entre le gestionnaire d'un site web et les robots qui le visitent. Le fichier robots.txt consiste en une série d'instructions destinées aux robots du web. Le fichier pourra comprendre une série d'instructions destinées à tous les robots et des instructions spécifiques pour l'un ou l'autre robot particulier. Grâce à ce fichier, le webmaster peut demander aux robots de ne pas visiter certaines adresses de son site. Il s'agit bien d'une demande et non d'un dispositif qui rendrait la visite du robot techniquement impossible. La balise META "robots" est une ligne de code HTML à placer dans le code source d'une page. Elle indique aux robots les restrictions quant à l'usage qu'ils peuvent faire de la page. Ici aussi, il s'agit d'un mécanisme qui suppose la collaboration du moteur de recherche. |
Tout savoir sur robots.txt et balise META "robots"
|
robots.txt, les instructions conformes au Protocole d'Exclusion des Robots Balise META "robots", les directives conformes au Protocole d'Exclusion des Robots Googlebot (robot de Google), robots.txt et META "robots", extensions et particularités MSNBot (robot de MSN Search), robots.txt et META "robots", extensions et particularités Slurp (robot de Yahoo! Search), robots.txt et META "robots", extensions et particularités |
FAQ - Questions fréquentes
L'Encyclopédie des Robots
|
L'Encyclopédie des Robots du Web est un répertoire de plusieurs dizaines de robots (spiders,crawlers, probes,...) qui circulent sur le web francophone. L'encyclopédie contient des informations qui vous permettent de décider en connaissance de cause si le robot est le bienvenu ou non sur votre site. Pour la plupart des robots, elle contient également le User Agent à placer dans le fichier robots.txt. |
|
|
||