annuaire-info

Bien plus qu'un annuaire d'annuaires !

Répertoire des robots du web

Vous voulez tout savoir sur Googlebot, Yahoo! Slurp ou MSNbot ? Votre site a reçu la visite d’un mystérieux robot ? Un visiteur avec un user agent inconnu s’incruste dans votre site ? Ce robot peut-il vous apporter de nouveaux visiteurs ou ne fait-il que surcharger votre bande passante ? Vous êtes webmaster ou référenceur et vous vous posez des questions sur l’identité d’un crawler ou d’un spider ?

Nos pages de documentation décrivent complètement le Protocole d’Exclusion des Robots, le fichier robots.txt, la balise META « robots », la norme officielle et de nombreuses extensions non standard.

La liste ci-dessous reprend les noms de nombreux robots avec, pour chacun, un lien vers une page d’informations obtenues à partir de nos propres observations et directement du propriétaire du robot.

Ce Répertoire des Robots est un service développé par annuaire-info.com.


Un commentaire à propos de “Répertoire des robots du web”

  1. Hello,

    Un nouveau scraper a ajouter à votre liste : http://www.webtendencies.com

    Bien à vous,

    CM

    Ecrit le 3 mars 2015 à 16h16 par CM

Ajout de commentaire