annuaire-info

Bien plus qu'un annuaire d'annuaires !

Heritrix

Cette fiche d’information sur les robots fait partie de notre Répertoire des Robots.

Auteur du logiciel : Internet Archive

Nationalité : Etats-Unis

Type de robot : logiciel de moteur de recherche

Description : Logiciel open source de moteur de recherche.




User Agent transmis au serveur visité :
  • Mozilla/5.0 (compatible; heritrix/1.0 +http://metacarta.com)

Plage d’adresses IP : quelconque (adresse de l’utilisateur du logiciel)

URL d’information : http://crawler.archive.org/

Restrictions d’accès comprises par le robot :

  • robots.txt
  • META NAME="robots"

User agent à utiliser dans le fichier robots.txt : non précisé