logo annuaire-info  Annuaire d'annuaires, articles et outils de référencement
L'intro
TOUS LES ANNUAIRES
Classement alphabétique des titres
TOUS LES ANNUAIRES
Classement alphabétique des noms de domaine
TOUS LES ANNUAIRES
Classement selon le nombre de liens
Documentation
et outils
Charte de qualité
Contact

 

Heritrix



Auteur du logiciel : Internet Archive

Nationalité : Etats-Unis

Type de robot : logiciel de moteur de recherche

Description : Logiciel open source de moteur de recherche.




User Agent transmis au serveur visité :
  • Mozilla/5.0 (compatible; heritrix/1.0 +http://metacarta.com)
Plage d'adresses IP : quelconque (adresse de l'utilisateur du logiciel)

URL d'information : http://crawler.archive.org/

Restrictions d'accès comprises par le robot :
   robots.txt
   META NAME="robots"

User Agent à utiliser dans le fichier robots.txt :




L'Encyclopédie des Robots est un service original développé par annuaire-info.