Cette fiche d’information sur les robots fait partie de notre Répertoire des Robots.
Auteur du logiciel : Internet Archive
Nationalité : Etats-Unis
Type de robot : logiciel de moteur de recherche
Description : Logiciel open source de moteur de recherche.
User Agent transmis au serveur visité :
- Mozilla/5.0 (compatible; heritrix/1.0 +http://metacarta.com)
Plage d’adresses IP : quelconque (adresse de l’utilisateur du logiciel)
URL d’information : http://crawler.archive.org/
Restrictions d’accès comprises par le robot :
- robots.txt
- META NAME="robots"
User agent à utiliser dans le fichier robots.txt : non précisé
