Annuaire d'annuaires, articles et outils de référencement
L'intro
TOUS LES ANNUAIRES
Classement alphabétique des titres
TOUS LES ANNUAIRES
Classement alphabétique des noms de domaine
TOUS LES ANNUAIRES
Classement selon le nombre de liens
Documentation
et outils
Charte de qualité
Contact
Heritrix
Auteur du logiciel :
Internet Archive
Nationalité :
Etats-Unis
Type de robot :
logiciel de moteur de recherche
Description : Logiciel open source de moteur de recherche.
User Agent transmis au serveur visité :
Mozilla/5.0 (compatible; heritrix/1.0 +http://metacarta.com)
Plage d'adresses IP : quelconque (adresse de l'utilisateur du logiciel)
URL d'information :
http://crawler.archive.org/
Restrictions d'accès comprises par le robot :
robots.txt
META NAME="robots"
User Agent à utiliser dans le fichier robots.txt :
L'
Encyclopédie des Robots
est un service original développé par
annuaire-info
.
[
Ajouter un annuaire
] [
Votre avis
] [
Conditions générales d'utilisation
]
Copyright 2004-2005
InternetOfficer SPRL