annuaire-info

Bien plus qu'un annuaire d'annuaires !

IRL crawler

Cette fiche d’information sur les robots fait partie de notre Répertoire des Robots.

Propriétaire du robot : Texas A&M Internet Research Lab

Nationalité : Etats-Unis

Type de robot : moteur de recherche

Description : Projet de recherche soutenu par la National Science Foundation et consacré à l’étude de la topologie du réseau Internet.




User Agent transmis au serveur visité :

  • IRLbot/2.0 (compatible; MSIE 6.0; http://irl.cs.tamu.edu/crawler)

Plage d’adresses IP : de 128.194.0.0 à 128.194.255.255 (tamu.edu)

URL d’information : http://irl.cs.tamu.edu/crawler/

Restrictions d’accès comprises par le robot :

  • robots.txt
  • META NAME="robots"

User agent à utiliser dans le fichier robots.txt : IRLbot