|
IRL crawler
Propriétaire du robot : Texas A&M Internet Research Lab
Nationalité : Etats-Unis
Type de robot : moteur de recherche
Description : Projet de recherche soutenu par la National Science Foundation et consacré à l'étude de la topologie du réseau Internet.
|
|
User Agent transmis au serveur visité : - IRLbot/2.0 (compatible; MSIE 6.0; http://irl.cs.tamu.edu/crawler)
Plage d'adresses IP : 128.194.0.0 à 128.194.255.255 (tamu.edu)
URL d'information : http://irl.cs.tamu.edu/crawler/
Restrictions d'accès comprises par le robot :
robots.txt
META NAME="robots"
User Agent à utiliser dans le fichier robots.txt : IRLbot
|
|
|
