Encyclopédie des robots du web

Vous voulez tout savoir sur Googlebot, Yahoo! Slurp ou MSNbot ? Votre site a reçu la visite d'un mystérieux robot ? Un visiteur avec un User Agent inconnu s'incruste dans votre site ? Ce robot peut-il vous apporter de nouveaux visiteurs ou ne fait-il que surcharger votre bande passante ? Vous êtes webmaster ou référenceur et vous vous posez des questions sur l'identité d'un crawler ou d'un spider ? Nos pages de documentation décrivent complètement le Protocole d'Exclusion des Robots, le fichier robots.txt, la META "robots", la norme officielle et les extensions supportées par Google, Yahoo! Search et MSN Search. La liste ci-dessous reprend les noms de nombreux robots avec, pour chacun, un lien vers une page d'informations obtenues à partir de nos propres observations et directement du propriétaire du robot.

A AbiLogic Accoona AdSense aipbot Alexa almaden AOL France appie Ask Jeeves ASPseek

B Baidu baiduspider BecomeBot Bloglines BlogPulse Boitho btbot Burf.com

C Camcrawler Camdiscover Cerberian cfetch Charlotte CheckWeb Combine Cosmix cuill.com

D DataCha0s DataparkSearch dir.com DTS Agent

E e-SocietyRobot Enfin Everbee exabot Exabot-Images Exalead

F Fast Search Filangy Findexa FindLinks FURL

G genieBot Gigablast gigabot Girafa Google AdSense Google Image Googlebot Googlebot-Image Gossamer Links grub

H Healthline HenryTheMiragoRobot Heritrix

I ia_archiver IBM WebFountain ichiro Ipselon ipselonbot IRL crawler IRLbot

J Java Jeeves

K Kavam Kosmix Krugle

L Lapozz Larbin Link Valet LinkChecker LinksManager linksmanager_bot LinkWalker Local.com LocalcomBot LookSmart LOOP Improvements Lycos Spider

M Majestic-12 Mediapartners-Google* MetaWeb Crawler Mirago Misterbot MJ12bot MMCrawler mnoGoSearch MojeekBot msnbot MSNPTC MSRA MSRBot Mylinea

N NaverBot NetResearchServer Nexen NextGenSearchBot NG NimbleCrawler Norbert noXtrum Nusearch Nutch

O Omni-Explorer OnetSzukaj oo-x Orangeslicer Orbiter Oxado

P PeerFactor PHP version tracker Picsearch Plantynet pmafind pompos Poodle psbot psycheclone

Q QweeryBot

R Rambler RedKernel Rufus Web Miner

S SAGOOL SandCrawler SBIder Scirus Searchmee SearchSerf Secure Computing seekbot Seekport sensis.com.au Shim-Crawler ShopWiki Singingfish SiteSell.com Slurp snafu Snapbot SoGou SOHU.com Sproose SquidClamAV StackRambler SurveyBot SygolBot

T Teoma tilman TLink TMCrawler Turnitin Twiceler

U Ulysseek

V Vagabondo Voila Voyager

W Wadaino Walhello WebFilter WebFountain Whois Source WinkBot WiseNut WorldIndexer wwwster WyseGuys

X Xenu

Y Y!J-BSC YaCy Yahoo! Slurp Yahoo-Blogs Yahoo-MMCrawler

Z Zeusbot ZoomInfo ZyBorg

L'Encyclopédie des Robots est un service original développé par annuaire-info.