Répertoire des robots du web
Vous voulez tout savoir sur Googlebot, Yahoo! Slurp ou MSNbot ? Votre site a reçu la visite d’un mystérieux robot ? Un visiteur avec un user agent inconnu s’incruste dans votre site ? Ce robot peut-il vous apporter de nouveaux visiteurs ou ne fait-il que surcharger votre bande passante ? Vous êtes webmaster ou référenceur et vous vous posez des questions sur l’identité d’un crawler ou d’un spider ?
Nos pages de documentation décrivent complètement le Protocole d’Exclusion des Robots, le fichier robots.txt, la balise META « robots », la norme officielle et de nombreuses extensions non standard.
La liste ci-dessous reprend les noms de nombreux robots avec, pour chacun, un lien vers une page d’informations obtenues à partir de nos propres observations et directement du propriétaire du robot.
- A
AbiLogic Accoona AdSense aipbot Alexa almaden AOL France appie Ask Jeeves ASPseek
- B
Baidu baiduspider BecomeBot Bloglines BlogPulse Boitho btbot Burf.com
- C
Camcrawler Camdiscover Cerberian cfetch Charlotte CheckWeb Combine Cosmix cuill.com
- D
DataCha0s DataparkSearch dir.com DTS Agent
- E
e-SocietyRobot Enfin Everbee exabot Exabot-Images Exalead
- F
Fast Search Filangy Findexa FindLinks FURL
- G
genieBot Gigablast gigabot Girafa Google AdSense Google Image Googlebot Googlebot-Image Gossamer Links grub
- H
Healthline HenryTheMiragoRobot Heritrix
- I
ia_archiver IBM WebFountain ichiro Ipselon ipselonbot IRL crawler IRLbot
- J
Java Jeeves
- K
Kavam Kosmix Krugle
- L
Lapozz Larbin Link Valet LinkChecker LinksManager linksmanager_bot LinkWalker Local.com LocalcomBot LookSmart LOOP Improvements Lycos Spider
- M
Majestic-12 Mediapartners-Google* MetaWeb Crawler Mirago Misterbot MJ12bot MMCrawler mnoGoSearch MojeekBot msnbot MSNPTC MSRA MSRBot Mylinea
- N
NaverBot NetResearchServer Nexen NextGenSearchBot NG NimbleCrawler Norbert noXtrum Nusearch Nutch
- O
Omni-Explorer OnetSzukaj oo-x Orangeslicer Orbiter Oxado
- P
PeerFactor PHP version tracker Picsearch Plantynet pmafind pompos Poodle psbot psycheclone
- Q
QweeryBot
- R
Rambler RedKernel Rufus Web Miner
- S
SAGOOL SandCrawler SBIder Scirus Searchmee SearchSerf Secure Computing seekbot Seekport sensis.com.au Shim-Crawler ShopWiki Singingfish SiteSell.com Slurp snafu Snapbot SoGou SOHU.com Sproose SquidClamAV StackRambler SurveyBot SygolBot
- T
Teoma tilman TLink TMCrawler Turnitin Twiceler
- U
Ulysseek
- V
Vagabondo Voila Voyager
- W
Wadaino Walhello WebFilter WebFountain Whois Source WinkBot WiseNut WorldIndexer wwwster WyseGuys
- X
Xenu
- Y
Y!J-BSC YaCy Yahoo! Slurp Yahoo-Blogs Yahoo-MMCrawler
- Z
Zeusbot ZoomInfo ZyBorg
Ce Répertoire des Robots est un service développé par annuaire-info.com.