Commentaires sur : Nouveau robot Yahoo!

Par : Aytechnet

Aytechnet — Mon, 27 Apr 2009 19:41:45 +0000

D’un autre coté, un robot devrait utiliser une adresse appartenant à Yahoo…

Ou alors un webmaster gérant un grand nombre de site pourrait s’apercevoir de quelques choses d’anormal en consolidant les ip provenant des visiteurs en supposant que le robot va visiter un grand nombre de sites via la même adresse ip, ou le même (petit) groupe d’adresses ip.

Par : alpha

alpha — Thu, 22 Jan 2009 21:17:58 +0000

il paraît plus facile de changer le nom de l’user agent que de modifier les ip, c’est certainement pour cela que seul le nom est modifié.

Par : schroumyziguac

schroumyziguac — Sun, 18 Jan 2009 20:44:12 +0000

En même temps Yahoo! c’est quoi ? 10% des parts de marché…

Par : Radio RCM

Radio RCM — Wed, 10 Sep 2008 08:29:47 +0000

Il est étonnant que Yahoo n’ai pas pensé a l’ip (ce ne sont pas des débutant quand même . Manœuvre déguisé pour endormir les cloackeurs et ne pas les pousser a chercher la parade ?

Par : ranks

ranks — Sat, 23 Aug 2008 11:00:19 +0000

ou pour lutter contre le cloaking par user-agent ?

Google doit certainement faire la même chose

Par : TOMHTML

TOMHTML — Thu, 21 Aug 2008 17:00:30 +0000

J’avais cru comprendre qu’ils faisaient ça depuis le début de l’année déjà… Mais c’est vrai qu’avec la même IP, c’est quand même limité pour tracker les cloackers ^^

Par : Didier_S

Didier_S — Thu, 21 Aug 2008 14:28:28 +0000

A noter que le crawler en question ne semble pas lire les fichiers robots.txt, alors que les Sitemaps sont téléchargés « régulièrement ».