annuaire-info

Bien plus qu'un annuaire d'annuaires !

Articles à propos de « Robots »

Nouveau robot Yahoo!

Les robots de Yahoo qui visitent nos sites affichent généralement un user agent qui contient les mots Yahoo! Slurp. Par exemple: Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearc h/slurp) Depuis juillet 2008, des robots de Yahoo visitent plus discrètement nos sites en se faisant passer pour un simple navigateur. Le user agent utilisé est: Mozilla/5.0 (X11; U; […]

Publié le 21 août 2008 sous Robots, Yahoo! Search | 7 commentaires

 

AVG Anti-Virus et AdWords

Depuis quelques semaines, mon excellent AVG Anti-Virus Free Edition (Grisoft) m’invitait à remplacer ma version 7.5 par la nouvelle version. Après le n-ième rappel, j’ai fini par me décider à télécharger et installer la nouvelle version 8.0. Le téléchargement et l’installation automatique se sont déroulés sans difficulté. C’est seulement quand je suis retourné faire une […]

Publié le 29 mai 2008 sous AdWords, Robots | Aucun commentaire

 

Munax

Connaissez-vous Munax ? Munax est un outil de recherche et d’extraction d’informations (data mining) développé en Suède. Il en est encore au stade expérimental, mais ses concepteurs ont de grandes ambitions pour leur outil de « nouvelle génération ». Munax, c’est aussi un robot très discret, mais dont la présence a été détectée sur de nombreux sites. […]

Publié le 24 septembre 2007 sous Robots | 2 commentaires

 

AdSense et le robot de Microsoft

Depuis quelques semaines, des webmasters ont signalé notamment sur Webmaster Hub (referer MSN) que des robots de Microsoft visitent des pages de leurs sites en se faisant passer pour des visiteurs humains. Leur user agent est: « Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.2; .NET CLR 1.1.4322) » Les adresses IP de ces robots sont dans la plage […]

Publié le 22 septembre 2007 sous AdSense, Google, Live Search, Robots, Statistiques | 6 commentaires

Sitemap dans robots.txt

Google et ses partenaires pour le sitemap proposent aux webmasters d’ajouter un lien vers l’URL du sitemap dans le fichier robots.txt. Cette nouvelle possibilité évite de devoir informer séparément les différents moteurs de recherche de l’adresse du sitemap. Le format de la directive est: Sitemap: http://www.annuaire-info.com/sitemap.xml L’information a été annoncée aujourd’hui sur http://www.sitemaps.org/protocol.html#submit_robots. sitemaps.org est le site de Google […]

Publié le 11 avril 2007 sous Google, Live Search, Robots, Yahoo! Search | 6 commentaires

 

Robots msnbot de Live Search

Il y a quelques jours, Microsoft a publié des informations sur les robots utilisés par Live Search. Voici les user-agents exacts de ces robots: msnbot/1.0 (+http://search.msn.com/msnbot.htm) est le robot principal de Live.com (anciennement MSN Search) msnbot-media/1.0 (+http://search.msn.com/msnbot.htm) est le robot qui recherche les images et autres contenus multimédias pour Live Search Images msnbot-NewsBlogs/1.0 (+http://search.msn.com/msnbot.htm) est le robot […]

Publié le 3 décembre 2006 sous Live Search, Robots | Aucun commentaire

 

Yahoo! Slurp supporte * et $ dans robots.txt

Le blog de Yahoo! Search annonce que, comme Googlebot et MSNbot, Yahoo! Slurp supporte maintenant les caractères spéciaux * et $ dans les directives Disallow: du fichier robots.txt. L’astérisque * remplace n’importe quelle séquence de caractères, tandis que le dollar $ marque la fin de l’URL. Ceci doit permettre une écriture plus intuitive et plus puissante des […]

Publié le 2 novembre 2006 sous Robots, Yahoo! Search | Aucun commentaire

robots.txt et sous-domaine

Vous avez ajouté un sous-domaine à votre site, mais vous ne souhaitez pas que ce nouveau sous-domaine soit indexé par les moteurs de recherche ? Voici la marche à suivre en utilisant robots.txt. Pour fixer les idées, le domaine principal s’appellera mon-site.com et le sous-domaine secret. Nous supposerons que les fichiers du sous-domaine secret.mon-site.com sont également accessibles […]

Publié le 23 octobre 2006 sous Robots | 1 commentaire

Hostload et vitesse d’exploration de Googlebot

Nous avons déjà parlé de la nouvelle option de contrôle de la vitesse d’exploration de Googlebot proposée par Google.       De nombreux commentaires fantaisistes apparaissent sur les forums à propos de cette option. Non, l’option « Plus rapide » n’est pas seulement accessibles aux sites de qualité! Non, cette option n’est pas réservée aux sites mis à jour […]

Publié le 20 octobre 2006 sous Google, Robots | Aucun commentaire

Comment apprivoiser Googlebot

Dans le nouveau blog Google destiné aux webmasters, Vanessa Fox fait quelques recommendations intéressantes pour éviter les mauvaises surprises et améliorer l’efficacité des visites du robot de Google. Si mon site est momentanément indisponible, quel code HTTP doit-il renvoyer à Googlebot ? Choisissez le code 503: Googlebot sait que ce code signifie « service indisponible ». Il convient parfaitement pour […]

Publié le 23 août 2006 sous Google, Robots | 2 commentaires