Depuis quelques semaines, mon excellent AVG Anti-Virus Free Edition (Grisoft) m’invitait à remplacer ma version 7.5 par la nouvelle version. Après le n-ième rappel, j’ai fini par me décider à télécharger et installer la nouvelle version 8.0. Le téléchargement et l’installation automatique se sont déroulés sans difficulté.
C’est seulement quand je suis retourné faire une recherche […]
Connaissez-vous Munax ? Munax est un outil de recherche et d’extraction d’informations (data mining) développé en Suède. Il en est encore au stade expérimental, mais ses concepteurs ont de grandes ambitions pour leur outil de “nouvelle génération”.
Munax, c’est aussi un robot très discret, mais dont la présence a été détectée sur de nombreux sites.
Il utilise […]
Depuis quelques semaines, des webmasters ont signalé notamment sur Webmaster Hub (referer MSN) que des robots de Microsoft visitent des pages de leurs sites en se faisant passer pour des visiteurs humains. Leur user agent est:
“Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.2; .NET CLR 1.1.4322)”
Les adresses IP de ces robots sont dans la plage 65.52.0.0 - […]
Google et ses partenaires pour le sitemap proposent aux webmasters d’ajouter un lien vers l’URL du sitemap dans le fichier robots.txt. Cette nouvelle possibilité évite de devoir informer séparément les différents moteurs de recherche de l’adresse du sitemap.
Le format de la directive est:
Sitemap: http://www.annuaire-info.com/sitemap.xml
L’information a été annoncée aujourd’hui sur http://www.sitemaps.org/protocol.html#submit_robots. sitemaps.org est le site de Google consacré au protocole […]
Il y a quelques jours, Microsoft a publié des informations sur les robots utilisés par Live Search. Voici les user-agents exacts de ces robots:
msnbot/1.0 (+http://search.msn.com/msnbot.htm) est le robot principal de Live.com (anciennement MSN Search)
msnbot-media/1.0 (+http://search.msn.com/msnbot.htm) est le robot qui recherche les images et autres contenus multimédias pour Live Search Images
msnbot-NewsBlogs/1.0 (+http://search.msn.com/msnbot.htm) est le robot qui explore les […]
Le blog de Yahoo! Search annonce que, comme Googlebot et MSNbot, Yahoo! Slurp supporte maintenant les caractères spéciaux * et $ dans les directives Disallow: du fichier robots.txt. L’astérisque * remplace n’importe quelle séquence de caractères, tandis que le dollar $ marque la fin de l’URL.
Ceci doit permettre une écriture plus intuitive et plus puissante des directives […]
Vous avez ajouté un sous-domaine à votre site, mais vous ne souhaitez pas que ce nouveau sous-domaine soit indexé par les moteurs de recherche ? Voici la marche à suivre en utilisant robots.txt.
Pour fixer les idées, le domaine principal s’appellera mon-site.com et le sous-domaine secret. Nous supposerons que les fichiers du sous-domaine secret.mon-site.com sont également accessibles par […]
Nous avons déjà parlé de la nouvelle option de contrôle de la vitesse d’exploration de Googlebot proposée par Google.
De nombreux commentaires fantaisistes apparaissent sur les forums à propos de cette option. Non, l’option “Plus rapide” n’est pas seulement accessibles aux sites de qualité! Non, cette option n’est pas réservée aux sites mis à jour quotidiennement!
L’aide en […]
Dans le nouveau blog Google destiné aux webmasters, Vanessa Fox fait quelques recommendations intéressantes pour éviter les mauvaises surprises et améliorer l’efficacité des visites du robot de Google.
Si mon site est momentanément indisponible, quel code HTTP doit-il renvoyer à Googlebot ?
Choisissez le code 503: Googlebot sait que ce code signifie “service indisponible”. Il convient parfaitement pour une interruption […]
Depuis quelques mois, le crawler psycheclone se manifeste sur de nombreux serveurs. Ses visites proviennent de la plage d’adresses 208.66.195.0 à 208.66.195.15 qui appartient à la société russe Digital Infinity Ltd. Aucune information n’est disponible sur l’usage fait par ce robot des informations collectées.
psycheclone a attiré l’attention de beaucoup par sa gourmandise en bande passante. […]
A côté des 4000 annuaires répertoriés, annuaire-info vous propose des dizaines d'articles d'initiation au référencement, l'encyclopédie des robots du web et le blog, 1 2 3 ... Référencement !