annuaire-info

Bien plus qu'un annuaire d'annuaires !

Comment apprivoiser Googlebot

Dans le nouveau blog Google destiné aux webmasters, Vanessa Fox fait quelques recommendations intéressantes pour éviter les mauvaises surprises et améliorer l’efficacité des visites du robot de Google.

Si mon site est momentanément indisponible, quel code HTTP doit-il renvoyer à Googlebot ?

Choisissez le code 503: Googlebot sait que ce code signifie « service indisponible ». Il convient parfaitement pour une interruption pour maintenance ou pour une mise à jour.

Que faire si Googlebot explore mon site trop rapidement ?

Utilisez le formulaire Googlebot et la charge sur mes serveurs. Google expérimente une nouvelle technique pour corriger ce genre de problèmes.

Est-il préférable d’utiliser la balise META « robots » ou le fichier « robots.txt » ?

Les deux techniques ont des effets différents et elles sont complémentaires. Pour plus d’informations, voyez robots.txt – contenu du fichier et Balise META « robots ».

Si robots.txt contient des instructions destinées à tous les robots et aussi des instructions spécifiques pour Googlebot, quelles instructions seront suivies par Googlebot ?

Googlebot ne respectera que les instructions spécifiques. Cela est conforme à la norme robots.txt.

Exemple :

User-agent: *
Disallow: /admin/

User-agent: googlebot
Disallow: /photos/

Ce fichier robots.txt interdit uniquement la visite du répertoire /photos/ à Googlebot. Aux autres robots, il interdit uniquement la visite du répertoire /admin/.

Que faire si je souhaite que Google n’utilise pas le titre et la description de DMOZ dans les résultats de recherche ?

Ajoutez cette ligne dans les pages concernées :

<meta name= »GOOGLEBOT » content= »NOODP »>

Ces questions et réponses représentent notre sélection et adpatation des informations publiées par Vanessa Fox.

Publié le 23 août 2006 à 20h59 sous Google, Robots


2 commentaires à propos de “Comment apprivoiser Googlebot”

  1. Je ne savais pas que des webmasters se plaignent que leur site soit trop crawlé par Googlebot.
    Je connais des webbies qui donneraient n’importe quoi pour cela.

    Ecrit le 27 août 2006 à 16h43 par Doudou

  2. Je ne suis pas sur que l’option de réglage de vitesse de crawl de Google aint une quelquonque incidence sur le nombre de pages crawlées, en tout cas , ça n’a rien cahagé pour moi.

    Ecrit le 26 novembre 2006 à 18h31 par Philippe

Sorry, the comment form is closed at this time.