annuaire-info

Bien plus qu'un annuaire d'annuaires !

Les directives propres à Google

Les nombreux robots de Google répondent, de manière particulière, à différents user agents dans le fichier robots.txt.

Google utilise les robots suivants:

  • Googlebot (moteur de recherche généraliste et moteur de recherche d’actualités)
  • Googlebot-Mobile (moteur de recherche mobile)
  • Googlebot-Image (moteur de recherche d’images)
  • Mediapartners-Google (site des éditeurs AdSense)
  • Adsbot-Google (site des annonceurs AdWords)

Il est essentiel de savoir qu’en spécifiant Googlebot dans la directive User-agent, vous bloquez aussi Googlebot-Mobile et Googlebot-Image.

Pour bloquer Googlebot et autoriser l’accès de Googlebot-Image, Google recommande d’utiliser l’astuce suivante :
User-agent: Googlebot
Disallow: /
 
User-agent: Googlebot-Image
Allow: /

Rappelons qu’avec Yahoo et Microsoft, Google soutient les extensions de la directive Disallow et les directives Allow et Sitemap qui ne font pas partie du standard robots.txt.



Aucun commentaire à propos de “Les directives propres à Google”

Soyez le premier à commenter !

Ajout de commentaire