Les directives propres à Google
Les nombreux robots de Google répondent, de manière particulière, à différents user agents dans le fichier robots.txt.
Google utilise les robots suivants:
- Googlebot (moteur de recherche généraliste et moteur de recherche d’actualités)
- Googlebot-Mobile (moteur de recherche mobile)
- Googlebot-Image (moteur de recherche d’images)
- Mediapartners-Google (site des éditeurs AdSense)
- Adsbot-Google (site des annonceurs AdWords)
Il est essentiel de savoir qu’en spécifiant Googlebot dans la directive User-agent, vous bloquez aussi Googlebot-Mobile et Googlebot-Image.
Pour bloquer Googlebot et autoriser l’accès de Googlebot-Image, Google recommande d’utiliser l’astuce suivante :
User-agent: Googlebot
Disallow: /
User-agent: Googlebot-Image
Allow: /
Rappelons qu’avec Yahoo et Microsoft, Google soutient les extensions de la directive Disallow et les directives Allow et Sitemap qui ne font pas partie du standard robots.txt.
