Balise META "robots"

Le fichier robots.txt est souvent le moyen idéal pour communiquer avec les robots qui visitent nos sites, mais, dans certains cas, son utilisation est impossible ou trop lourde. La balise META "robots" peut alors être très utile, même si son fonctionnement est tout différent de celui de robots.txt.

Les directives standards de la balise META "robots"

Les balises META se placent toujours dans la première partie du code source, c'est-à-dire entre les balises HEAD et /HEAD. Les directives standards de la META "robots" concernent l'indexation de la page et le suivi des liens présents dans celle-ci. Il existe quatre combinaisons possibles de ces deux directives : 1. Indexation de la page et suivi des liens interdits On utilisera au choix :

<meta name="robots" content="noindex,nofollow"> ou <meta name="robots" content="none">

2. Indexation de la page autorisée et suivi des liens interdit On utilisera au choix :

<meta name="robots" content="index,nofollow"> ou <meta name="robots" content="nofollow">

3. Indexation de la page interdite et suivi des liens autorisé On utilisera au choix :

<meta name="robots" content="noindex,follow"> ou <meta name="robots" content="noindex">

4. Indexation de la page et suivi des liens autorisés On utilisera au choix :

<meta name="robots" content="index,follow"> ou <meta name="robots" content="index"> ou <meta name="robots" content="follow"> ou <meta name="robots" content="all">

On obtient ainsi le même résultat que si on ne mettait pas de balise META "robots". Cette autorisation explicite n'est donc pas utile.

Que veut dire "indexation de la page" ?

L'expression "indexation de la page" n'est malheureusement pas définie par le Protocole d'Exclusion des Robots. Certains considèrent qu'interdire l'indexation de la page veut dire que la page ne doit, en aucun cas, apparaître dans les résultats de recherche et que son contenu - à l'exception éventuelle des liens - ne doit, en aucune façon, être utilisé par leur logiciel. D'autres ont une interprétation moins restrictive. Ils considèrent que cela veut dire que le contenu de la page ne doit pas être utilisé par leur moteur de recherche pour déterminer la position de la page dans les résultats de recherche, mais que l'adresse de la page peut malgré tout apparaître, si d'autres éléments obtenus indépendamment le justifient. Nous avons analysé les interprétations respectives des principaux moteurs de recherche dans nos pages Googlebot (robot de Google) et META "robots", MSNBot (robot de MSN Search) et META "robots" et Slurp (robot de Yahoo! Search) et META "robots".

Que veut dire "suivi des liens" ?

L'expression "suivi des liens" est plus facile à interpréter. Interdire le suivi des liens signifie que les moteurs de recherche doivent ignorer les liens découverts dans la page. Ils doivent faire comme s'ils ne les avaient pas vus. Ces liens n'apporteront donc aucune "popularité" supplémentaire aux pages concernées. Il est clair que les mêmes liens peuvent être découverts dans d'autres pages web et donc visités par les robots.

Conflit entre robots.txt et balise META "robots"

Un site avec un fichier robots.txt peut utiliser la balise META "robots" dans certaines pages, mais il faudra toujours veiller à ce que les pages contenant la balise ne soient pas interdites d'accès par robots.txt. En effet, si le robot n'a pas l'autorisation de lire une page, il ne peut évidemment pas aller voir ce que dit la balise META qui s'y trouve.

Autres pages concernant les robots

Le Protocole d'Exclusion des Robots Le Protocole d'Exclusion des Robots. Introduction à l'emploi du fichier robots.txt et de la balise META "robots". Syntaxe du fichier robots.txt Aperçu et exemples de toutes les instructions standards. Utilisation de la balise META "robots" Présentation et exemples de toutes les directives standards. Googlebot (robot de Google), robots.txt et META "robots", extensions et particularités MSNBot (robot de MSN Search), robots.txt et META "robots", extensions et particularités Slurp (robot de Yahoo! Search), robots.txt et META "robots", extensions et particularités Questions fréquentes à propos du Protocole d'Exclusion des Robots - FAQ Les questions et surtout les réponses sur robots.txt et META "robots". L'Encyclopédie des Robots du Web un répertoire de plusieurs dizaines de robots (spiders,crawlers, probes,...) qui circulent sur le web. L'encyclopédie contient des informations pour décider en connaissance de cause si le robot est le bienvenu ou non sur votre site. Nos autres documentations et outils pour le référencement