annuaire-info

Bien plus qu'un annuaire d'annuaires !

La directive Crawl-delay

Les robots de Yahoo (et quelques autres) prennent en charge la directive Crawl-delay.

Cette directive définit un temps d’attente minimum entre deux accès successifs du robot au site. Elle permet d’éviter toute surcharge en espaçant les visites du robot.

User-agent: slurp
Crawl-delay: 10

impose une attente de 10 secondes entre deux visites successives du robot de Yahoo.

Rappelons qu’avec Google et Microsoft, Yahoo soutient les extensions de la directive Disallow et les directives Allow et Sitemap qui ne font pas partie du standard robots.txt.



Aucun commentaire à propos de “La directive Crawl-delay”

Soyez le premier à commenter !

Ajout de commentaire