Le nouveau rapport d’activité Googlebot, sous la loupe
Dans notre article précédent, nous avons présenté brièvement le nouvel outil Google d’analyse de l’activité de Googlebot.
Depuis 2 jours, nous avons épluché les statistiques fournies par l’outil Google et nous les avons comparées aux statistiques sur les robots de Spider Reporter. Les résultats des comparaisons sont heureusement convergents et les différences sont limitées.
Spider Reporter affiche, pour chaque hit, la date et l’heure précises et le code HTTP (succès, échec, redirection,…). Google se contente de compter le nombre d’octets lus et les hits, mais en ne comptant qu’une seule fois un hit sur une URL quand elle est visitée plusieurs fois, le même jour, par le même robot (c’est souvent le cas avec Mediapartners).
Spider Reporter affiche les hits sur le fichier robots.txt. Google ne compte pas les hits sur robots.txt.
Il est bon de savoir aussi que, dans le rapport intitulé “Nombre de pages explorées par jour“, Google compte aussi bien les hits sur des pages web que sur des images ou sur n’importe quel autre type de fichier et que la colonne “Minimum” à droite affiche 1, même si le minimum réel est 0.
Parmi les différences, on voit que Spider Reporter publie ses statistiques sur base de l’heure locale de votre serveur, alors que Google publie ses statistiques sur base de l’heure de Mountain View (Californie) où Google a son quartier général.
Une autre différence est que Spider Reporter affiche séparément les statistiques de Googlebot, de Google Image et de Mediapartners qui est le robot de Google AdSense, alors que Google additionne toutes ces visites sans les distinguer.
