Qu'est-ce que le rapport Crawl Stats ?
Le rapport de statistiques sur le crawl est une fonctionnalité de la Search Console de Google qui fournit des données détaillées sur la manière dont Googlebot interagit avec votre site web.
Il vous aide à comprendre la fréquence à laquelle Google explore vos pages, la quantité de données téléchargées et l'efficacité de la réponse de votre serveur.
Le suivi de ce rapport est essentiel pour le référencement technique, car il permet de savoir si votre budget de crawl est utilisé efficacement ou s'il est gaspillé pour des pages non essentielles.
Pourquoi le rapport Crawl Stats est-il important ?
Google attribue un budget d'exploration à chaque site. Il s'agit d'un équilibre entre le nombre d'URL que Googlebot souhaite explorer et la capacité de votre serveur à le faire.
Le rapport Crawl Stats indique si ce budget est dépensé pour les bonnes URL et met en évidence les inefficacités du crawl.
Principaux avantages
- Identifiez les erreurs d'exploration et les problèmes de serveur.
- Détecter les URL surchargées ou les pages de paramètres redondantes.
- Mesurer l'impact de la structure du site ou des mises à jour de contenu.
- Améliorer l'efficacité du crawl pour les sites volumineux ou dynamiques.
Où le trouver
Vous pouvez y accéder via :
Google Search Console → Paramètres → Statistiques de crawl
Il comprend trois sections principales :
- Aperçu des requêtes de crawl - Total des requêtes, taille des téléchargements et temps de réponse moyen.
- Ventilation des requêtes d'exploration - Données par code de réponse, type de fichier, objectif et type de Googlebot.
- État de l'hôte - Mesures de l'état de santé du DNS, de la disponibilité du serveur et de la récupération du fichier robots.txt.
Principales mesures du rapport sur les statistiques de crawl
| Métrique | Description |
|---|---|
| Total des requêtes de crawl | Le nombre total d'URLs explorées au cours d'une période donnée. |
| Taille totale des téléchargements | Quantité de données téléchargées par Googlebot. Des valeurs élevées peuvent indiquer des médias volumineux ou un code non optimisé. |
| Temps de réponse moyen | Temps nécessaire à votre serveur pour répondre à Googlebot. |
| Par code de réponse | Répartition des réponses réussies (200), redirigées (301/302) et des erreurs (404/500). |
| Par type de fichier | Contenu HTML, CSS, JS, image ou vidéo. |
| Par objectif | Type de crawl (rafraîchissement ou découverte). |
| Par type de Googlebot | Desktop, mobile, image, vidéo ou AdsBot. |
Comment utiliser le rapport Crawl Stats pour le référencement
1. Détecter les anomalies du crawl
Recherchez les pics soudains de 404 ou d'erreurs 500, qui signalent des liens rompus ou une instabilité du serveur.
2. Optimiser le budget de crawl
Assurez-vous que les pages importantes (comme les produits, les articles et les pages d'atterrissage) sont explorées fréquemment et que les pages à faible valeur ajoutée ou les pages de paramètres ne le sont pas.
3. Identifier les goulets d'étranglement en matière de performances
Un temps de réponse constamment élevé suggère que Googlebot a des difficultés avec votre serveur ou que vous avez besoin d'un CDN ou d'une couche de mise en cache.
4. Suivre les modifications après une migration
Après une migration de site ou une restructuration d'URL, utilisez le rapport pour confirmer que Googlebot découvre et explore efficacement vos nouvelles URL.
Meilleures pratiques
- Veillez à ce que votre fichier robots.txt soit propre et à jour.
- Utilisez des redirections 301 pour tous les changements d'URL permanents.
- Réduisez les déchets de crawl en gérant la navigation à facettes et les paramètres de requête.
- Assurez-vous que votre serveur renvoie des réponses 200 OK cohérentes pour les pages clés.
- Utilisez l 'outil d'audit Web de Ranktracker pour recouper les données de crawl et identifier rapidement les problèmes.
Résumé
Le rapport Crawl Stats est un outil de diagnostic puissant qui permet de comprendre le comportement de Googlebot en matière d'exploration.
En surveillant la fréquence d'exploration, les temps de réponse et les erreurs, vous pouvez optimiser la manière dont Google indexe votre site, ce qui se traduit par une découverte plus rapide, des performances améliorées et des résultats plus probants en matière de référencement.
