Crawl budget : quand faut-il vraiment s'en soucier

Le crawl budget occupe une place démesurée dans les discussions SEO au regard du nombre de sites réellement concernés. Google répète la même chose depuis des années : en dessous de quelques milliers d'URL, le sujet ne se pose pas. Reste à savoir où passe la frontière et quoi faire une fois qu'on l'a franchie.

Crawl budget : à partir de quel volume le sujet devient réel

Le seuil communément admis se situe autour de 10 000 URL indexables. En dessous, Googlebot explore l'intégralité du site en quelques jours et aucune optimisation de budget ne changera vos positions. Au-dessus, la fréquence de passage devient un arbitrage : Google alloue une capacité par domaine, fonction de la santé du serveur et de la valeur perçue des pages.

Quatre situations rendent le sujet pertinent quel que soit le volume affiché :

• un catalogue e-commerce avec navigation à facettes qui génère des dizaines de milliers de combinaisons d'URL
• un temps de réponse serveur moyen supérieur à 600 ms, qui pousse Googlebot à réduire sa cadence
• une publication quotidienne de contenus périssables : actualité, petites annonces, offres d'emploi
• un rapport « Pages » de la Search Console où la catégorie « Détectée, actuellement non indexée » dépasse 20 % des URL connues

Crawl budget : où partent réellement les passages de Googlebot

Les logs serveur racontent une histoire différente de l'intuition. Sur la plupart des gros sites audités, entre 40 et 60 % des hits Googlebot atterrissent sur des URL qui ne rapportent aucun trafic : paramètres de tri, filtres combinés, pagination profonde au-delà de la page 10, versions imprimables, calendriers infinis, identifiants de session.

Les chaînes de redirection et les soft 404 aggravent la fuite. Chaque URL redirigée consomme un passage pour ne livrer aucune valeur, et une page qui renvoie un code 200 avec un contenu vide fait croire à Google qu'il reste quelque chose à explorer.

Un budget d'exploration se récupère en supprimant des URL inutiles, pas en demandant à Google de venir plus souvent sur celles qui comptent.

Crawl budget : les leviers qui marchent, dans l'ordre

Commencez par mesurer avant d'agir. Un mois de logs serveur segmentés par répertoire, croisés avec les Statistiques d'exploration de la Search Console, suffisent à identifier les trois ou quatre gabarits qui absorbent le budget.

Ensuite, traitez la cause plutôt que le symptôme. Bloquer les facettes dans le robots.txt fonctionne quand ces URL ne sont pas déjà indexées ; sinon, une balise noindex laissée en place quelques semaines puis un blocage ferment proprement le robinet. Supprimez les liens internes vers les URL paramétrées, ils sont la porte d'entrée principale. Consolidez les chaînes de redirection en un seul saut. Renvoyez un vrai 404 ou 410 sur les pages disparues.

Le gain se mesure sur six à huit semaines : hausse du nombre d'URL utiles explorées par jour, baisse de la part de hits sur les gabarits parasites, réduction du délai entre publication et indexation. Si ces trois courbes ne bougent pas, votre problème n'était pas le crawl budget.