Le budget de crawl correspond à la quantité de pages qu’un moteur de recherche est prêt à explorer sur un site dans un délai donné. Il dépend de la popularité du site, de sa structure technique et de la qualité de ses contenus.
Sur les sites volumineux, un mauvais usage du budget de crawl peut empêcher l’exploration des pages clés et freiner leur indexation. Une gestion intelligente du budget de crawl améliore la visibilité et l’efficacité du référencement.
Un e-commerce de 100 000 pages constate que Googlebot passe 70 % de son temps sur des pages de tri inutiles. Après optimisation, l’indexation augmente de +40 % en 2 semaines.