Le fichier robots.txt est un fichier texte situé à la racine d'un site web. Il indique aux robots d'exploration (comme Googlebot) quelles pages ou dossiers ils sont autorisés à explorer ou non.
Un robots.txt mal configuré peut empêcher l'indexation de pages importantes, ou au contraire laisser Google crawler des URLs inutiles, gaspillant le budget de crawl.
Un site e-commerce bloque par erreur /produits/ dans son robots.txt, ce qui empêche l'indexation de centaines de pages. Corrigé rapidement après une baisse de trafic.