Glossaire · Exploration et indexation
Robots.txt
On dit aussi Fichier robotsProtocole d’exclusion des robots
Le fichier robots.txt est un fichier texte situé à la racine d’un site web. Il indique aux robots d’exploration (comme Googlebot) quelles pages ou dossiers ils sont autorisés à explorer ou non.
Points clés
- Fichier de contrôle du crawl
- Situé à la racine du site
- Guide les robots d’exploration
À ne pas confondre avec
- Indexation
Le robots.txt interdit l’exploration d’une page, pas son indexation : une page bloquée peut quand même apparaître dans Google si d’autres sites pointent vers elle.
Pourquoi c’est important
Un robots.txt mal configuré peut empêcher l’indexation de pages importantes, ou au contraire laisser Google crawler des URLs inutiles, gaspillant le budget de crawl.
Bonnes pratiques
- Ne jamais bloquer des pages importantes ou l’accès aux fichiers CSS/JS nécessaires au rendu
- Bloquer les zones sensibles ou inutiles (ex : /wp-admin/)
- Tester le fichier avec l’outil Search Console > Inspection d’URL
En code
User-agent: *
Disallow: /panier/
Disallow: /compte/
Disallow: /recherche/
Sitemap: https://exemple.com/sitemap.xmlÀ la racine du domaine. Il guide l’exploration, il n’empêche pas l’indexation : pour cela, c’est la balise noindex.
Exemple concret
Un site e-commerce bloque par erreur /produits/ dans son robots.txt, ce qui empêche l’indexation de centaines de pages. Corrigé rapidement après une baisse de trafic.
Besoin d’un coup de main ?
Développement Un site que Google explore et indexe sans obstacle. Voir la prestationVous hésitez sur la priorité ? Le diagnostic vous remet une solution écrite, à prix fixe et sans engagement.
