Glossaire · Exploration et indexation
Crawl (ou exploration)
On dit aussi Crawling
Le crawl désigne le processus par lequel les robots des moteurs de recherche parcourent les pages d’un site web pour les découvrir, les analyser et les indexer.
Points clés
- Étape de base du référencement : sans crawl = pas d’indexation
- Réalisé par les bots comme Googlebot
- Optimisable pour orienter les moteurs vers les pages stratégiques
À ne pas confondre avec
- Indexation
Le crawl, c’est Google qui visite la page. L’indexation, c’est Google qui décide de la retenir. Une page explorée n’est pas forcément indexée.
Pourquoi c’est important
Si une page n’est pas explorée par Google, elle ne sera jamais indexée ni positionnée. Optimiser le crawl, c’est s’assurer que les pages importantes sont bien visitées.
Bonnes pratiques
- Faciliter l’accès via le maillage interne et le sitemap.xml
- Bloquer les pages inutiles via robots.txt
- Supprimer les erreurs 404 ou redirections en boucle
- Analyser les logs serveur pour affiner la stratégie
Exemple concret
Un site de formation constate que sa page « tarifs » n’est jamais visitée par Googlebot. En l’ajoutant au menu, sitemap et maillage interne, elle est explorée et indexée en 2 jours.
Besoin d’un coup de main ?
Développement Un site que Google explore et indexe sans obstacle. Voir la prestationVous hésitez sur la priorité ? Le diagnostic vous remet une solution écrite, à prix fixe et sans engagement.
