Quand Google arrive sur ton site pour la première fois, il commence par lire deux fichiers avant de visiter tes pages. Le robots.txt lui indique où il a le droit d'aller. Le sitemap XML lui liste l'ensemble des pages que tu veux qu'il trouve. Si ces deux fichiers sont absents ou mal configurés, Google peut passer à côté d'une partie de ton site. Et des pages que Google ne voit pas, c'est autant de trafic organique en moins.
Le sitemap XML : ta liste de pages à soumettre à Google
Un sitemap XML liste toutes les URLs de ton site que tu veux voir indexées : tes pages de services, tes articles de blog, ta page de contact. La plupart des CMS comme WordPress ou Webflow le génèrent automatiquement. Tu peux vérifier qu'il existe en tapant ton-domaine.fr/sitemap.xml dans ton navigateur. Ce fichier ne garantit pas l'indexation de chaque URL, mais il accélère leur découverte et aide Google à ne rien rater. web.dev propose un guide de référence sur les bonnes pratiques : nombre maximal d'URLs par sitemap, fréquence de mise à jour et format attendu par les moteurs.
Le robots.txt : la carte d'accès que tu donnes à Google
Conseil pratique : ouvre ton-domaine.fr/robots.txt dans ton navigateur. Si tu vois une ligne Disallow: / sans autre précision, tu viens de trouver pourquoi certaines pages ne remontent pas dans Google. C'est l'erreur la plus fréquente sur les sites livrés en mode maintenance et jamais corrigés après le lancement.
- Ne bloque jamais les pages que tu veux voir indexées, même par erreur lors d'une mise à jour
- N'inclus pas dans ton sitemap des URLs que tu bloques dans le robots.txt
- Ajoute la ligne Sitemap: https://ton-domaine.fr/sitemap.xml dans ton robots.txt
- Vérifie le robots.txt après chaque migration ou refonte de site
- Évite de bloquer les fichiers CSS et JavaScript dont Google a besoin pour rendre tes pages
Comment vérifier que Google lit bien tes deux fichiers
L'outil le plus direct pour vérifier que tout fonctionne, c'est Google Search Console. Dans la section Sitemaps, tu soumets ton fichier directement et tu vois combien de pages ont été détectées et indexées. Dans Inspection d'URL, tu vérifies si une page précise est accessible au robot. Pour une analyse plus complète du crawl, Screaming Frog permet de parcourir tout ton site comme le ferait Google et de repérer les URLs bloquées, les erreurs de redirection et les pages orphelines.
Règle à retenir : robots.txt et sitemap doivent être cohérents entre eux. Une URL listée dans ton sitemap mais bloquée dans ton robots.txt envoie un signal contradictoire à Google. Soit la page est indexable et elle figure dans les deux, soit elle ne l'est pas et elle n'apparaît dans aucun des deux.
Robots.txt et sitemap sont deux points de contrôle parmi plusieurs dans la technique SEO de ton site. Si tu veux t'assurer que rien d'autre ne freine ton référencement, l'article sur l'audit SEO technique pour PME passe en revue l'ensemble des éléments à vérifier pour que la structure de ton site n'impacte pas ton positionnement.