Vérificateur robots.txt et sitemap.xml.
Un domaine suffit : l’outil lit le robots.txt, repère les sections importantes bloquées pour Google, trouve les sitemaps déclarés et compte les URL qu’ils contiennent.
Lit robots.txt, puis les sitemaps déclarés ou /sitemap.xml et /sitemap_index.xml par défaut. Jusqu’à 4 fichiers sitemap sont analysés.
Gratuit, sans inscription. Rien n’est enregistré : la page est analysée puis oubliée.
Les deux fichiers qui décident de ce que Google explore
Le robots.txt dit aux robots ce qu’ils peuvent explorer. Une seule ligne mal placée, souvent oubliée après une mise en production, peut bloquer tout un site, ses fichiers CSS et JavaScript, ou une section entière de la boutique. Le sitemap.xml liste les pages à indexer : il accélère la découverte des nouvelles URL et permet de suivre leur indexation dans Search Console.
Cet outil vérifie les deux en une fois. Il lit chaque groupe de règles par user-agent, signale les chemins importants bloqués pour Googlebot, trouve les sitemaps déclarés, suit un index de sitemaps, compte les URL et détecte les erreurs de format les plus fréquentes : XML invalide, page HTML renvoyée à la place du fichier, URL d’un autre domaine.
C’est la première vérification à faire quand un site client ne s’indexe pas ou perd brutalement du trafic après une refonte.
Comment lire les résultats
- Bloquant (rouge) : Disallow sur tout le site, sur les CSS ou JS, ou robots.txt en erreur serveur. Google suspend ou dégrade l’exploration.
- À vérifier (orange) : une section du site bloquée, des lignes mal formées, un sitemap en erreur. Souvent volontaire, parfois pas.
- Info : absence de sitemap déclaré, Crawl-delay ignoré par Google, lastmod absents.
- Sitemaps : le type (liste d’URL ou index), le nombre d’URL et l’état de chaque fichier. Au-delà de 50 000 URL ou 50 Mo, découpez en plusieurs fichiers.
- Pas de robots.txt n’est pas une erreur : tout est explorable. Mais il manque alors la déclaration du sitemap.
Questions fréquentes
À quoi sert le fichier robots.txt ?
Il indique aux robots des moteurs les parties du site qu’ils ne doivent pas explorer, par groupe de user-agent, et déclare l’emplacement des sitemaps. Il ne sert pas à désindexer une page déjà connue : pour cela il faut une meta robots noindex, et la page doit rester explorable pour que Google la lise.
Quelles erreurs de robots.txt sont les plus graves ?
Un Disallow: / qui bloque tout le site, souvent hérité d’un environnement de préproduction, le blocage des fichiers CSS et JavaScript qui empêche Google de rendre les pages correctement, et un fichier qui répond en erreur serveur 5xx, car Google interrompt alors l’exploration de tout le site.
Le sitemap doit-il contenir toutes les pages du site ?
Il doit contenir les pages que vous voulez voir indexées, et seulement celles-là : pas de pages en noindex, redirigées, en erreur ou bloquées par le robots.txt. Un sitemap propre permet de comparer dans Search Console le nombre de pages soumises et le nombre de pages indexées.
Que faire si le site n’a pas de sitemap ?
La plupart des CMS en génèrent un automatiquement : WordPress avec une extension SEO, Shopify, Webflow, Wix et PrestaShop en natif. Déclarez ensuite son adresse dans le robots.txt avec une ligne Sitemap et soumettez-le dans Search Console.
Comment savoir quelles pages du sitemap sont réellement indexées ?
Le rapport d’indexation de Search Console le montre pour chaque sitemap soumis. GoMySeo se connecte à Search Console et croise ces données avec le crawl du site pour repérer les pages listées mais jamais indexées et en expliquer la cause.
Les autres outils gratuits
Quatre autres vérifications rapides, sans compte, pour le site d’un client ou le vôtre.
Pages non indexées, trafic en baisse après une refonte ?
GoMySeo croise le crawl du site et vos données Search Console pour trouver la cause, page par page.