Vérificateur de robots.txt pour l’IA
par
Vérifiez si les bots IA (GPTBot, ClaudeBot, PerplexityBot) peuvent accéder à votre site web
Une seule ligne bloquante dans votre robots.txt peut, à votre insu, empêcher GPTBot, ClaudeBot ou PerplexityBot de lire vos pages. Lancez la vérification gratuite, voyez exactement quels bots vous autorisez et comblez les lacunes en quelques secondes.
Accès des bots IA
Analyse du robots.txt
Recommandations
AI Visibility Score
Pourquoi vérifier la crawlabilité IA ?
Votre fichier robots.txt définit les bots qui peuvent explorer votre site. Cet outil l’analyse pour vous montrer quels crawlers IA ont accès à votre contenu, ce qui influe sur votre visibilité dans les moteurs de recherche IA et les chatbots.
Vérifiez votre site
Nous vous enverrons votre rapport par e-mail. En validant ce formulaire, vous vous abonnez à la newsletter LLM Pulse (désabonnement possible à tout moment).
Votre robots.txt détermine quels bots IA peuvent lire votre site
Une seule ligne dans robots.txt peut discrètement empêcher ChatGPT, Perplexity ou Google de lire votre contenu. À mesure que les crawlers IA comme GPTBot, ClaudeBot, PerplexityBot et Google Extended se sont multipliés, beaucoup de sites ont fini par bloquer les bots mêmes qui alimentent les réponses de l’IA, souvent par accident. Si un crawler est interdit, vos pages ne peuvent pas être citées par ce moteur, quelle que soit leur qualité.
Ce vérificateur gratuit lit votre robots.txt et vous montre précisément, ligne par ligne, quels crawlers IA et de recherche vous autorisez ou bloquez. Confirmez ainsi que votre site est ouvert aux moteurs qui comptent et comblez les lacunes qui vous coûtent discrètement de la visibilité IA. Une fois vos bots autorisés, testez ce qu’ils peuvent réellement lire avec notre Vérificateur de crawlabilité GEO gratuit, et guidez-les avec notre Générateur de llms.txt gratuit.
Ce que couvre le rapport robots.txt
Une vue claire, bot par bot, de ceux que vous laissez lire votre site et de ceux que vous refoulez.
Accès des crawlers IA
Autorisation ou blocage de GPTBot, ClaudeBot, PerplexityBot, Google Extended et d’autres bots.
Accès des moteurs de recherche
La façon dont vos règles traitent les crawlers classiques comme Googlebot et Bingbot.
Chemins bloqués
Les répertoires et pages interdits par vos règles, qui peuvent inclure des contenus que vous souhaitez justement voir cités.
Sitemap et directives
Si votre robots.txt indique votre sitemap aux crawlers et si vos règles sont valides et sans conflit.
Fonctionnement
Comment fonctionne le vérificateur de robots.txt pour l’IA
Trois étapes pour passer de votre domaine à une vue claire, bot par bot, de qui peut lire votre site.
Saisissez votre domaine
Saisissez le domaine à vérifier et validez le formulaire. Nous récupérons aussitôt votre robots.txt en ligne, sans configuration ni compte.
Nous analysons chaque règle
Nous lisons chaque directive allow et disallow et la confrontons aux principaux crawlers IA (GPTBot, ClaudeBot, PerplexityBot, Google Extended) et aux bots de recherche comme Googlebot et Bingbot.
Recevez un rapport d’accès clair
Vous voyez quels moteurs peuvent lire votre site, lesquels sont bloqués et les lignes exactes en cause, pour ouvrir l’accès aux bots qui alimentent les réponses de l’IA.
FAQ du vérificateur de robots.txt pour l’IA
Questions fréquentes sur la vérification du robots.txt pour les crawlers IA et les bots de recherche.
- Oui. Le Vérificateur de robots.txt est entièrement gratuit. Vous saisissez un domaine, nous récupérons et analysons le fichier, et vous recevez gratuitement un rapport complet par e-mail.
- Oui. Bloquer des crawlers de recherche comme OAI-SearchBot ou PerplexityBot peut les empêcher de récupérer vos pages pour les réponses de l’IA. Autoriser les bons bots maintient votre contenu accessible aux moteurs qui comptent pour vous.
- Non. Le vérificateur fonctionne en lecture seule. Il récupère et analyse votre robots.txt existant et vous indique les changements à faire, mais il ne modifie ni ne publie jamais rien sur votre site.
- Autorisez les crawlers des moteurs qui comptent pour vous : OAI-SearchBot pour ChatGPT Search, Googlebot pour Google AI Overviews et AI Mode, PerplexityBot pour Perplexity et Claude-SearchBot pour Claude. Pour l’entraînement et les autres usages de l’IA, gérez GPTBot, ClaudeBot et Google-Extended séparément. Laissez aussi Bingbot autorisé pour la recherche.
- Vérifiez-le à chaque nouveau robots.txt mis en ligne, à chaque migration de plateforme ou changement de CMS, et contrôlez-le au moins une fois par trimestre. Une seule directive Disallow ajoutée par erreur peut couper votre visibilité IA pendant des mois sans que vous le remarquiez.
- Le robots.txt indique aux crawlers les chemins qu’ils peuvent explorer. Le llms.txt est un fichier plus récent qui oriente les moteurs IA vers votre contenu le plus important. Les deux se complètent : robots.txt donne l’accès, llms.txt guide la lecture.
- Nous vérifions tous les principaux bots IA, dont GPTBot (ChatGPT), ClaudeBot (Claude), PerplexityBot, Google-Extended (Gemini) et CCBot (Common Crawl), ainsi que des bots de référence comme Googlebot et Bingbot.
- L’analyse ne prend généralement que quelques secondes. Nous récupérons votre fichier robots.txt et l’analysons en temps réel.
- Autoriser les crawlers IA aide votre contenu à apparaître dans les moteurs de recherche IA et les chatbots comme ChatGPT, Perplexity et Claude. Les bloquer peut réduire votre visibilité sur ces plateformes.
Découvrez d’autres outils de recherche IA gratuits
LLM Pulse est la plateforme tout-en-un dédiée à la recherche IA et au GEO. Utilisez ces outils gratuits pour auditer la façon dont les moteurs IA voient votre marque, puis suivez tout au même endroit.
Découvrez à quelle fréquence les moteurs IA mentionnent votre marque dans ChatGPT, Perplexity et Gemini.
Vérifiez si les réponses de l’IA mentionnent votre marque pour les prompts qui comptent.
Découvrez le classement de votre marque dans la recherche IA face aux concurrents que mentionnent les réponses de l’IA.
Mesurez la découvrabilité de votre marque dans les moteurs IA.
Recherchez les publicités observées dans ChatGPT par annonceur, pays, message et date.
Créez une regex GA4 qui regroupe ChatGPT, Perplexity, Gemini et les autres assistants IA dans un seul canal.
Notez votre domaine selon les fichiers, formats et interfaces que recherchent les agents d’IA.
Testez si les moteurs IA peuvent explorer et afficher vos pages.
Vérifiez si les crawlers IA sont autorisés à lire votre site.
Choisissez quels crawlers IA, bots de recherche et assistants peuvent lire votre site, et obtenez un robots.txt prêt à l’emploi.
Trouvez tous les sitemaps XML d’un site, y compris ceux que robots.txt ne liste pas, et les problèmes à corriger.
Générez un fichier llms.txt pour que les crawlers IA comprennent votre site.
Vérifiez si votre site figure dans Common Crawl, le corpus ouvert qui entraîne la plupart des modèles d’IA.
Vérifiez si la structure de votre site aide les moteurs IA à vous comprendre.
Auditez vos données structurées pour que l’IA et les moteurs de recherche comprennent vos pages.
Évaluez le niveau d’optimisation d’une page pour les moteurs de réponse IA.
Vérifiez si votre contenu est prêt à être cité dans les réponses de l’IA.
Validez votre flux produits pour les résultats ChatGPT Shopping.
Supprimez les caractères cachés, les espacements irréguliers et les restes de mise en forme d’un texte collé.
Analysez un texte pour repérer les caractères de filigrane invisibles, décoder les messages cachés et les supprimer.
Autorisez les bots, puis gagnez votre place dans les réponses
Un robots.txt propre n’est que la première étape. LLM Pulse vous montre où votre marque apparaît dans ChatGPT, Perplexity, Gemini et Google AI, et comment gagner des places. Démarrez votre essai gratuit de 14 jours.