Outil gratuit pour la recherche IA
Générateur de robots.txt IA
Parmi 36 crawlers IA, bots de recherche et assistants, choisissez ceux qui peuvent lire votre site et obtenez en quelques secondes un robots.txt prêt à publier.
Partez d’une configuration type
Choisissez un point de départ, puis ajustez n’importe quel bot ci-dessous.
Choisissez bot par bot
Désactivez un bot pour le bloquer. Chacun est indiqué avec l’entreprise qui l’exploite.
Règles facultatives pour tous les bots
Un chemin par ligne. Les bots que vous autorisez n’exploreront pas ces chemins.
Facultatif. Aide tous les crawlers à trouver vos pages.
Autorisés : 36 Bloqués : 0
Publiez-le
Placez le fichier à la racine de votre domaine, par exemple example.com/robots.txt. Vérifiez ensuite comment chaque bot IA le lit.
Vérifier le robots.txt publiéAvant de bloquer
Quels bots IA faut-il bloquer ?
Les bots IA se répartissent en trois groupes. Bloquer chacun d’eux a un coût différent : décidez groupe par groupe plutôt que de tout bloquer.
Crawlers de recherche IA
Indexent les pages pour que les moteurs de recherche IA et leurs réponses puissent les citer et y renvoyer.
Si vous les bloquez : la recherche IA cesse de citer vos pages et d’y renvoyer.
OAI-SearchBot, PerplexityBot, Claude-SearchBot, Applebot
Assistants IA à la demande
Récupèrent une page quand une personne demande à un assistant IA de l’ouvrir ou de la lire.
Si vous les bloquez : les assistants ne peuvent pas ouvrir vos pages pour les personnes qui les interrogent sur vous.
ChatGPT-User, Perplexity-User, Claude-User, Meta-ExternalFetcher
Crawlers d’entraînement IA
Collectent des pages pour entraîner les modèles d’IA et constituer leurs jeux de données.
Si vous les bloquez : les futurs modèles en sauront moins sur vous, mais la recherche IA pourra toujours vous citer.
GPTBot, ClaudeBot, Claude-Web, anthropic-ai
Questions sur le robots.txt et l’IA
Comment les crawlers IA lisent le robots.txt et ce que change leur blocage.
- Le robots.txt est un fichier public qui indique aux crawlers quelles parties de votre site ils peuvent visiter. La plupart des entreprises d’IA affirment que leurs bots le respectent : c’est donc le moyen le plus simple de choisir quels bots IA peuvent lire vos pages.
- En général, non. Bloquer des crawlers de recherche IA comme OAI-SearchBot ou PerplexityBot retire vos pages des réponses qui citent des sources. Beaucoup de sites bloquent uniquement les crawlers d’entraînement et continuent d’autoriser les crawlers de recherche et les assistants.
- Bloquer un crawler d’entraînement comme GPTBot ou Google-Extended empêche vos nouvelles pages d’entrer dans les futures données d’entraînement. Cela n’efface pas ce qu’un modèle a déjà appris et n’empêche pas la recherche IA de vous citer.
- Non. Le robots.txt est une demande, pas un verrou. Les entreprises d’IA reconnues le respectent, mais un crawler peut l’ignorer. Pour savoir quels bots visitent réellement votre site, consultez les logs de votre serveur ou de votre CDN.
- Oui. Le générateur fonctionne dans votre navigateur et rien de ce que vous saisissez ne nous est envoyé. Copiez le résultat ou téléchargez-le sous forme de fichier robots.txt.
- Revoyez-le chaque fois que vous ajoutez des pages à garder privées, et plusieurs fois par an, car les entreprises d’IA lancent de nouveaux crawlers. Ce générateur répertorie les bots IA que nous suivons.
Découvrez d’autres outils de recherche IA gratuits
LLM Pulse est la plateforme tout-en-un dédiée à la recherche IA et au GEO. Utilisez ces outils gratuits pour auditer la façon dont les moteurs IA voient votre marque, puis suivez tout au même endroit.
Découvrez à quelle fréquence les moteurs IA mentionnent votre marque dans ChatGPT, Perplexity et Gemini.
Vérifiez si les réponses de l’IA mentionnent votre marque pour les prompts qui comptent.
Découvrez le classement de votre marque dans la recherche IA face aux concurrents que mentionnent les réponses de l’IA.
Mesurez la découvrabilité de votre marque dans les moteurs IA.
Recherchez les publicités observées dans ChatGPT par annonceur, pays, message et date.
Créez une regex GA4 qui regroupe ChatGPT, Perplexity, Gemini et les autres assistants IA dans un seul canal.
Notez votre domaine selon les fichiers, formats et interfaces que recherchent les agents d’IA.
Testez si les moteurs IA peuvent explorer et afficher vos pages.
Vérifiez si les crawlers IA sont autorisés à lire votre site.
Choisissez quels crawlers IA, bots de recherche et assistants peuvent lire votre site, et obtenez un robots.txt prêt à l’emploi.
Trouvez tous les sitemaps XML d’un site, y compris ceux que robots.txt ne liste pas, et les problèmes à corriger.
Générez un fichier llms.txt pour que les crawlers IA comprennent votre site.
Vérifiez si votre site figure dans Common Crawl, le corpus ouvert qui entraîne la plupart des modèles d’IA.
Vérifiez si la structure de votre site aide les moteurs IA à vous comprendre.
Auditez vos données structurées pour que l’IA et les moteurs de recherche comprennent vos pages.
Évaluez le niveau d’optimisation d’une page pour les moteurs de réponse IA.
Vérifiez si votre contenu est prêt à être cité dans les réponses de l’IA.
Validez votre flux produits pour les résultats ChatGPT Shopping.
Supprimez les caractères cachés, les espacements irréguliers et les restes de mise en forme d’un texte collé.
Analysez un texte pour repérer les caractères de filigrane invisibles, décoder les messages cachés et les supprimer.
Découvrez quels bots IA lisent votre site
Voyez quels bots IA visitent réellement votre site, quelles pages ils lisent et à quelle fréquence les réponses de l’IA mentionnent votre marque.