Générateur de robots.txt IA
Le Générateur de robots.txt IA est un outil gratuit, utilisable dans votre navigateur, qui rédige un robots.txt pour les bots IA que nous suivons. Vous choisissez ceux qui peuvent lire votre site, vous copiez ou téléchargez le résultat, puis vous le placez à la racine de votre domaine.
Pour vérifier un robots.txt déjà en ligne, utilisez le Vérificateur de robots.txt. Les deux outils figurent avec le reste de nos outils gratuits dans Outils gratuits de recherche IA.
Les trois types de bots IA
Le générateur classe chaque bot selon ce qu’il fait, car bloquer chaque groupe a un coût différent.
- Crawlers de recherche IA (par exemple OAI-SearchBot, PerplexityBot et Claude-SearchBot) : ils indexent les pages pour que les moteurs de recherche IA puissent les citer et y renvoyer. Si vous les bloquez, la recherche IA cesse de citer vos pages.
- Assistants IA à la demande (par exemple ChatGPT-User, Perplexity-User et Claude-User) : ils ouvrent une page quand une personne demande à un assistant de la lire. Si vous les bloquez, les assistants ne peuvent plus ouvrir vos pages pour ces personnes.
- Crawlers d’entraînement IA (par exemple GPTBot, ClaudeBot, Google-Extended et CCBot) : ils collectent des pages pour entraîner les modèles. Si vous les bloquez, les futurs modèles en sauront moins sur vous, mais la recherche IA pourra toujours vous citer.
Comment l’utiliser
- Choisissez une configuration type : Autoriser tous les bots IA, Bloquer seulement l’entraînement ou Bloquer tous les bots IA.
- Activez ou désactivez n’importe quel bot. Chaque interrupteur indique l’entreprise qui exploite le bot.
- Facultatif : listez des chemins privés, un par ligne. Les bots que vous autorisez n’explorent pas ces chemins, et tous les autres crawlers non plus.
- Facultatif : ajoutez l’URL de votre sitemap.
- Copiez le fichier ou téléchargez-le sous le nom robots.txt, puis placez-le à la racine de votre domaine, par exemple example.com/robots.txt.
Les bots bloqués sont regroupés sous une seule règle qui interdit l’accès à tout le site. Les bots autorisés reçoivent leur propre groupe, avec vos chemins privés, car un bot qui dispose de son propre groupe ignore les règles écrites pour tous les autres crawlers.
Ce que le robots.txt ne peut pas faire
Le robots.txt est une demande, pas un verrou. Les entreprises d’IA reconnues affirment que leurs bots le respectent, mais un crawler peut l’ignorer. Bloquer un crawler d’entraînement empêche les nouvelles pages d’entrer dans les futures données d’entraînement, mais n’efface pas ce qu’un modèle a déjà appris. Pour savoir quels bots visitent réellement votre site, connectez les logs de votre serveur ou de votre CDN dans Agent Analytics.
Confidentialité
Le générateur fonctionne dans votre navigateur. Rien de ce que vous saisissez ne nous est envoyé.