Anthropic

Anthropic

ClaudeBot : le crawler IA d’Anthropic

ClaudeBot est le crawler web d’Anthropic : il collecte les données d’entraînement de Claude, l’un des principaux assistants IA, connu pour son approche axée sur la sécurité.

Rang actuel

#2

Part du trafic

7,84 %

Exploitant

Anthropic

Catégorie

Crawler d’entraînement IA

ClaudeBot : activité des 90 derniers jours

LLM Pulse

Source : Cloudflare Radar

ClaudeBot : de quoi s’agit-il ?

ClaudeBot est un crawler (robot d’exploration) exploité par Anthropic pour collecter des contenus web publics destinés à l’entraînement de Claude, l’assistant IA d’Anthropic. Claude est connu pour l’importance qu’il accorde à la sécurité, à l’utilité et à l’honnêteté.

Anthropic a lancé ClaudeBot pour identifier son activité de crawl en toute transparence. Le bot respecte les directives de robots.txt et laisse aux propriétaires de sites un contrôle total sur l’utilisation de leurs contenus pour l’entraînement de Claude.

ClaudeBot cible des contenus web publics de haute qualité. Anthropic a affirmé son engagement en faveur de pratiques de collecte responsables, en accord avec sa mission : développer une IA sûre.

Comment bloquer ClaudeBot

Pour empêcher ClaudeBot d’explorer votre site, ajoutez les lignes suivantes à votre fichier robots.txt :

robots.txt

User-agent: ClaudeBot
Disallow: /

Bloquer ClaudeBot empêche l’utilisation de vos contenus pour entraîner les futurs modèles Claude. Claude peut toutefois mentionner votre marque à partir de données d’entraînement antérieures. Le blocage n’empêche pas Claude de résumer ou d’analyser vos contenus si un utilisateur les colle directement.

Vérifier les requêtes du crawler ClaudeBot

Anthropic ne publie pas pour l’instant les plages d’IP de ClaudeBot. Vérifiez ClaudeBot à partir de sa chaîne user-agent. Pour un blocage au niveau du serveur, repérez le user-agent ClaudeBot dans vos logs d’accès.

ClaudeBot : détails techniques

Chaîne user-agent : ClaudeBot (https://www.anthropic.com)

Respecte les directives de robots.txt

Sert exclusivement à l’entraînement des modèles d’IA Claude

Anthropic publie la documentation de son crawler et respecte les demandes d’opposition

Exclut les contenus privés et payants

Autres agents d’Anthropic : Claude-User récupère des pages pendant les conversations en direct avec les utilisateurs, et Claude-SearchBot indexe des contenus pour la recherche web de Claude. ClaudeBot ne collecte que des données d’entraînement, et chaque agent peut être autorisé ou bloqué séparément dans robots.txt.

ClaudeBot : quel effet sur votre site ?

Si vous autorisez ClaudeBot, vos contenus peuvent influer sur la façon dont Claude parle de votre marque, de votre secteur et de vos produits. Claude étant utilisé par des millions de personnes et d’entreprises, une représentation fidèle dans ses données d’entraînement peut profiter à votre marque.

Claude est intégré à de nombreux processus métier et outils de productivité en entreprise. Les contenus indexés par ClaudeBot alimentent la base de connaissances de Claude, sur laquelle reposent ces applications.

Questions fréquentes sur ClaudeBot

Suivez l’effet des crawlers IA sur la visibilité de votre marque

LLM Pulse suit la façon dont les modèles d’IA mentionnent votre marque. Découvrez quels crawlers visitent votre site et ce que cela change pour votre visibilité IA.