Anthropic
ClaudeBot: o crawler web de IA da Anthropic
O ClaudeBot é o crawler web da Anthropic utilizado para recolher dados de treino para o Claude, um dos principais assistentes de IA conhecido pela sua abordagem centrada na segurança.
Posição atual
#3
Percentagem de tráfego
8.21%
Operador
Anthropic
Categoria
Crawler de treino de IA
O que é ClaudeBot?
O ClaudeBot é um crawler web operado pela Anthropic para recolher conteúdo web disponível publicamente e treinar o Claude, o assistente de IA da Anthropic. O Claude é conhecido pelo seu foco na segurança, utilidade e honestidade.
A Anthropic introduziu o ClaudeBot para identificar de forma transparente a sua atividade de rastreio. O bot respeita as diretivas do robots.txt, dando aos proprietários de sites controlo total sobre se o seu conteúdo é usado para o treino do Claude.
O ClaudeBot concentra-se em conteúdo web de alta qualidade e disponível publicamente. A Anthropic afirmou o seu compromisso com práticas responsáveis de recolha de dados, alinhadas com a sua missão de criar IA segura.
Como bloquear ClaudeBot
Para impedir o ClaudeBot de rastrear o seu website, adicione o seguinte ao seu ficheiro robots.txt:
robots.txt
User-agent: ClaudeBot Disallow: /
Bloquear o ClaudeBot impede que o seu conteúdo seja utilizado no futuro treino do modelo Claude. No entanto, o Claude pode continuar a referir a sua marca com base em dados previamente treinados. O bloqueio não afeta a capacidade do Claude de resumir ou analisar o seu conteúdo se um utilizador o colar diretamente.
Como verificar pedidos de ClaudeBot
A Anthropic não publica atualmente os intervalos de IP do ClaudeBot. Verifique o ClaudeBot através da string User-Agent. Para bloqueio ao nível do servidor, monitorize os registos de acesso à procura do user-agent ClaudeBot.
Detalhes técnicos de ClaudeBot
String User-Agent: ClaudeBot (https://www.anthropic.com)
Respeita as diretivas do robots.txt
Usado exclusivamente para o treino dos modelos de IA Claude
A Anthropic publica documentação sobre o crawler e respeita os pedidos de exclusão
Filtra conteúdo privado e com paywall
Agentes da Anthropic relacionados: o Claude-User obtém páginas durante conversas ao vivo com utilizadores e o Claude-SearchBot indexa conteúdo para a pesquisa web do Claude. O próprio ClaudeBot recolhe apenas dados de treino, e cada agente pode ser permitido ou bloqueado separadamente no robots.txt.
Como ClaudeBot afeta o seu site
Permitir o ClaudeBot significa que o seu conteúdo pode influenciar a forma como o Claude fala da sua marca, do seu setor e dos seus produtos. Como o Claude é usado por milhões de pessoas e empresas, uma representação precisa nos seus dados de treino pode beneficiar a sua marca.
O Claude está integrado em muitos fluxos de trabalho empresariais e ferramentas de produtividade. O conteúdo indexado pelo ClaudeBot contribui para a base de conhecimento do Claude, que alimenta estas aplicações.
Perguntas frequentes sobre o ClaudeBot
Acompanhe como os crawlers de IA afetam a visibilidade da sua marca
A LLM Pulse monitoriza as menções à sua marca nos modelos de IA. Veja quais os crawlers que visitam o seu site e como isso se traduz na visibilidade da sua marca nas respostas dos modelos de IA.