Ranking de crawlers atualizado diariamente
Índice de crawlers de IA: quais são os bots que mais rastreiam a Web?
O Índice de crawlers de IA classifica os crawlers mais ativos na Web, desde bots de pesquisa como Googlebot e Bingbot até crawlers usados para treinar modelos de IA, como GPTBot (OpenAI), ClaudeBot (Anthropic) e Meta-ExternalAgent (Meta). Os dados do Cloudflare Radar são atualizados diariamente e abrangem milhares de milhões de pedidos a milhões de sites.
Principais crawlers
ClaudeBot
Anthropic
8,43%
Googlebot
20,36%
GPTBot
OpenAI
7,19%
Atividade dos bots: últimos 90 dias
Fonte: Cloudflare Radar (volumes de pedidos normalizados em toda a rede global da Cloudflare)
Ranking de crawlers identificados pelo nome
O tráfego agregado de bots é apresentado separadamente para que não ocupe uma posição superior à de qualquer crawler individual no ranking.
Googlebot
20,36%
ClaudeBot
Anthropic
8,43%
GPTBot
OpenAI
7,19%
Bingbot
Microsoft
6,96%
facebookexternalhit
Meta
6,91%
Applebot
Apple
6,08%
Meta-ExternalAgent
Meta
2,61%
Amazonbot
Amazon
2,3%
GoogleOther
1,44%
YandexBot
Yandex
1,41%
PetalBot
Huawei
1,4%
Outros bots
Tráfego agregado de crawlers com menor volume e de crawlers não classificados. Está incluído nos totais dos gráficos, mas excluído do ranking de crawlers.
Sobre esta categoria agregada34,93%
Sobre estes bots
Googlebot
(Google)Crawler principal da Google para indexar páginas na Pesquisa Google. É o crawler mais ativo da Web.
Bloquear através do robots.txt:
User-agent: Googlebot
ClaudeBot
(Anthropic)Crawler da Anthropic usado para treinar os modelos Claude. Respeita as diretivas do robots.txt.
Bloquear através do robots.txt:
User-agent: ClaudeBot
GPTBot
(OpenAI)Crawler da OpenAI usado para treinar e melhorar o ChatGPT e outros modelos. Respeita as diretivas do robots.txt.
Bloquear através do robots.txt:
User-agent: GPTBot
Bingbot
(Microsoft)Crawler da Microsoft para indexar páginas na Pesquisa do Bing e alimentar as respostas do Copilot.
Bloquear através do robots.txt:
User-agent: Bingbot
facebookexternalhit
(Meta)Crawler da Meta que obtém pré-visualizações das páginas quando um URL é partilhado no Facebook ou no Instagram.
Bloquear através do robots.txt:
User-agent: facebookexternalhit
Applebot
(Apple)Crawler da Apple que apoia a Siri, o Spotlight e as funcionalidades do Apple Intelligence.
Bloquear através do robots.txt:
User-agent: Applebot
Meta-ExternalAgent
(Meta)Crawler de treino de IA da Meta, usado nos modelos Llama e nos produtos Meta AI.
Bloquear através do robots.txt:
User-agent: Meta-ExternalAgent
Amazonbot
(Amazon)Crawler da Amazon para a Alexa AI e os serviços de aprendizagem automática da Amazon.
Bloquear através do robots.txt:
User-agent: Amazonbot
GoogleOther
(Google)Crawler secundário da Google, usado em tarefas de investigação e de indexação fora da Pesquisa.
Bloquear através do robots.txt:
User-agent: GoogleOther
YandexBot
(Yandex)Crawler da Yandex para indexar páginas no maior motor de pesquisa da Rússia.
Bloquear através do robots.txt:
User-agent: YandexBot
Perguntas frequentes do AI Crawler Index
- Um crawler de IA é um bot automatizado que descarrega páginas web para alimentar produtos de IA. Alguns recolhem dados de treino para grandes modelos de linguagem (GPTBot, ClaudeBot, Meta-ExternalAgent), enquanto outros indexam conteúdo para pesquisa e assistentes de IA (Googlebot, Bingbot, Applebot).
- O Googlebot é consistentemente o crawler mais ativo da web. Entre os bots de treino de IA, o GPTBot (OpenAI), o ClaudeBot (Anthropic) e o Meta-ExternalAgent (Meta) geram os maiores volumes de rastreio, e a sua quota continua a crescer.
- Depende dos seus objetivos: bloquear os bots de treino de IA através do robots.txt mantém o seu conteúdo fora do futuro treino de modelos, mas também pode reduzir a exatidão com que os assistentes de IA descrevem a sua marca. A maioria das marcas que se preocupam com a visibilidade em IA deixa-os passar.
- O índice é criado a partir de dados de tráfego de bots do Cloudflare Radar, normalizados em toda a rede global da Cloudflare, e atualizado diariamente pela LLM Pulse.
Acompanhe como os crawlers de IA afetam a visibilidade da sua marca
A LLM Pulse monitoriza as menções à sua marca nos modelos de IA. Veja quais os crawlers que visitam o seu site e como isso se traduz na visibilidade da sua marca nas respostas dos modelos de IA.