O que é um crawler de IA?

Um crawler de IA é um bot automatizado que descarrega páginas web para alimentar produtos de IA. Alguns recolhem dados de treino para grandes modelos de linguagem (GPTBot, ClaudeBot, Meta-ExternalAgent), enquanto outros indexam conteúdo para pesquisa e assistentes de IA (Googlebot, Bingbot, Applebot).

Quais são os crawlers de IA mais ativos?

O Googlebot é consistentemente o crawler mais ativo da web. Entre os bots de treino de IA, o GPTBot (OpenAI), o ClaudeBot (Anthropic) e o Meta-ExternalAgent (Meta) geram os maiores volumes de rastreio, e a sua quota continua a crescer.

Devo bloquear crawlers de IA como o GPTBot ou o ClaudeBot?

Depende dos seus objetivos: bloquear os bots de treino de IA através do robots.txt mantém o seu conteúdo fora do futuro treino de modelos, mas também pode reduzir a exatidão com que os assistentes de IA descrevem a sua marca. A maioria das marcas que se preocupam com a visibilidade em IA deixa-os passar.

De onde vêm os dados do AI Crawler Index?

O índice é criado a partir de dados de tráfego de bots do Cloudflare Radar, normalizados em toda a rede global da Cloudflare, e atualizado diariamente pela LLM Pulse.

Ranking de crawlers atualizado diariamente

Índice de crawlers de IA: quais são os bots que mais rastreiam a Web?

O Índice de crawlers de IA classifica os crawlers mais ativos na Web, desde bots de pesquisa como Googlebot e Bingbot até crawlers usados para treinar modelos de IA, como GPTBot (OpenAI), ClaudeBot (Anthropic) e Meta-ExternalAgent (Meta). Os dados do Cloudflare Radar são atualizados diariamente e abrangem milhares de milhões de pedidos a milhões de sites.

Principais crawlers

Meta-ExternalAgent

Atividade dos bots: últimos 90 dias

100% empilhado

Fonte: Cloudflare Radar (volumes de pedidos normalizados em toda a rede global da Cloudflare)

Ranking de crawlers identificados pelo nome

O tráfego agregado de bots é apresentado separadamente para que não ocupe uma posição superior à de qualquer crawler individual no ranking.

Googlebot

Google

23.89%

Meta-ExternalAgent

Sobre estes bots

Googlebot

(Google)

Crawler principal da Google para indexar páginas na Pesquisa Google. É o crawler mais ativo da Web.

Bloquear através do robots.txt: User-agent: Googlebot

Saber mais →

Meta-ExternalAgent

(Meta)

Crawler de treino de IA da Meta, usado nos modelos Llama e nos produtos Meta AI.

Bloquear através do robots.txt: User-agent: Meta-ExternalAgent

Saber mais →

ClaudeBot

(Anthropic)

Crawler da Anthropic usado para treinar os modelos Claude. Respeita as diretivas do robots.txt.

Bloquear através do robots.txt: User-agent: ClaudeBot

Saber mais →

Bingbot

(Microsoft)

Crawler da Microsoft para indexar páginas na Pesquisa do Bing e alimentar as respostas do Copilot.

Bloquear através do robots.txt: User-agent: Bingbot

Saber mais →

facebookexternalhit

(Meta)

Crawler da Meta que obtém pré-visualizações das páginas quando um URL é partilhado no Facebook ou no Instagram.

Bloquear através do robots.txt: User-agent: facebookexternalhit

Saber mais →

Applebot

(Apple)

Crawler da Apple que apoia a Siri, o Spotlight e as funcionalidades do Apple Intelligence.

Bloquear através do robots.txt: User-agent: Applebot

Saber mais →

GPTBot

(OpenAI)

Crawler da OpenAI usado para treinar e melhorar o ChatGPT e outros modelos. Respeita as diretivas do robots.txt.

Bloquear através do robots.txt: User-agent: GPTBot

Saber mais →

Amazonbot

(Amazon)

Crawler da Amazon para a Alexa AI e os serviços de aprendizagem automática da Amazon.

Bloquear através do robots.txt: User-agent: Amazonbot

Saber mais →

GoogleOther

(Google)

Crawler secundário da Google, usado em tarefas de investigação e de indexação fora da Pesquisa.

Bloquear através do robots.txt: User-agent: GoogleOther

Saber mais →

YandexBot

(Yandex)

Crawler da Yandex para indexar páginas no maior motor de pesquisa da Rússia.

Bloquear através do robots.txt: User-agent: YandexBot

Saber mais →

Perguntas frequentes do AI Crawler Index

: Um crawler de IA é um bot automatizado que descarrega páginas web para alimentar produtos de IA. Alguns recolhem dados de treino para grandes modelos de linguagem (GPTBot, ClaudeBot, Meta-ExternalAgent), enquanto outros indexam conteúdo para pesquisa e assistentes de IA (Googlebot, Bingbot, Applebot).
: O Googlebot é consistentemente o crawler mais ativo da web. Entre os bots de treino de IA, o GPTBot (OpenAI), o ClaudeBot (Anthropic) e o Meta-ExternalAgent (Meta) geram os maiores volumes de rastreio, e a sua quota continua a crescer.
: Depende dos seus objetivos: bloquear os bots de treino de IA através do robots.txt mantém o seu conteúdo fora do futuro treino de modelos, mas também pode reduzir a exatidão com que os assistentes de IA descrevem a sua marca. A maioria das marcas que se preocupam com a visibilidade em IA deixa-os passar.
: O índice é criado a partir de dados de tráfego de bots do Cloudflare Radar, normalizados em toda a rede global da Cloudflare, e atualizado diariamente pela LLM Pulse.

Acompanhe como os crawlers de IA afetam a visibilidade da sua marca

A LLM Pulse monitoriza as menções à sua marca nos modelos de IA. Veja quais os crawlers que visitam o seu site e como isso se traduz na visibilidade da sua marca nas respostas dos modelos de IA.

Iniciar teste gratuito Veja o tráfego de crawlers de IA no seu próprio site: Agent Analytics