Acompanhe cada agente de IA que rastreia o seu site

As ferramentas de análise web, como o GA4, o Plausible e o Mixpanel, dependem de JavaScript, que os bots não executam, por isso não detetam quase todo o tráfego de bots de IA. O Agent Analytics lê os registos do lado do servidor, no Cloudflare, nginx ou Apache, onde fica registado cada pedido, incluindo os bots que ignoram JavaScript, contornam as regras de robots.txt ou não têm interface gráfica.

Atualmente, são suportados o Cloudflare e o Bunny CDN através de chave de API, os fluxos de registos enviados pelo Vercel, Fastly Real-Time Logs, Netlify, Akamai DataStream 2 e GCP Load Balancer, a importação automática do AWS CloudFront e de registos de servidor a partir do Amazon S3, e o carregamento direto de ficheiros de registo. O KeyCDN, o Azure Front Door e o AWS ALB estão no roteiro do produto e podem ser pedidos na aplicação.

Mantemos um catálogo selecionado de bots de IA que abrange motores de pesquisa de IA (PerplexityBot, OAI-SearchBot, Google-Extended), assistentes de IA (ChatGPT-User, ClaudeBot, Bytespider), crawlers de IA (GPTBot, anthropic-ai, CCBot, FacebookBot, Amazonbot) e bots de referência tradicionais (Googlebot, Bingbot). Cada bot é classificado por empresa, para que possa consultar a procura agregada dirigida à OpenAI, à Anthropic, à Google, à Meta e a outras empresas.

A Visão geral apresenta o tráfego agregado de bots de todo o domínio, incluindo totais, séries temporais e os principais bots e empresas. O separador Por URL mostra que páginas específicas cada agente de IA está a ler, com créditos mensais incluídos a partir do plano Scale (um por URL, bot e dia). A análise Por URL é essencial para o comércio agêntico, a estratégia de conteúdos e a identificação dos recursos que estão a treinar modelos de IA.

Sim. O Cloudflare usa um token de API pertencente à conta, com as permissões mínimas necessárias ("Zone Read" + "Analytics Read"). Usamos um URL com um modelo de token predefinido para que a criação demore cerca de 30 segundos. Pode revogar o token a qualquer momento no painel do Cloudflare.

O comércio agêntico é um comportamento emergente em que agentes de IA, como o ChatGPT, o Perplexity e o Gemini, pesquisam, comparam, reservam ou até compram em nome dos utilizadores. O Agent Analytics fornece o inventário dessa atividade: sem esta ferramenta, não sabe que agentes chegam aos seus conteúdos, com que frequência o fazem nem que páginas preferem.