Agent Analytics (monitorização de rastreadores de bots de IA)
Para que um modelo de IA possa citar o seu site, os respetivos rastreadores têm de o visitar. O Agent Analytics é uma monitorização do lado do servidor do tráfego de bots de IA: mostra que rastreadores de IA (GPTBot, PerplexityBot, ClaudeBot, OAI-SearchBot, Google-Extended e muitos outros) estão a aceder ao seu site e como isso evolui ao longo do tempo.
Com o Agent Analytics, pode:
- Ver que bots de IA (GPTBot, PerplexityBot, ClaudeBot, OAI-SearchBot, Google-Extended) rastreiam o seu site e com que frequência
- Confirmar que os modelos de IA estão efetivamente a descobrir páginas novas ou atualizadas antes de as esperar nas respostas de IA
- Comparar o volume de rastreio por empresa (OpenAI, Anthropic, Google, Perplexity e outras) para ver quem está a investir no seu conteúdo
- Detetar uma quebra na atividade dos rastreadores de IA que possa explicar uma descida das citações
Encontra-o em Bots e tráfego > Agent Analytics na barra lateral. Disponível nos planos Scale e superiores.
Nos portais de embed e de whitelabel total, o cliente liga e gere as suas próprias fontes: Cloudflare, Bunny CDN, um bucket de registos do Amazon S3 ou do CloudFront e carregamentos de CSV ou de registos. Os encaminhamentos de registos também estão disponíveis quando o portal é servido no domínio do próprio cliente, porque um encaminhamento disponibiliza um URL de ingestão e esse URL tem de ficar num host que o cliente reconheça. Quando os encaminhamentos de registos não estão disponíveis, o portal não permite desligar um encaminhamento de registos existente nem ligar, em sua substituição, o Cloudflare, o Bunny CDN ou um bucket de registos do Amazon S3 ou do CloudFront, porque isso eliminaria o histórico do encaminhamento. Pedir-nos para suportar um fornecedor que não cobrimos mantém-se no espaço de trabalho principal. As permissões de membros da equipa aplicam-se como em qualquer outro local, pelo que um utilizador do portal que não possa criar ligações continua a ver o relatório e é informado de que deve contactar o gestor de conta.
Para alterar de onde uma fonte guardada lê os dados (outra zona do Cloudflare, outra pull zone do Bunny ou uma região, um prefixo ou um endpoint do Amazon S3 diferentes), o portal volta a introduzir o seu próprio token, a sua própria chave ou o seu próprio par de chaves do S3, e só pode escolher uma zona a que esse token ou essa chave tenha acesso. Guardar uma fonte do S3 sem alterações, por exemplo para a retomar depois de uma pausa, não exige as chaves.
O que faz
- Acompanha mais de 40 bots de IA agrupados por empresa (OpenAI, Anthropic, Google, Perplexity, Apple, Meta, Microsoft, Amazon e outras)
- Gráficos diários de tráfego por bot e por empresa, para ver se os rastreadores de IA estão a descobrir o seu conteúdo
- Várias formas de importar os seus dados:
- Integração com o Cloudflare: cole um token de API com âmbito restrito (Zone Analytics: Read), escolha uma zona e os dados são sincronizados diariamente. Funciona em todos os planos do Cloudflare, incluindo o Free.
- Integração com o Bunny CDN: cole a chave de API da sua conta e escolha uma pull zone; os dados são sincronizados diariamente.
- Encaminhamentos de registos (em tempo real): Vercel, Akamai DataStream 2, Fastly, Netlify e GCP Load Balancer. Gere um URL de ingestão único na aplicação e cole-o nas definições de encaminhamento de registos do seu fornecedor.
- Bucket do AWS CloudFront / Amazon S3: ligue o bucket do S3 onde o CloudFront ou o seu servidor escreve os registos de acesso e nós recolhemos os ficheiros novos uma vez por dia (além de um "Sincronizar agora" manual). Os registos W3C padrão do CloudFront funcionam diretamente. Os armazenamentos compatíveis com S3, como o Cloudflare R2 e o MinIO, também funcionam.
- Carregamento de CSV / registos: carregue uma exportação CSV do Cloudflare, um registo de acesso do AWS CloudFront, um registo do Apache ou do nginx, ou qualquer CSV com datas/horas e user agents. Os ficheiros comprimidos com gzip também funcionam.
- Um separador Por URL que mostra exatamente que páginas cada bot de IA rastreou, com acessos, códigos de estado e datas da primeira e da última vez que foram vistos, além de exportação em CSV
Como utilizar
- Abra Bots e tráfego > Agent Analytics
- Ligue uma fonte de dados (o Cloudflare é a opção mais rápida se o seu site estiver por trás dele)
- Dê algum tempo à primeira sincronização e depois veja que bots de IA o visitam e com que frequência
- Acompanhe a tendência depois de publicar conteúdo novo: o aumento do tráfego de rastreadores de IA no seu site é um sinal precoce de que os modelos o estão a detetar
Análise Por URL
O separador Por URL lista as páginas que cada bot de IA pediu, para que possa ver que conteúdos o GPTBot, o ClaudeBot ou o PerplexityBot leem de facto. Funciona com todas as fontes: Cloudflare, Bunny CDN, encaminhamentos de registos, buckets do Amazon S3 ou do CloudFront e carregamentos de registos. Os parâmetros de consulta são ignorados e os ficheiros estáticos, como scripts, folhas de estilo, imagens e tipos de letra, ficam de fora, pelo que a tabela mostra as suas páginas. O Cloudflare importa até 30 dias de histórico na primeira sincronização dos dados Por URL (quando o liga ou depois de passar para o plano Scale ou superior) e, mais tarde, recupera os dias que tenham ficado em falta devido a uma sincronização falhada, ao passo que o Bunny CDN só conserva os últimos 3 dias. Nos encaminhamentos de registos, os dados começam a chegar com a próxima entrega; a primeira sincronização depois de ligar um bucket do Amazon S3 ou do CloudFront lê os ficheiros de registo que o bucket já contém (entradas de registo com até 90 dias); e os carregamentos abrangem os dias que constam do ficheiro.
Nos carregamentos, as linhas com data posterior a amanhã ou com mais de 395 dias ficam de fora. De cada ficheiro, a análise Por URL importa até 500 000 combinações (uma combinação corresponde a um URL, um bot e um dia).
A análise Por URL usa créditos mensais, partilhados por todos os projetos da sua conta:
- Um crédito corresponde a um URL, um bot e um dia. As visitas adicionais do mesmo bot ao mesmo URL no mesmo dia não gastam mais créditos.
- O plano Scale inclui 100 000 créditos por mês, o Scale+ 200 000 e o Scale++ 400 000. Os planos superiores incluem mais.
- Os créditos renovam-se no dia 1 de cada mês e os que não forem usados não transitam para o mês seguinte. O separador mostra quantos créditos já foram usados, quantos este projeto usou e quando se renovam.
- Quando os créditos se esgotam, os URLs, bots e dias já monitorizados continuam a ser atualizados e os novos aguardam até ao dia 1. A Visão geral continua a contabilizar todas as visitas de bots. Recebe um email aos 80% e aos 100%, e nunca é cobrado nada automaticamente.
- Precisa de mais? Adicione um pacote de créditos recorrente (+100 000, +500 000 ou +1 000 000 por mês) em Planos e Faturação.
Em Bots analisados por URL, pode escolher que bots cada projeto analisa por URL. Todos os bots estão ativados por predefinição e cada um mostra os créditos que usou este mês. Um bot desativado deixa de usar créditos a partir da próxima sincronização. O respetivo histórico mantém-se, a Visão geral continua a contabilizá-lo e o bot não fica bloqueado no seu site.
Os dados detalhados Por URL são conservados durante 90 dias.
Configurar o Vercel
No Vercel, vá a Team Settings > Drains > Add Drain e escolha Logs como tipo de dados. Selecione os projetos que quer acompanhar e inclua Production. Ative as origens de registo Static, Lambda, Edge, External, Firewall e Redirect. Deixe Build desativado, porque contém a saída de implementação, e não o tráfego de visitantes. Não adicione regras de amostragem, para que o Vercel reencaminhe 100% dos pedidos.
Use Custom Endpoint com NDJSON e cole o URL do endpoint da LLM Pulse. Web Analytics, Speed Insights e Traces não são suportados porque não incluem o agente de utilizador do pedido necessário para identificar bots de IA. O Signature Verification Secret é opcional na LLM Pulse. Copie o valor gerado pelo Vercel para o campo Segredo de assinatura apenas se quiser verificar pedidos assinados. Introduza um Código de verificação na LLM Pulse apenas se o Vercel mostrar um.
Ligar o AWS CloudFront ou outro bucket de registos do Amazon S3
Se o CloudFront, o seu servidor ou outro CDN já envia registos de acesso para um bucket do S3, pode deixar a LLM Pulse lê-los diretamente em vez de carregar ficheiros manualmente.
O que é: uma ligação só de leitura a um bucket de ficheiros de registo. Uma vez por dia (além de um "Sincronizar agora" manual), listamos o bucket, recolhemos apenas os ficheiros de registo adicionados desde a última sincronização, analisamo-los e comparamos cada pedido com o catálogo de bots de IA. Também funciona com armazenamentos compatíveis com S3, como o Cloudflare R2 e o MinIO, através de um URL de endpoint personalizado opcional.
Formato do CloudFront: os registos padrão antigos do CloudFront enviados para o S3 já usam o formato W3C suportado, separado por tabulações e comprimido com gzip. Para o standard logging v2, escolha Amazon S3 como destino, W3C como formato de saída e Tab como delimitador de campos. Mantenha date, time, cs(User-Agent), cs-uri-stem e sc-status. Recomendamos também sc-bytes para os relatórios de largura de banda. A saída em JSON, Plain, Raw e Parquet não é suportada.
Antes de começar: crie um utilizador IAM com uma política só de leitura que permita s3:GetObject e s3:ListBucket no bucket (e no prefixo, se usar algum) e, em seguida, gere um ID de chave de acesso e uma chave de acesso secreta para esse utilizador. Uma política mínima tem este aspeto:
{
"Version": "2012-10-17",
"Statement": [
{
"Effect": "Allow",
"Action": ["s3:GetObject", "s3:ListBucket"],
"Resource": [
"arn:aws:s3:::your-log-bucket",
"arn:aws:s3:::your-log-bucket/*"
]
}
]
}
Configuração:
- Abra Bots e tráfego > Agent Analytics
- No cartão AWS CloudFront, clique em Ligar através do Amazon S3. Para outra fonte de registos S3, use o cartão Amazon S3. Introduza o nome do bucket, a região AWS e, opcionalmente, um prefixo de chave, para que só leiamos a pasta que contém os seus registos
- Cole o ID da chave de acesso só de leitura e a chave de acesso secreta. Para o Cloudflare R2, o MinIO ou outro armazenamento compatível com S3, adicione também o URL do endpoint personalizado
- Clique em Ligar. As suas credenciais são guardadas de forma encriptada e a primeira sincronização começa automaticamente. Use Sincronizar agora sempre que quiser recolher os ficheiros mais recentes sem esperar pela execução diária
Cadência e limites de sincronização: sincronizamos uma vez por dia e a pedido através de "Sincronizar agora", lendo apenas os ficheiros novos desde a última sincronização. Importamos entradas de registo com até 90 dias e ficheiros com até 256 MB cada. Processamos os ficheiros em lotes de até 500 e iniciamos automaticamente outro lote até o bucket ficar em dia. Analisamos até 50 000 objetos no bucket ou prefixo configurado; use um prefixo mais restrito se contiver mais.
Formatos de registo suportados: registos combinados (CLF) do Apache e do nginx, registos padrão (W3C) do AWS CloudFront e exportações de registos em CSV. Os ficheiros comprimidos com gzip (.gz) são lidos diretamente.
Dicas e notas
- O Agent Analytics é o inverso do Tráfego de IA: o Tráfego de IA mede os humanos que chegam a partir de ferramentas de IA; o Agent Analytics mede os próprios rastreadores de IA que visitam o seu site
- A deteção de bots verificados combina a classificação de bots do fornecedor com o nosso próprio classificador de user agents, para que os user agents falsificados não sejam contabilizados em excesso
- Se o seu CDN ou alojamento não estiver na lista, a opção de carregamento de CSV ou de registos aceita a maioria dos formatos de registo padrão
- Os dados Por URL estão disponíveis a partir do plano Scale com qualquer fonte ligada, dentro dos seus créditos mensais