Agent Analytics (monitorização de rastreadores de bots de IA)

Para que um modelo de IA possa citar o seu site, os respetivos rastreadores têm de o visitar. O Agent Analytics é uma monitorização do lado do servidor do tráfego de bots de IA: mostra que rastreadores de IA (GPTBot, PerplexityBot, ClaudeBot, OAI-SearchBot, Google-Extended e muitos outros) estão a aceder ao seu site e como isso evolui ao longo do tempo.

Com o Agent Analytics, pode:

• Ver que bots de IA (GPTBot, PerplexityBot, ClaudeBot, OAI-SearchBot, Google-Extended) rastreiam o seu site e com que frequência
• Confirmar que os modelos de IA estão efetivamente a descobrir páginas novas ou atualizadas antes de as esperar nas respostas de IA
• Comparar o volume de rastreio por empresa (OpenAI, Anthropic, Google, Perplexity e outras) para ver quem está a investir no seu conteúdo
• Detetar uma quebra na atividade dos rastreadores de IA que possa explicar uma descida das citações

Encontra-o em Bots e tráfego > Agent Analytics na barra lateral. Disponível nos planos Scale e superiores.

Nos portais de embed e de whitelabel total, o cliente liga e gere as suas próprias fontes: Cloudflare, Bunny CDN, um bucket de registos do Amazon S3 ou do CloudFront e carregamentos de CSV ou de registos. Os encaminhamentos de registos também estão disponíveis quando o portal é servido no domínio do próprio cliente, porque um encaminhamento disponibiliza um URL de ingestão e esse URL tem de ficar num host que o cliente reconheça. Pedir-nos para suportar um fornecedor que não cobrimos mantém-se no espaço de trabalho principal. As permissões de membros da equipa aplicam-se como em qualquer outro local, pelo que um utilizador do portal que não possa criar ligações continua a ver o relatório e é informado de que deve contactar o gestor de conta.

O que faz

• Acompanha mais de 40 bots de IA agrupados por empresa (OpenAI, Anthropic, Google, Perplexity, Apple, Meta, Microsoft, Amazon e outras)
• Gráficos diários de tráfego por bot e por empresa, para ver se os rastreadores de IA estão a descobrir o seu conteúdo
• Várias formas de importar os seus dados:
  • Integração com o Cloudflare: cole um token de API com âmbito restrito (Zone Analytics: Read), escolha uma zona e os dados são sincronizados diariamente. Funciona em todos os planos do Cloudflare, incluindo o Free.
  • Integração com o Bunny CDN: cole a chave de API da sua conta e escolha uma pull zone; os dados são sincronizados diariamente.
  • Encaminhamentos de registos (em tempo real): Vercel, Akamai DataStream 2, Fastly, Netlify e GCP Load Balancer. Gere um URL de ingestão único na aplicação e cole-o nas definições de encaminhamento de registos do seu fornecedor.
  • Bucket do AWS CloudFront / Amazon S3: ligue o bucket do S3 onde o CloudFront ou o seu servidor escreve os registos de acesso e nós recolhemos os ficheiros novos uma vez por dia (além de um "Sincronizar agora" manual). Os registos W3C padrão do CloudFront funcionam diretamente. Os armazenamentos compatíveis com S3, como o Cloudflare R2 e o MinIO, também funcionam.
  • Carregamento de CSV / registos: carregue uma exportação CSV do Cloudflare, um registo de acesso do AWS CloudFront, um registo do Apache ou do nginx, ou qualquer CSV com datas/horas e user agents. Os ficheiros comprimidos com gzip também funcionam.
• As contas Enterprise também têm um separador Por URL que mostra exatamente que páginas cada bot de IA rastreou, com acessos, códigos de estado e datas da primeira e da última vez que foram vistos, além de exportação em CSV

Como utilizar

1. Abra Bots e tráfego > Agent Analytics
2. Ligue uma fonte de dados (o Cloudflare é a opção mais rápida se o seu site estiver por trás dele)
3. Dê algum tempo à primeira sincronização e depois veja que bots de IA o visitam e com que frequência
4. Acompanhe a tendência depois de publicar conteúdo novo: o aumento do tráfego de rastreadores de IA no seu site é um sinal precoce de que os modelos o estão a detetar

Configurar o Vercel

No Vercel, vá a Team Settings > Drains > Add Drain e escolha Logs como tipo de dados. Selecione os projetos que quer acompanhar e inclua Production. Ative as origens de registo Static, Lambda, Edge, External, Firewall e Redirect. Deixe Build desativado, porque contém a saída de implementação, e não o tráfego de visitantes. Não adicione regras de amostragem, para que o Vercel reencaminhe 100% dos pedidos.

Use Custom Endpoint com NDJSON e cole o URL do endpoint da LLM Pulse. Web Analytics, Speed Insights e Traces não são suportados porque não incluem o agente de utilizador do pedido necessário para identificar bots de IA. O Signature Verification Secret é opcional na LLM Pulse. Copie o valor gerado pelo Vercel para o campo Segredo de assinatura apenas se quiser verificar pedidos assinados. Introduza um Código de verificação na LLM Pulse apenas se o Vercel mostrar um.

Ligar o AWS CloudFront ou outro bucket de registos do Amazon S3

Se o CloudFront, o seu servidor ou outro CDN já envia registos de acesso para um bucket do S3, pode deixar a LLM Pulse lê-los diretamente em vez de carregar ficheiros manualmente.

O que é: uma ligação só de leitura a um bucket de ficheiros de registo. Uma vez por dia (além de um "Sincronizar agora" manual), listamos o bucket, recolhemos apenas os ficheiros de registo adicionados desde a última sincronização, analisamo-los e comparamos cada pedido com o catálogo de bots de IA. Também funciona com armazenamentos compatíveis com S3, como o Cloudflare R2 e o MinIO, através de um URL de endpoint personalizado opcional.

Formato do CloudFront: os registos padrão antigos do CloudFront enviados para o S3 já usam o formato W3C suportado, separado por tabulações e comprimido com gzip. Para o standard logging v2, escolha Amazon S3 como destino, W3C como formato de saída e Tab como delimitador de campos. Mantenha date, time, cs(User-Agent), cs-uri-stem e sc-status. Recomendamos também sc-bytes para os relatórios de largura de banda. A saída em JSON, Plain, Raw e Parquet não é suportada.

Antes de começar: crie um utilizador IAM com uma política só de leitura que permita s3:GetObject e s3:ListBucket no bucket (e no prefixo, se usar algum) e, em seguida, gere um ID de chave de acesso e uma chave de acesso secreta para esse utilizador. Uma política mínima tem este aspeto:

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Action": ["s3:GetObject", "s3:ListBucket"],
      "Resource": [
        "arn:aws:s3:::your-log-bucket",
        "arn:aws:s3:::your-log-bucket/*"
      ]
    }
  ]
}

Configuração:

1. Abra Bots e tráfego > Agent Analytics
2. No cartão AWS CloudFront, clique em Ligar através do Amazon S3. Para outra fonte de registos S3, use o cartão Amazon S3. Introduza o nome do bucket, a região AWS e, opcionalmente, um prefixo de chave, para que só leiamos a pasta que contém os seus registos
3. Cole o ID da chave de acesso só de leitura e a chave de acesso secreta. Para o Cloudflare R2, o MinIO ou outro armazenamento compatível com S3, adicione também o URL do endpoint personalizado
4. Clique em Ligar. As suas credenciais são guardadas de forma encriptada e a primeira sincronização começa automaticamente. Use Sincronizar agora sempre que quiser recolher os ficheiros mais recentes sem esperar pela execução diária

Cadência e limites de sincronização: sincronizamos uma vez por dia e a pedido através de "Sincronizar agora", lendo apenas os ficheiros novos desde a última sincronização. Importamos entradas de registo com até 90 dias e ficheiros com até 256 MB cada. Processamos os ficheiros em lotes de até 500 e iniciamos automaticamente outro lote até o bucket ficar em dia. Analisamos até 50 000 objetos no bucket ou prefixo configurado; use um prefixo mais restrito se contiver mais.

Formatos de registo suportados: registos combinados (CLF) do Apache e do nginx, registos padrão (W3C) do AWS CloudFront e exportações de registos em CSV. Os ficheiros comprimidos com gzip (.gz) são lidos diretamente.

Dicas e notas

• O Agent Analytics é o inverso do Tráfego de IA: o Tráfego de IA mede os humanos que chegam a partir de ferramentas de IA; o Agent Analytics mede os próprios rastreadores de IA que visitam o seu site
• A deteção de bots verificados combina a classificação de bots do fornecedor com o nosso próprio classificador de user agents, para que os user agents falsificados não sejam contabilizados em excesso
• Se o seu CDN ou alojamento não estiver na lista, a opção de carregamento de CSV ou de registos aceita a maioria dos formatos de registo padrão
• Os dados de rastreio por URL exigem um plano Enterprise e uma fonte Cloudflare ligada