Agent Analytics (seguimiento de rastreadores de bots de IA)

Antes de que un modelo de IA pueda citar tu sitio, sus rastreadores tienen que visitarlo. Agent Analytics es el seguimiento del tráfico de bots de IA del lado del servidor: muestra qué rastreadores de IA (GPTBot, PerplexityBot, ClaudeBot, OAI-SearchBot, Google-Extended y muchos más) visitan tu sitio web y cómo evoluciona eso con el tiempo.

Con Agent Analytics, puedes:

• Ver qué bots de IA (GPTBot, PerplexityBot, ClaudeBot, OAI-SearchBot, Google-Extended) rastrean tu sitio y con qué frecuencia
• Confirmar que los modelos de IA descubren de verdad las páginas nuevas o actualizadas antes de esperarlas en las respuestas de IA
• Comparar el volumen de rastreo por empresa (OpenAI, Anthropic, Google, Perplexity y más) para ver quién está invirtiendo en tu contenido
• Detectar una caída en la actividad de los rastreadores de IA que podría explicar la bajada de citaciones

Encuéntralo en Bots y tráfico > Agent Analytics en la barra lateral. Disponible en los planes Scale y superiores.

En un portal incrustado, Agent Analytics es de solo lectura. Los gráficos y las tablas existentes están disponibles, pero conectar un proveedor, subir logs, sincronizar, desconectar y gestionar una fuente deben hacerse en el área de trabajo principal. Si el proyecto todavía no está conectado, la página incrustada te pide que te pongas en contacto con tu CSM.

Qué hace

• Realiza el seguimiento de más de 40 bots de IA agrupados por empresa (OpenAI, Anthropic, Google, Perplexity, Apple, Meta, Microsoft, Amazon y otras)
• Gráficos de tráfico diario por bot y por empresa, para que puedas ver si los rastreadores de IA están descubriendo tu contenido
• Varias formas de incorporar tus datos:
  • Integración de Cloudflare: pega un token de API con permisos limitados (Zone Analytics: Read), elige una zona y los datos se sincronizan a diario. Funciona en todos los planes de Cloudflare, incluido el gratuito.
  • Integración de Bunny CDN: pega tu clave de API de la cuenta y elige una pull zone; los datos se sincronizan a diario.
  • Log drains (en tiempo real): Vercel, Akamai DataStream 2, Fastly, Netlify y GCP Load Balancer. Genera una URL de ingesta exclusiva en la aplicación y pégala en los ajustes de log drain de tu proveedor.
  • AWS CloudFront / bucket de Amazon S3: conecta el bucket de S3 donde CloudFront o tu servidor guardan los logs de acceso y recogemos los archivos nuevos una vez al día (además de un «Sincronizar ahora» manual). Los logs W3C estándar de CloudFront funcionan directamente. También admite almacenamientos compatibles con S3, como Cloudflare R2 y MinIO.
  • Subida de CSV / logs: suelta una exportación CSV de Cloudflare, un log de acceso de AWS CloudFront, un log de Apache o nginx, o cualquier CSV con marcas de tiempo y user agents. Los archivos comprimidos con gzip también funcionan.
• Las cuentas Enterprise también tienen una pestaña Por URL que muestra exactamente qué páginas ha rastreado cada bot de IA, con accesos, códigos de estado y fechas de primera y última aparición, además de la exportación CSV

Cómo usarlo

1. Abre Bots y tráfico > Agent Analytics
2. Conecta una fuente de datos (Cloudflare es la más rápida si tu sitio está detrás de ella)
3. Dale un poco de tiempo a la primera sincronización y después revisa qué bots de IA te visitan y con qué frecuencia
4. Observa la tendencia después de publicar contenido nuevo: el aumento del tráfico de rastreadores de IA en tu sitio es una señal temprana de que los modelos lo están captando

Configurar Vercel

En Vercel, ve a Team Settings > Drains > Add Drain y elige Logs como tipo de datos. Selecciona los proyectos que quieras seguir e incluye Production. Activa las fuentes de logs Static, Lambda, Edge, External, Firewall y Redirect. Deja Build desactivada porque contiene la salida del despliegue, no tráfico de visitantes. No añadas reglas de muestreo para que Vercel envíe el 100 % de los logs de solicitudes.

Selecciona Custom Endpoint como destino, elige NDJSON como formato y pega la URL del endpoint de LLM Pulse. Web Analytics, Speed Insights y Traces no son compatibles porque no incluyen el agente de usuario de la solicitud que LLM Pulse necesita para identificar bots de IA. El campo Signature Verification Secret es opcional en LLM Pulse. Copia el valor generado por Vercel en Secreto de firma solo si quieres verificar las solicitudes firmadas. Si Vercel muestra un código de verificación, introdúcelo en LLM Pulse. Si no muestra ninguno, deja ese campo vacío.

Conectar AWS CloudFront u otro bucket de logs de Amazon S3

Si CloudFront, tu servidor u otro CDN ya envía logs de acceso a un bucket de S3, puedes dejar que LLM Pulse los lea directamente en lugar de subir los archivos a mano.

Qué es: una conexión de solo lectura a un bucket de archivos de log. Una vez al día (además de un «Sincronizar ahora» manual) listamos el bucket, recogemos solo los archivos de log añadidos desde la última sincronización, los analizamos y comparamos cada solicitud con el catálogo de bots de IA. También funciona con almacenamientos compatibles con S3, como Cloudflare R2 y MinIO, mediante una URL de endpoint personalizada opcional.

Formato de CloudFront: los logs estándar heredados de CloudFront enviados a S3 ya usan el formato compatible: W3C, campos separados por tabulaciones y compresión gzip. Para el registro estándar v2, elige Amazon S3 como destino, W3C como formato de salida y Tabulación como separador. Conserva los campos date, time, cs(User-Agent), cs-uri-stem y sc-status. También recomendamos sc-bytes para calcular el ancho de banda. Los formatos JSON, Plain, Raw y Parquet no son compatibles.

Antes de empezar: crea un usuario de IAM con una política de solo lectura que permita s3:GetObject y s3:ListBucket en el bucket (y el prefijo, si usas uno), y después genera un ID de clave de acceso y una clave de acceso secreta para él. Una política mínima sería así:

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Action": ["s3:GetObject", "s3:ListBucket"],
      "Resource": [
        "arn:aws:s3:::your-log-bucket",
        "arn:aws:s3:::your-log-bucket/*"
      ]
    }
  ]
}

Configúralo:

1. Abre Bots y tráfico > Agent Analytics
2. En la tarjeta AWS CloudFront, haz clic en Conectar mediante Amazon S3. Para otra fuente de logs de S3, usa la tarjeta Amazon S3. Introduce el nombre del bucket, la región de AWS y (opcionalmente) un prefijo de clave para que solo leamos la carpeta que contiene tus logs
3. Pega el ID de clave de acceso de solo lectura y la clave de acceso secreta. Para Cloudflare R2, MinIO u otro almacenamiento compatible con S3, añade también la URL del endpoint personalizado
4. Haz clic en Conectar. Tus credenciales se guardan cifradas y la primera sincronización comienza automáticamente. Usa Sincronizar ahora siempre que quieras recoger los archivos más recientes sin esperar a la ejecución diaria

Cadencia y límites de sincronización: sincronizamos una vez al día y bajo demanda mediante «Sincronizar ahora», y leemos solo los archivos nuevos desde la última sincronización. Ingerimos archivos de log con fecha de hasta 90 días atrás, de hasta 256 MB por archivo y hasta 500 archivos nuevos por sincronización.

Formatos de log compatibles: logs combinados (CLF) de Apache y nginx, logs estándar de AWS CloudFront (W3C) y exportaciones de log en CSV. Los archivos comprimidos con gzip (.gz) se leen directamente.

Consejos y notas

• Agent Analytics es el inverso de Tráfico de IA: Tráfico de IA mide a las personas que llegan desde herramientas de IA, mientras que Agent Analytics mide a los propios rastreadores de IA que visitan tu sitio
• La detección verificada de bots combina la clasificación de bots del proveedor con nuestro propio clasificador de user agents, de modo que los user agents falsificados no se cuentan de más
• Si tu CDN o alojamiento no está en la lista, la vía de subida de CSV/logs acepta la mayoría de los formatos de log estándar
• Los datos de rastreo por URL requieren un plan Enterprise y una fuente de Cloudflare conectada