¿Qué es un rastreador de IA?

Un rastreador de IA es un bot automatizado que descarga páginas web para alimentar productos de IA. Algunos recopilan datos de entrenamiento para grandes modelos de lenguaje (GPTBot, ClaudeBot, Meta-ExternalAgent), mientras que otros indexan contenido para buscadores y asistentes de IA (Googlebot, Bingbot, Applebot).

¿Qué rastreadores de IA son los más activos?

Googlebot es, sistemáticamente, el rastreador más activo de la web. Entre los bots de entrenamiento de IA, GPTBot (OpenAI), ClaudeBot (Anthropic) y Meta-ExternalAgent (Meta) generan los mayores volúmenes de rastreo, y su cuota no deja de crecer.

¿Debo bloquear rastreadores de IA como GPTBot o ClaudeBot?

Depende de tus objetivos: bloquear los bots de entrenamiento de IA mediante robots.txt evita que tu contenido se use en futuros entrenamientos de modelos, pero también puede reducir la precisión con la que los asistentes de IA describen tu marca. La mayoría de las marcas que se preocupan por la visibilidad en IA los permiten.

¿De dónde provienen los datos del AI Crawler Index?

El índice se elabora a partir de los datos de tráfico de bots de Cloudflare Radar, normalizados a través de la red global de Cloudflare, y LLM Pulse lo actualiza a diario.

Clasificación de rastreadores en directo, actualizada a diario

Índice de rastreadores de IA: ¿qué bots rastrean más la web?

El Índice de rastreadores de IA clasifica los rastreadores más activos de la web, desde bots de buscadores como Googlebot y Bingbot hasta rastreadores de entrenamiento de IA como GPTBot (OpenAI), ClaudeBot (Anthropic) y Meta-ExternalAgent (Meta). Se actualiza a diario con datos de Cloudflare Radar que abarcan miles de millones de solicitudes a millones de sitios web.

Principales rastreadores

Meta-ExternalAgent

Actividad de bots: últimos 90 días

Apilado al 100%

Fuente: Cloudflare Radar (volúmenes de solicitudes normalizados a través de la red global de Cloudflare)

Clasificación de rastreadores con nombre

El tráfico agregado de bots se muestra aparte para que no aparezca por delante de ningún rastreador individual.

Googlebot

Google

24.53%

Meta-ExternalAgent

Acerca de estos bots

Googlebot

(Google)

Rastreador web principal de Google que indexa páginas para Google Search. Es el rastreador más activo de la web.

Bloquear mediante robots.txt: User-agent: Googlebot

Más información →

Meta-ExternalAgent

(Meta)

Rastreador de entrenamiento de IA de Meta, utilizado para los modelos Llama y los productos de Meta AI.

Bloquear mediante robots.txt: User-agent: Meta-ExternalAgent

Más información →

ClaudeBot

(Anthropic)

Rastreador web de Anthropic utilizado para entrenar los modelos de IA Claude. Respeta las directivas de robots.txt.

Bloquear mediante robots.txt: User-agent: ClaudeBot

Más información →

Applebot

(Apple)

Rastreador web de Apple que da soporte a Siri, Spotlight y las funciones de Apple Intelligence.

Bloquear mediante robots.txt: User-agent: Applebot

Más información →

Bingbot

(Microsoft)

Rastreador web de Microsoft que indexa páginas para Bing Search y alimenta las respuestas de Copilot.

Bloquear mediante robots.txt: User-agent: Bingbot

Más información →

facebookexternalhit

(Meta)

Rastreador de Meta que genera las vistas previas de enlace cuando se comparten URLs en Facebook e Instagram.

Bloquear mediante robots.txt: User-agent: facebookexternalhit

Más información →

Amazonbot

(Amazon)

Rastreador de Amazon para Alexa AI y sus servicios de machine learning.

Bloquear mediante robots.txt: User-agent: Amazonbot

Más información →

GPTBot

(OpenAI)

Rastreador web de OpenAI utilizado para entrenar y mejorar ChatGPT y otros modelos. Respeta las directivas de robots.txt.

Bloquear mediante robots.txt: User-agent: GPTBot

Más información →

GoogleOther

(Google)

Rastreador secundario de Google, utilizado para investigación y tareas de indexación ajenas a la búsqueda.

Bloquear mediante robots.txt: User-agent: GoogleOther

Más información →

YandexBot

(Yandex)

Rastreador web de Yandex que indexa páginas para el mayor motor de búsqueda de Rusia.

Bloquear mediante robots.txt: User-agent: YandexBot

Más información →

Preguntas frecuentes de AI Crawler Index

: Un rastreador de IA es un bot automatizado que descarga páginas web para alimentar productos de IA. Algunos recopilan datos de entrenamiento para grandes modelos de lenguaje (GPTBot, ClaudeBot, Meta-ExternalAgent), mientras que otros indexan contenido para buscadores y asistentes de IA (Googlebot, Bingbot, Applebot).
: Googlebot es, sistemáticamente, el rastreador más activo de la web. Entre los bots de entrenamiento de IA, GPTBot (OpenAI), ClaudeBot (Anthropic) y Meta-ExternalAgent (Meta) generan los mayores volúmenes de rastreo, y su cuota no deja de crecer.
: Depende de tus objetivos: bloquear los bots de entrenamiento de IA mediante robots.txt evita que tu contenido se use en futuros entrenamientos de modelos, pero también puede reducir la precisión con la que los asistentes de IA describen tu marca. La mayoría de las marcas que se preocupan por la visibilidad en IA los permiten.
: El índice se elabora a partir de los datos de tráfico de bots de Cloudflare Radar, normalizados a través de la red global de Cloudflare, y LLM Pulse lo actualiza a diario.

Monitoriza cómo afectan los rastreadores de IA a la visibilidad de tu marca

LLM Pulse hace un seguimiento de cómo mencionan tu marca los modelos de IA. Descubre qué rastreadores visitan tu sitio y cómo se traduce eso en visibilidad en IA.

Empieza la prueba gratuita Consulta el tráfico de rastreadores de IA en tu sitio: Agent Analytics