¿Qué es un rastreador de IA?

Un rastreador de IA es un bot automatizado que descarga páginas web para alimentar productos de IA. Algunos recopilan datos de entrenamiento para grandes modelos de lenguaje (GPTBot, ClaudeBot, Meta-ExternalAgent), mientras que otros indexan contenido para buscadores y asistentes de IA (Googlebot, Bingbot, Applebot).

¿Qué rastreadores de IA son los más activos?

Googlebot es, sistemáticamente, el rastreador más activo de la web. Entre los bots de entrenamiento de IA, GPTBot (OpenAI), ClaudeBot (Anthropic) y Meta-ExternalAgent (Meta) generan los mayores volúmenes de rastreo, y su cuota no deja de crecer.

¿Debo bloquear rastreadores de IA como GPTBot o ClaudeBot?

Depende de tus objetivos: bloquear los bots de entrenamiento de IA mediante robots.txt evita que tu contenido se use en futuros entrenamientos de modelos, pero también puede reducir la precisión con la que los asistentes de IA describen tu marca. La mayoría de las marcas que se preocupan por la visibilidad en IA los permiten.

¿De dónde provienen los datos del AI Crawler Index?

El índice se elabora a partir de los datos de tráfico de bots de Cloudflare Radar, normalizados a través de la red global de Cloudflare, y LLM Pulse lo actualiza a diario.

Live crawler rankings, updated daily

AI Crawler Index: Which Bots Crawl the Web Most?

The AI Crawler Index ranks the most active crawlers on the web, from search bots like Googlebot and Bingbot to AI training crawlers like GPTBot (OpenAI), ClaudeBot (Anthropic) and Meta-ExternalAgent (Meta). Updated daily with Cloudflare Radar data covering billions of requests to millions of websites.

Top Crawlers

Meta-ExternalAgent

Bot Activity: Last 90 Days

Stacked 100%

Source: Cloudflare Radar (normalized request volumes across Cloudflare's global network)

Named Crawler Ranking

Aggregate bot traffic is shown separately so it does not outrank an individual crawler.

Googlebot

Google

20.44%

Meta-ExternalAgent

About These Bots

Googlebot

(Google)

Google's primary web crawler for indexing pages in Google Search. The most active crawler on the web.

Block via robots.txt: User-agent: Googlebot

Learn more →

Meta-ExternalAgent

(Meta)

Meta's AI training crawler used for Llama models and Meta AI products.

Block via robots.txt: User-agent: Meta-ExternalAgent

Learn more →

ClaudeBot

(Anthropic)

Anthropic's web crawler used to train Claude AI models. Respects robots.txt directives.

Block via robots.txt: User-agent: ClaudeBot

Learn more →

Bingbot

(Microsoft)

Microsoft's web crawler for indexing pages in Bing Search and powering Copilot answers.

Block via robots.txt: User-agent: Bingbot

Learn more →

GPTBot

(OpenAI)

OpenAI's web crawler used to train and improve ChatGPT and other models. Respects robots.txt directives.

Block via robots.txt: User-agent: GPTBot

Learn more →

Applebot

(Apple)

Apple's web crawler supporting Siri, Spotlight, and Apple Intelligence features.

Block via robots.txt: User-agent: Applebot

Learn more →

facebookexternalhit

(Meta)

Meta's crawler that fetches page previews when URLs are shared on Facebook and Instagram.

Block via robots.txt: User-agent: facebookexternalhit

Learn more →

Amazonbot

(Amazon)

Amazon's crawler for Alexa AI and their machine learning services.

Block via robots.txt: User-agent: Amazonbot

Learn more →

YandexBot

(Yandex)

Yandex's web crawler for indexing pages in Russia's largest search engine.

Block via robots.txt: User-agent: YandexBot

Learn more →

GoogleOther

(Google)

Google's secondary crawler used for research and non-search indexing tasks.

Block via robots.txt: User-agent: GoogleOther

Learn more →

Preguntas frecuentes de AI Crawler Index

: Un rastreador de IA es un bot automatizado que descarga páginas web para alimentar productos de IA. Algunos recopilan datos de entrenamiento para grandes modelos de lenguaje (GPTBot, ClaudeBot, Meta-ExternalAgent), mientras que otros indexan contenido para buscadores y asistentes de IA (Googlebot, Bingbot, Applebot).
: Googlebot es, sistemáticamente, el rastreador más activo de la web. Entre los bots de entrenamiento de IA, GPTBot (OpenAI), ClaudeBot (Anthropic) y Meta-ExternalAgent (Meta) generan los mayores volúmenes de rastreo, y su cuota no deja de crecer.
: Depende de tus objetivos: bloquear los bots de entrenamiento de IA mediante robots.txt evita que tu contenido se use en futuros entrenamientos de modelos, pero también puede reducir la precisión con la que los asistentes de IA describen tu marca. La mayoría de las marcas que se preocupan por la visibilidad en IA los permiten.
: El índice se elabora a partir de los datos de tráfico de bots de Cloudflare Radar, normalizados a través de la red global de Cloudflare, y LLM Pulse lo actualiza a diario.

Track How AI Crawlers Affect Your Brand Visibility

LLM Pulse monitors how AI models mention your brand. See which crawlers visit your site and how that translates into AI visibility.

Start Free Trial See AI crawler traffic on your own site: Agent Analytics