Qué hacen los medios españoles con los bots de IA: analizamos el robots.txt de 88 cabeceras
Por Esteve Castells
Índice
- Las cifras clave
- Qué bots llaman a la puerta y para qué sirve cada uno
- Las cuatro estrategias de los medios españoles
- Grupo a grupo
- La puerta de atrás: el branded content sí entra
- ¿Y las imágenes?
- Bloquear no borra a un medio de las respuestas
- Acuerdos y regulación: lo que el robots.txt no cuenta
- Más allá del robots.txt: llms.txt, RSL y la nueva señal común
- Qué significa para un medio
- Metodología
- Sobre LLM Pulse
- Preguntas frecuentes
Cada gran medio español tiene que decidir qué inteligencias artificiales pueden leer sus noticias. ChatGPT, Claude, Perplexity, Meta AI y Alexa usan sus propios bots, Google gestiona Gemini con una etiqueta aparte, y todos consultan el mismo archivo: el robots.txt, el fichero de texto que le dice a cada rastreador qué puede leer y qué no. Lo que cada medio escribe ahí retrata su estrategia frente a la IA.
El 16 de noviembre de 2026 revisamos el robots.txt de 88 cabeceras españolas, de los grandes grupos de prensa a los diarios regionales, las televisiones, las agencias y los nativos digitales, y analizamos cómo trata cada una a 15 bots de las grandes empresas de IA. Después cruzamos el resultado con los acuerdos de licencia conocidos y con nuestros datos sobre qué medios citan de verdad los asistentes de IA en España.
Las cifras clave
- El 65 % de los medios españoles bloquea al menos un bot de IA de las grandes empresas. Son 57 de las 88 cabeceras. Las otras 31 (el 35 %) no bloquean a ninguno.
- La estrategia más común es cerrar la puerta a los asistentes. El 38 % de los medios bloquea los bots de búsqueda y de usuario de OpenAI, Anthropic y Perplexity, es decir, a ChatGPT, Claude y Perplexity cuando buscan fuentes para responder.
- Pero Gemini casi siempre entra. Solo el 12 % bloquea Google-Extended, el token que controla si Gemini puede entrenarse con un sitio o usarlo para responder. De los 33 medios que cierran la puerta a los asistentes, 29 se la dejan abierta a Gemini.
- Ningún medio bloquea a Googlebot ni a Bingbot. Las Vistas creadas con IA (AI Overviews) y el Modo IA (AI Mode) de Google se alimentan de Googlebot, así que ningún medio de la muestra se ha quedado fuera de ellas por la vía del robots.txt.
- Los grandes grupos siguen estrategias distintas. Unidad Editorial lo cierra todo, Gemini incluido; Vocento cierra todo menos Gemini; Prensa Ibérica cierra solo a OpenAI, Anthropic y Perplexity; Prisa abre la puerta a sus socios; Godó y Henneo cierran el entrenamiento y dejan pasar la búsqueda; Atresmedia, Mediaset, RTVE y EFE no bloquean a nadie.
- El branded content sí entra. 39 de los 57 medios que bloquean a la IA dejan abiertas, de forma expresa, secciones concretas. En 37 de ellos son secciones de contenido de marca.
- Bloquear no borra a un medio de las respuestas. ABC bloquea los dos bots de Perplexity y aun así aparece en el 7 % de las respuestas de Perplexity para España.
Qué bots llaman a la puerta y para qué sirve cada uno
El error más habitual es tratar a «los bots de IA» como un bloque. Cada empresa usa varios, y cada uno tiene una función distinta. Bloquear uno u otro tiene consecuencias muy diferentes para un medio.
- Bots de entrenamiento. Recogen texto para entrenar modelos futuros. Son GPTBot (OpenAI), ClaudeBot (Anthropic), meta-externalagent (Meta), Applebot-Extended (Apple), Bytespider (ByteDance) y CCBot, de Common Crawl, una fundación que publica un archivo abierto de la web que usan muchos laboratorios. Bloquearlos no afecta a la visibilidad inmediata en las respuestas.
- Bots de búsqueda. Construyen el índice del que tiran los asistentes para responder y citar fuentes. Son OAI-SearchBot (ChatGPT), Claude-SearchBot (Claude) y PerplexityBot. Bloquearlos reduce la probabilidad de que el medio aparezca citado.
- Bots de usuario. Visitan una página concreta cuando una persona lo pide en el chat, por ejemplo al pegar un enlace. Son ChatGPT-User, Claude-User, Perplexity-User y MistralAI-User. OpenAI advierte en su documentación de bots que a ChatGPT-User las reglas del robots.txt pueden no aplicarse, y Perplexity dice en la suya que Perplexity-User «generalmente ignora» esas reglas.
- Los tokens de Google. Google-Extended no es un rastreador: es una etiqueta que decide si el contenido que Google ya rastrea puede usarse para entrenar Gemini y para responder en las aplicaciones de Gemini. Según la documentación de Google, no afecta a la presencia en el buscador. Las Vistas creadas con IA y el Modo IA dependen de Googlebot, y bloquear Googlebot significa desaparecer de Google.

| Bot | Empresa | Para qué sirve | Medios que lo bloquean |
|---|---|---|---|
| ClaudeBot | Anthropic | Entrenamiento | 61 % |
| GPTBot | OpenAI | Entrenamiento | 56 % |
| PerplexityBot | Perplexity | Índice de búsqueda | 53 % |
| CCBot | Common Crawl | Archivo abierto usado para entrenar | 48 % |
| Claude-SearchBot | Anthropic | Índice de búsqueda | 48 % |
| Perplexity-User | Perplexity | Visitas a petición del usuario | 47 % |
| ChatGPT-User | OpenAI | Visitas a petición del usuario | 45 % |
| Bytespider | ByteDance | Entrenamiento | 45 % |
| meta-externalagent | Meta | Entrenamiento | 45 % |
| Claude-User | Anthropic | Visitas a petición del usuario | 44 % |
| OAI-SearchBot | OpenAI | Índice del buscador de ChatGPT | 44 % |
| Amazonbot | Amazon | Entrenamiento y Alexa | 39 % |
| Applebot-Extended | Apple | Entrenamiento | 36 % |
| MistralAI-User | Mistral | Visitas a petición del usuario | 28 % |
| Google-Extended | Entrenamiento y respuestas de Gemini | 12 % | |
| Googlebot y Bingbot | Google y Microsoft | Buscadores (y sus funciones de IA) | 0 % |
Dos detalles muestran cómo se mantienen estos archivos. Diez medios bloquean a GPTBot pero no a OAI-SearchBot, y doce bloquean a ClaudeBot pero no a Claude-SearchBot: en muchos casos es una decisión consciente de separar entrenamiento y búsqueda, como explica en sus comentarios el robots.txt de El Confidencial Digital. En otros, la lista simplemente no se ha puesto al día con los bots que Anthropic y Perplexity han estrenado en los dos últimos años. Diario de Navarra, por ejemplo, bloquea anthropic-ai, un nombre que Anthropic ya da por obsoleto, pero no a ClaudeBot, el que la empresa usa hoy.
Las cuatro estrategias de los medios españoles
Lo que separa una estrategia de otra es, sobre todo, qué hacen con los seis bots de búsqueda y de usuario de OpenAI, Anthropic y Perplexity.

| Estrategia | Qué hace | Medios | Ejemplos |
|---|---|---|---|
| Cierra la puerta a los asistentes | Bloquea los bots de búsqueda y de usuario de OpenAI, Anthropic y Perplexity | 33 (38 %) | El Mundo, ABC, El Periódico, Levante-EMV, COPE |
| Puertas abiertas | No bloquea a ninguno de los 15 bots | 31 (35 %) | El Español, RTVE, EFE, Antena 3, Telecinco, elDiario.es |
| Elige socios | Abre la puerta a unas empresas de IA y se la cierra a otras | 15 (17 %) | El País, AS, Cadena SER, El Confidencial, Vogue España |
| Cierra el entrenamiento, abre la búsqueda | Veta a los bots que entrenan modelos y deja pasar a los que buscan y citan | 9 (10 %) | La Vanguardia, 20minutos, Heraldo de Aragón, La Razón |
La estrategia más extendida tiene un matiz que la define: 29 de los 33 medios que cierran la puerta a los asistentes dejan entrar a Gemini. Son las cabeceras de Vocento, las de Prensa Ibérica y la COPE. Solo los cuatro medios de Unidad Editorial que analizamos (El Mundo, Marca, Expansión y Telva) cierran también Google-Extended.
Grupo a grupo
Lo que más nos llamó la atención no fue cuántos medios bloquean, sino dónde abren la puerta. Hay grupos que cierran toda la web a la IA y dejan pasar justo el contenido que paga un anunciante. Es una señal de que la visibilidad en las respuestas de IA ya tiene valor comercial, aunque casi nadie la esté midiendo.
Esteve Castells Cofundador de LLM Pulse
| Grupo | Cabeceras analizadas | Estrategia | OpenAI | Gemini | Anthropic | Perplexity |
|---|---|---|---|---|---|---|
| Prisa | El País, AS, Cadena SER, Cinco Días | Elige socios | Abierto | Abierto | Cerrado | Cerrado |
| Unidad Editorial | El Mundo, Marca, Expansión, Telva | Cierre total | Cerrado | Cerrado | Cerrado | Cerrado |
| Vocento | ABC y 13 cabeceras más | Cierre total salvo Gemini | Cerrado | Abierto | Cerrado | Cerrado |
| Prensa Ibérica | El Periódico y 13 cabeceras más | Cierra a los asistentes | Cerrado | Abierto | Cerrado | Cerrado |
| Titania | El Confidencial, Vanitatis | Casi todo cerrado | Cerrado | Cerrado | Solo entrenamiento cerrado | Solo PerplexityBot cerrado |
| Grupo Godó | La Vanguardia, Mundo Deportivo | Cierra el entrenamiento | Solo entrenamiento cerrado | Abierto | Solo entrenamiento cerrado | Abierto |
| Henneo | 20minutos, Heraldo de Aragón | Cierra el entrenamiento | Solo entrenamiento cerrado | Abierto | Solo entrenamiento cerrado | Abierto |
| Planeta | La Razón | Cierra el entrenamiento | Solo entrenamiento cerrado | Abierto | Solo entrenamiento cerrado | Abierto |
| COPE | COPE | Cierre total salvo Gemini, Meta, Amazon y Apple | Cerrado | Abierto | Cerrado | Cerrado |
| El Español | El Español | Puertas abiertas | Abierto | Abierto | Abierto | Abierto |
| Atresmedia | Antena 3, laSexta, Onda Cero | Puertas abiertas | Abierto | Abierto | Abierto | Abierto |
| MFE-Mediaset | Telecinco, Cuatro | Puertas abiertas | Abierto | Abierto | Abierto | Abierto |
| RTVE | RTVE | Puertas abiertas | Abierto | Abierto | Abierto | Abierto |
| Agencias | EFE, Europa Press, Servimedia | Puertas abiertas | Abierto | Abierto | Abierto | Abierto |
Prisa: la puerta abierta a sus socios
El País, AS, Cadena SER y Cinco Días aplican prácticamente las mismas reglas a los bots de IA. No nombran a los bots de OpenAI ni a Google-Extended ni al de Meta, así que los tres pueden leer. En cambio, bloquean todos los bots de Anthropic (incluido el de su extensión de navegador), los dos de Perplexity, Amazonbot, CCBot, Bytespider, el de Mistral y el de DuckDuckGo. Un comentario en el archivo fecha el bloque: «Bloque bots global confirmado 20260505». Otro deja claro que OAI-AdsBot, el bot que OpenAI usa para revisar las páginas de destino de los anuncios de ChatGPT, «se mantiene permitido y no se bloquea».
El mapa coincide con los acuerdos de Prisa: con OpenAI desde marzo de 2024, con Meta para Meta AI en Europa desde marzo de 2026 y, según Press Gazette, con el programa piloto de pago de Google para Google News desde diciembre de 2025. La excepción llamativa es Perplexity: Prisa se sumó a su programa de editores en diciembre de 2024, pero hoy sus cabeceras bloquean sus dos bots. Dentro del grupo, LOS40 y El HuffPost no tienen ninguna regla para bots de IA.
Unidad Editorial: cierre total, salvo el branded content
El Mundo, Marca, Expansión y Telva tienen la política más restrictiva de España. Un mismo grupo de reglas, con el comentario «Bots IA: bloqueo total», cierra la puerta a 31 agentes de IA, Google-Extended incluido. Las excepciones son /uestudio/, la sección de UE Studio, que el propio grupo presenta como su firma de branded content, y las secciones de ofertas, regalos o compras (Expansión abre también /especiales/).
Vocento: todo cerrado menos Gemini
ABC y las cabeceras regionales del grupo (El Correo, El Diario Vasco, Las Provincias, La Verdad, Hoy, El Norte de Castilla, Ideal, Diario Sur, La Rioja, El Comercio y El Diario Montañés), además de Mujerhoy y XLSemanal, bloquean 14 de los 15 bots que analizamos. La excepción es Google-Extended: Gemini puede leer y entrenarse con todo. Casi todas abren, eso sí, rutas concretas: /content-local, donde publican contenido de marca local, /contentfactory y las secciones de compras (/de-tiendas en los regionales y /favorito en ABC). ABC prohíbe además a todos esos bots su propia ruta /asistente-ia/. Canarias7 sigue un patrón parecido con dos diferencias: sí cierra Gemini, pero deja pasar a los bots de usuario de Anthropic, Perplexity y Mistral.
Dentro del mismo grupo convive la estrategia contraria. Relevo, el diario deportivo de Vocento, tiene un robots.txt de 40 líneas que lo dice sin rodeos: «Contenido deportivo abierto a buscadores y crawlers de IA», y da permiso expreso a GPTBot, PerplexityBot, ClaudeBot, Google-Extended y CCBot.
Prensa Ibérica: cerrado a los asistentes, abierto a todo lo demás
Las 14 cabeceras de Prensa Ibérica que analizamos (El Periódico, El Periódico de España, Levante-EMV, Faro de Vigo, La Opinión de A Coruña, Información, La Nueva España, Diario de Mallorca, La Provincia, El Día, La Opinión de Murcia, El Periódico de Aragón, Sport y Superdeporte) comparten un mismo bloque, titulado «AI data scrappers». Cierra la puerta a nueve bots, los de OpenAI, Anthropic y Perplexity, tanto los de entrenamiento como los de búsqueda y los de usuario. Y les deja abiertas dos rutas: /ideas/ y las URL que contienen «-bc-», donde el grupo publica su contenido patrocinado.
Lo llamativo es lo que no bloquea. Ninguna de las 14 cierra Google-Extended, CCBot, Bytespider, Amazonbot ni Applebot-Extended. Las diez cabeceras regionales van más allá: dan permiso expreso a Google-Extended y, a la vez, bloquean al bot de Meta. Es una estrategia muy precisa: fuera ChatGPT, Claude y Perplexity; dentro Gemini.
Titania: El Confidencial y Vanitatis
El Confidencial y Vanitatis aplican las mismas reglas. Bloquean 11 de los 15 bots, entre ellos los tres de OpenAI, Google-Extended, los de Meta, Apple, Amazon, ByteDance y Common Crawl. La lista no incluye, en cambio, los bots más recientes de Anthropic y Perplexity: vetan a ClaudeBot y a PerplexityBot, pero no mencionan a Claude-SearchBot, Claude-User ni Perplexity-User, que por tanto pueden entrar. Tampoco nombran al de Mistral. A diferencia de Unidad Editorial, Vocento o Prensa Ibérica, no abren ninguna sección de contenido de marca a los bots de IA.
Godó y Henneo: cerrar el entrenamiento, abrir la búsqueda
La Vanguardia y Mundo Deportivo bloquean solo cinco bots: GPTBot, ClaudeBot, Bytespider y CCBot, los cuatro de entrenamiento, y YouBot, el del buscador You.com. Los buscadores de ChatGPT, Claude y Perplexity pueden entrar. Incluso en esos cinco bloqueos dejan rendijas abiertas: los dos abren cualquier URL que contenga «brl», el sufijo de sus artículos patrocinados, que llevan la etiqueta «Ofrecido por»; La Vanguardia abre además /comprar/, y Mundo Deportivo, /guiatv/ y /elrecomendador/. La Vanguardia también es uno de los seis medios españoles de la muestra con un archivo llms.txt, y le da permiso expreso al principio de su robots.txt.
20minutos y Heraldo de Aragón, de Henneo, siguen la misma lógica con una lista más larga: bloquean los bots de entrenamiento de OpenAI, Anthropic, Meta, Apple, Amazon, ByteDance y Common Crawl, y dejan pasar a los de búsqueda. 20minutos abre a todos ellos /branded-content/, /bc/ y /ofertas-descuentos/; Heraldo, /branded/.
Planeta y COPE: Google sí, OpenAI no
La Razón bloquea los bots de entrenamiento y da permiso expreso a Google-Extended con un «Allow: /». La COPE va más allá: cierra la puerta a OpenAI, Anthropic, Perplexity, Mistral y Common Crawl, y abre explícitamente a Google-Extended, a Meta y a Amazon. Su archivo tiene una contradicción curiosa: da permiso a «ByteSpider» y bloquea a «Bytespider». Como el robots.txt no distingue mayúsculas en el nombre del bot, ambas reglas se aplican al mismo bot, y ante un empate prevalece el permiso.
Los que no ponen barreras
Los grandes grupos audiovisuales (Atresmedia, MFE-Mediaset y RTVE), las agencias EFE, Europa Press y Servimedia y la mayoría de los nativos digitales (El Español, elDiario.es, Público, El Debate, El Independiente, The Objective, OKDIARIO, Libertad Digital, El Plural, Maldita.es y El Salto) no bloquean a ninguno de los 15 bots. En el caso de EFE hay un matiz: su web muestra una comprobación de navegador antes de servir las páginas, que puede frenar a cualquier bot aunque el robots.txt no lo prohíba. Algunos van más allá y publican un llms.txt para guiar a los modelos: El Español, El Debate, El Independiente y El Nacional, que además declara en su robots.txt una licencia en el formato RSL, del que hablamos más abajo.
Entre los nativos digitales hay excepciones. Vozpópuli y Business Insider España bloquean el entrenamiento y dejan pasar la búsqueda. infoLibre cierra todos los bots de OpenAI, también los de búsqueda. Y El Confidencial Digital tiene el robots.txt más didáctico de la muestra: explica en comentarios que bloquea los bots de entrenamiento y permite los de búsqueda y los que actúan a petición del usuario.
Revistas: manda el acuerdo del grupo
Vogue España y GQ España, de Condé Nast, solo abren la puerta a OpenAI: el acuerdo que el grupo firmó con OpenAI en agosto de 2024 se nota también en sus dominios españoles. Hearst distingue por país: Esquire y Cosmopolitan dejan entrar a GPTBot en su contenido estadounidense pero se lo prohíben en las ediciones de otros países, incluida la española (/es/). Lecturas bloquea los principales bots de OpenAI, Anthropic y Perplexity salvo en su contenido patrocinado y de compras (/recetas/patrocinados, /promociones, /buenas-compras), y ¡HOLA! bloquea a Perplexity, a Apple y a ByteDance, pero deja que los bots de Perplexity y Apple lean sus secciones de moda, belleza, decoración y selección de compras.
La puerta de atrás: el branded content sí entra
Este es el hallazgo más útil para quien quiera monetizar la visibilidad en IA. Muchos medios que bloquean a los bots en toda su web les abren, con una regla expresa, las secciones donde publican contenido pagado por marcas y artículos de compras.

39 de los 57 medios que bloquean a algún bot de IA dejan abiertas rutas concretas, y en 37 de ellos son secciones de contenido de marca: /uestudio/ en Unidad Editorial, /content-local en Vocento, /ideas/ y las URL con «-bc-» en Prensa Ibérica, /branded-content/ y /bc/ en 20minutos, /branded/ en Heraldo y Business Insider España, los artículos «Ofrecido por» en La Vanguardia y Mundo Deportivo y las recetas patrocinadas de Lecturas. ¡HOLA! es el caso distinto: no abre su contenido patrocinado, sino sus secciones de moda, belleza y compras.
La lógica comercial parece clara. El anunciante que paga una pieza de marca quiere que también la lean ChatGPT, Gemini o Perplexity, porque la respuesta de un asistente es otro escaparate. Así, el medio protege su información y puede ofrecer la visibilidad en IA como parte del branded content. Para un medio que se plantee abrir a la IA solo una parte de su contenido, este es el modelo que ya usan los grandes grupos españoles.
¿Y las imágenes?
Casi nadie trata las imágenes aparte. La excepción es ImagesiftBot, un rastreador especializado en imágenes: es el único bot de IA que bloquea RTVE, y también lo vetan El Mundo, Marca, Expansión, Telva y El Confidencial Digital.
Bloquear no borra a un medio de las respuestas
Para saber qué efecto tiene todo esto, cruzamos el robots.txt de los diez medios españoles más citados por la IA con nuestro estudio de los medios españoles más citados. El alcance es el porcentaje de respuestas generadas para España en las que aparece el medio citado al menos una vez, en una ventana de 7 días actualizada el 15 de noviembre de 2026 (35.912 respuestas de ChatGPT, 35.203 de Perplexity y 23.779 de Gemini).
| Medio | Bots de OpenAI | Bots de Perplexity | Gemini | Alcance en ChatGPT | Alcance en Perplexity | Alcance en Gemini |
|---|---|---|---|---|---|---|
| El País | Abiertos | Cerrados | Abierto | 8,82 % | 7,67 % | 4,13 % |
| ABC | Cerrados | Cerrados | Abierto | 2,19 % | 7,01 % | 3,60 % |
| La Vanguardia | Solo entrenamiento cerrado | Abiertos | Abierto | 2,96 % | 3,52 % | 3,71 % |
| El Español | Abiertos | Abiertos | Abierto | 2,44 % | 4,43 % | 2,38 % |
| 20minutos | Solo entrenamiento cerrado | Abiertos | Abierto | 1,35 % | 6,01 % | 1,97 % |
| elEconomista | Abiertos | Abiertos | Abierto | 0,40 % | 1,86 % | 2,81 % |
| Europa Press | Abiertos | Abiertos | Abierto | 3,61 % | 1,62 % | 0,48 % |
| El Independiente | Abiertos | Abiertos | Abierto | 0,51 % | 2,35 % | 2,68 % |
| Directo al Paladar | Abiertos | Abiertos | Abierto | 0,43 % | 2,17 % | 2,34 % |
| La Razón | Solo entrenamiento cerrado | Abiertos | Abierto | 0,51 % | 1,11 % | 3,45 % |
Tres lecturas:
- Abrir la puerta al socio de licencia coincide con más presencia. El País, abierto a OpenAI y con acuerdo con la empresa desde 2024, aparece en el 8,82 % de las respuestas de ChatGPT para España, cuatro veces más que ABC, que bloquea los tres bots de OpenAI.
- Bloquear no hace invisible a un medio. El País y ABC bloquean los dos bots de Perplexity y son, entre los diez medios más citados, los dos con más presencia en Perplexity. ABC también aparece en el 2,19 % de las respuestas de ChatGPT pese a cerrar sus tres bots. No sabemos por qué vía llega cada citación, pero el robots.txt no funciona como un interruptor: es una petición, y los asistentes pueden encontrar una URL en otros índices o a través de los bots que actúan a petición del usuario.
- Estar abierto no garantiza nada. elEconomista, El Independiente y Directo al Paladar no bloquean a ninguno de los 15 bots y apenas aparecen en ChatGPT. Otros factores, como la autoridad del medio o el tipo de pregunta, parecen pesar más que el robots.txt.
La muestra son preguntas que las marcas eligen monitorizar, con un sesgo hacia temas comerciales: describe lo que citan los asistentes en ese tipo de consultas, no en toda la actividad informativa. Para entender cómo elige Perplexity sus fuentes, tenemos una guía sobre cómo funciona Perplexity.
Acuerdos y regulación: lo que el robots.txt no cuenta
Muchos acuerdos de licencia no pasan por el robots.txt: el contenido licenciado llega a la empresa de IA por canales directos, como un feed o una API. El ejemplo más claro en España es Alexa+. Amazon presentó en abril de 2026 su nuevo asistente con noticias «de los principales medios nacionales como El País, El Mundo, Marca y As». Amazon no ha detallado en qué condiciones, y los cuatro bloquean Amazonbot en su robots.txt.
Prisa es el grupo español con más acuerdos públicos con empresas de IA: OpenAI, Google y Meta, además de su entrada en el programa de editores de Perplexity en 2024. La agencia EFE firmó con Perplexity en 2025, y su robots.txt no pone ninguna barrera a los bots de IA. Para el panorama completo de acuerdos entre medios y empresas de IA, tenemos un mapa de acuerdos de licencia de contenido con IA (en inglés).
No hemos encontrado ninguna demanda de un medio español contra una empresa de IA. La batalla se libra en Bruselas: la Comisión Europea abrió en diciembre de 2025 una investigación antimonopolio sobre el uso que hace Google del contenido de los editores en sus funciones de IA, y en febrero de 2026 el European Publishers Council presentó una denuncia formal contra Google, que la Asociación de Medios de Información (AMI) respalda.
El marco legal español también cuenta. El artículo 67 del Real Decreto-ley 24/2021 permite la minería de textos y datos con fines comerciales salvo que los titulares se reserven ese uso «a medios de lectura mecánica u otros medios que resulten adecuados». El robots.txt es hoy la forma más extendida de hacer esa reserva.
Más allá del robots.txt: llms.txt, RSL y la nueva señal común
El robots.txt solo permite decir «sí» o «no» a cada bot. Han surgido otras formas de expresar algo más, y la muestra permite ver hasta dónde han llegado en España.
- llms.txt. Un archivo que resume para los modelos qué contiene el sitio y dónde está lo importante. Lo publican seis medios españoles: La Vanguardia, El Español, El Debate, El Independiente, El Confidencial Digital y El Nacional.
- RSL (Really Simple Licensing). Un estándar para declarar en el robots.txt las condiciones de licencia del contenido para la IA. En la muestra solo lo aplica El Nacional.
- Content Signals y TDMRep. La sintaxis que propuso Cloudflare en septiembre de 2025 para separar los usos de búsqueda, respuesta con IA y entrenamiento (explicación de Cloudflare), y el protocolo europeo TDMRep para reservar los derechos de minería de datos. Ningún medio español de la muestra usa ninguno de los dos.
El siguiente paso está previsto para 2027. El 30 de octubre de 2026, Google anunció en su blog para desarrolladores que pretende dar soporte, junto a otras empresas de IA, a una señal común en el robots.txt para excluirse del entrenamiento de modelos, basada en el trabajo del grupo AIPREF del IETF. Si un sitio la usa sin mencionar Google-Extended, Google prevé tratarla como un bloqueo de Google-Extended. Ningún medio español de la muestra la ha añadido todavía.
Qué significa para un medio
- Separa entrenamiento y búsqueda. Son decisiones distintas. Bloquear GPTBot o ClaudeBot protege el contenido frente al entrenamiento sin quitar visibilidad inmediata. Bloquear OAI-SearchBot, Claude-SearchBot o PerplexityBot reduce las citaciones.
- Decide qué hacer con Gemini. En España casi nadie bloquea Google-Extended, ni siquiera muchos de los medios que cierran la puerta a ChatGPT, Claude y Perplexity. Abrirlo permite aparecer en las respuestas de Gemini. Cerrarlo no saca al medio de las Vistas creadas con IA ni del Modo IA, que dependen de Googlebot.
- Usa las excepciones a tu favor. Abrir a los bots de IA las secciones de branded content, como hacen Unidad Editorial, Vocento, Prensa Ibérica, Henneo o Godó, convierte la visibilidad en IA en algo que se puede ofrecer a los anunciantes.
- Mantén el archivo al día. Anthropic, OpenAI y Perplexity han estrenado bots nuevos en los dos últimos años. Una lista que bloquea ClaudeBot y PerplexityBot pero no Claude-User ni Perplexity-User deja pasar justo a los bots que leen páginas a petición de los usuarios.
- Mide el resultado. El robots.txt es una petición. Para saber si funciona hay que medir dos cosas: qué bots visitan realmente el sitio, algo que permite Agent Analytics a partir de los registros del servidor, y en qué respuestas aparece el medio en ChatGPT, Gemini, Perplexity y Google.
Si te interesa cómo lo hacen al otro lado del Atlántico, hemos aplicado el mismo análisis a 86 medios de Estados Unidos, donde el robots.txt funciona casi como un registro público de acuerdos y demandas.
Metodología
- Fecha. Revisamos los archivos el 16 de noviembre de 2026.
- Muestra. Analizamos el robots.txt de 88 medios españoles, elegidos para cubrir los grandes grupos de prensa, la prensa regional, los medios audiovisuales, las agencias, los nativos digitales y las principales revistas. 70 los descargamos con un cliente automatizado. Los otros 18 (El Confidencial, Vanitatis, EFE, Lecturas y las 14 cabeceras de Prensa Ibérica) rechazan ese tipo de descargas, así que los consultamos desde un navegador el mismo día. La Información quedó fuera: su web no carga y su servidor responde que no tiene robots.txt.
- Lectura. El cliente automatizado se identifica como herramienta de análisis, sin hacerse pasar por ningún navegador ni bot. Interpretamos cada archivo según el estándar del robots.txt (RFC 9309): buscamos el grupo de reglas que nombra al bot y, si no existe, aplicamos el grupo general. Consideramos que un medio «bloquea» a un bot cuando sus reglas le impiden leer las rutas de artículo.
- Los 15 bots. GPTBot, OAI-SearchBot y ChatGPT-User (OpenAI); Google-Extended (Google); ClaudeBot, Claude-SearchBot y Claude-User (Anthropic); PerplexityBot y Perplexity-User (Perplexity); meta-externalagent (Meta); Applebot-Extended (Apple); Amazonbot (Amazon); Bytespider (ByteDance); CCBot (Common Crawl), y MistralAI-User (Mistral). Analizamos otros bots menores, pero no cuentan para las estrategias.
- Estrategias. «Puertas abiertas»: ningún bloqueo entre los 15 bots. «Cierra el entrenamiento»: algún bloqueo, pero ninguno a los seis bots de búsqueda y de usuario de OpenAI, Anthropic y Perplexity. «Cierra la puerta a los asistentes»: bloqueo a esos seis. «Elige socios»: el resto, que incluye tanto a quien abre la puerta a sus socios como a quien bloquea solo parte de los bots de una misma empresa.
- Límites. El robots.txt declara una intención y no impide el acceso: un cortafuegos o una red de distribución de contenidos puede bloquear o permitir a un bot con independencia de lo que diga el archivo. Los acuerdos de licencia pueden entregar contenido por otras vías. Es una foto de un día concreto, y estos archivos cambian a menudo. En las tablas por grupo usamos la cabecera principal; cuando otras cabeceras del grupo difieren, lo indicamos.
- Datos de citaciones. Proceden de nuestro estudio público de medios españoles citados por la IA: respuestas a preguntas sin marca asignadas a España, con cada medio contado una vez por respuesta.
Sobre LLM Pulse
LLM Pulse mide cómo aparecen las marcas y los medios en las respuestas de ChatGPT, Gemini, Perplexity, el Modo IA de Google, las Vistas creadas con IA y otros asistentes: menciones, citaciones, Share of Voice y sentimiento, con seguimiento semanal o diario. Para un medio, eso significa saber en qué respuestas aparece, qué competidores se citan en su lugar y cómo cambian esas cifras cuando modifica su robots.txt o firma un acuerdo. Con Agent Analytics, además, puede ver en sus propios registros qué bots de IA visitan de verdad su web.
Mide la visibilidad de tu medio en las respuestas de IA
Comprueba en qué respuestas de ChatGPT, Gemini, Perplexity y Google apareces, y qué bots de IA visitan tu web.
Preguntas frecuentes
El 56 % de los 88 medios españoles que analizamos bloquea a GPTBot, el bot de entrenamiento de OpenAI, y el 44 % bloquea a OAI-SearchBot, el que alimenta el buscador de ChatGPT. Cierran los tres bots de OpenAI Unidad Editorial (El Mundo, Marca, Expansión), las cabeceras de Vocento como ABC, las de Prensa Ibérica como El Periódico, El Confidencial y la COPE. El País y el resto de Prisa, que tienen acuerdo con OpenAI desde 2024, no los bloquean. Datos del 16 de noviembre de 2026.
GPTBot recoge contenido para entrenar los modelos de OpenAI. OAI-SearchBot construye el índice del que tira el buscador de ChatGPT para responder y citar fuentes. ChatGPT-User visita una página cuando un usuario lo pide en el chat. Bloquear GPTBot protege frente al entrenamiento sin quitar visibilidad inmediata; bloquear OAI-SearchBot reduce las citaciones en ChatGPT. OpenAI advierte de que a ChatGPT-User las reglas del robots.txt pueden no aplicarse.
No. Google-Extended solo decide si Gemini puede entrenarse con el contenido y usarlo en sus respuestas. Las Vistas creadas con IA (AI Overviews) y el Modo IA dependen de Googlebot, el rastreador del buscador, y ningún medio de nuestra muestra lo bloquea. En España solo el 12 % de los medios bloquea Google-Extended, aunque muchos cierran la puerta a ChatGPT, Claude y Perplexity.
Porque el anunciante que paga una pieza de marca quiere que también la lean y la citen los asistentes de IA. En España, 39 de los 57 medios que bloquean bots de IA abren rutas concretas, y en 37 son secciones de contenido de marca, como /uestudio/ en Unidad Editorial, /content-local en Vocento, /ideas/ en Prensa Ibérica o /branded-content/ en 20minutos.
No necesariamente. El robots.txt es una petición, no un control de acceso. ABC bloquea los dos bots de Perplexity y aparece en el 7,01 % de las respuestas de Perplexity para España, y también en el 2,19 % de las de ChatGPT pese a bloquear a OpenAI. Los asistentes pueden encontrar una URL por otras vías, y Perplexity reconoce que su bot de usuario generalmente ignora el robots.txt.
Prisa es el grupo español con más acuerdos públicos: OpenAI (marzo de 2024), el programa de editores de Perplexity (diciembre de 2024), el piloto de pago de Google para Google News (diciembre de 2025) y Meta AI (marzo de 2026). La agencia EFE firmó con Perplexity en 2025. Amazon presentó Alexa+ en España con noticias de El País, El Mundo, Marca y As, sin detallar los términos.
Es un archivo que resume para los modelos de lenguaje qué contiene un sitio y dónde está lo importante. En nuestra muestra lo publican seis medios españoles: La Vanguardia, El Español, El Debate, El Independiente, El Confidencial Digital y El Nacional.
Descubre y mejora la visibilidad de tu marca en las búsquedas con IA