Qué hacen los medios de EE. UU. con los bots de IA: analizamos el robots.txt de 86 cabeceras
Por Esteve Castells
Índice
- Las cifras clave
- Qué bots llaman a la puerta
- Las cuatro estrategias de los medios de EE. UU.
- Grupo a grupo
- La puerta de atrás: el branded content sí entra
- ¿Y las imágenes?
- Bloquear no borra a un medio de las respuestas
- Demandas: donde se juega la partida
- Más allá del robots.txt
- Qué puede aprender un medio español
- Metodología
- Sobre LLM Pulse
- Preguntas frecuentes
En Estados Unidos, el robots.txt de un gran medio ya no es un archivo técnico que alguien escribió hace diez años. Es casi un registro público de con quién ha firmado y a quién ha demandado. Quien tiene un acuerdo con OpenAI le abre la puerta y se la cierra a los demás; quien está en los tribunales lo bloquea todo.
El 16 de noviembre de 2026 revisamos el robots.txt de 86 cabeceras estadounidenses, de The New York Times y The Wall Street Journal a las cadenas de televisión, los diarios locales y las webs de tecnología, y analizamos cómo trata cada una a 15 bots de las grandes empresas de IA. Después cruzamos el resultado con los acuerdos de licencia y las demandas conocidas, y con nuestros datos sobre qué medios citan de verdad los asistentes de IA en Estados Unidos.
Las cifras clave
- El 90 % de los medios estadounidenses bloquea al menos un bot de IA de las grandes empresas. Son 77 de las 86 cabeceras. Solo 9 (el 10 %) no bloquean a ninguno.
- La estrategia dominante es elegir socios. El 50 % abre la puerta a unas empresas de IA y se la cierra a otras, a menudo en línea con sus acuerdos de licencia.
- Los bots más vetados son los de recogida masiva. CCBot, de Common Crawl, y Bytespider, de ByteDance, están bloqueados en el 83 % de los medios; ClaudeBot, en el 76 %.
- El buscador de ChatGPT es el que más entra. Solo el 36 % bloquea OAI-SearchBot, frente al 58 % que bloquea GPTBot, el bot de entrenamiento de la misma empresa.
- Gemini sí tiene la puerta cerrada. El 63 % bloquea Google-Extended. Ninguno bloquea Googlebot, del que dependen las AI Overviews y el AI Mode de Google.
- El branded content sí entra. 28 de los 77 medios que bloquean a la IA dejan abiertas secciones concretas, y al menos 16 lo hacen con su contenido patrocinado.
- Bloquear no borra a un medio de las respuestas. The New York Times bloquea 13 de los 15 bots y sigue entre los diez medios más citados por la IA en Estados Unidos.
Qué bots llaman a la puerta
Cada empresa de IA usa varios bots con funciones distintas, y la diferencia importa:
- Bots de entrenamiento (GPTBot, ClaudeBot, meta-externalagent, Applebot-Extended, Bytespider y CCBot, de Common Crawl): recogen texto para entrenar modelos futuros.
- Bots de búsqueda (OAI-SearchBot, Claude-SearchBot y PerplexityBot): construyen el índice del que tiran los asistentes para responder y citar fuentes.
- Bots de usuario (ChatGPT-User, Claude-User, Perplexity-User y MistralAI-User): visitan una página cuando alguien lo pide en el chat. OpenAI advierte en su documentación de bots que a ChatGPT-User las reglas del robots.txt pueden no aplicarse, y Perplexity dice en la suya que Perplexity-User «generalmente ignora» esas reglas.
- Google-Extended: no es un rastreador, sino una etiqueta que decide si Gemini puede entrenarse con el contenido y usarlo para responder. Según la documentación de Google, no afecta al buscador ni, por tanto, a las AI Overviews (Vistas creadas con IA) ni al AI Mode (Modo IA).

| Bot | Empresa | Para qué sirve | Medios que lo bloquean |
|---|---|---|---|
| CCBot | Common Crawl | Archivo abierto usado para entrenar | 83 % |
| Bytespider | ByteDance | Entrenamiento | 83 % |
| ClaudeBot | Anthropic | Entrenamiento | 76 % |
| Applebot-Extended | Apple | Entrenamiento | 71 % |
| PerplexityBot | Perplexity | Índice de búsqueda | 69 % |
| Google-Extended | Entrenamiento y respuestas de Gemini | 63 % | |
| meta-externalagent | Meta | Entrenamiento | 62 % |
| GPTBot | OpenAI | Entrenamiento | 58 % |
| Amazonbot | Amazon | Entrenamiento y Alexa | 57 % |
| Perplexity-User | Perplexity | Visitas a petición del usuario | 53 % |
| Claude-SearchBot | Anthropic | Índice de búsqueda | 50 % |
| Claude-User | Anthropic | Visitas a petición del usuario | 50 % |
| ChatGPT-User | OpenAI | Visitas a petición del usuario | 48 % |
| MistralAI-User | Mistral | Visitas a petición del usuario | 41 % |
| OAI-SearchBot | OpenAI | Índice del buscador de ChatGPT | 36 % |
| Googlebot y Bingbot | Google y Microsoft | Buscadores (y sus funciones de IA) | 0 % |
Los archivos también delatan cuánto se revisan. 19 medios bloquean a GPTBot pero no a OAI-SearchBot y 22 bloquean a ClaudeBot pero no a Claude-SearchBot: unas veces es una decisión consciente de separar entrenamiento y búsqueda, otras simplemente nadie ha añadido los bots nuevos. Seis medios, entre ellos Esquire, Cosmopolitan, ABC News y ESPN, siguen bloqueando solo anthropic-ai, un nombre antiguo que la propia Anthropic da por obsoleto, sin bloquear a ClaudeBot. Y NPR escribe «PerplexityUser», sin guion, así que su bloqueo no alcanza a Perplexity-User.
Las cuatro estrategias de los medios de EE. UU.

| Estrategia | Qué hace | Medios | Ejemplos |
|---|---|---|---|
| Elige socios | Abre la puerta a unas empresas de IA y se la cierra a otras | 43 (50 %) | The Wall Street Journal, The Washington Post, The Atlantic, AP, Forbes |
| Cierra la puerta a los asistentes | Bloquea los bots de búsqueda y de usuario de OpenAI, Anthropic y Perplexity | 19 (22 %) | The New York Times, USA Today, Politico, Chicago Tribune, CNN, CNET |
| Cierra el entrenamiento, abre la búsqueda | Veta a los bots que entrenan modelos y deja pasar a los que buscan y citan | 15 (17 %) | Los Angeles Times, The Boston Globe, Business Insider, Axios |
| Puertas abiertas | No bloquea a ninguno de los 15 bots | 9 (10 %) | Fox News, TIME, Slate, ProPublica, The Texas Tribune |
Grupo a grupo
En Estados Unidos el robots.txt se ha convertido en un documento comercial: si quieres saber con quién ha firmado un medio, mira a quién deja entrar. Lo que nos sorprendió es lo poco que eso aparta a un medio de las respuestas. Medios que lo cierran casi todo siguen entre los más citados por la IA.
Esteve Castells Cofundador de LLM Pulse
| Grupo | Qué hace en su robots.txt | Contexto |
|---|---|---|
| The New York Times | Bloquea 13 de los 15 bots, Gemini incluido. Deja entrar a Amazonbot (salvo en Wirecutter) y no menciona al bot de Mistral | Acuerdo con Amazon (mayo de 2025); demandas contra OpenAI y Microsoft (2023) y contra Perplexity (2025) |
| News Corp (WSJ, Barron's, MarketWatch) | Lista blanca: todo cerrado por defecto y, entre los bots de IA, solo entran los tres de OpenAI | Acuerdo con OpenAI (mayo de 2024); demanda de Dow Jones y New York Post contra Perplexity (2024) |
| Condé Nast (The New Yorker, Vogue, Wired, Vanity Fair) | Solo abre la puerta a OpenAI | Acuerdo con OpenAI (agosto de 2024) |
| People Inc. (People, Investopedia, Allrecipes) | Abre a OpenAI, salvo las imágenes; cierra Gemini, Anthropic, Perplexity y Meta salvo el contenido patrocinado | Acuerdos con OpenAI (2024), Microsoft (2025) y Meta (2025) |
| Vox Media (Vox, The Verge, New York Magazine) | Permite a GPTBot, OAI-SearchBot y Amazonbot, bloquea a ChatGPT-User y cierra el resto salvo el contenido patrocinado y The Strategist | Acuerdo con OpenAI (mayo de 2024) |
| The Atlantic | Abre a OpenAI, cierra el resto salvo /sponsored/ y declara sus preferencias con Content Signals | Acuerdo con OpenAI (mayo de 2024) |
| The Washington Post | Abre a OpenAI y a Gemini; cierra ClaudeBot, PerplexityBot, Meta y Amazon, y a casi todos ellos les abre su estudio de branded content | Acuerdo con OpenAI (abril de 2025) |
| Hearst (Esquire, Cosmopolitan, Good Housekeeping) | Deja entrar a GPTBot en su contenido estadounidense, no en sus ediciones internacionales; cierra Gemini, Amazon, ByteDance y Common Crawl | Acuerdo con OpenAI (octubre de 2024) |
| Associated Press | Bloquea GPTBot, pero deja entrar al buscador de ChatGPT y a Gemini; cierra Anthropic y Perplexity | Acuerdos con OpenAI (2023) y Google (enero de 2025) |
| Reuters | Lista blanca: de OpenAI solo entran el buscador y el bot de usuario | Acuerdo con Meta (octubre de 2024) |
| Politico (Axel Springer) | Bloquea los 15 bots, OpenAI incluido, salvo su contenido patrocinado | Acuerdo de Axel Springer con OpenAI (diciembre de 2023) |
| Axios | Solo bloquea CCBot, Bytespider y Amazonbot, y da permiso expreso a Google-Extended | Acuerdo con OpenAI (enero de 2025) |
| Star Tribune | Lista blanca: solo entran buscadores, redes sociales, bots de publicidad y Google-Extended | - |
| McClatchy (Miami Herald, The Kansas City Star) | Prohíbe a los bots de IA las páginas de artículo; el Miami Herald les abre sus artículos patrocinados | - |
| CNBC | Un único grupo para bots de IA y de trading que solo les deja leer /select/, su sección de compras | - |
| NPR | Bloquea 12 de los 15 bots | - |
| USA Today Co. | Bloquea los 15 bots; abre sus historias patrocinadas y de compras | Acuerdos con Perplexity (2025) y Meta (2025); demanda contra OpenAI (octubre de 2026) |
| Alden (Chicago Tribune, New York Daily News, Denver Post) | Bloquea los 15 bots y añade una reserva de minería de datos (TDMRep) | Demandas contra OpenAI y Microsoft (2024) y, el Chicago Tribune, contra Perplexity (2025) |
| CNN | Bloquea todo salvo Gemini y Meta | Acuerdo con Meta (diciembre de 2025); demanda contra Perplexity (mayo de 2026) |
| Ziff Davis (CNET, PCMag, ZDNET, Mashable) | Bloquea 14 de 15 bots, pero abre artículos patrocinados uno a uno | Demanda contra OpenAI (abril de 2025) |
| Penske Media (Variety, Rolling Stone, The Hollywood Reporter) | Cierra a OpenAI, Gemini, ClaudeBot y PerplexityBot; abre sus secciones de compras | Demanda contra Google por las AI Overviews, desestimada en septiembre de 2026 |
| Forbes | Bloquea GPTBot, ClaudeBot y PerplexityBot; da permiso expreso a los buscadores de OpenAI y Anthropic | Amenazó a Perplexity con acciones legales por plagio (junio de 2024) |
| Fox News, TIME, Slate, ProPublica | No bloquean a ningún bot | Fox News con acuerdo con Meta; TIME, con OpenAI y Perplexity |
Las fuentes de los acuerdos y demandas están en el registro de Press Gazette y en nuestro mapa de acuerdos de OpenAI con editores (en inglés).
Los socios de OpenAI: abrir a uno, cerrar a los demás
El patrón más repetido es el del medio que firma con OpenAI y deja entrar solo a OpenAI. Lo hacen News Corp, Condé Nast, People Inc. y The Atlantic. News Corp lo lleva más lejos con una lista blanca: The Wall Street Journal, Barron's y MarketWatch empiezan su robots.txt con un «Disallow: /» para todo el mundo y después enumeran quién puede pasar: los buscadores tradicionales, algunas herramientas de publicidad y, entre los bots de IA, solo GPTBot, OAI-SearchBot y ChatGPT-User. Reuters usa el mismo sistema, pero de OpenAI solo admite el buscador y el bot de usuario, no el de entrenamiento. El Star Tribune también tiene una lista blanca, y el único bot de IA que admite es Google-Extended.
Hay variantes dentro del modelo. Vox Media deja entrenar a GPTBot y bloquea a ChatGPT-User. Hearst abre la puerta a OpenAI en su contenido estadounidense y se la cierra en las ediciones de otros países, incluida la española (/es/). The Washington Post abre a OpenAI y también a Gemini. Y Politico va en sentido contrario a su grupo: Axel Springer firmó con OpenAI en diciembre de 2023, pero Politico bloquea los tres bots de OpenAI y solo les abre su contenido patrocinado, mientras que Business Insider, del mismo grupo, no bloquea a OpenAI.
Los que litigan: cerrarlo todo
Quien demanda suele cerrarlo todo. The New York Times, los diarios de Alden y USA Today Co. bloquean a casi todos los bots de las grandes empresas de IA. El Times es revelador por lo que deja abierto: Amazonbot puede entrar en todo salvo en Wirecutter, una excepción que coincide con su acuerdo de licencia con Amazon de mayo de 2025.
Perplexity, el más señalado
El 69 % de los medios bloquea PerplexityBot, más que cualquier otro bot de búsqueda. CNN, que llegó a negociar con Perplexity, la demandó en mayo de 2026 alegando, según NPR, que su bloqueo en el robots.txt no se respetó. USA Today Co. firmó con Perplexity en 2025 y aun así bloquea sus dos bots: el contenido licenciado le llega por otras vías.
La puerta de atrás: el branded content sí entra
Como en España, muchos medios que bloquean a los bots en toda su web les abren, con una regla expresa, las secciones donde publican contenido pagado por marcas y artículos de compras.

28 de los 77 medios que bloquean a algún bot de IA dejan abiertas rutas concretas, y al menos 16 lo aplican a contenido patrocinado: /sp/ en Vox Media, */presented/ y */integrated/ en People Inc., /sponsored/ en The Atlantic y en Politico, /paid/sponsored-articles/ en el Miami Herald, /creativegroup/ en The Washington Post, /branded-story/ y /sponsor-story/ en USA Today, /brandfuse/ en U.S. News. Ziff Davis lleva la idea al extremo: en Mashable, PCMag, ZDNET y CNET da permiso artículo a artículo a piezas concretas, muchas de ellas patrocinadas, como las de Samsung que Mashable publica bajo la ruta /ad/. Otros abren solo sus secciones de compras, como Penske Media, NBC News y CNBC con Select o NJ.com, que incluye también sus páginas de apuestas y casinos.
Hay otra puerta de atrás, pensada para un socio concreto: los feeds a medida. Ars Technica, de Condé Nast, cierra Amazonbot en toda la web y le abre un feed propio, /feed/amazon-rss. BuzzFeed hace lo mismo con un feed llamado «amazon-ai-grounding».
¿Y las imágenes?
People, Investopedia y Allrecipes dejan que los bots de OpenAI lean sus artículos y les prohíben la ruta /thmb/, donde sirven sus fotos. Además, 31 de los 86 medios bloquean a ImagesiftBot, un rastreador especializado en imágenes, y varios añaden img2dataset, una herramienta para crear conjuntos de imágenes con los que entrenar modelos.
Bloquear no borra a un medio de las respuestas
Cruzamos el robots.txt de los diez medios estadounidenses más citados por la IA con nuestro estudio de los medios de EE. UU. más citados. El valor es el porcentaje de respuestas generadas para Estados Unidos que citan el medio al menos una vez, sumando ChatGPT, Perplexity, Gemini, el AI Mode y las AI Overviews de Google, en una ventana de 7 días actualizada el 15 de noviembre de 2026.
| Medio | Bots de OpenAI | Gemini | Bots de Perplexity | Respuestas que lo citan |
|---|---|---|---|---|
| Forbes | Solo entrenamiento cerrado | Abierto | Parcial | 1,34 % |
| TechRadar | Abiertos | Abierto | Abiertos | 1,26 % |
| U.S. News | Cerrados | Cerrado | Cerrados | 1,04 % |
| Yahoo | Parcial | Cerrado | Parcial | 1,01 % |
| Tom's Guide | Abiertos | Abierto | Abiertos | 0,81 % |
| PCMag | Cerrados | Abierto | Cerrados | 0,77 % |
| The New York Times | Cerrados | Cerrado | Cerrados | 0,41 % |
| Digital Trends | Solo entrenamiento cerrado | Cerrado | Abiertos | 0,38 % |
| Good Housekeeping | Abiertos | Cerrado | Abiertos | 0,37 % |
| CNET | Cerrados | Abierto | Cerrados | 0,37 % |
Cuatro de los diez (U.S. News, PCMag, The New York Times y CNET) cierran todos los bots de OpenAI y de Perplexity, y aun así están en la lista. Parte de la explicación es que el ranking suma las AI Overviews y el AI Mode de Google, que dependen de Googlebot y que nadie bloquea. La otra es que el robots.txt es una petición, no una barrera: un juez federal de Nueva York lo comparó en diciembre de 2025, al rechazar parte de la demanda de Ziff Davis contra OpenAI, con un cartel de «no pisar el césped», según el análisis del caso de Eric Goldman.
También se ve el otro lado: TechRadar y Tom's Guide, que no cierran la puerta a OpenAI, Google ni Perplexity, están en segunda y quinta posición. La muestra son preguntas que las marcas eligen monitorizar, con un sesgo hacia temas comerciales, lo que ayuda a explicar el peso de los medios de tecnología y de compras. En julio publicamos un análisis más amplio, con 5,3 millones de citaciones, sobre los medios de EE. UU. que más cita la IA (en inglés).
Demandas: donde se juega la partida
En Estados Unidos, la vía judicial está mucho más avanzada que en Europa:
- The New York Times demandó a OpenAI y Microsoft en diciembre de 2023 y a Perplexity en diciembre de 2025.
- Ocho diarios de Alden, entre ellos el New York Daily News y el Chicago Tribune, demandaron a OpenAI y Microsoft en abril de 2024.
- Dow Jones y el New York Post, de News Corp, demandaron a Perplexity en octubre de 2024, el mismo año en que firmaron con OpenAI.
- Ziff Davis demandó a OpenAI en abril de 2025.
- CNN demandó a Perplexity en mayo de 2026.
- USA Today Co. reclama más de 250 millones de dólares a OpenAI desde octubre de 2026.
- Penske Media perdió en primera instancia su demanda contra Google por las AI Overviews: fue desestimada el 30 de septiembre de 2026, según Press Gazette, porque el juez no vio un acuerdo formal que obligara a Google a enviar tráfico a cambio del contenido.
Más allá del robots.txt
Los medios estadounidenses usan más herramientas que los españoles para matizar sus preferencias, aunque ninguna está muy extendida:
- Content Signals. La sintaxis que propuso Cloudflare en septiembre de 2025 para separar tres usos: buscar, responder con IA y entrenar (explicación de Cloudflare). La usa The Atlantic: «search=yes, ai-input=no, ai-train=no».
- TDMRep. Un protocolo para reservar los derechos de minería de textos y datos. Lo publican los cuatro diarios de Alden que analizamos.
- RSL (Really Simple Licensing). Un estándar para declarar en el robots.txt las condiciones de licencia del contenido para la IA. Lo aplica The Seattle Times.
- llms.txt. Un archivo que resume el sitio para los modelos. Solo lo publican Fox News, Business Insider y Good Housekeeping.
El siguiente paso está previsto para 2027. El 30 de octubre de 2026, Google anunció en su blog para desarrolladores que pretende dar soporte, junto a otras empresas de IA, a una señal común en el robots.txt para excluirse del entrenamiento de modelos. Scientific American ya la ha añadido a su archivo, con el comentario «Draft spec».
Qué puede aprender un medio español
- El robots.txt es una herramienta de negociación. Los medios estadounidenses lo usan para premiar a sus socios y dejar fuera al resto, y la lista blanca de News Corp es el ejemplo más claro.
- Bloquear no basta para desaparecer. Medios que lo cierran casi todo siguen entre los más citados. Quien quiere cobrar por su contenido acaba negociando o en los tribunales.
- El branded content tiene su propia regla. Abrir a la IA solo las secciones patrocinadas es ya una práctica estándar en los dos países.
- Hay que medir. Saber qué bots visitan realmente la web, algo que permite Agent Analytics a partir de los registros del servidor, y en qué respuestas aparece el medio, es la única forma de comprobar si la estrategia funciona.
Si quieres comparar, hemos aplicado el mismo análisis a 88 medios españoles. La diferencia es grande: en España, el 35 % de los medios no bloquea a ningún bot de IA y solo el 12 % cierra la puerta a Gemini.
Metodología
- Fecha. Revisamos los archivos el 16 de noviembre de 2026.
- Muestra. Analizamos el robots.txt de 86 medios de Estados Unidos, elegidos para cubrir los grandes grupos de prensa, la prensa local, las cadenas de televisión, las agencias, las revistas y las webs de tecnología. 78 los descargamos con un cliente automatizado. Los otros 8 (Politico, CNBC, NPR, Axios, Miami Herald, The Kansas City Star, Star Tribune y Newsmax) rechazan ese tipo de descargas, así que los consultamos desde un navegador el mismo día; en algunos casos trabajamos con un extracto que conserva íntegras las reglas para bots de IA. PBS quedó fuera: su web devuelve un error también desde el navegador.
- Lectura. El cliente automatizado se identifica como herramienta de análisis, sin hacerse pasar por ningún navegador ni bot. Interpretamos cada archivo según el estándar del robots.txt (RFC 9309): buscamos el grupo de reglas que nombra al bot y, si no existe, aplicamos el grupo general. Consideramos que un medio «bloquea» a un bot cuando sus reglas le impiden leer las rutas de artículo; en los diarios de McClatchy, que vetan a los bots de IA las páginas terminadas en .html, evaluamos esas páginas, que son las de sus artículos.
- Los 15 bots. GPTBot, OAI-SearchBot y ChatGPT-User (OpenAI); Google-Extended (Google); ClaudeBot, Claude-SearchBot y Claude-User (Anthropic); PerplexityBot y Perplexity-User (Perplexity); meta-externalagent (Meta); Applebot-Extended (Apple); Amazonbot (Amazon); Bytespider (ByteDance); CCBot (Common Crawl), y MistralAI-User (Mistral). Analizamos otros bots menores, pero no cuentan para las estrategias.
- Estrategias. «Puertas abiertas»: ningún bloqueo entre los 15 bots. «Cierra el entrenamiento»: algún bloqueo, pero ninguno a los seis bots de búsqueda y de usuario de OpenAI, Anthropic y Perplexity. «Cierra la puerta a los asistentes»: bloqueo a esos seis. «Elige socios»: el resto.
- Límites. El robots.txt declara una intención y no impide el acceso: un cortafuegos o una red de distribución de contenidos puede bloquear o permitir a un bot con independencia de lo que diga el archivo. Los acuerdos de licencia pueden entregar contenido por otras vías. Es una foto de un día concreto, y estos archivos cambian a menudo.
- Datos de citaciones. Proceden de nuestro estudio público de medios de EE. UU. citados por la IA: respuestas a preguntas sin marca generadas para Estados Unidos, con cada medio contado una vez por respuesta.
Sobre LLM Pulse
LLM Pulse mide cómo aparecen las marcas y los medios en las respuestas de ChatGPT, Gemini, Perplexity, el Modo IA de Google, las Vistas creadas con IA y otros asistentes: menciones, citaciones, Share of Voice y sentimiento, con seguimiento semanal o diario y en distintos mercados. Para un medio, eso significa saber en qué respuestas aparece, qué competidores se citan en su lugar y cómo cambian esas cifras cuando modifica su robots.txt o firma un acuerdo.
Mide la visibilidad de tu medio en las respuestas de IA
Comprueba en qué respuestas de ChatGPT, Gemini, Perplexity y Google apareces, en España y en otros mercados.
Preguntas frecuentes
El 58 % de los 86 medios analizados bloquea a GPTBot, el bot de entrenamiento de OpenAI, y el 36 % a OAI-SearchBot, el del buscador de ChatGPT. The New York Times, USA Today, Politico, los diarios de Alden, CNN y las webs de Ziff Davis cierran los tres bots de OpenAI. News Corp, Condé Nast, People Inc., The Atlantic y The Washington Post, que tienen acuerdos con OpenAI, le abren la puerta. Datos del 16 de noviembre de 2026.
El 63 % lo bloquea. Google-Extended es la etiqueta que decide si Gemini puede entrenarse con el contenido y usarlo para responder. Bloquearla no afecta al buscador ni a las AI Overviews o al AI Mode, que dependen de Googlebot, y ningún medio bloquea Googlebot. Penske Media llegó a demandar a Google por las AI Overviews, pero un juez desestimó la demanda en septiembre de 2026.
Es cerrar la web a todos los bots con «Disallow: /» y dar permiso solo a los que se nombran. Lo hacen The Wall Street Journal, Barron's y MarketWatch, de News Corp, que entre los bots de IA solo dejan pasar a los tres de OpenAI, su socio desde 2024; Reuters, que de OpenAI solo admite el buscador y el bot de usuario, y el Star Tribune, que solo admite Google-Extended.
28 de los 77 medios que bloquean a algún bot de IA abren rutas concretas, y al menos 16 lo hacen con su contenido patrocinado: /sp/ en Vox Media, */presented/ y */integrated/ en People Inc., /sponsored/ en The Atlantic y en Politico, /paid/sponsored-articles/ en el Miami Herald, /creativegroup/ en The Washington Post o /branded-story/ en USA Today.
No. U.S. News, PCMag, The New York Times y CNET cierran todos los bots de OpenAI y de Perplexity y están entre los diez medios más citados por la IA en Estados Unidos. El ranking incluye las funciones de IA de Google, que nadie bloquea, y el robots.txt es una petición, no una barrera.
The New York Times (a OpenAI y Microsoft en 2023 y a Perplexity en 2025), ocho diarios de Alden (a OpenAI y Microsoft en 2024), Dow Jones y el New York Post (a Perplexity en 2024), Ziff Davis (a OpenAI en 2025), CNN (a Perplexity en 2026) y USA Today Co. (a OpenAI en 2026). La demanda de Penske Media contra Google por las AI Overviews fue desestimada en septiembre de 2026.
En Estados Unidos el 90 % bloquea al menos un bot de IA de las grandes empresas, frente al 65 % en España. La mayor diferencia es Gemini: lo bloquea el 63 % de los medios estadounidenses y solo el 12 % de los españoles. En Estados Unidos domina la estrategia de elegir socios (50 %); en España, la de cerrar la puerta a los asistentes de OpenAI, Anthropic y Perplexity (38 %), casi siempre dejando entrar a Gemini.
Descubre y mejora la visibilidad de tu marca en las búsquedas con IA