Blog

O que a imprensa brasileira faz com os bots de IA: analisamos o robots.txt de 62 veículos

Por Esteve Castells

O que a imprensa brasileira faz com os bots de IA: 62 robots.txt analisados
Índice
  1. Os principais números
  2. Quais bots batem à porta
  3. As quatro estratégias dos veículos brasileiros
  4. Grupo a grupo
  5. A porta dos fundos: conteúdo de marca e tecnologia
  6. Acordos e processos: o robots.txt conta a história
  7. Além do robots.txt: llms.txt, Content Signals e o novo sinal comum
  8. O que isso significa para um veículo
  9. Metodologia
  10. Sobre o LLM Pulse
  11. Perguntas frequentes

Todo grande veículo de imprensa precisa decidir quais inteligências artificiais podem ler suas notícias. ChatGPT, Claude, Perplexity, Meta AI e Alexa usam seus próprios bots, o Google controla o Gemini com um token à parte, e todos consultam o mesmo arquivo: o robots.txt, o arquivo de texto que diz a cada rastreador o que ele pode ou não pode ler. O que cada veículo escreve ali mostra a sua estratégia diante da IA.

Em 16 de novembro de 2026, analisamos o robots.txt de 62 veículos brasileiros, dos grandes grupos de mídia aos jornais regionais, das TVs e portais às revistas, agências de checagem e sites de tecnologia, e vimos como cada um trata 15 bots das grandes empresas de IA. A conclusão principal: o Brasil é o mercado mais aberto dos quatro que analisamos, mas os grandes grupos já escolheram seus parceiros, e os acordos aparecem no arquivo.

Os principais números

  • Só 34% dos veículos brasileiros bloqueiam pelo menos um bot de IA das grandes empresas. São 21 dos 62. Os outros 41 (66%) não bloqueiam nenhum. Nos Estados Unidos, 90% bloqueiam; em Portugal, 52%; na Espanha, 65%.
  • O bloqueio se concentra nos grandes grupos. O Globo, a Folha, o UOL e o Estadão fecham a porta para várias empresas de IA, enquanto g1, Metrópoles, CNN Brasil, R7, Veja, Exame e Poder360 não bloqueiam nenhuma.
  • Só um veículo fecha a porta para ChatGPT, Claude e Perplexity. O Globo bloqueia 14 dos 15 bots. Nenhum outro bloqueia, ao mesmo tempo, os bots de busca e de usuário da OpenAI, da Anthropic e da Perplexity.
  • Os bots mais bloqueados são os de treinamento. GPTBot e CCBot aparecem bloqueados em 29% dos veículos, e o ClaudeBot em 27%. O OAI-SearchBot, que alimenta a busca do ChatGPT, só em 11%.
  • O Gemini entra em três em cada quatro. 26% bloqueiam o Google-Extended, e oito veículos dão permissão expressa a ele.
  • A Folha bloqueia todos os grandes buscadores, menos o Google. É o único veículo da amostra que bloqueia o Bingbot, que alimenta o Copilot, e fecha também DuckDuckGo, Yandex, Baidu e Yahoo.
  • Os acordos aparecem no arquivo. Folha e UOL, que fecharam com a OpenAI em maio de 2026, deixam a OpenAI entrar. O Estadão, que licencia notícias ao Gemini sem os textos de opinião, fecha ao Google-Extended justamente a seção /opiniao/.
  • O conteúdo de marca entra. O Globo, Valor, Extra, Época Negócios e Vogue bloqueiam os bots de IA no site inteiro, mas abrem à maioria deles a seção /conteudo-de-marca/ (o Gemini fica de fora).

Quais bots batem à porta

Cada empresa de IA usa vários bots, cada um com uma função, e bloquear um ou outro tem consequências bem diferentes para um veículo:

  • Bots de treinamento (GPTBot, ClaudeBot, meta-externalagent, Applebot-Extended, Bytespider e CCBot, da Common Crawl): coletam texto para treinar modelos futuros. Bloqueá-los não afeta a visibilidade imediata nas respostas.
  • Bots de busca (OAI-SearchBot, Claude-SearchBot e PerplexityBot): montam o índice que os assistentes usam para responder e citar fontes. Bloqueá-los reduz a chance de o veículo aparecer citado.
  • Bots de usuário (ChatGPT-User, Claude-User, Perplexity-User e MistralAI-User): visitam uma página quando alguém pede no chat. A OpenAI avisa na sua documentação que as regras do robots.txt podem não valer para o ChatGPT-User, e a Perplexity diz na dela que o Perplexity-User “geralmente ignora” essas regras.
  • Google-Extended: um token, sem rastreador próprio, que decide se o Gemini pode treinar com o conteúdo e usá-lo para responder. Segundo a documentação do Google, ele não afeta a Busca e, portanto, também não afeta as Visões Gerais criadas por IA (AI Overviews) nem o Modo IA.
Gráfico de barras horizontais: porcentagem dos 62 veículos brasileiros analisados que bloqueiam cada bot de IA no robots.txt, 16 de novembro de 2026. CCBot e GPTBot lideram com 29%; o MistralAI-User é o menos bloqueado, com 6%.
Bot Empresa Para que serve Veículos que bloqueiam
GPTBot OpenAI Treinamento 29%
CCBot Common Crawl Arquivo aberto usado para treinar 29%
ClaudeBot Anthropic Treinamento 27%
Google-Extended Google Treinamento e respostas do Gemini 26%
Bytespider ByteDance Treinamento 26%
Amazonbot Amazon Treinamento e Alexa 24%
meta-externalagent Meta Treinamento 23%
PerplexityBot Perplexity Índice de busca 21%
Applebot-Extended Apple Treinamento 16%
ChatGPT-User OpenAI Visitas a pedido do usuário 13%
Claude-SearchBot Anthropic Índice de busca 13%
Claude-User Anthropic Visitas a pedido do usuário 13%
OAI-SearchBot OpenAI Índice da busca do ChatGPT 11%
Perplexity-User Perplexity Visitas a pedido do usuário 10%
MistralAI-User Mistral Visitas a pedido do usuário 6%
Googlebot Google Busca (e suas funções de IA) 0%
Bingbot Microsoft Busca (e o Copilot) 2% (só a Folha)

A distância entre GPTBot e OAI-SearchBot mostra uma escolha comum: onze veículos bloqueiam o bot de treinamento da OpenAI e deixam passar o da busca do ChatGPT. Em alguns casos é uma decisão consciente de separar treinamento e busca; em outros, a lista simplesmente não foi atualizada desde que a OpenAI lançou o OAI-SearchBot, em 2024.

As quatro estratégias dos veículos brasileiros

Gráfico de barras: distribuição dos 62 veículos brasileiros analisados em quatro estratégias diante da IA. Portas abertas, 66%; escolhe parceiros, 19%; fecha o treinamento e libera a busca, 13%; fecha a porta para os assistentes, 2%.
Estratégia O que faz Veículos Exemplos
Portas abertas Não bloqueia nenhum dos 15 bots 41 (66%) g1, Metrópoles, CNN Brasil, R7, Correio Braziliense, Veja, Exame, Poder360
Escolhe parceiros Abre a porta para algumas empresas de IA e fecha para outras 12 (19%) Folha de S.Paulo, UOL, Estadão, Valor Econômico, GZH, Gazeta do Povo
Fecha o treinamento, libera a busca Veta os bots que treinam modelos e libera os que buscam e citam 8 (13%) ge, CartaCapital, Nexo, O Povo
Fecha a porta para os assistentes Bloqueia os bots de busca e de usuário da OpenAI, da Anthropic e da Perplexity 1 (2%) O Globo

Grupo a grupo

O Brasil é o mercado mais aberto que analisamos: dois em cada três veículos não bloqueiam nenhum bot de IA. Mas os grandes grupos já escolheram lado, às vezes de formas opostas dentro da mesma casa. O g1 deixa tudo aberto, enquanto O Globo fecha quase tudo, exceto o conteúdo pago por marcas.

Head-and-shoulders portrait of a smiling man in a dark zip-up sweater against a plain gray background.Esteve Castells Cofundador do LLM Pulse
Matriz de pontos: o que o robots.txt de 21 dos principais veículos brasileiros deixa cada empresa de IA ler. O Globo bloqueia quase todas; a Folha libera só OpenAI e Gemini; o UOL, só a OpenAI; o Estadão libera o Gemini; g1, R7, CNN Brasil, Veja, Exame e Metrópoles não bloqueiam nenhuma.
Grupo Veículos analisados O que faz no robots.txt
Grupo Globo O Globo, Valor, Extra, Época Negócios, Vogue, g1, ge, globo.com O Globo bloqueia 14 dos 15 bots; Valor, Extra, Época Negócios e Vogue, 12; os cinco abrem /conteudo-de-marca/. O g1 não bloqueia nenhum, e o ge e o globo.com só o GPTBot, o CCBot e o Gemini
Grupo Folha e Grupo UOL Folha de S.Paulo, UOL A Folha libera OpenAI e Gemini e bloqueia o resto, Bingbot incluído; o UOL libera só a OpenAI
Grupo Estado Estadão Bloqueia a OpenAI, os bots de treinamento e o PerplexityBot; libera o Gemini, exceto na opinião, e abre o TecMundo a todos
Grupo RBS GZH Bloqueia Anthropic, Perplexity e Mistral; dá permissão expressa ao Gemini
Gazeta do Povo Gazeta do Povo Bloqueia GPTBot, CCBot e os dois bots da Perplexity; dá permissão expressa ao Gemini
Agências de checagem Aos Fatos, Lupa Bloqueiam o GPTBot, o ClaudeBot, o PerplexityBot e o Gemini, entre outros
Portas abertas g1, Metrópoles, CNN Brasil, R7, Correio Braziliense, Estado de Minas, Veja, Exame, Poder360, Terra, InfoMoney, Agência Brasil Não bloqueiam nenhum dos 15 bots

Grupo Globo: o g1 aberto, O Globo fechado

O g1, o site de notícias da Globo, tem um robots.txt de 18 linhas sem nenhuma regra para bots de IA. O ge e o globo.com bloqueiam só três: GPTBot, CCBot e Google-Extended.

O Globo é o extremo oposto: bloqueia 14 dos 15 bots, incluindo os de busca e de usuário da OpenAI, da Anthropic e da Perplexity, além do Gemini, da Meta, da Amazon e do Grok. A Apple é a única das grandes empresas que o arquivo não menciona. Valor Econômico, Extra, Época Negócios e Vogue seguem a mesma linha, com uma lista um pouco menor. E o arquivo d'O Globo guarda um detalhe curioso: sob o comentário “Permite acesso total apenas para o seu bot do chat”, libera a rota /beta para um agente identificado como “ai-sdk”, um kit de desenvolvimento usado para criar assistentes de IA.

Folha e UOL: OpenAI dentro, quase todo o resto fora

O robots.txt da Folha de S.Paulo nomeia 167 agentes e é o mais radical da amostra, mas não pelo motivo óbvio. Dá permissão expressa aos três bots da OpenAI, ao Google-Extended e a todos os rastreadores do Google, e bloqueia a Anthropic, a Perplexity, a Meta, a Amazon, a ByteDance, a Common Crawl, a Mistral, o DeepSeek e o Grok. Vai além da IA: bloqueia o Applebot, o rastreador de busca da Apple, o Bingbot da Microsoft, o DuckDuckGo, o Yandex, o Baidu e o Yahoo, e até os arquivos da web, o Internet Archive e o Arquivo.pt. Entre os grandes buscadores e as grandes empresas de IA, só o Google e a OpenAI podem ler a Folha.

O UOL, grupo irmão da Folha, faz uma escolha parecida, com uma diferença: deixa a OpenAI entrar, mas bloqueia o Gemini. Os dois fecharam juntos um acordo com a OpenAI em maio de 2026, e a Folha também licencia conteúdo ao Gemini. Já a revista piauí, cujo site está hospedado na plataforma da Folha, não bloqueia nenhum bot.

Estadão: fechado para a OpenAI, aberto para o Gemini

O Estadão bloqueia os três bots da OpenAI, os de treinamento da Anthropic, da Meta, da Apple, da Amazon, da ByteDance e da Common Crawl, e o PerplexityBot. Mas cada um desses bloqueios tem a mesma exceção: a seção /tecmundo/, onde o jornal publica o TecMundo, de tecnologia. Com o Gemini, a regra é outra: o Google-Extended pode ler todo o site, exceto as colunas de opinião (/opiniao/). O recorte coincide com o acordo que o Estadão fechou com o Google em dezembro de 2025, que deixa a opinião de fora.

RBS e Gazeta do Povo: Google sim, Anthropic ou Perplexity não

A GZH, do Grupo RBS, bloqueia a Anthropic, a Perplexity, a Mistral, o DeepSeek e o Grok, e dá permissão expressa ao Google-Extended. A OpenAI, a Meta e a Amazon não aparecem no arquivo, então podem entrar. A Gazeta do Povo também dá permissão expressa ao Gemini, mas bloqueia o GPTBot, o CCBot e os dois bots da Perplexity. Oito veículos da amostra dão permissão expressa ao Google-Extended, entre eles a Folha, o Correio Braziliense, o R7 e a Exame.

As agências de checagem e a Cloudflare

Aos Fatos e Lupa, duas agências de checagem, bloqueiam sete e nove dos 15 bots, respectivamente: entre eles, o GPTBot, o ClaudeBot, o PerplexityBot e o Gemini. A Lupa usa o robots.txt gerenciado pela Cloudflare, que bloqueia automaticamente os principais bots de treinamento e declara, com a sintaxe Content Signals, “search=yes,ai-train=no,use=reference”. NeoFeed e Revista Oeste usam a mesma configuração, e Nexo e O Povo bloqueiam os mesmos bots de treinamento.

Os que não colocam barreiras

g1, Metrópoles, CNN Brasil, R7, Correio Braziliense, Estado de Minas, Diario de Pernambuco, Veja, Exame, Poder360, Terra, iG, InfoMoney, Agência Brasil, Jovem Pan, SBT News, Lance! e The Intercept Brasil, entre outros, não bloqueiam nenhum dos 15 bots. Alguns vão além e dão permissão expressa: R7, Jornal do Brasil e Canaltech nomeiam o GPTBot no robots.txt só para liberá-lo.

A porta dos fundos: conteúdo de marca e tecnologia

Como na Espanha e nos Estados Unidos, alguns veículos que fecham a porta para a IA abrem com uma regra expressa as seções de conteúdo pago por marcas, e o Estadão faz o mesmo com a de tecnologia:

  • O Globo, Valor, Extra, Época Negócios e Vogue: /conteudo-de-marca/, aberta aos bots de busca e de usuário da OpenAI, ao PerplexityBot e aos de treinamento da OpenAI, da Anthropic, da Meta, da Amazon, da ByteDance e da Common Crawl, mas não ao Google-Extended. O Globo inclui também os bots de busca e de usuário da Anthropic, e a Vogue abre também /marcas-parceiras/.
  • Estadão: /tecmundo/, aberta a todos os bots que bloqueia.

A lógica é a mesma que encontramos na Espanha: o anunciante que paga uma matéria de marca quer que ela também seja lida e citada pelo ChatGPT ou pelo Perplexity. Na Globo, porém, o Gemini continua de fora: o Google-Extended não tem essa exceção.

Acordos e processos: o robots.txt conta a história

Quatro dos cinco casos abaixo aparecem no robots.txt dos envolvidos:

  • Folha, UOL e OpenAI. Em agosto de 2025, a Folha processou a OpenAI na Justiça de São Paulo por violação de direitos autorais e concorrência desleal, e disse ter registrado mais de 45 mil acessos de robôs da OpenAI só em julho daquele ano (Meio & Mensagem). Em maio de 2026, Folha e UOL fecharam o primeiro acordo de conteúdo da OpenAI com a mídia brasileira (Meio & Mensagem). Hoje, os dois deixam a OpenAI entrar. Em 2023, o Reuters Institute tinha registrado que o UOL bloqueava o GPTBot.
  • Folha e Google. Em abril de 2026, a Folha fechou um acordo para dar ao Gemini acesso ao seu acervo e a um feed de notícias em tempo real. O robots.txt da Folha dá permissão expressa ao Google-Extended.
  • Estadão e Google. Em dezembro de 2025, o Estadão fechou com o Google um feed de notícias em tempo real para o Gemini que exclui editoriais, colunas de opinião, artigos de convidados e conteúdo de agências (Meio & Mensagem). No robots.txt, o Google-Extended pode ler todo o site, exceto /opiniao/.
  • Folha e Perplexity. Em agosto de 2026, a Folha processou a Perplexity por “centenas de milhares” de acessos indevidos e por contornar suas barreiras técnicas. O arquivo da Folha bloqueia os dois bots da Perplexity.
  • Associações e Meta. Em 3 de novembro de 2026, a Justiça de São Paulo concedeu à ANJ, à Abert e à Aner uma liminar que proíbe a Meta de coletar ou usar conteúdo dos veículos associados sem autorização, inclusive para treinar IA, sob multa de R$ 1 milhão por dia, até R$ 100 milhões (Estado de Minas).

Há ainda duas frentes abertas. O Cade, a autoridade de concorrência, abriu em abril de 2026 um processo contra o Google pelo uso de conteúdo jornalístico e pelas Visões Gerais criadas por IA, que nasceu de uma queixa da Globo em 2018. O tribunal do Cade chamou de “falsa escolha” o argumento do Google de que os veículos podem se excluir, por exemplo com o Google-Extended (Teletime). E o PL 2338/2023, o projeto do marco legal da IA, aprovado pelo Senado em dezembro de 2024, prevê que os titulares possam proibir o uso do seu conteúdo no desenvolvimento de IA e sejam remunerados quando ele for usado, mas continua parado na comissão especial da Câmara.

Além do robots.txt: llms.txt, Content Signals e o novo sinal comum

O robots.txt só permite dizer a cada bot onde ele pode e onde não pode entrar. Surgiram outras formas de dizer mais, e no Brasil elas avançaram mais do que na Espanha ou em Portugal:

  • llms.txt. Um arquivo que resume para os modelos de linguagem o que o site contém e onde está o mais importante. Catorze veículos publicam um, entre eles Veja, Exame, Terra, Gazeta do Povo, NSC Total, The Intercept Brasil, Lance!, Canaltech e Forbes Brasil.
  • Content Signals. A sintaxe que a Cloudflare propôs em setembro de 2025 para separar busca, respostas de IA e treinamento (explicação da Cloudflare). Lupa, NeoFeed e Revista Oeste a usam.
  • TDMRep e RSL. Nenhum veículo brasileiro da amostra publica esses protocolos para reservar direitos de mineração ou declarar licenças.

O próximo passo está previsto para 2027. Em 30 de outubro de 2026, o Google anunciou no seu blog para desenvolvedores que pretende dar suporte, junto com outras empresas de IA, a um sinal comum no robots.txt para recusar o treinamento de modelos. Nenhum veículo brasileiro da amostra o adotou ainda.

O que isso significa para um veículo

  1. Separe treinamento e busca. Bloquear o GPTBot ou o ClaudeBot protege o conteúdo do treinamento sem tirar visibilidade imediata. Bloquear o OAI-SearchBot, o Claude-SearchBot ou o PerplexityBot reduz as citações.
  2. Decida o que fazer com cada empresa. Os grandes grupos brasileiros já não tratam todas as IAs da mesma forma: a Folha e o UOL abrem para a OpenAI, o Estadão e a GZH para o Gemini.
  3. Use as exceções a seu favor. Abrir aos bots de IA as seções de conteúdo de marca, como faz a Globo, transforma a visibilidade em IA em algo que pode ser oferecido aos anunciantes.
  4. Meça o resultado. O robots.txt é um pedido, não uma barreira. Para saber se a estratégia funciona, é preciso medir quais bots realmente visitam o site, algo que o Agent Analytics permite a partir dos logs do servidor, e em quais respostas do ChatGPT, do Gemini, do Perplexity e do Google o veículo aparece.

Aplicamos a mesma análise a 46 veículos de Portugal, a 88 veículos espanhóis (em espanhol) e a 86 veículos dos Estados Unidos (em inglês).

Metodologia

  • Data. Consultamos os arquivos em 16 de novembro de 2026.
  • Amostra. Analisamos o robots.txt de 62 veículos brasileiros, escolhidos para cobrir os grandes grupos de mídia, os portais, as TVs, os jornais regionais, as revistas, as agências de notícias e de checagem e os sites de tecnologia e de economia. Dois ficaram de fora porque não foi possível ler o robots.txt: o Correio do Povo (o servidor recusa o pedido) e a Band (o certificado de segurança do site está vencido). Para a Folha de S.Paulo, usamos o arquivo de www1.folha.uol.com.br, o endereço das matérias.
  • Leitura. Baixamos os arquivos com um cliente automatizado que se identifica como ferramenta de análise. Quando um site recusava esse pedido, repetimos com outros identificadores comuns; CartaCapital, Revista Fórum e Forbes Brasil precisaram desse passo. Interpretamos cada arquivo segundo o padrão do robots.txt (RFC 9309): procuramos o grupo de regras que nomeia o bot e, se ele não existir, aplicamos o grupo geral. Consideramos que um veículo “bloqueia” um bot quando suas regras o impedem de ler as matérias. A Agência Pública e o TecMundo têm um robots.txt vazio, o que equivale a não ter regras.
  • Os 15 bots. GPTBot, OAI-SearchBot e ChatGPT-User (OpenAI); Google-Extended (Google); ClaudeBot, Claude-SearchBot e Claude-User (Anthropic); PerplexityBot e Perplexity-User (Perplexity); meta-externalagent (Meta); Applebot-Extended (Apple); Amazonbot (Amazon); Bytespider (ByteDance); CCBot (Common Crawl); e MistralAI-User (Mistral). Analisamos outros bots menores, mas eles não contam para as estratégias.
  • Estratégias. “Portas abertas”: nenhum bloqueio entre os 15 bots. “Fecha o treinamento”: algum bloqueio, mas nenhum aos seis bots de busca e de usuário da OpenAI, da Anthropic e da Perplexity. “Fecha a porta para os assistentes”: bloqueia esses seis. “Escolhe parceiros”: os demais.
  • Limites. O robots.txt declara uma intenção e não impede o acesso: um firewall ou uma rede de distribuição de conteúdo pode bloquear ou liberar um bot independentemente do que diga o arquivo. Os acordos de licenciamento podem entregar conteúdo por outros caminhos. É uma foto de um dia, e esses arquivos mudam com frequência.

Sobre o LLM Pulse

O LLM Pulse mede como marcas e veículos aparecem nas respostas do ChatGPT, do Gemini, do Perplexity, do Modo IA e das Visões Gerais criadas por IA do Google e de outros assistentes: menções, citações, Share of Voice e sentimento, com acompanhamento semanal ou diário e em vários mercados. Para um veículo, isso significa saber em quais respostas ele aparece, quais concorrentes são citados no seu lugar e como esses números mudam quando ele altera o robots.txt ou assina um acordo.

Meça a visibilidade do seu veículo nas respostas de IA

Veja em quais respostas do ChatGPT, do Gemini, do Perplexity e do Google você aparece, no Brasil e em outros mercados.

Ver planos

Perguntas frequentes

Descubra sem esforço a visibilidade da sua marca na pesquisa com IA

Iniciar teste gratuito