OpenAI
GPTBot
O GPTBot é o crawler web da OpenAI utilizado para recolher dados de treino para o ChatGPT e outros grandes modelos de linguagem. É um dos crawlers de IA mais ativos da web.
Posição atual
#7
Percentagem de tráfego
4.0%
Operador
OpenAI
Categoria
Crawler de treino de IA
O que é GPTBot?
O GPTBot é um rastreador da Web operado pela OpenAI para recolher dados disponíveis publicamente na Internet. Esses dados são usados para treinar e aperfeiçoar modelos de IA como o ChatGPT, o GPT-4 e outros produtos da OpenAI.
Lançado em agosto de 2023, o GPTBot tornou-se rapidamente um dos rastreadores mais debatidos pela comunidade de profissionais que gerem sites. A OpenAI apresentou-o com uma opção clara para impedir o rastreio através do ficheiro robots.txt, dando aos proprietários de sites controlo sobre a utilização dos seus conteúdos no treino de IA.
O GPTBot exclui conteúdos protegidos por paywall, conteúdos que violem as políticas da OpenAI e informações pessoais identificáveis (PII). O objetivo é recolher texto de alta qualidade e disponível publicamente.
Como bloquear GPTBot
Para impedir que o GPTBot rastreie o seu site e utilize o seu conteúdo para treino de IA, adicione o seguinte ao seu ficheiro robots.txt:
robots.txt
User-agent: GPTBot Disallow: /
Bloquear o GPTBot impede que o seu conteúdo seja utilizado para treinar futuros modelos da OpenAI. No entanto, o conteúdo já recolhido antes de adicionar o bloqueio pode ter sido utilizado em treinos anteriores. Bloquear o GPTBot não afeta a forma como o ChatGPT se refere ao seu site nas conversas.
Como verificar pedidos de GPTBot
A OpenAI publica os intervalos de IP do GPTBot num ficheiro de texto. Verifique os pedidos recebidos comparando o IP de origem com esta lista.
Intervalos de IP do GPTBot (TXT)
https://openai.com/gptbot-ranges.txtDetalhes técnicos de GPTBot
Cadeia User-Agent: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; GPTBot/1.0; +https://openai.com/gptbot)
Respeita as diretivas do robots.txt para o user-agent GPTBot
Intervalos de IP publicados pela OpenAI para verificação
Filtra conteúdo com paywall e informações pessoalmente identificáveis (PII) por conceção
Suporta bloqueio parcial: pode permitir o acesso a alguns caminhos e bloquear outros
Separado do ChatGPT-User (o bot que obtém páginas quando o ChatGPT navega na web em tempo real)
Como GPTBot afeta o seu site
Permitir que o GPTBot rastreie o seu conteúdo significa que este pode ser utilizado para treinar futuros modelos da OpenAI. Isto pode fazer com que o ChatGPT e outras ferramentas tenham um melhor conhecimento da sua marca, produtos ou setor, o que pode originar recomendações geradas por IA mais precisas.
Muitos editores e criadores de conteúdo optaram por bloquear o GPTBot por uma questão de princípio, argumentando que o treino de IA com o seu conteúdo sem compensação é injusto. Outros veem-no como uma oportunidade de aumentar a visibilidade na IA. A escolha depende da sua estratégia de conteúdo.
Perguntas frequentes sobre o GPTBot
Acompanhe como os crawlers de IA afetam a visibilidade da sua marca
A LLM Pulse monitoriza as menções à sua marca nos modelos de IA. Veja quais os crawlers que visitam o seu site e como isso se traduz na visibilidade da sua marca nas respostas dos modelos de IA.