OpenAI
GPTBot es el rastreador web de OpenAI, utilizado para recopilar datos de entrenamiento para ChatGPT y otros grandes modelos de lenguaje. Es uno de los rastreadores de IA más activos de la web.
Current Rank
#5
Traffic Share
7.04%
Operator
OpenAI
Category
Rastreador de entrenamiento de IA
GPTBot es un rastreador web operado por OpenAI para recopilar datos disponibles públicamente en internet. Estos datos se utilizan para entrenar y mejorar modelos de IA como ChatGPT, GPT-4 y otros productos de OpenAI.
Lanzado en agosto de 2023, GPTBot se convirtió rápidamente en uno de los rastreadores más comentados entre la comunidad de webmasters. OpenAI lo presentó con un mecanismo de exclusión claro mediante robots.txt, que da a los propietarios de sitios web el control sobre si su contenido se utiliza para el entrenamiento de IA.
GPTBot filtra el contenido de pago, el contenido que infringe las políticas de OpenAI y la información personal identificable (PII). Su objetivo es recopilar datos de texto de alta calidad y de acceso público.
Para impedir que GPTBot rastree tu sitio web y utilice tu contenido para el entrenamiento de IA, añade lo siguiente a tu archivo robots.txt:
robots.txt
User-agent: GPTBot Disallow: /
Bloquear GPTBot evitará que tu contenido se utilice para entrenar futuros modelos de OpenAI. No obstante, el contenido recopilado antes de añadir el bloqueo puede haberse utilizado en entrenamientos anteriores. Bloquear GPTBot no afecta a cómo ChatGPT menciona tu sitio en las conversaciones.
OpenAI publica los rangos de IP de GPTBot en un archivo de texto. Verifica las solicitudes entrantes comprobando la IP de origen con esta lista.
Rangos de IP de GPTBot (TXT)
https://openai.com/gptbot-ranges.txtCadena User-Agent: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; GPTBot/1.0; +https://openai.com/gptbot)
Respeta las directivas de robots.txt para el user-agent GPTBot
Rangos de IP publicados por OpenAI para su verificación
Filtra por diseño el contenido de pago y la información personal identificable (PII)
Admite el bloqueo parcial: puedes permitir el acceso a algunas rutas y bloquear otras
Es independiente de ChatGPT-User (el bot que obtiene páginas cuando ChatGPT navega por la web en tiempo real)
Permitir que GPTBot rastree tu contenido significa que este podría utilizarse para entrenar futuros modelos de OpenAI. Esto podría hacer que ChatGPT y otras herramientas tengan un mejor conocimiento de tu marca, tus productos o tu sector, lo que puede dar lugar a recomendaciones generadas por IA más precisas.
Muchos editores y creadores de contenido han optado por bloquear GPTBot por principio, argumentando que entrenar IA con su contenido sin compensación es injusto. Otros lo ven como una oportunidad para aumentar su visibilidad en IA. La decisión depende de tu estrategia de contenido.
LLM Pulse monitors how AI models mention your brand. See which crawlers visit your site and how that translates into AI visibility.