OpenAI

OpenAI

GPTBot

GPTBot est le crawler d’OpenAI qui collecte des données d’entraînement pour ChatGPT et d’autres grands modèles de langage. C’est l’un des crawlers IA les plus actifs du web.

Rang actuel

#4

Part du trafic

6,78 %

Exploitant

OpenAI

Catégorie

Crawler d’entraînement IA

GPTBot : activité des 90 derniers jours

LLM Pulse

Source : Cloudflare Radar

GPTBot : de quoi s’agit-il ?

GPTBot est un crawler exploité par OpenAI pour collecter des données publiques sur Internet. Ces données servent à entraîner et améliorer des modèles d’IA comme ChatGPT, GPT-4 et d’autres produits d’OpenAI.

Lancé en août 2023, GPTBot est vite devenu l’un des crawlers les plus commentés par les webmasters. OpenAI l’a présenté avec un mécanisme d’opposition (opt-out) clair via robots.txt, qui permet aux propriétaires de sites de décider si leurs contenus servent à l’entraînement de l’IA.

GPTBot exclut les contenus payants, ceux qui enfreignent les règles d’OpenAI et les données personnelles identifiantes (PII). Il vise à collecter des données textuelles publiques de haute qualité.

Comment bloquer GPTBot

Pour empêcher GPTBot d’explorer votre site et d’utiliser vos contenus pour l’entraînement de l’IA, ajoutez les lignes suivantes à votre fichier robots.txt :

robots.txt

User-agent: GPTBot
Disallow: /

Bloquer GPTBot empêche l’utilisation de vos contenus pour entraîner les futurs modèles d’OpenAI. Les contenus collectés avant la mise en place du blocage ont toutefois pu servir lors d’entraînements précédents. Bloquer GPTBot n’a aucun effet sur la façon dont ChatGPT fait référence à votre site dans les conversations.

Vérifier les requêtes du crawler GPTBot

OpenAI publie les plages d’adresses IP de GPTBot dans un fichier texte. Vérifiez les requêtes entrantes en comparant leur IP source à cette liste.

Plages d’IP de GPTBot (TXT)

https://openai.com/gptbot-ranges.txt

GPTBot : détails techniques

Chaîne user-agent : Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; GPTBot/1.0; +https://openai.com/gptbot)

Respecte les directives de robots.txt pour le user-agent GPTBot

Plages d’adresses IP publiées par OpenAI pour la vérification

Conçu pour exclure les contenus payants et les données personnelles

Permet le blocage partiel : vous pouvez autoriser certains chemins et en bloquer d’autres

Distinct de ChatGPT-User (le bot qui récupère des pages quand ChatGPT navigue sur le web en temps réel)

GPTBot : quel effet sur votre site ?

Autoriser GPTBot à explorer vos contenus signifie qu’ils pourront servir à entraîner les futurs modèles d’OpenAI. ChatGPT et d’autres outils pourraient ainsi mieux connaître votre marque, vos produits ou votre secteur, et formuler des recommandations plus justes.

De nombreux éditeurs et créateurs de contenu bloquent GPTBot par principe : selon eux, entraîner l’IA sur leurs contenus sans contrepartie est injuste. D’autres y voient une occasion de gagner en visibilité IA. Le choix dépend de votre stratégie de contenu.

Questions fréquentes sur GPTBot

Suivez l’effet des crawlers IA sur la visibilité de votre marque

LLM Pulse suit la façon dont les modèles d’IA mentionnent votre marque. Découvrez quels crawlers visitent votre site et ce que cela change pour votre visibilité IA.