OpenAI
GPTBot
GPTBot est le crawler d’OpenAI qui collecte des données d’entraînement pour ChatGPT et d’autres grands modèles de langage. C’est l’un des crawlers IA les plus actifs du web.
Rang actuel
#4
Part du trafic
6,78 %
Exploitant
OpenAI
Catégorie
Crawler d’entraînement IA
GPTBot : de quoi s’agit-il ?
GPTBot est un crawler exploité par OpenAI pour collecter des données publiques sur Internet. Ces données servent à entraîner et améliorer des modèles d’IA comme ChatGPT, GPT-4 et d’autres produits d’OpenAI.
Lancé en août 2023, GPTBot est vite devenu l’un des crawlers les plus commentés par les webmasters. OpenAI l’a présenté avec un mécanisme d’opposition (opt-out) clair via robots.txt, qui permet aux propriétaires de sites de décider si leurs contenus servent à l’entraînement de l’IA.
GPTBot exclut les contenus payants, ceux qui enfreignent les règles d’OpenAI et les données personnelles identifiantes (PII). Il vise à collecter des données textuelles publiques de haute qualité.
Comment bloquer GPTBot
Pour empêcher GPTBot d’explorer votre site et d’utiliser vos contenus pour l’entraînement de l’IA, ajoutez les lignes suivantes à votre fichier robots.txt :
robots.txt
User-agent: GPTBot Disallow: /
Bloquer GPTBot empêche l’utilisation de vos contenus pour entraîner les futurs modèles d’OpenAI. Les contenus collectés avant la mise en place du blocage ont toutefois pu servir lors d’entraînements précédents. Bloquer GPTBot n’a aucun effet sur la façon dont ChatGPT fait référence à votre site dans les conversations.
Vérifier les requêtes du crawler GPTBot
OpenAI publie les plages d’adresses IP de GPTBot dans un fichier texte. Vérifiez les requêtes entrantes en comparant leur IP source à cette liste.
Plages d’IP de GPTBot (TXT)
https://openai.com/gptbot-ranges.txtGPTBot : détails techniques
Chaîne user-agent : Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; GPTBot/1.0; +https://openai.com/gptbot)
Respecte les directives de robots.txt pour le user-agent GPTBot
Plages d’adresses IP publiées par OpenAI pour la vérification
Conçu pour exclure les contenus payants et les données personnelles
Permet le blocage partiel : vous pouvez autoriser certains chemins et en bloquer d’autres
Distinct de ChatGPT-User (le bot qui récupère des pages quand ChatGPT navigue sur le web en temps réel)
GPTBot : quel effet sur votre site ?
Autoriser GPTBot à explorer vos contenus signifie qu’ils pourront servir à entraîner les futurs modèles d’OpenAI. ChatGPT et d’autres outils pourraient ainsi mieux connaître votre marque, vos produits ou votre secteur, et formuler des recommandations plus justes.
De nombreux éditeurs et créateurs de contenu bloquent GPTBot par principe : selon eux, entraîner l’IA sur leurs contenus sans contrepartie est injuste. D’autres y voient une occasion de gagner en visibilité IA. Le choix dépend de votre stratégie de contenu.
Questions fréquentes sur GPTBot
- GPTBot explore les contenus web publics pour entraîner et améliorer les modèles d’IA d’OpenAI, dont ChatGPT, GPT-4 et les futurs modèles.
- Non, bloquer GPTBot empêche seulement l’utilisation de vos contenus pour l’entraînement des futurs modèles. La navigation en temps réel de ChatGPT passe par un autre crawler (ChatGPT-User), et ChatGPT peut encore mentionner votre marque à partir de ses données d’entraînement existantes.
- GPTBot collecte des données pour l’entraînement des modèles d’IA. ChatGPT-User est le crawler qui récupère des pages web en temps réel quand un utilisateur demande à ChatGPT de naviguer sur Internet pendant une conversation. Leurs rôles sont différents et ils se contrôlent indépendamment.
- Oui, avec des règles robots.txt propres à certains chemins. Par exemple, vous pouvez bloquer /private-content/ avec Disallow tout en autorisant GPTBot à explorer le reste de votre site.
- OpenAI publie les plages d’adresses IP utilisées par GPTBot. Vous pouvez vérifier les requêtes en comparant leur adresse IP à ces plages publiées.
- Tout dépend de votre stratégie de contenu. Bloquer GPTBot empêche l’entraînement futur, mais peut réduire la présence de votre marque dans les modèles d’IA. L’autoriser donne à OpenAI accès à vos contenus, mais peut améliorer la façon dont les outils d’IA décrivent votre marque.
Suivez l’effet des crawlers IA sur la visibilité de votre marque
LLM Pulse suit la façon dont les modèles d’IA mentionnent votre marque. Découvrez quels crawlers visitent votre site et ce que cela change pour votre visibilité IA.