OpenAI
GPTBot
GPTBot ist der Webcrawler von OpenAI. Er sammelt Trainingsdaten für ChatGPT und andere große Sprachmodelle und gehört zu den aktivsten KI-Crawlern im Web.
Aktueller Platz
#7
Traffic-Anteil
4.38%
Betreiber
OpenAI
Kategorie
KI-Trainings-Crawler
Was ist GPTBot?
GPTBot ist ein Webcrawler, mit dem OpenAI öffentlich zugängliche Daten aus dem Internet sammelt. Mit diesen Daten werden KI-Modelle wie ChatGPT und GPT-4 sowie weitere Produkte von OpenAI trainiert und verbessert.
GPTBot wurde im August 2023 eingeführt und zählte in der Webbranche schnell zu den meistdiskutierten Crawlern. OpenAI hat dabei von Anfang an eine klare Opt-out-Möglichkeit per robots.txt vorgesehen. So entscheiden Sie selbst, ob Ihre Inhalte für KI-Training genutzt werden.
GPTBot filtert Inhalte hinter Bezahlschranken, Inhalte, die gegen die Richtlinien von OpenAI verstoßen, und personenbezogene Daten heraus. Ziel ist es, hochwertige und öffentlich zugängliche Textdaten zu sammeln.
So blockieren Sie GPTBot
Um zu verhindern, dass GPTBot Ihre Website crawlt und Ihre Inhalte für das KI-Training verwendet, fügen Sie Ihrer robots.txt Folgendes hinzu:
robots.txt
User-agent: GPTBot Disallow: /
Wenn Sie GPTBot blockieren, werden Ihre Inhalte nicht für das Training künftiger OpenAI-Modelle verwendet. Inhalte, die vor der Blockierung bereits gesammelt wurden, können jedoch in frühere Trainingsläufe eingeflossen sein. Die Blockierung von GPTBot hat keinen Einfluss darauf, wie ChatGPT in Unterhaltungen auf Ihre Website verweist.
So verifizieren Sie Anfragen von GPTBot
OpenAI veröffentlicht die IP-Bereiche von GPTBot in einer Textdatei. Verifizieren Sie eingehende Anfragen, indem Sie die Quell-IP mit dieser Liste abgleichen.
IP-Bereiche von GPTBot (TXT)
https://openai.com/gptbot-ranges.txtGPTBot: technische Details
User-Agent-String: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; GPTBot/1.0; +https://openai.com/gptbot)
Beachtet die Anweisungen in der robots.txt für den User-Agent GPTBot
Von OpenAI veröffentlichte IP-Bereiche zur Verifizierung
Filtert Inhalte hinter Paywalls und personenbezogene Daten von vornherein heraus
Unterstützt teilweises Blockieren: Sie können den Zugriff auf einzelne Pfade erlauben und andere blockieren
Getrennt von ChatGPT-User (dem Bot, der Seiten abruft, wenn ChatGPT in Echtzeit im Web recherchiert)
GPTBot: Auswirkungen auf Ihre Website
Wenn Sie GPTBot das Crawlen Ihrer Inhalte erlauben, können diese für das Training künftiger OpenAI-Modelle verwendet werden. Dadurch wissen ChatGPT und andere Tools möglicherweise mehr über Ihre Marke, Ihre Produkte oder Ihre Branche, was zu genaueren KI-generierten Empfehlungen führen kann.
Viele Verlage und Kreative blockieren GPTBot aus Prinzip, weil sie es für unfair halten, dass KI ohne Vergütung mit ihren Inhalten trainiert wird. Andere sehen darin eine Chance auf mehr KI-Sichtbarkeit. Die Entscheidung hängt von Ihrer Content-Strategie ab.
Häufige Fragen zu GPTBot
Beobachten Sie, wie KI-Crawler Ihre Markensichtbarkeit beeinflussen
LLM Pulse beobachtet, wie KI-Modelle Ihre Marke erwähnen. Sehen Sie, welche Crawler Ihre Website besuchen und wie sich das auf Ihre KI-Sichtbarkeit auswirkt.