robots.txt-Generator für KI-Bots
Der robots.txt-Generator für KI-Bots ist ein kostenloses Browser-Tool, das eine robots.txt für die KI-Bots schreibt, die wir erfassen. Sie legen fest, welche davon Ihre Website lesen dürfen, kopieren das Ergebnis oder laden es herunter und laden es in das Stammverzeichnis Ihrer Domain hoch.
Um eine robots.txt zu prüfen, die bereits veröffentlicht ist, nutzen Sie die robots.txt-Prüfung. Beide Tools finden Sie zusammen mit unseren anderen kostenlosen Tools unter Kostenlose Tools zur KI-Suche.
Die drei Arten von KI-Bots
Der Generator ordnet jeden Bot nach seiner Aufgabe einer Gruppe zu, weil eine Blockierung für jede Gruppe andere Folgen hat.
- Crawler der KI-Suche (zum Beispiel OAI-SearchBot, PerplexityBot und Claude-SearchBot) indexieren Seiten, damit KI-Suchmaschinen sie zitieren und verlinken können. Wenn Sie sie blockieren, zitiert die KI-Suche Ihre Seiten nicht mehr.
- KI-Assistenten (Abruf auf Anfrage), zum Beispiel ChatGPT-User, Perplexity-User und Claude-User, öffnen eine Seite, wenn eine Person einen Assistenten bittet, sie zu lesen. Wenn Sie sie blockieren, können Assistenten Ihre Seiten für diese Personen nicht öffnen.
- KI-Trainings-Crawler (zum Beispiel GPTBot, ClaudeBot, Google-Extended und CCBot) sammeln Seiten, um Modelle zu trainieren. Wenn Sie sie blockieren, erfahren künftige Modelle weniger über Sie, die KI-Suche kann Sie aber weiterhin zitieren.
So gehen Sie vor
- Wählen Sie eine Vorlage: Alle KI-Bots erlauben, Nur Trainings-Crawler blockieren oder Alle KI-Bots blockieren.
- Schalten Sie einzelne Bots ein oder aus. Zu jedem Schalter ist das Unternehmen angegeben, das den Bot betreibt.
- Geben Sie optional private Pfade an, einen pro Zeile. Alle Bots, die Sie erlauben, lassen diese Pfade aus, ebenso alle anderen Crawler.
- Fügen Sie optional die URL Ihrer Sitemap hinzu.
- Kopieren Sie die Datei oder laden Sie sie als robots.txt herunter, und laden Sie sie dann in das Stammverzeichnis Ihrer Domain hoch, zum Beispiel example.com/robots.txt.
Blockierte Bots werden unter einer Regel zusammengefasst, die die gesamte Website sperrt. Erlaubte Bots erhalten eine eigene Gruppe mit Ihren privaten Pfaden, weil ein Bot mit eigener Gruppe die Regeln ignoriert, die für alle anderen Crawler geschrieben sind.
Was die robots.txt nicht leisten kann
Die robots.txt ist eine Bitte, keine Sperre. Bekannte KI-Unternehmen geben an, dass ihre Bots sie befolgen, doch ein Crawler kann sie ignorieren. Wenn Sie einen Trainings-Crawler blockieren, gelangen keine neuen Seiten mehr in künftige Trainingsdaten; was ein Modell bereits gelernt hat, wird dadurch nicht entfernt. Um zu sehen, welche Bots Ihre Website tatsächlich besuchen, verbinden Sie Ihre Server- oder CDN-Logs in Agent Analytics.
Datenschutz
Der Generator läuft in Ihrem Browser. Nichts, was Sie eingeben, wird an uns gesendet.
