Kostenloses Tool zur KI-Suche
robots.txt-Generator für KI-Bots
Legen Sie fest, welche der 36 KI-Crawler, Such-Bots und KI-Assistenten Ihre Website lesen dürfen, und erhalten Sie in Sekunden eine robots.txt, die Sie direkt hochladen können.
Starten Sie mit einer Vorlage
Wählen Sie einen Ausgangspunkt und passen Sie danach einzelne Bots unten an.
Wählen Sie die Bots einzeln aus
Schalten Sie einen Bot aus, um ihn zu blockieren. Zu jedem Bot ist das Unternehmen angegeben, das ihn betreibt.
Optionale Regeln für alle Bots
Ein Pfad pro Zeile. Alle Bots, die Sie erlauben, lassen diese Pfade aus.
Optional. Hilft allen Crawlern, Ihre Seiten zu finden.
Erlaubt: 36 Blockiert: 0
Veröffentlichen Sie die Datei
Laden Sie die Datei in das Stammverzeichnis Ihrer Domain hoch, sodass sie zum Beispiel unter example.com/robots.txt erreichbar ist. Prüfen Sie anschließend, wie jeder KI-Bot sie liest.
Veröffentlichte robots.txt prüfenVor dem Blockieren
Welche KI-Bots sollten Sie blockieren?
KI-Bots lassen sich in drei Gruppen einteilen. Eine Blockierung hat für jede Gruppe andere Folgen. Entscheiden Sie deshalb Gruppe für Gruppe, statt pauschal alle zu blockieren.
Crawler der KI-Suche
Diese Crawler indexieren Seiten, damit KI-Suchmaschinen und KI-Antworten sie zitieren und verlinken können.
Wenn Sie diese Bots blockieren, zitiert und verlinkt die KI-Suche Ihre Seiten nicht mehr.
OAI-SearchBot, PerplexityBot, Claude-SearchBot, Applebot
KI-Assistenten (Abruf auf Anfrage)
Diese Bots rufen eine Seite ab, wenn eine Person einen KI-Assistenten bittet, sie zu öffnen oder zu lesen.
Wenn Sie diese Bots blockieren, können KI-Assistenten Ihre Seiten nicht für Personen öffnen, die Fragen zu Ihnen stellen.
ChatGPT-User, Perplexity-User, Claude-User, Meta-ExternalFetcher
KI-Trainings-Crawler
Diese Crawler sammeln Seiten, um KI-Modelle zu trainieren und Datensätze dafür aufzubauen.
Wenn Sie diese Bots blockieren, erfahren künftige Modelle weniger über Sie, die KI-Suche kann Sie aber weiterhin zitieren.
GPTBot, ClaudeBot, Claude-Web, anthropic-ai
Häufige Fragen zur robots.txt für KI-Bots
Wie KI-Crawler die robots.txt lesen und was eine Blockierung bewirkt.
Entdecken Sie weitere kostenlose Tools zur KI-Suche
LLM Pulse ist die All-in-One-Plattform für KI-Suche und GEO. Prüfen Sie mit diesen kostenlosen Tools, wie KI-Systeme Ihre Marke sehen, und beobachten Sie anschließend alles an einem Ort.
Sehen Sie, wie oft KI-Systeme wie ChatGPT, Perplexity und Gemini Ihre Marke erwähnen.
Prüfen Sie, ob KI-Antworten Ihre Marke bei den Prompts erwähnen, auf die es ankommt.
Messen Sie, wie gut Ihre Marke in KI-Systemen auffindbar ist.
Durchsuchen Sie in ChatGPT beobachtete Anzeigen nach Werbetreibendem, Land, Werbebotschaft und Datum.
Erstellen Sie einen GA4-Regex, der ChatGPT, Perplexity, Gemini und andere KI-Assistenten in einem Channel zusammenfasst.
Bewerten Sie Ihre Domain anhand der Dateien, Formate und Schnittstellen, nach denen KI-Agenten suchen.
Testen Sie, ob KI-Systeme Ihre Seiten crawlen und rendern können.
Prüfen Sie, ob KI-Crawler Ihre Website lesen dürfen.
Legen Sie fest, welche KI-Crawler, Such-Bots und KI-Assistenten Ihre Website lesen dürfen, und erhalten Sie eine fertige robots.txt.
Erstellen Sie eine llms.txt-Datei, damit KI-Crawler Ihre Website verstehen.
Prüfen Sie, ob Ihre Website in Common Crawl enthalten ist, dem offenen Korpus, mit dem die meisten KI-Modelle trainiert werden.
Prüfen Sie, ob Ihre Website-Struktur KI-Systemen hilft, Sie zu verstehen.
Prüfen Sie Ihre strukturierten Daten, damit KI-Systeme und Suchmaschinen Ihre Seiten verstehen.
Bewerten Sie, wie gut eine Seite für Answer Engines optimiert ist.
Sehen Sie, ob Ihre Inhalte bereit sind, in KI-Antworten zitiert zu werden.
Validieren Sie Ihren Produktfeed für die Ergebnisse von ChatGPT Shopping.
Entfernen Sie versteckte Zeichen, ungewöhnliche Abstände und Formatierungsreste aus eingefügtem Text.
Scannen Sie Texte auf unsichtbare Zeichen von Wasserzeichen, decodieren Sie versteckte Daten und entfernen Sie die Zeichen.
Erfahren Sie, welche KI-Bots Ihre Website lesen
Sehen Sie, welche KI-Bots Ihre Website tatsächlich besuchen, welche Seiten sie lesen und wie oft KI-Antworten Ihre Marke erwähnen.