KI-Trainingsdatenprüfung von

Common Crawl ist der größte kostenlose und offene Crawl des Webs und wird jeden Monat aktualisiert. Für die meisten großen Sprachmodelle ist Common Crawl eine der wichtigsten Trainingsquellen. Ist Ihre Website darin enthalten, ist das ein guter Anhaltspunkt dafür, dass KI-Systeme sie erreichen können.

Wir zeigen Ihre Präsenz in den jüngsten monatlichen Snapshots. Die genaue Anzahl variiert, aber wir prüfen mehrere der neuesten Crawls, damit sowohl Aktualität als auch Beständigkeit sichtbar werden.

Nein. Diese Prüfung liest nur den öffentlichen Index von Common Crawl. Ihre Seiten werden dabei weder abgerufen noch gespeichert. Ihre E-Mail-Adresse verwenden wir, um Ihnen den Bericht zuzustellen und Ihnen unseren Newsletter zur KI-Suche zu senden, den Sie jederzeit abbestellen können.

Wenn Ihre Website in Common Crawl enthalten ist, konnten die Trainings-Crawler Ihre Seiten erreichen. Ob KI-Systeme Sie tatsächlich erwähnen oder zitieren, ist eine andere Frage. Genau das beobachtet LLM Pulse direkt.

Common Crawl ist ein kostenloses, offenes Archiv des Webs, das jeden Monat neu gecrawlt wird. Es ist die größte öffentliche Quelle für Trainingsdaten großer Sprachmodelle, etwa der Modelle hinter ChatGPT, Claude und Gemini. Wenn Ihre Seiten in Common Crawl enthalten sind, waren sie für die Crawler erreichbar, die das KI-Training mit Daten versorgen.

Wir durchsuchen den Index von Common Crawl in den neuesten monatlichen Snapshots nach Ihrer Domain. Im Bericht sehen Sie, ob Ihre Website erfasst wurde, wie viele Seiten indexiert wurden und wann die letzte Erfassung stattfand, dazu echte Beispiel-URLs.

Common Crawl erfasst nur eine Stichprobe des Webs, und das mit einigen Wochen Verzögerung. Fehlt eine Seite in einem Snapshot, beweist das also nicht, dass sie für KI unsichtbar ist. Aussagekräftig ist eine beständige Präsenz über mehrere Crawls. Um Zugriffsprobleme auszuschließen, nutzen Sie zusätzlich die robots.txt-Prüfung für KI-Bots und die GEO-Crawlbarkeitsprüfung.