Anthropic
ClaudeBot: der KI-Webcrawler von Anthropic
ClaudeBot ist der Webcrawler von Anthropic. Er sammelt Trainingsdaten für Claude, einen der führenden KI-Assistenten, der für seinen Fokus auf Sicherheit bekannt ist.
Aktueller Platz
#3
Traffic-Anteil
7.53%
Betreiber
Anthropic
Kategorie
KI-Trainings-Crawler
Was ist ClaudeBot?
ClaudeBot ist ein Webcrawler, mit dem Anthropic öffentlich zugängliche Webinhalte sammelt, um Claude, den KI-Assistenten des Unternehmens, zu trainieren. Claude ist für seinen Fokus auf Sicherheit, Hilfsbereitschaft und Ehrlichkeit bekannt.
Anthropic hat ClaudeBot eingeführt, um die eigene Crawling-Aktivität transparent zu kennzeichnen. Der Bot beachtet die Anweisungen in der robots.txt. So behalten Sie die volle Kontrolle darüber, ob Ihre Inhalte für das Training von Claude genutzt werden.
ClaudeBot konzentriert sich auf hochwertige, öffentlich zugängliche Webinhalte. Anthropic hat sich nach eigenen Angaben zu einer verantwortungsvollen Datenerhebung verpflichtet, die mit seiner Mission im Einklang steht, sichere KI zu entwickeln.
So blockieren Sie ClaudeBot
Um zu verhindern, dass ClaudeBot Ihre Website crawlt, fügen Sie Ihrer robots.txt Folgendes hinzu:
robots.txt
User-agent: ClaudeBot Disallow: /
Wenn Sie ClaudeBot blockieren, werden Ihre Inhalte nicht für das Training künftiger Claude-Modelle verwendet. Claude kann Ihre Marke aber weiterhin auf Grundlage früherer Trainingsdaten erwähnen. Die Blockierung hat keinen Einfluss darauf, ob Claude Ihre Inhalte zusammenfassen oder analysieren kann, wenn jemand sie direkt in den Chat einfügt.
So verifizieren Sie Anfragen von ClaudeBot
Anthropic veröffentlicht derzeit keine IP-Bereiche für ClaudeBot. Verifizieren Sie ClaudeBot anhand des User-Agent-Strings. Für eine Blockierung auf Serverebene überwachen Sie Ihre Access-Logs auf den User-Agent von ClaudeBot.
ClaudeBot: technische Details
User-Agent-String: ClaudeBot (https://www.anthropic.com)
Beachtet die Anweisungen in der robots.txt
Wird ausschließlich für das Training der Claude-Modelle genutzt
Anthropic veröffentlicht eine Dokumentation zum Crawler und beachtet Opt-out-Anfragen
Filtert private Inhalte und Inhalte hinter Bezahlschranken heraus
Weitere Agenten von Anthropic: Claude-User ruft Seiten in laufenden Chats ab, und Claude-SearchBot indexiert Inhalte für die Websuche in Claude. ClaudeBot selbst sammelt nur Trainingsdaten. Jeder der drei Agenten lässt sich in der robots.txt einzeln zulassen oder blockieren.
ClaudeBot: Auswirkungen auf Ihre Website
Wenn Sie ClaudeBot zulassen, können Ihre Inhalte beeinflussen, wie Claude über Ihre Marke, Ihre Branche und Ihre Produkte spricht. Da Millionen von Menschen und Unternehmen Claude nutzen, kann es Ihrer Marke zugutekommen, wenn sie in den Trainingsdaten korrekt dargestellt ist.
Claude ist in viele Arbeitsabläufe von Unternehmen und in Produktivitätstools integriert. Von ClaudeBot indexierte Inhalte fließen in die Wissensbasis von Claude ein, auf der diese Anwendungen aufbauen.
Häufige Fragen zu ClaudeBot
Beobachten Sie, wie KI-Crawler Ihre Markensichtbarkeit beeinflussen
LLM Pulse beobachtet, wie KI-Modelle Ihre Marke erwähnen. Sehen Sie, welche Crawler Ihre Website besuchen und wie sich das auf Ihre KI-Sichtbarkeit auswirkt.