Meta
Meta-ExternalAgent
Meta-ExternalAgent ist der KI-Trainings-Crawler von Meta. Er sammelt Daten für die Llama-Modelle und für Produkte rund um Meta AI, etwa Meta AI in WhatsApp, Instagram und Facebook.
Aktueller Platz
#2
Traffic-Anteil
7.94%
Betreiber
Meta
Kategorie
KI-Trainings-Crawler
Was ist Meta-ExternalAgent?
Meta-ExternalAgent ist ein Webcrawler, mit dem Meta (ehemals Facebook) Trainingsdaten für die eigenen KI-Modelle sammelt, darunter die großen Sprachmodelle der Llama-Familie.
Dieser Crawler arbeitet getrennt von facebookexternalhit, dem Linkvorschau-Crawler von Meta. Meta-ExternalAgent sammelt gezielt Daten für das KI-Training und unterstützt damit die Produkte rund um Meta AI in WhatsApp, Instagram, Facebook und Messenger.
Meta führte Meta-ExternalAgent ein, als das Unternehmen seine Investitionen in KI deutlich ausweitete. Der Crawler erfasst öffentlich zugängliche Webinhalte, um die KI-Funktionen von Meta zu trainieren und zu verbessern.
So blockieren Sie Meta-ExternalAgent
Um Meta-ExternalAgent vom Crawlen Ihrer Website für das KI-Training auszuschließen, fügen Sie Ihrer robots.txt Folgendes hinzu:
robots.txt
User-agent: Meta-ExternalAgent Disallow: /
Wenn Sie Meta-ExternalAgent blockieren, verhindern Sie nur das Crawling für das KI-Training. Wie Ihre Links aussehen, wenn sie über Facebook oder Instagram geteilt werden, bleibt davon unberührt. Dafür ist facebookexternalhit zuständig, ein separater Crawler.
So verifizieren Sie Anfragen von Meta-ExternalAgent
Verifizieren Sie Crawler von Meta, indem Sie die Quell-IP mit den IP-Bereichen von Meta (AS32934) abgleichen. Diese Bereiche ändern sich häufig. Prüfen Sie deshalb immer anhand der aktuellen Liste.
Befehl zur Verifizierung
whois -h whois.radb.net -- '-i origin AS32934' | grep ^route
Meta-ExternalAgent: technische Details
User-Agent-String: Meta-ExternalAgent/1.0 (+https://www.facebook.com/externalhit_uatext.php)
Beachtet die Anweisungen in der robots.txt
Getrennt von facebookexternalhit (Crawler für Linkvorschauen)
Wird für das Training von Llama und anderen KI-Modellen von Meta genutzt
Gehört gemessen am Traffic-Volumen zu den am schnellsten wachsenden KI-Crawlern
Meta-ExternalAgent: Auswirkungen auf Ihre Website
Wenn Sie Meta-ExternalAgent das Crawlen Ihrer Website erlauben, können Ihre Inhalte für das Training der Llama-Modelle und anderer KI-Produkte von Meta verwendet werden. Das kann beeinflussen, wie Meta AI in WhatsApp, Instagram, Facebook und Messenger Fragen zu Ihrer Marke beantwortet.
Meta AI wird weltweit von Milliarden Menschen genutzt. Korrekte KI-Trainingsdaten von Ihrer Website könnten verbessern, wie Meta AI Ihre Marke in Unterhaltungen darstellt.
Häufige Fragen zu Meta-ExternalAgent
Beobachten Sie, wie KI-Crawler Ihre Markensichtbarkeit beeinflussen
LLM Pulse beobachtet, wie KI-Modelle Ihre Marke erwähnen. Sehen Sie, welche Crawler Ihre Website besuchen und wie sich das auf Ihre KI-Sichtbarkeit auswirkt.