Meta
Meta-ExternalAgent
Meta-ExternalAgent est le crawler d’entraînement IA de Meta. Il collecte des données pour les modèles Llama et les produits d’IA de Meta, comme Meta AI dans WhatsApp, Instagram et Facebook.
Rang actuel
#7
Part du trafic
4,26 %
Exploitant
Meta
Catégorie
Crawler d’entraînement IA
Meta-ExternalAgent : de quoi s’agit-il ?
Meta-ExternalAgent est un crawler exploité par Meta (anciennement Facebook) pour collecter des données d’entraînement destinées à ses modèles d’IA, dont la famille de grands modèles de langage Llama.
Ce crawler est distinct de facebookexternalhit, le crawler de Meta chargé des aperçus de liens. Meta-ExternalAgent collecte spécifiquement des données pour l’entraînement de l’IA, au service des produits Meta AI sur WhatsApp, Instagram, Facebook et Messenger.
Meta-ExternalAgent est apparu lorsque Meta a intensifié ses investissements dans l’IA. Il explore les contenus web publics pour entraîner et améliorer les capacités d’IA de Meta.
Comment bloquer Meta-ExternalAgent
Pour empêcher Meta-ExternalAgent d’explorer votre site à des fins d’entraînement de l’IA, ajoutez les lignes suivantes à votre fichier robots.txt :
robots.txt
User-agent: Meta-ExternalAgent Disallow: /
Bloquer Meta-ExternalAgent empêche uniquement le crawl destiné à l’entraînement de l’IA. Cela n’a aucun effet sur l’affichage de vos liens partagés sur Facebook ou Instagram : ce rôle revient à facebookexternalhit, un crawler distinct.
Vérifier les requêtes du crawler Meta-ExternalAgent
Vérifiez les crawlers de Meta en comparant l’IP source aux plages d’adresses IP de l’AS32934 de Meta. Ces plages changent souvent : référez-vous toujours à la liste actuelle.
Commande de vérification
whois -h whois.radb.net -- '-i origin AS32934' | grep ^route
Meta-ExternalAgent : détails techniques
Chaîne user-agent : Meta-ExternalAgent/1.0 (+https://www.facebook.com/externalhit_uatext.php)
Respecte les directives de robots.txt
Distinct de facebookexternalhit (crawler des aperçus de liens)
Sert à entraîner Llama et d’autres modèles d’IA de Meta
L’un des crawlers IA dont le volume de trafic progresse le plus vite
Meta-ExternalAgent : quel effet sur votre site ?
Autoriser Meta-ExternalAgent à explorer votre site signifie que vos contenus pourront servir à entraîner les modèles Llama et d’autres produits d’IA de Meta. Cela peut influer sur les réponses de Meta AI aux questions sur votre marque dans WhatsApp, Instagram, Facebook et Messenger.
Meta AI est utilisé par des milliards de personnes dans le monde. Des données d’entraînement exactes issues de votre site pourraient améliorer la façon dont Meta AI présente votre marque dans les conversations.
Questions fréquentes sur Meta-ExternalAgent
- Meta-ExternalAgent est le crawler de Meta dédié à la collecte de données d’entraînement pour des modèles d’IA comme Llama et Meta AI.
- Meta-ExternalAgent explore les contenus pour entraîner des modèles d’IA. facebookexternalhit récupère les pages pour générer des aperçus de liens quand des URL sont partagées sur Facebook et Instagram. Leurs rôles sont totalement différents.
- Non, les aperçus de liens Facebook sont générés par facebookexternalhit, un crawler distinct. Bloquer Meta-ExternalAgent n’a d’effet que sur la collecte de données d’entraînement pour l’IA.
- Meta-ExternalAgent collecte des données pour la famille de modèles Llama (Llama 2, Llama 3, etc.) et pour Meta AI, qui alimente les fonctionnalités d’IA de Facebook, Instagram, WhatsApp et Messenger.
- Tout dépend de vos priorités. Si vous voulez que Meta AI dispose d’informations exactes sur votre marque, autoriser le crawler peut vous être utile. Si vous préférez refuser la collecte de vos contenus pour l’entraînement de l’IA, le bloquer est simple.
Suivez l’effet des crawlers IA sur la visibilité de votre marque
LLM Pulse suit la façon dont les modèles d’IA mentionnent votre marque. Découvrez quels crawlers visitent votre site et ce que cela change pour votre visibilité IA.