Meta
Meta-ExternalAgent
O Meta-ExternalAgent é o crawler de treino de IA da Meta utilizado para recolher dados para os modelos Llama e produtos Meta AI como o Meta AI no WhatsApp, Instagram e Facebook.
Posição atual
#2
Percentagem de tráfego
13.01%
Operador
Meta
Categoria
Crawler de treino de IA
O que é Meta-ExternalAgent?
O Meta-ExternalAgent é um crawler web operado pela Meta (antiga Facebook) para recolher dados de treino para os seus modelos de IA, incluindo a família de grandes modelos de linguagem Llama.
Este crawler é separado do facebookexternalhit, que é o crawler de pré-visualizações de links da Meta. O Meta-ExternalAgent recolhe especificamente dados para fins de treino de IA, apoiando os produtos Meta AI no WhatsApp, Instagram, Facebook e Messenger.
O Meta-ExternalAgent foi introduzido à medida que a Meta reforçou os seus investimentos em IA. Rastreia conteúdo web de acesso público para treinar e melhorar as capacidades de IA da Meta.
Como bloquear Meta-ExternalAgent
Para impedir que o Meta-ExternalAgent rastreie o seu site para fins de treino de IA, adicione o seguinte ao seu robots.txt:
robots.txt
User-agent: Meta-ExternalAgent Disallow: /
Bloquear o Meta-ExternalAgent apenas impede o rastreamento para treino de IA. Não afeta a forma como os seus links aparecem quando partilhados no Facebook ou no Instagram; isso é tratado pelo facebookexternalhit, que é um crawler separado.
Como verificar pedidos de Meta-ExternalAgent
Verifique os crawlers da Meta comparando o IP de origem com os intervalos de IP AS32934 da Meta. Estes intervalos mudam com frequência, por isso verifique sempre a lista atual.
Comando de verificação
whois -h whois.radb.net -- '-i origin AS32934' | grep ^route
Detalhes técnicos de Meta-ExternalAgent
Cadeia User-Agent: Meta-ExternalAgent/1.0 (+https://www.facebook.com/externalhit_uatext.php)
Respeita as diretivas do robots.txt
Separado do facebookexternalhit (crawler de pré-visualizações de links)
Utilizado para treinar o Llama e outros modelos de IA da Meta
Um dos crawlers de IA com crescimento mais rápido em volume de tráfego
Como Meta-ExternalAgent afeta o seu site
Permitir que o Meta-ExternalAgent rastreie o seu site significa que o seu conteúdo pode ser utilizado para treinar os modelos Llama da Meta e outros produtos de IA. Isto pode influenciar a forma como o Meta AI responde a perguntas sobre a sua marca no WhatsApp, Instagram, Facebook e Messenger.
O Meta AI é utilizado por milhares de milhões de pessoas em todo o mundo. Ter dados de treino de IA precisos do seu site pode melhorar a forma como o Meta AI representa a sua marca nas conversas.
Perguntas frequentes sobre o Meta-ExternalAgent
Acompanhe como os crawlers de IA afetam a visibilidade da sua marca
A LLM Pulse monitoriza as menções à sua marca nos modelos de IA. Veja quais os crawlers que visitam o seu site e como isso se traduz na visibilidade da sua marca nas respostas dos modelos de IA.