Classement des crawlers en direct, mis à jour chaque jour
Indice des crawlers IA : quels bots explorent le plus le web ?
L’Indice des crawlers IA classe les crawlers les plus actifs du web, des bots de moteurs de recherche comme Googlebot et Bingbot aux crawlers d’entraînement de l’IA comme GPTBot (OpenAI), ClaudeBot (Anthropic) et Meta-ExternalAgent (Meta). Mis à jour chaque jour avec les données de Cloudflare Radar, qui couvrent des milliards de requêtes vers des millions de sites web.
Crawlers les plus actifs
ClaudeBot
Anthropic
7,84 %
Googlebot
22,33 %
facebookexternalhit
Meta
6,83 %
Activité des bots : 90 derniers jours
Source : Cloudflare Radar (volumes de requêtes normalisés sur le réseau mondial de Cloudflare)
Classement des crawlers identifiés
Le trafic agrégé des bots apparaît à part pour ne pas devancer un crawler individuel.
Googlebot
22,33 %
ClaudeBot
Anthropic
7,84 %
facebookexternalhit
Meta
6,83 %
GPTBot
OpenAI
6,78 %
Applebot
Apple
5,62 %
Bingbot
Microsoft
4,57 %
Meta-ExternalAgent
Meta
4,26 %
Amazonbot
Amazon
2,2 %
YandexBot
Yandex
1,6 %
GoogleOther
1,55 %
PetalBot
Huawei
1,29 %
Autres bots
Trafic cumulé des crawlers à faible volume et non classés. Inclus dans les totaux du graphique, mais exclu du classement des crawlers.
À propos de cette catégorie agrégée35,14 %
À propos de ces bots
Googlebot
(Google)Principal crawler web de Google, qui indexe les pages pour la recherche Google. Le crawler le plus actif du web.
Bloquer via robots.txt :
User-agent: Googlebot
ClaudeBot
(Anthropic)Crawler web d’Anthropic utilisé pour entraîner les modèles d’IA Claude. Respecte les directives de robots.txt.
Bloquer via robots.txt :
User-agent: ClaudeBot
facebookexternalhit
(Meta)Crawler de Meta qui récupère les aperçus de pages quand des URL sont partagées sur Facebook et Instagram.
Bloquer via robots.txt :
User-agent: facebookexternalhit
GPTBot
(OpenAI)Crawler web d’OpenAI utilisé pour entraîner et améliorer ChatGPT et d’autres modèles. Respecte les directives de robots.txt.
Bloquer via robots.txt :
User-agent: GPTBot
Applebot
(Apple)Crawler web d’Apple au service de Siri, de Spotlight et des fonctionnalités Apple Intelligence.
Bloquer via robots.txt :
User-agent: Applebot
Bingbot
(Microsoft)Crawler web de Microsoft qui indexe les pages pour la recherche Bing et alimente les réponses de Copilot.
Bloquer via robots.txt :
User-agent: Bingbot
Meta-ExternalAgent
(Meta)Crawler de Meta dédié à l’entraînement de l’IA, utilisé pour les modèles Llama et les produits Meta AI.
Bloquer via robots.txt :
User-agent: Meta-ExternalAgent
Amazonbot
(Amazon)Crawler d’Amazon pour l’IA d’Alexa et ses services d’apprentissage automatique.
Bloquer via robots.txt :
User-agent: Amazonbot
YandexBot
(Yandex)Crawler web de Yandex qui indexe les pages pour le plus grand moteur de recherche russe.
Bloquer via robots.txt :
User-agent: YandexBot
GoogleOther
(Google)Crawler secondaire de Google, utilisé pour des travaux de recherche et des tâches d’indexation hors moteur de recherche.
Bloquer via robots.txt :
User-agent: GoogleOther
Questions fréquentes sur l’Indice des crawlers IA
- Un crawler IA est un bot automatisé qui télécharge des pages web pour alimenter des produits d’IA. Certains collectent des données d’entraînement pour les grands modèles de langage (GPTBot, ClaudeBot, Meta-ExternalAgent), d’autres indexent des contenus pour la recherche et les assistants IA (Googlebot, Bingbot, Applebot).
- Googlebot est systématiquement le crawler le plus actif du web. Parmi les bots d’entraînement de l’IA, GPTBot (OpenAI), ClaudeBot (Anthropic) et Meta-ExternalAgent (Meta) génèrent les plus gros volumes de crawl, et leur part ne cesse de croître.
- Tout dépend de vos objectifs : bloquer les bots d’entraînement de l’IA via robots.txt exclut vos contenus de l’entraînement des futurs modèles, mais peut aussi réduire la précision avec laquelle les assistants IA décrivent votre marque. La plupart des marques soucieuses de leur visibilité IA les autorisent.
- L’indice repose sur les données de trafic des bots de Cloudflare Radar, normalisées sur le réseau mondial de Cloudflare, et LLM Pulse l’actualise chaque jour.
Suivez l’effet des crawlers IA sur la visibilité de votre marque
LLM Pulse suit la façon dont les modèles d’IA mentionnent votre marque. Découvrez quels crawlers visitent votre site et ce que cela change pour votre visibilité IA.