Classement des crawlers en direct, mis à jour chaque jour

Indice des crawlers IA : quels bots explorent le plus le web ?

L’Indice des crawlers IA classe les crawlers les plus actifs du web, des bots de moteurs de recherche comme Googlebot et Bingbot aux crawlers d’entraînement de l’IA comme GPTBot (OpenAI), ClaudeBot (Anthropic) et Meta-ExternalAgent (Meta). Mis à jour chaque jour avec les données de Cloudflare Radar, qui couvrent des milliards de requêtes vers des millions de sites web.

Crawlers les plus actifs

Anthropic

ClaudeBot

Anthropic

7,84 %

2
Google

Googlebot

Google

22,33 %

1
Meta

facebookexternalhit

Meta

6,83 %

3

Activité des bots : 90 derniers jours

Empilé 100 %
LLM Pulse

Source : Cloudflare Radar (volumes de requêtes normalisés sur le réseau mondial de Cloudflare)

Classement des crawlers identifiés

Le trafic agrégé des bots apparaît à part pour ne pas devancer un crawler individuel.

Autres bots

Trafic cumulé des crawlers à faible volume et non classés. Inclus dans les totaux du graphique, mais exclu du classement des crawlers.

À propos de cette catégorie agrégée

35,14 %

À propos de ces bots

Google

Googlebot

(Google)

Principal crawler web de Google, qui indexe les pages pour la recherche Google. Le crawler le plus actif du web.

Bloquer via robots.txt : User-agent: Googlebot

En savoir plus →
Anthropic

ClaudeBot

(Anthropic)

Crawler web d’Anthropic utilisé pour entraîner les modèles d’IA Claude. Respecte les directives de robots.txt.

Bloquer via robots.txt : User-agent: ClaudeBot

En savoir plus →
Meta

facebookexternalhit

(Meta)

Crawler de Meta qui récupère les aperçus de pages quand des URL sont partagées sur Facebook et Instagram.

Bloquer via robots.txt : User-agent: facebookexternalhit

En savoir plus →
OpenAI

GPTBot

(OpenAI)

Crawler web d’OpenAI utilisé pour entraîner et améliorer ChatGPT et d’autres modèles. Respecte les directives de robots.txt.

Bloquer via robots.txt : User-agent: GPTBot

En savoir plus →
Apple

Applebot

(Apple)

Crawler web d’Apple au service de Siri, de Spotlight et des fonctionnalités Apple Intelligence.

Bloquer via robots.txt : User-agent: Applebot

En savoir plus →
Microsoft

Bingbot

(Microsoft)

Crawler web de Microsoft qui indexe les pages pour la recherche Bing et alimente les réponses de Copilot.

Bloquer via robots.txt : User-agent: Bingbot

En savoir plus →
Meta

Meta-ExternalAgent

(Meta)

Crawler de Meta dédié à l’entraînement de l’IA, utilisé pour les modèles Llama et les produits Meta AI.

Bloquer via robots.txt : User-agent: Meta-ExternalAgent

En savoir plus →
Amazon

Amazonbot

(Amazon)

Crawler d’Amazon pour l’IA d’Alexa et ses services d’apprentissage automatique.

Bloquer via robots.txt : User-agent: Amazonbot

En savoir plus →
Yandex

YandexBot

(Yandex)

Crawler web de Yandex qui indexe les pages pour le plus grand moteur de recherche russe.

Bloquer via robots.txt : User-agent: YandexBot

En savoir plus →
Google

GoogleOther

(Google)

Crawler secondaire de Google, utilisé pour des travaux de recherche et des tâches d’indexation hors moteur de recherche.

Bloquer via robots.txt : User-agent: GoogleOther

En savoir plus →

Questions fréquentes sur l’Indice des crawlers IA

Suivez l’effet des crawlers IA sur la visibilité de votre marque

LLM Pulse suit la façon dont les modèles d’IA mentionnent votre marque. Découvrez quels crawlers visitent votre site et ce que cela change pour votre visibilité IA.