Various
Autres bots
Cette catégorie regroupe de nombreux crawlers et bots plus modestes qui, pris isolément, représentent une faible part du trafic web, mais qui, ensemble, pèsent lourd dans l’activité de crawl.
Rang actuel
N/D
Part du trafic
35,14 %
Exploitant
Various
Catégorie
Divers
Autres bots : de quoi s’agit-il ?
La catégorie « Autres bots » regroupe tous les crawlers qui, pris isolément, ne figurent pas dans la liste des principaux crawlers nommés. On y trouve des bots de petits moteurs de recherche, d’outils SEO, de scanners de sécurité, d’agrégateurs de contenu et de nombreux autres systèmes automatisés.
Chaque bot de cette catégorie génère peu de trafic, mais ensemble, ils peuvent représenter un pourcentage important de l’activité de crawl sur votre site.
Parmi les bots courants de cette catégorie : SEMrush, Ahrefs, MJ12bot (Majestic), DotBot, BLEXBot et des centaines d’autres crawlers spécialisés.
Comment bloquer Autres bots
Pour bloquer tous les bots divers, il faut les identifier et les bloquer un par un dans robots.txt. Une approche courante consiste à tout bloquer avec un caractère générique, puis à autoriser des bots précis :
robots.txt
User-agent: * Disallow: / # Autoriser les bots fiables connus User-agent: Googlebot Allow: / User-agent: Bingbot Allow: / User-agent: Applebot Allow: /
Attention au blocage massif des bots. Certains crawlers, comme ceux des outils SEO, vous aident à suivre les performances de votre site. D’autres, comme les scanners de sécurité, aident à détecter des vulnérabilités.
Autres bots : détails techniques
Regroupe des centaines de user-agents de crawlers différents
Mélange de moteurs de recherche, d’outils SEO, de crawlers IA et de scanners de sécurité
Certains peuvent ne pas respecter robots.txt
Un blocage au niveau du serveur (IP, règles de pare-feu) peut s’imposer pour les bots insistants
Des outils comme Cloudflare Bot Management aident à les gérer à grande échelle
Autres bots : quel effet sur votre site ?
Ensemble, ces bots peuvent consommer beaucoup de ressources serveur. Une bonne pratique consiste à surveiller vos logs serveur pour repérer les crawlers les plus actifs, puis à décider lesquels autoriser ou bloquer.
Certains de ces bots apportent des avantages indirects (le crawl des outils SEO vous fait figurer dans leurs bases de données), tandis que d’autres n’apportent rien à votre site.
Questions fréquentes sur les autres bots
- Consultez les logs d’accès de votre serveur pour repérer les chaînes user-agent, ou utilisez des outils comme Cloudflare Analytics, Google Search Console ou Bing Webmaster Tools pour savoir quels bots visitent votre site.
- Pas forcément. Certains bots apportent une valeur indirecte (outils SEO, scanners de sécurité). Mieux vaut identifier les bots qui consomment trop de ressources et bloquer ceux-là en particulier.
- Des services comme Cloudflare Bot Management, AWS WAF ou des outils similaires permettent de gérer le trafic des bots à grande échelle, avec des règles qui autorisent les bons bots connus et bloquent les autres ou en limitent le débit.
Suivez l’effet des crawlers IA sur la visibilité de votre marque
LLM Pulse suit la façon dont les modèles d’IA mentionnent votre marque. Découvrez quels crawlers visitent votre site et ce que cela change pour votre visibilité IA.