Various

Autres bots

Cette catégorie regroupe de nombreux crawlers et bots plus modestes qui, pris isolément, représentent une faible part du trafic web, mais qui, ensemble, pèsent lourd dans l’activité de crawl.

Rang actuel

N/D

Part du trafic

35,14 %

Exploitant

Various

Catégorie

Divers

Autres bots : activité des 90 derniers jours

LLM Pulse

Source : Cloudflare Radar

Autres bots : de quoi s’agit-il ?

La catégorie « Autres bots » regroupe tous les crawlers qui, pris isolément, ne figurent pas dans la liste des principaux crawlers nommés. On y trouve des bots de petits moteurs de recherche, d’outils SEO, de scanners de sécurité, d’agrégateurs de contenu et de nombreux autres systèmes automatisés.

Chaque bot de cette catégorie génère peu de trafic, mais ensemble, ils peuvent représenter un pourcentage important de l’activité de crawl sur votre site.

Parmi les bots courants de cette catégorie : SEMrush, Ahrefs, MJ12bot (Majestic), DotBot, BLEXBot et des centaines d’autres crawlers spécialisés.

Comment bloquer Autres bots

Pour bloquer tous les bots divers, il faut les identifier et les bloquer un par un dans robots.txt. Une approche courante consiste à tout bloquer avec un caractère générique, puis à autoriser des bots précis :

robots.txt

User-agent: *
Disallow: /

# Autoriser les bots fiables connus
User-agent: Googlebot
Allow: /

User-agent: Bingbot
Allow: /

User-agent: Applebot
Allow: /

Attention au blocage massif des bots. Certains crawlers, comme ceux des outils SEO, vous aident à suivre les performances de votre site. D’autres, comme les scanners de sécurité, aident à détecter des vulnérabilités.

Autres bots : détails techniques

Regroupe des centaines de user-agents de crawlers différents

Mélange de moteurs de recherche, d’outils SEO, de crawlers IA et de scanners de sécurité

Certains peuvent ne pas respecter robots.txt

Un blocage au niveau du serveur (IP, règles de pare-feu) peut s’imposer pour les bots insistants

Des outils comme Cloudflare Bot Management aident à les gérer à grande échelle

Autres bots : quel effet sur votre site ?

Ensemble, ces bots peuvent consommer beaucoup de ressources serveur. Une bonne pratique consiste à surveiller vos logs serveur pour repérer les crawlers les plus actifs, puis à décider lesquels autoriser ou bloquer.

Certains de ces bots apportent des avantages indirects (le crawl des outils SEO vous fait figurer dans leurs bases de données), tandis que d’autres n’apportent rien à votre site.

Questions fréquentes sur les autres bots

Suivez l’effet des crawlers IA sur la visibilité de votre marque

LLM Pulse suit la façon dont les modèles d’IA mentionnent votre marque. Découvrez quels crawlers visitent votre site et ce que cela change pour votre visibilité IA.