Various
Esta categoría incluye varios rastreadores y bots más pequeños que individualmente representan una pequeña parte del tráfico web, pero que en conjunto suponen una porción significativa de la actividad de rastreo.
Current Rank
N/A
Traffic Share
21.64%
Operator
Various
Category
Varios
La categoría «Otros bots» incluye todos los rastreadores web que individualmente no llegan a la lista de los principales rastreadores con nombre. Esto incluye bots de motores de búsqueda más pequeños, herramientas SEO, escáneres de seguridad, agregadores de contenido y otros sistemas automatizados diversos.
Aunque cada bot de esta categoría aporta una pequeña cantidad de tráfico, en conjunto pueden representar un porcentaje significativo de toda la actividad de rastreo de tu sitio web.
Los bots habituales de esta categoría incluyen SEMrush, Ahrefs, MJ12bot (Majestic), DotBot, BLEXBot y cientos de otros rastreadores especializados.
Bloquear todos los bots diversos requiere identificar y bloquear cada uno individualmente en robots.txt. Un enfoque habitual es usar un bloqueo con comodín y reglas Allow específicas:
robots.txt
User-agent: * Disallow: / # Allow known good bots User-agent: Googlebot Allow: / User-agent: Bingbot Allow: / User-agent: Applebot Allow: /
Ten cuidado al bloquear bots de forma generalizada. Algunos rastreadores, como los de las herramientas SEO, te ayudan a supervisar el rendimiento de tu sitio. Otros, como los escáneres de seguridad, ayudan a identificar vulnerabilidades.
Incluye cientos de user-agents de rastreadores distintos
Mezcla de motores de búsqueda, herramientas SEO, rastreadores de IA y escáneres de seguridad
Algunos pueden no respetar robots.txt
Para bots persistentes puede ser necesario bloquearlos a nivel de servidor (IP, reglas de firewall)
Herramientas como Cloudflare Bot Management pueden ayudar a gestionarlos a gran escala
En conjunto, estos bots pueden consumir muchos recursos del servidor. Supervisar los registros de tu servidor para identificar los rastreadores más activos y decidir cuáles permitir o bloquear es una buena práctica.
Algunos de estos bots aportan beneficios indirectos (el rastreo de las herramientas SEO te ayuda en las bases de datos de esas herramientas), mientras que otros no aportan ningún valor a tu sitio.
LLM Pulse monitors how AI models mention your brand. See which crawlers visit your site and how that translates into AI visibility.