Various
Sonstige Bots
Diese Kategorie umfasst verschiedene kleinere Crawler und Bots, die einzeln nur einen kleinen Anteil am Traffic im Web haben, zusammen aber einen erheblichen Teil der Crawling-Aktivität ausmachen.
Aktueller Platz
-
Traffic-Anteil
34.81%
Betreiber
Various
Kategorie
Sonstige
Was ist Sonstige Bots?
Die Kategorie „Sonstige Bots“ umfasst alle Webcrawler, die es einzeln nicht in die Liste der namentlich erfassten Top-Crawler schaffen. Dazu gehören Bots von kleineren Suchmaschinen, SEO-Tools, Sicherheitsscannern, Content-Aggregatoren und verschiedenen anderen automatisierten Systemen.
Jeder einzelne Bot dieser Kategorie verursacht zwar nur wenig Traffic, zusammen können diese Bots aber einen erheblichen Anteil der gesamten Crawling-Aktivität auf Ihrer Website ausmachen.
Zu den gängigen Bots dieser Kategorie gehören SEMrush, Ahrefs, MJ12bot (Majestic), DotBot, BLEXBot und Hunderte weiterer spezialisierter Crawler.
So blockieren Sie Sonstige Bots
Um alle sonstigen Bots zu blockieren, müssen Sie jeden einzeln identifizieren und in der robots.txt blockieren. Ein gängiger Ansatz ist, per Platzhalter (*) alle Bots zu blockieren und einzelne gezielt mit Allow-Anweisungen zuzulassen:
robots.txt
User-agent: * Disallow: / # Bekannte vertrauenswürdige Bots zulassen User-agent: Googlebot Allow: / User-agent: Bingbot Allow: / User-agent: Applebot Allow: /
Seien Sie vorsichtig, wenn Sie Bots pauschal blockieren. Manche Crawler, etwa die von SEO-Tools, helfen Ihnen dabei, die Leistung Ihrer Website zu überwachen. Andere, etwa Sicherheitsscanner, helfen dabei, Schwachstellen zu finden.
Sonstige Bots: technische Details
Umfasst Hunderte verschiedener User-Agents von Crawlern
Mischung aus Suchmaschinen, SEO-Tools, KI-Crawlern und Sicherheitsscannern
Manche beachten die robots.txt möglicherweise nicht
Bei hartnäckigen Bots kann eine Blockierung auf Serverebene (IP-Adresse, Firewall-Regeln) nötig sein
Tools wie Cloudflare Bot Management können helfen, diese Bots in großem Umfang zu verwalten
Sonstige Bots: Auswirkungen auf Ihre Website
Zusammen können diese Bots erhebliche Serverressourcen beanspruchen. Es empfiehlt sich, Ihre Server-Logs im Blick zu behalten, die aktivsten Crawler zu identifizieren und zu entscheiden, welche Sie zulassen oder blockieren.
Manche dieser Bots bringen indirekt Vorteile (Crawls von SEO-Tools sorgen dafür, dass Ihre Website in deren Datenbanken erfasst ist), andere bieten Ihrer Website keinen Nutzen.
Häufige Fragen zu sonstigen Bots
Beobachten Sie, wie KI-Crawler Ihre Markensichtbarkeit beeinflussen
LLM Pulse beobachtet, wie KI-Modelle Ihre Marke erwähnen. Sehen Sie, welche Crawler Ihre Website besuchen und wie sich das auf Ihre KI-Sichtbarkeit auswirkt.