Googlebot
Googlebot ist der wichtigste Webcrawler von Google. Er findet und indexiert Milliarden von Webseiten für die Google-Suche und ist mit Abstand der aktivste Crawler im Internet.
Aktueller Platz
#1
Traffic-Anteil
19.79%
Betreiber
Kategorie
Suchmaschinen-Crawler
Was ist Googlebot?
Googlebot ist der wichtigste Crawler von Google (auch Spider genannt). Er durchsucht das Internet systematisch nach neuen und aktualisierten Webseiten, die anschließend in den Suchindex von Google aufgenommen werden. Wenn jemand bei Google sucht, stammen die Ergebnisse aus diesem Index.
Googlebot nutzt zwei Haupt-Crawler: Googlebot Desktop (simuliert einen Desktop-Browser) und Googlebot Smartphone (simuliert ein Mobilgerät). Seit Google auf die Mobile-First-Indexierung umgestellt hat, ist die Smartphone-Version für die meisten Websites der wichtigste Crawler.
Googlebot folgt Links zwischen Seiten, liest Sitemaps und nutzt Daten aus der Google Search Console, um zu entscheiden, welche URLs gecrawlt werden. Er beachtet die Anweisungen in der robots.txt und versucht, Ihren Server nicht zu überlasten.
So blockieren Sie Googlebot
Mit der robots.txt können Sie Googlebot vom Crawlen Ihrer Website ausschließen. Beachten Sie aber, dass Ihre Seiten dann vollständig aus den Ergebnissen der Google-Suche verschwinden.
robots.txt
User-agent: Googlebot Disallow: /
Wenn Sie Googlebot blockieren, werden Ihre Seiten aus der Google-Suche entfernt. Tun Sie das nur, wenn Sie einen bestimmten Grund dafür haben, etwa um Probleme mit doppelten Inhalten zu vermeiden oder private Bereiche Ihrer Website zu schützen.
So verifizieren Sie Anfragen von Googlebot
Google veröffentlicht die IP-Bereiche von Googlebot im JSON-Format. Alternativ verifizieren Sie Anfragen per Reverse DNS: Echte IP-Adressen von Googlebot werden zu *.googlebot.com oder *.google.com aufgelöst.
IP-Bereiche von Googlebot (JSON)
https://developers.google.com/static/search/apis/ipranges/googlebot.jsonGooglebot: technische Details
User-Agent-String: Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Crawlt von IP-Bereichen aus, die Google veröffentlicht (per DNS verifizierbar)
Beachtet die robots.txt, Meta-Robots-Tags und X-Robots-Tag-Header
Unterstützt JavaScript-Rendering (mit einem Headless-Renderer auf Basis von Chromium)
Die Crawling-Frequenz lässt sich in der Google Search Console anpassen
Crawlt beliebte Seiten in der Regel täglich erneut, weniger beliebte wöchentlich oder monatlich
Googlebot: Auswirkungen auf Ihre Website
Googlebot ist entscheidend für die Sichtbarkeit Ihrer Website in der Google-Suche. Nur Seiten, die er crawlt und indexiert, können in den Suchergebnissen erscheinen. Kann Googlebot nicht auf Ihre Inhalte zugreifen, erzielen diese keine Platzierungen.
Eine hohe Crawling-Frequenz von Googlebot ist in der Regel ein Zeichen dafür, dass Google Ihre Website für wichtig und häufig aktualisiert hält. Die Aktivität von Googlebot können Sie in der Google Search Console im Bericht „Crawling-Statistiken“ verfolgen.
Häufige Fragen zu Googlebot
Beobachten Sie, wie KI-Crawler Ihre Markensichtbarkeit beeinflussen
LLM Pulse beobachtet, wie KI-Modelle Ihre Marke erwähnen. Sehen Sie, welche Crawler Ihre Website besuchen und wie sich das auf Ihre KI-Sichtbarkeit auswirkt.