Google

Google

Googlebot

Googlebot est le principal crawler web de Google : il découvre et indexe des milliards de pages web pour la recherche Google. C’est de loin le crawler le plus actif sur Internet.

Rang actuel

#1

Part du trafic

22,33 %

Exploitant

Google

Catégorie

Crawler de moteur de recherche

Googlebot : activité des 90 derniers jours

LLM Pulse

Source : Cloudflare Radar

Googlebot : de quoi s’agit-il ?

Googlebot est le principal robot d’exploration de Google (aussi appelé spider). Il parcourt méthodiquement Internet pour découvrir les pages web nouvelles ou mises à jour, qui sont ensuite ajoutées à l’index de recherche de Google. Quand quelqu’un effectue une recherche sur Google, les résultats proviennent de cet index.

Googlebot s’appuie sur deux crawlers principaux : Googlebot Desktop (qui simule un navigateur d’ordinateur) et Googlebot Smartphone (qui simule un appareil mobile). Depuis le passage de Google à l’indexation mobile-first, la version smartphone est le crawler principal de la plupart des sites.

Googlebot suit les liens entre les pages, lit les sitemaps et utilise les données de Google Search Console pour choisir les URL à explorer. Il respecte les directives de robots.txt et veille à ne pas surcharger votre serveur.

Comment bloquer Googlebot

Vous pouvez empêcher Googlebot d’explorer votre site avec robots.txt. Sachez toutefois que bloquer Googlebot retire entièrement vos pages des résultats de recherche Google.

robots.txt

User-agent: Googlebot
Disallow: /

Bloquer Googlebot entraîne la suppression de vos pages des résultats de recherche Google. Ne le faites que pour une raison précise, par exemple éviter des problèmes de contenu dupliqué ou protéger des sections privées de votre site.

Vérifier les requêtes du crawler Googlebot

Google publie les plages d’IP de Googlebot au format JSON. Vous pouvez aussi passer par une recherche DNS inversée : les IP légitimes de Googlebot renvoient vers *.googlebot.com ou *.google.com.

Googlebot : détails techniques

Chaîne user-agent : Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

Explore depuis des plages d’IP publiées par Google (vérifiables par DNS)

Respecte robots.txt, les balises meta robots et les en-têtes X-Robots-Tag

Prend en charge le rendu JavaScript (moteur de rendu headless fondé sur Chromium)

Fréquence de crawl réglable dans Google Search Console

Repasse en général chaque jour sur les pages populaires, et chaque semaine ou chaque mois sur les moins populaires

Googlebot : quel effet sur votre site ?

Googlebot est indispensable à la visibilité de votre site dans la recherche Google. Seules les pages qu’il explore et indexe peuvent apparaître dans les résultats. Si Googlebot ne peut pas accéder à vos contenus, ils ne pourront pas se positionner.

Une fréquence de crawl élevée de Googlebot indique généralement que Google juge votre site important et souvent mis à jour. Vous pouvez suivre l’activité de Googlebot dans le rapport Statistiques sur l’exploration de Google Search Console.

Questions fréquentes sur Googlebot

Suivez l’effet des crawlers IA sur la visibilité de votre marque

LLM Pulse suit la façon dont les modèles d’IA mentionnent votre marque. Découvrez quels crawlers visitent votre site et ce que cela change pour votre visibilité IA.