Googlebot
Googlebot est le principal crawler web de Google : il découvre et indexe des milliards de pages web pour la recherche Google. C’est de loin le crawler le plus actif sur Internet.
Rang actuel
#1
Part du trafic
22,33 %
Exploitant
Catégorie
Crawler de moteur de recherche
Googlebot : de quoi s’agit-il ?
Googlebot est le principal robot d’exploration de Google (aussi appelé spider). Il parcourt méthodiquement Internet pour découvrir les pages web nouvelles ou mises à jour, qui sont ensuite ajoutées à l’index de recherche de Google. Quand quelqu’un effectue une recherche sur Google, les résultats proviennent de cet index.
Googlebot s’appuie sur deux crawlers principaux : Googlebot Desktop (qui simule un navigateur d’ordinateur) et Googlebot Smartphone (qui simule un appareil mobile). Depuis le passage de Google à l’indexation mobile-first, la version smartphone est le crawler principal de la plupart des sites.
Googlebot suit les liens entre les pages, lit les sitemaps et utilise les données de Google Search Console pour choisir les URL à explorer. Il respecte les directives de robots.txt et veille à ne pas surcharger votre serveur.
Comment bloquer Googlebot
Vous pouvez empêcher Googlebot d’explorer votre site avec robots.txt. Sachez toutefois que bloquer Googlebot retire entièrement vos pages des résultats de recherche Google.
robots.txt
User-agent: Googlebot Disallow: /
Bloquer Googlebot entraîne la suppression de vos pages des résultats de recherche Google. Ne le faites que pour une raison précise, par exemple éviter des problèmes de contenu dupliqué ou protéger des sections privées de votre site.
Vérifier les requêtes du crawler Googlebot
Google publie les plages d’IP de Googlebot au format JSON. Vous pouvez aussi passer par une recherche DNS inversée : les IP légitimes de Googlebot renvoient vers *.googlebot.com ou *.google.com.
Plages d’IP de Googlebot (JSON)
https://developers.google.com/static/search/apis/ipranges/googlebot.jsonGooglebot : détails techniques
Chaîne user-agent : Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Explore depuis des plages d’IP publiées par Google (vérifiables par DNS)
Respecte robots.txt, les balises meta robots et les en-têtes X-Robots-Tag
Prend en charge le rendu JavaScript (moteur de rendu headless fondé sur Chromium)
Fréquence de crawl réglable dans Google Search Console
Repasse en général chaque jour sur les pages populaires, et chaque semaine ou chaque mois sur les moins populaires
Googlebot : quel effet sur votre site ?
Googlebot est indispensable à la visibilité de votre site dans la recherche Google. Seules les pages qu’il explore et indexe peuvent apparaître dans les résultats. Si Googlebot ne peut pas accéder à vos contenus, ils ne pourront pas se positionner.
Une fréquence de crawl élevée de Googlebot indique généralement que Google juge votre site important et souvent mis à jour. Vous pouvez suivre l’activité de Googlebot dans le rapport Statistiques sur l’exploration de Google Search Console.
Questions fréquentes sur Googlebot
- Googlebot est le robot d’exploration de Google : il découvre et indexe les pages web pour la recherche Google. Il suit les liens entre les pages et lit les sitemaps pour trouver de nouveaux contenus.
- Vous pouvez vérifier Googlebot en effectuant une recherche DNS inversée sur l’adresse IP. Les IP légitimes de Googlebot renvoient vers les domaines *.googlebot.com ou *.google.com. Google publie également les plages d’IP de ses crawlers au format JSON.
- Oui, vous pouvez ajuster la fréquence de crawl dans Google Search Console, sous Paramètres > Vitesse d’exploration. Vous pouvez aussi utiliser la directive Crawl-delay dans robots.txt, même si Google ne la prend pas officiellement en charge.
- Oui, Googlebot peut effectuer le rendu JavaScript. Il utilise un navigateur Chromium headless (Web Rendering Service) pour exécuter le JavaScript et voir votre page comme la verrait un internaute. Le rendu est toutefois une étape distincte, qui peut intervenir des heures ou des jours après le crawl initial.
- Non, bloquer Googlebot n’a d’effet que sur les résultats de recherche naturels. Google Ads utilise un système distinct (AdsBot) pour vérifier les pages de destination. Si vos pages de destination ne sont pas indexées, votre niveau de qualité (Quality Score) peut toutefois en pâtir.
- Googlebot sert à construire et à tenir à jour l’index principal de la recherche Google. GoogleOther est un crawler secondaire utilisé pour des travaux de recherche, des produits hors recherche et des tâches de crawl spécifiques.
Suivez l’effet des crawlers IA sur la visibilité de votre marque
LLM Pulse suit la façon dont les modèles d’IA mentionnent votre marque. Découvrez quels crawlers visitent votre site et ce que cela change pour votre visibilité IA.