Googlebot
O Googlebot é o principal crawler web do Google, responsável por descobrir e indexar milhares de milhões de páginas web para a Pesquisa Google. É, de longe, o crawler mais ativo da internet.
Posição atual
#1
Percentagem de tráfego
23.89%
Operador
Categoria
Crawler de motor de busca
O que é Googlebot?
O Googlebot é o principal bot de rastreio web do Google (também conhecido como spider). Percorre sistematicamente a internet para descobrir páginas web novas e atualizadas, que são depois adicionadas ao índice de pesquisa do Google. Quando alguém pesquisa no Google, os resultados vêm deste índice.
O Googlebot utiliza dois crawlers principais: o Googlebot para computador (que simula um navegador de computador) e o Googlebot para smartphone (que simula um dispositivo móvel). Desde que o Google passou para a indexação mobile-first, a versão para smartphone é o crawler principal para a maioria dos sites.
O Googlebot segue links entre páginas, lê sitemaps e usa dados do Google Search Console para decidir que URLs rastrear. Respeita as diretivas do robots.txt e procura ser cortês, não sobrecarregando o seu servidor.
Como bloquear Googlebot
Pode bloquear o rastreio do seu site pelo Googlebot através do robots.txt. No entanto, tenha em conta que bloquear o Googlebot remove completamente as suas páginas dos resultados da Pesquisa Google.
robots.txt
User-agent: Googlebot Disallow: /
Bloquear o Googlebot fará com que as suas páginas sejam removidas da Pesquisa Google. Faça isto apenas se tiver um motivo específico, como evitar problemas de conteúdo duplicado ou proteger secções privadas do seu site.
Como verificar pedidos de Googlebot
O Google publica os intervalos de IP do Googlebot em formato JSON. Também pode verificar por DNS inverso: os IP legítimos do Googlebot resolvem para *.googlebot.com ou *.google.com.
Intervalos de IP do Googlebot (JSON)
https://developers.google.com/static/search/apis/ipranges/googlebot.jsonDetalhes técnicos de Googlebot
String User-Agent: Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Rastreia a partir de intervalos de IP publicados pelo Google (podem ser verificados por DNS)
Respeita o robots.txt, as etiquetas meta robots e os cabeçalhos X-Robots-Tag
Suporta renderização de JavaScript (usando um renderizador Chromium headless)
A taxa de rastreio pode ser ajustada no Google Search Console
Normalmente volta a rastrear páginas populares diariamente e páginas menos populares semanal ou mensalmente
Como Googlebot afeta o seu site
O Googlebot é essencial para a visibilidade do seu site na Pesquisa Google. As páginas que rastreia e indexa são as que podem aparecer nos resultados de pesquisa. Se o Googlebot não conseguir aceder ao seu conteúdo, este não será posicionado.
Uma taxa de rastreio elevada do Googlebot indica geralmente que o Google considera o seu site importante e atualizado com frequência. Pode monitorizar a atividade do Googlebot no Google Search Console, no relatório Estatísticas de rastreio.
Perguntas frequentes sobre o Googlebot
Acompanhe como os crawlers de IA afetam a visibilidade da sua marca
A LLM Pulse monitoriza as menções à sua marca nos modelos de IA. Veja quais os crawlers que visitam o seu site e como isso se traduz na visibilidade da sua marca nas respostas dos modelos de IA.