Googlebot
O Googlebot é o principal crawler web do Google, responsável por descobrir e indexar milhares de milhões de páginas web para a Pesquisa Google. É, de longe, o crawler mais ativo da internet.
Posição atual
#1
Percentagem de tráfego
20,36%
Operador
Categoria
Crawler de motor de busca
O que é Googlebot?
O Googlebot é o principal bot de rastreio web do Google (também conhecido como spider). Percorre sistematicamente a internet para descobrir páginas web novas e atualizadas, que são depois adicionadas ao índice de pesquisa do Google. Quando alguém pesquisa no Google, os resultados vêm deste índice.
O Googlebot utiliza dois crawlers principais: o Googlebot para computador (que simula um navegador de computador) e o Googlebot para smartphone (que simula um dispositivo móvel). Desde que o Google passou para a indexação mobile-first, a versão para smartphone é o crawler principal para a maioria dos sites.
O Googlebot segue links entre páginas, lê sitemaps e usa dados do Google Search Console para decidir que URLs rastrear. Respeita as diretivas do robots.txt e procura ser cortês, não sobrecarregando o seu servidor.
Como bloquear Googlebot
Pode bloquear o rastreio do seu site pelo Googlebot através do robots.txt. No entanto, tenha em conta que bloquear o Googlebot remove completamente as suas páginas dos resultados da Pesquisa Google.
robots.txt
User-agent: Googlebot Disallow: /
Bloquear o Googlebot fará com que as suas páginas sejam removidas da Pesquisa Google. Faça isto apenas se tiver um motivo específico, como evitar problemas de conteúdo duplicado ou proteger secções privadas do seu site.
Como verificar pedidos de Googlebot
O Google publica os intervalos de IP do Googlebot em formato JSON. Também pode verificar por DNS inverso: os IP legítimos do Googlebot resolvem para *.googlebot.com ou *.google.com.
Intervalos de IP do Googlebot (JSON)
https://developers.google.com/static/search/apis/ipranges/googlebot.jsonDetalhes técnicos de Googlebot
String User-Agent: Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Rastreia a partir de intervalos de IP publicados pelo Google (podem ser verificados por DNS)
Respeita o robots.txt, as etiquetas meta robots e os cabeçalhos X-Robots-Tag
Suporta renderização de JavaScript (usando um renderizador Chromium headless)
A taxa de rastreio pode ser ajustada no Google Search Console
Normalmente volta a rastrear páginas populares diariamente e páginas menos populares semanal ou mensalmente
Como Googlebot afeta o seu site
O Googlebot é essencial para a visibilidade do seu site na Pesquisa Google. As páginas que rastreia e indexa são as que podem aparecer nos resultados de pesquisa. Se o Googlebot não conseguir aceder ao seu conteúdo, este não será posicionado.
Uma taxa de rastreio elevada do Googlebot indica geralmente que o Google considera o seu site importante e atualizado com frequência. Pode monitorizar a atividade do Googlebot no Google Search Console, no relatório Estatísticas de rastreio.
Perguntas frequentes sobre o Googlebot
- O Googlebot é o robot de rastreio web do Google que descobre e indexa páginas web para a Pesquisa Google. Segue links entre páginas e lê sitemaps para encontrar conteúdo novo.
- Pode verificar o Googlebot efetuando uma pesquisa inversa de DNS no endereço IP. Os IP legítimos do Googlebot resolvem para domínios *.googlebot.com ou *.google.com. O Google também publica os intervalos de IP dos seus crawlers em formato JSON.
- Sim, pode ajustar a taxa de rastreio no Google Search Console em Definições > Taxa de rastreio. Também pode usar a diretiva Crawl-delay no robots.txt, embora o Google não a suporte oficialmente.
- Sim, o Googlebot consegue processar JavaScript. Usa um navegador Chromium headless (Web Rendering Service) para executar JavaScript e ver a sua página como um utilizador a veria. No entanto, a renderização é um passo separado que pode acontecer horas ou dias após o rastreio inicial.
- Não, bloquear o Googlebot afeta apenas os resultados de pesquisa orgânica. O Google Ads usa um sistema separado (AdsBot) para verificar as páginas de destino. No entanto, se as suas páginas de destino não estiverem indexadas, o Índice de qualidade pode ser afetado.
- O Googlebot é usado para criar e manter o índice de pesquisa principal do Google. O GoogleOther é um crawler secundário usado para investigação, produtos que não são de pesquisa e tarefas especiais de rastreio.
Acompanhe como os crawlers de IA afetam a visibilidade da sua marca
A LLM Pulse monitoriza as menções à sua marca nos modelos de IA. Veja quais os crawlers que visitam o seu site e como isso se traduz na visibilidade da sua marca nas respostas dos modelos de IA.