Googlebot es el rastreador web principal de Google, encargado de descubrir e indexar miles de millones de páginas web para Google Search. Es, con diferencia, el rastreador más activo de internet.
Current Rank
#1
Traffic Share
20.44%
Operator
Category
Rastreador de buscadores
Googlebot es el principal bot de rastreo web de Google (también conocido como araña). Navega por internet de forma sistemática para descubrir páginas web nuevas y actualizadas, que después se añaden al índice de búsqueda de Google. Cuando alguien busca en Google, los resultados proceden de este índice.
Googlebot usa dos rastreadores principales: Googlebot Desktop (que simula un navegador de escritorio) y Googlebot Smartphone (que simula un dispositivo móvil). Desde que Google adoptó la indexación mobile-first, la versión para smartphone es el rastreador principal en la mayoría de los sitios web.
Googlebot sigue los enlaces entre páginas, lee los sitemaps y usa los datos de Google Search Console para decidir qué URLs rastrear. Respeta las directivas de robots.txt y procura ser considerado para no sobrecargar tu servidor.
Puedes impedir que Googlebot rastree tu sitio con robots.txt. No obstante, ten en cuenta que bloquear Googlebot eliminará tus páginas por completo de los resultados de Google Search.
robots.txt
User-agent: Googlebot Disallow: /
Bloquear Googlebot hará que tus páginas se eliminen de Google Search. Hazlo solo si tienes un motivo concreto, como evitar problemas de contenido duplicado o proteger secciones privadas de tu sitio.
Google publica los rangos de IP de Googlebot en formato JSON. También puedes verificarlo mediante DNS inverso: las IP legítimas de Googlebot resuelven a *.googlebot.com o *.google.com.
Rangos de IP de Googlebot (JSON)
https://developers.google.com/static/search/apis/ipranges/googlebot.jsonCadena User-Agent: Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Rastrea desde rangos de IP publicados por Google (se puede verificar mediante DNS)
Respeta robots.txt, las etiquetas meta robots y las cabeceras X-Robots-Tag
Admite el renderizado de JavaScript (mediante un renderizador sin interfaz gráfica basado en Chromium)
Puedes ajustar la frecuencia de rastreo en Google Search Console
Suele volver a rastrear las páginas populares a diario y las menos populares, semanal o mensualmente
Googlebot es esencial para la visibilidad de tu sitio web en Google Search. Las páginas que rastrea e indexa son las que pueden aparecer en los resultados de búsqueda. Si Googlebot no puede acceder a tu contenido, este no se posicionará.
Una frecuencia de rastreo alta de Googlebot suele indicar que Google considera tu sitio importante y actualizado con frecuencia. Puedes supervisar la actividad de Googlebot en Google Search Console, en el informe de Estadísticas de rastreo.
LLM Pulse monitors how AI models mention your brand. See which crawlers visit your site and how that translates into AI visibility.