¿Qué es Googlebot, el rastreador de Google?

Googlebot es el rastreador de la Búsqueda de Google: el programa que pide tus páginas para que Google pueda indexarlas y mostrarlas. No es una herramienta que se instale ni una cuenta de Google, y no es el único agente de Google, pero sí el que rastrea tus fichas para la Búsqueda. Para una tienda, conocerlo sirve para tres cosas: saber qué lee de verdad de cada ficha, no cerrarle la puerta por error y distinguirlo de los muchos bots que usan su nombre sin serlo.

Cómo funciona

Google llama Googlebot a dos rastreadores: Googlebot Smartphone, que simula a una persona en un móvil, y Googlebot Desktop, que simula a una en un ordenador. Como en la mayoría de los sitios Google indexa sobre todo la versión móvil del contenido, la mayor parte de las peticiones las hace el rastreador de móvil. Los dos obedecen al mismo nombre en robots.txt, así que no puedes permitir uno y bloquear el otro desde ahí.⁠^{[1]Google Search Central. What is Googlebot}

Google clasifica sus agentes en tres grupos. Los rastreadores comunes, como Googlebot, respetan siempre las reglas de robots.txt en sus rastreos automáticos. Los de casos especiales trabajan para productos concretos con un acuerdo entre el sitio y el producto, y los activados por una persona hacen una petición cuando alguien la pide desde una herramienta.⁠^{[2]Google Crawling Infrastructure. Google crawler (user agent) overview} Lo que le permitas o bloquees a Googlebot afecta a la Búsqueda de Google, con Discover y todas sus funciones, y también a Google Imágenes, Google Vídeo y Google Noticias.⁠^{[3]Google Crawling Infrastructure. Google's common crawlers}

Eso incluye la IA. Google explica que la IA está integrada en la Búsqueda y que por eso las directivas de robots.txt para Googlebot son el control para gestionar cómo se rastrea un sitio para ella: no hay un rastreador aparte para AI Overviews ni para el Modo IA.⁠^{[4]Google Search Central. AI features and your website} El nombre que sí existe aparte es Google-Extended, y no es un rastreador: decide si lo que rastrea Google puede usarse para entrenar los modelos Gemini, y Google dice que no afecta a la inclusión de tu sitio en la Búsqueda.⁠^{[3]Google Crawling Infrastructure. Google's common crawlers}

Googlebot pide poco y con cuidado. Google dice que no debería acceder a un sitio más de una vez cada pocos segundos de media.⁠^{[1]Google Search Central. What is Googlebot} El límite práctico de cuánto se rastrea en un sitio es lo que se conoce como presupuesto de rastreo.

Y no lo lee todo. Googlebot rastrea los primeros 2 MB de cada tipo de archivo admitido, y los primeros 64 MB de un PDF. El límite se aplica a los datos sin comprimir. Cuando llega al corte, deja de descargar y solo pasa a la indexación la parte que ya tiene. Cada recurso que enlaza el HTML, como el CSS o el JavaScript, se descarga aparte, con el mismo límite.⁠^{[1]Google Search Central. What is Googlebot} Una ficha con el HTML inflado por scripts en línea puede dejar fuera de esos 2 MB lo que venga al final.

La petición llega con uno de estos dos user agent, según la documentación de octubre de 2026. W.X.Y.Z es la versión de Chrome, que cambia:⁠^{[3]Google Crawling Infrastructure. Google's common crawlers}

Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36

Que una petición diga eso no demuestra nada. Google avisa de que otros rastreadores falsifican a menudo el user agent de Googlebot, y de que la mejor forma de verificarlo es una búsqueda de DNS inverso sobre la IP de origen o comparar esa IP con los rangos de Googlebot.⁠^{[1]Google Search Central. What is Googlebot} Los rastreadores comunes salen de los rangos publicados en common-crawlers.json, y el nombre de su host sigue el patrón crawl-***-***-***-***.googlebot.com o geo-crawl-***-***-***-***.geo.googlebot.com.⁠^{[3]Google Crawling Infrastructure. Google's common crawlers} La versión del archivo que leímos el 6 de octubre de 2026 era de ese mismo día, con 170 prefijos IPv4 y 147 IPv6.⁠^{[5]Google. common-crawlers.json (rangos de IP de los rastreadores comunes de Google)} Se regenera a menudo, así que se consulta cuando se verifica.

En una tienda

Una tienda de material de fotografía ve en sus registros mil peticiones en una hora que dicen ser de Googlebot, todas a URL de colecciones filtradas. Es un ejemplo ficticio, con una línea simplificada y una IP reservada para documentación:

203.0.113.77 [06/Oct/2026:04:10:12 +0200] "GET /collections/tripodes?filter.p.vendor=X&sort_by=price HTTP/1.1" 200 "...compatible; Googlebot/2.1; +http://www.google.com/bot.html..."

Antes de tocar robots.txt, la tienda verifica la IP con el método manual de Google, en cuatro pasos:⁠^{[6]Google Crawling Infrastructure. Verify requests from Google crawlers and fetchers}

1. Lanza una búsqueda de DNS inverso sobre la IP con el comando host.
2. Comprueba que el nombre que devuelve termina en googlebot.com, google.com o googleusercontent.com.
3. Lanza una búsqueda de DNS directo con host sobre ese nombre.
4. Comprueba que devuelve la misma IP del registro.

Si el nombre no termina en uno de esos dominios, o el DNS directo devuelve otra IP, la visita no es de Google, y bloquear ese tráfico no afecta a la Búsqueda. Si la IP sí es de Google, el problema es otro: las colecciones filtradas están abiertas al rastreo y Googlebot las está recorriendo. Ahí la solución es una regla en robots.txt para esas URL, no un bloqueo de Googlebot.

Cómo comprobarlo

1. Abre tudominio.com/robots.txt y busca un grupo que nombre a Googlebot. Si no hay ninguno, sigue el del asterisco. Mira qué dicen ese grupo y el general de la ruta de tus fichas.
2. Verifica las visitas que dicen ser de Googlebot con DNS inverso y directo, o contra common-crawlers.json.⁠^{[6]Google Crawling Infrastructure. Verify requests from Google crawlers and fetchers}
3. Mira el peso del HTML de tus fichas sin comprimir. Si se acerca a 2 MB, lo que vaya al final puede quedarse fuera.⁠^{[1]Google Search Central. What is Googlebot}
4. Usa la Inspección de URLs de Search Console para ver el HTML que recibió Googlebot al rastrear una ficha. Google la recomienda para comprobar que la implementación es correcta.⁠^{[4]Google Search Central. AI features and your website}
5. Revisa el cortafuegos o la CDN. Una regla contra bots que pare las IP de Google bloquea el rastreo aunque robots.txt lo permita.

Concepto cercano: Google-Extended

Googlebot visita tu tienda; Google-Extended no la visita nunca. Google-Extended no tiene user agent propio: el rastreo lo hacen los agentes de siempre de Google, y el nombre en robots.txt solo decide si lo rastreado puede usarse para entrenar los modelos Gemini y para el grounding en las apps de Gemini y en Vertex AI.⁠^{[3]Google Crawling Infrastructure. Google's common crawlers} Bloquear Googlebot cambia lo que Google puede leer; bloquear Google-Extended solo cambia si puede usarlo para entrenar y alimentar a Gemini.

Para seguir, la entrada de rastreo frente a indexación separa lo que hace Googlebot de lo que decide Google después, y la ruta de lectura de este tema ordena el resto de términos.