¿Qué es un rastreador web (crawler)?

Un rastreador web no tiene nada que ver con rastrear una IP, un pedido o un móvil: es el programa que lee tu web para que otro sistema la use. Google lo llama también robot, bot o araña, y el suyo se llama Googlebot.⁠^{[1]Google Search Central. In-depth guide to how Google Search works} Para una tienda, la consecuencia es sencilla de decir: si un rastreador no llega a una ficha, ningún buscador ni asistente puede usarla, por buena que sea. Y llegar no basta, porque lo que lee el rastreador es lo que el servidor le entrega, no lo que tú ves en el editor.

Cómo funciona

Google describe su buscador en tres fases: rastreo, indexación y publicación de resultados. En la primera, sus rastreadores descargan el texto, las imágenes y los vídeos de las páginas que han encontrado.⁠^{[1]Google Search Central. In-depth guide to how Google Search works} Las páginas se descubren de dos maneras: porque aparecen enlazadas desde otras ya conocidas o porque el propietario las envía en un sitemap.⁠^{[1]Google Search Central. In-depth guide to how Google Search works} Google define el rastreo como el proceso de usar software automatizado para descubrir páginas nuevas y entenderlas.⁠^{[2]Google Crawling Infrastructure. Things to know about Google's web crawling}

Un rastreador no lo pide todo ni siempre. Googlebot decide con un proceso algorítmico qué sitios rastrear, con qué frecuencia y cuántas páginas pedir a cada uno, y durante el rastreo renderiza las páginas con una versión reciente de Chrome.⁠^{[1]Google Search Central. In-depth guide to how Google Search works} Si el sitio se ralentiza o devuelve errores, el ritmo de rastreo baja solo para no saturar el servidor.⁠^{[2]Google Crawling Infrastructure. Things to know about Google's web crawling} Ese límite práctico de cuánto se rastrea es lo que se conoce como presupuesto de rastreo.

Lo que hace el rastreador termina ahí. Google avisa de que no garantiza que vaya a rastrear, indexar ni mostrar una página aunque cumpla sus requisitos, y de que no todas las páginas que procesa acaban indexadas.⁠^{[1]Google Search Central. In-depth guide to how Google Search works}

Google separa sus clientes en tres grupos. Los rastreadores comunes, como Googlebot, respetan siempre las reglas de robots.txt en los rastreos automáticos. Los de casos especiales trabajan para productos concretos con acuerdos con el sitio y pueden saltarse las reglas generales. Y los que activa una persona hacen una petición cuando alguien la pide desde una herramienta.⁠^{[3]Google Crawling Infrastructure. Google crawler (user agent) overview} Las empresas de IA siguen un esquema parecido. OpenAI documenta OAI-SearchBot para mostrar webs en la búsqueda de ChatGPT, GPTBot para rastrear contenido que puede usarse en el entrenamiento de sus modelos, y ChatGPT-User para las acciones que inicia una persona, a las que las reglas de robots.txt pueden no aplicarse.⁠^{[4]OpenAI. Overview of OpenAI Crawlers} Por eso bloquear a uno no bloquea a los demás.

Las reglas que lee un rastreador están en el protocolo de exclusión de robots, publicado como RFC 9309 en 2022. Tres detalles del estándar importan en una tienda:⁠^{[5]IETF (Koster, Illyes, Zeller y Sassman). RFC 9309: Robots Exclusion Protocol}

• Las reglas no son una autorización de acceso. Un rastreador honrado las respeta; uno malicioso, no.
• Un error de servidor cierra la puerta entera. Si robots.txt devuelve un error 5xx, el rastreador tiene que suponer que no puede pedir nada. Si devuelve un 4xx, como un 404, puede pedirlo todo.
• Los cambios no son inmediatos. El rastreador puede guardar el archivo en caché hasta 24 horas. OpenAI calcula también unas 24 horas para que sus sistemas se ajusten a un cambio.⁠^{[4]OpenAI. Overview of OpenAI Crawlers}

En una tienda

Lo que deja un rastreador en tu servidor es una línea en el registro de accesos. Un ejemplo ficticio, simplificado, con IP reservadas para documentación:

192.0.2.10   [06/Oct/2026:09:14:02 +0200] "GET /products/tripode-viaje-t20 HTTP/1.1" 200  "...Googlebot/2.1..."
198.51.100.7 [06/Oct/2026:09:20:45 +0200] "GET /robots.txt HTTP/1.1"                 200  "...OAI-SearchBot..."
203.0.113.42 [06/Oct/2026:09:31:10 +0200] "GET /products/tripode-viaje-t20 HTTP/1.1" 200  "...Googlebot/2.1..."

Las tres líneas dicen menos de lo que parece. El nombre al final es el user agent que declara quien pide la página, y cualquiera puede escribirlo. Google ofrece una forma de comprobarlo porque hay quien visita los sitios haciéndose pasar por Google.⁠^{[6]Google Search Central. Verifying Googlebot and other Google crawlers} Hasta que no verificas la IP, la primera y la tercera línea son dos visitas que dicen ser de Googlebot. Y aunque las dos fueran auténticas, un 200 en el registro solo prueba que la ficha se descargó, no que esté en el índice.

Cómo comprobarlo

1. Abre tudominio.com/robots.txt y confirma que responde con un 200. Un error 5xx hace que un rastreador que siga el estándar no pida nada de tu sitio.⁠^{[5]IETF (Koster, Illyes, Zeller y Sassman). RFC 9309: Robots Exclusion Protocol}
2. Busca en los registros de tu servidor o de tu CDN las peticiones de los agentes que te importan: Googlebot, OAI-SearchBot, GPTBot y los demás que documenta cada empresa.
3. Verifica que son quien dicen. Para Google: ejecuta host con la IP del registro, comprueba que el nombre termina en googlebot.com, google.com o googleusercontent.com, y haz la consulta inversa con ese nombre para ver que devuelve la misma IP. También puedes comparar la IP con los rangos que Google publica en archivos JSON.⁠^{[6]Google Search Central. Verifying Googlebot and other Google crawlers} OpenAI publica los de sus agentes del mismo modo.⁠^{[4]OpenAI. Overview of OpenAI Crawlers}
4. Comprueba si la página está indexada con la Inspección de URLs de Search Console. Rastreada no quiere decir indexada.⁠^{[1]Google Search Central. In-depth guide to how Google Search works}
5. Compara el HTML que sirve el servidor con lo que ves en pantalla. Google renderiza con Chrome,⁠^{[1]Google Search Central. In-depth guide to how Google Search works} pero el precio, la disponibilidad y el JSON-LD de una ficha conviene que ya estén en el HTML de origen. Si solo aparecen después de ejecutar JavaScript, lee qué supone el renderizado de JavaScript.

Concepto cercano: indexación

El rastreo es leer; la indexación es decidir qué se guarda. Google lo separa en dos fases: el rastreador descarga la página y después Google analiza el texto, las imágenes y los vídeos y guarda la información en su índice, una gran base de datos.⁠^{[1]Google Search Central. In-depth guide to how Google Search works} Una página puede rastrearse muchas veces y no indexarse nunca, y una bloqueada en robots.txt puede acabar indexada sin que nadie la haya leído.⁠^{[7]Google Search Central. Introduction to robots.txt} La entrada rastreo frente a indexación baja a esa diferencia con más detalle.

Para seguir, la guía de lo que ve un rastreador de IA en tu tienda recorre agente por agente qué lee cada uno, y la ruta de lectura de este tema ordena el resto de términos.