# Qué es un rastreador web (crawler) y cómo funciona > Qué es un rastreador web o crawler, cómo descubre las fichas de tu tienda, qué respeta del robots.txt y cómo comprobar en tus registros quién te visita. URL: https://clione.ai/es/glosario/rastreador/ Lang: es Un rastreador web no tiene nada que ver con rastrear una IP, un pedido o un móvil: es el programa que lee tu web para que otro sistema la use. Google lo llama también robot, bot o araña, y el suyo se llama [Googlebot](/es/glosario/googlebot/).[^google-how-search] Para una tienda, la consecuencia es sencilla de decir: **si un rastreador no llega a una ficha, ningún buscador ni asistente puede usarla**, por buena que sea. Y llegar no basta, porque lo que lee el rastreador es lo que el servidor le entrega, no lo que tú ves en el editor. ## Cómo funciona Google describe su buscador en tres fases: rastreo, [indexación](/es/glosario/indexacion/) y publicación de resultados. En la primera, sus rastreadores **descargan el texto, las imágenes y los vídeos** de las páginas que han encontrado.[^google-how-search] Las páginas se descubren de dos maneras: porque aparecen enlazadas desde otras ya conocidas o porque el propietario las envía en un sitemap.[^google-how-search] Google define el rastreo como el proceso de usar software automatizado para descubrir páginas nuevas y entenderlas.[^google-about-crawling] Un rastreador no lo pide todo ni siempre. Googlebot decide con un proceso algorítmico qué sitios rastrear, con qué frecuencia y cuántas páginas pedir a cada uno, y durante el rastreo renderiza las páginas con una versión reciente de Chrome.[^google-how-search] Si el sitio se ralentiza o devuelve errores, **el ritmo de rastreo baja solo** para no saturar el servidor.[^google-about-crawling] Ese límite práctico de cuánto se rastrea es lo que se conoce como [presupuesto de rastreo](/es/glosario/presupuesto-de-rastreo/). Lo que hace el rastreador termina ahí. Google avisa de que no garantiza que vaya a rastrear, indexar ni mostrar una página aunque cumpla sus requisitos, y de que **no todas las páginas que procesa acaban indexadas**.[^google-how-search] Google separa sus clientes en tres grupos. Los rastreadores comunes, como Googlebot, respetan siempre las reglas de [`robots.txt`](/es/glosario/robots-txt/) en los rastreos automáticos. Los de casos especiales trabajan para productos concretos con acuerdos con el sitio y pueden saltarse las reglas generales. Y los que activa una persona hacen una petición cuando alguien la pide desde una herramienta.[^google-crawlers] Las empresas de IA siguen un esquema parecido. OpenAI documenta [OAI-SearchBot](/es/glosario/oai-searchbot/) para mostrar webs en la búsqueda de ChatGPT, [GPTBot](/es/glosario/gptbot/) para rastrear contenido que puede usarse en el entrenamiento de sus modelos, y [ChatGPT-User](/es/glosario/chatgpt-user/) para las acciones que inicia una persona, a las que las reglas de `robots.txt` pueden no aplicarse.[^openai-bots] Por eso **bloquear a uno no bloquea a los demás**. Las reglas que lee un rastreador están en el protocolo de exclusión de robots, publicado como RFC 9309 en 2022. Tres detalles del estándar importan en una tienda:[^rfc9309] - **Las reglas no son una autorización de acceso.** Un rastreador honrado las respeta; uno malicioso, no. - **Un error de servidor cierra la puerta entera.** Si `robots.txt` devuelve un error 5xx, el rastreador tiene que suponer que no puede pedir nada. Si devuelve un 4xx, como un 404, puede pedirlo todo. - **Los cambios no son inmediatos.** El rastreador puede guardar el archivo en caché hasta 24 horas. OpenAI calcula también unas 24 horas para que sus sistemas se ajusten a un cambio.[^openai-bots] ## En una tienda Lo que deja un rastreador en tu servidor es una línea en el registro de accesos. Un **ejemplo ficticio**, simplificado, con IP reservadas para documentación: ```text 192.0.2.10 [06/Oct/2026:09:14:02 +0200] "GET /products/tripode-viaje-t20 HTTP/1.1" 200 "...Googlebot/2.1..." 198.51.100.7 [06/Oct/2026:09:20:45 +0200] "GET /robots.txt HTTP/1.1" 200 "...OAI-SearchBot..." 203.0.113.42 [06/Oct/2026:09:31:10 +0200] "GET /products/tripode-viaje-t20 HTTP/1.1" 200 "...Googlebot/2.1..." ``` Las tres líneas dicen menos de lo que parece. El nombre al final es el [_user agent_](/es/glosario/user-agent/) que declara quien pide la página, y cualquiera puede escribirlo. Google ofrece una forma de comprobarlo porque **hay quien visita los sitios haciéndose pasar por Google**.[^google-verify] Hasta que no verificas la IP, la primera y la tercera línea son dos visitas que dicen ser de Googlebot. Y aunque las dos fueran auténticas, un 200 en el registro solo prueba que la ficha se descargó, no que esté en el índice. **Bloquear una página en `robots.txt` no la saca de Google.** El archivo dice a los rastreadores qué URL pueden pedir, pero no es un mecanismo para dejar una página fuera de Google: una URL bloqueada **puede indexarse igual si otros sitios la enlazan**, y entonces aparece sin descripción. Para que no se indexe, Google recomienda [`noindex`](/es/glosario/noindex/), una contraseña o retirar la página.[^google-robots-intro] ## Cómo comprobarlo 1. **Abre `tudominio.com/robots.txt`** y confirma que responde con un 200. Un error 5xx hace que un rastreador que siga el estándar no pida nada de tu sitio.[^rfc9309] 2. **Busca en los registros de tu servidor o de tu CDN** las peticiones de los agentes que te importan: Googlebot, OAI-SearchBot, GPTBot y los demás que documenta cada empresa. 3. **Verifica que son quien dicen.** Para Google: ejecuta `host` con la IP del registro, comprueba que el nombre termina en `googlebot.com`, `google.com` o `googleusercontent.com`, y haz la consulta inversa con ese nombre para ver que devuelve la misma IP. También puedes comparar la IP con los rangos que Google publica en archivos JSON.[^google-verify] OpenAI publica los de sus agentes del mismo modo.[^openai-bots] 4. **Comprueba si la página está indexada** con la Inspección de URLs de [Search Console](/es/glosario/search-console/). Rastreada no quiere decir indexada.[^google-how-search] 5. **Compara el HTML que sirve el servidor con lo que ves en pantalla.** Google renderiza con Chrome,[^google-how-search] pero el precio, la disponibilidad y el [JSON-LD](/es/glosario/json-ld/) de una ficha conviene que ya estén en el HTML de origen. Si solo aparecen después de ejecutar JavaScript, lee qué supone el [renderizado de JavaScript](/es/glosario/renderizado-javascript/). ## Concepto cercano: indexación El rastreo es leer; la [indexación](/es/glosario/indexacion/) es decidir qué se guarda. Google lo separa en dos fases: el rastreador descarga la página y después Google analiza el texto, las imágenes y los vídeos y guarda la información en su índice, una gran base de datos.[^google-how-search] Una página puede rastrearse muchas veces y no indexarse nunca, y una bloqueada en `robots.txt` puede acabar indexada sin que nadie la haya leído.[^google-robots-intro] La entrada [rastreo frente a indexación](/es/glosario/rastreo-vs-indexacion/) baja a esa diferencia con más detalle. Para seguir, la guía de [lo que ve un rastreador de IA en tu tienda](/es/guias/que-ve-un-rastreador-de-ia/) recorre agente por agente qué lee cada uno, y la [ruta de lectura](/es/aprender/rastreo-e-indexacion/) de este tema ordena el resto de términos.