Rastreo e indexación para tu tienda

Un rastreador (crawler) es un programa que recorre la web de forma automática: descarga páginas, sigue sus enlaces para descubrir otras y entrega lo que encuentra al sistema para el que trabaja, como el índice de un buscador o un asistente de IA.

Rastreo vs indexación es la diferencia entre leer una página y guardarla.

La indexación es el paso en el que un buscador analiza una página que ya ha rastreado (su texto, sus etiquetas, sus imágenes y el HTML que resulta de ejecutar su JavaScript), decide si la guarda y bajo qué URL canónica, y la almacena en su índice.

El robots.txt es un archivo de texto que se coloca en la raíz de un sitio web y dice a los rastreadores qué URL pueden pedir y cuáles no, con reglas agrupadas por el nombre de cada bot.

El user agent es la cadena de texto con la que un navegador, un rastreador o cualquier otro programa se identifica ante un servidor web en cada petición, dentro de la cabecera HTTP User-Agent.

Un sitemap XML es un archivo en formato XML que lista las URL de un sitio web que su propietario quiere que conozcan los buscadores, con datos opcionales como la fecha de la última modificación de cada una.

noindex es una regla que se pone en una página web, como etiqueta meta robots en el HTML o como cabecera HTTP X-Robots-Tag, para pedir a los buscadores que no la incluyan en su índice ni la muestren en sus resultados.

La etiqueta canonical (rel=canonical) es una anotación, en el HTML de una página o en su cabecera HTTP, que indica a los buscadores cuál es la URL preferida cuando el mismo contenido se sirve desde varias direcciones.

El contenido duplicado es el contenido igual o casi igual que se puede abrir desde más de una URL, dentro de un mismo sitio o en sitios distintos.

Una redirección 301 es la respuesta con la que un servidor dice que una URL se ha mudado de forma permanente a otra dirección, que indica en la cabecera Location.

hreflang es el atributo con el que una página indica a los buscadores qué otras URL son versiones de ese mismo contenido en otro idioma o para otra región, con un código como es, en-GB o x-default.

El enlazado interno es el conjunto de enlaces que unen entre sí las páginas de un mismo sitio web: el menú, las categorías, las migas de pan o los enlaces dentro de un texto.

La navegación facetada es el sistema de filtros de una página de categoría o de resultados que permite combinar atributos, como talla, color, marca o precio, para acotar los productos mostrados.

El presupuesto de rastreo (crawl budget) es el conjunto de URL de un sitio que un buscador puede y quiere rastrear.

Googlebot es el nombre genérico de los dos rastreadores web que usa la Búsqueda de Google, uno que simula un móvil y otro un ordenador, para descargar las páginas que después pueden indexarse.

Bingbot es el rastreador web estándar de Microsoft Bing: el programa que descarga las páginas de un sitio para que Bing pueda indexarlas y usarlas en sus resultados, en Copilot y en las respuestas que se apoyan en su índice.

GPTBot es el rastreador web de OpenAI que recoge contenido que puede usarse para entrenar sus modelos fundacionales de IA generativa.

OAI-SearchBot es el rastreador web de OpenAI que sirve para mostrar sitios en los resultados de las funciones de búsqueda de ChatGPT.

ChatGPT-User es el agente web de OpenAI que visita una página para atender una acción que pide una persona en ChatGPT o en un GPT personalizado.

PerplexityBot es el rastreador web de Perplexity que recorre sitios para mostrarlos y enlazarlos en los resultados de búsqueda de Perplexity.

ClaudeBot es el rastreador web de Anthropic que recoge contenido público para mejorar la utilidad y la seguridad de sus modelos de IA generativa, los que hay detrás de Claude.

Google-Extended es un nombre que se usa en robots.txt para decidir si el contenido que Google rastrea de un sitio puede servir para entrenar futuras generaciones de los modelos Gemini y para fundamentar las respuestas de las apps de Gemini y de Vertex AI.

El control de IA generativa de Search Console es el ajuste de Google con el que el propietario de un sitio decide si sus enlaces y su contenido pueden aparecer en las funciones de IA generativa de la Búsqueda: AI Overviews, el Modo IA y la IA generativa de Discover.

El bloqueo de bots de IA es el conjunto de medidas con las que un sitio web impide o limita que los agentes de las empresas de IA pidan sus páginas, ya sea para entrenar modelos, para buscar o para atender a un usuario.

Caché y CDN para bots son las capas de HTTP que guardan copias de las páginas de una tienda, en el servidor o en una red de distribución de contenidos (CDN), y responden con ellas a los rastreadores y agentes de IA sin volver a generarlas.

Web Bot Auth es un protocolo, en borrador del IETF, con el que un bot o un agente de IA firma criptográficamente sus peticiones HTTP para que el sitio que las recibe compruebe quién las envía, sin fiarse del nombre que declara ni de su IP.

Pay per crawl es una función de Cloudflare, en beta cerrada desde julio de 2025, que permite al propietario de un sitio cobrar a los rastreadores de IA cada vez que piden una página.

IndexNow es un protocolo público con el que un sitio web avisa a los buscadores, mediante una petición HTTP, de que una URL se ha creado, actualizado o eliminado, en lugar de esperar a que la descubran rastreando.

El llms.txt es un archivo de texto en formato Markdown, situado normalmente en la raíz de un sitio web, que resume qué es el sitio y enlaza sus páginas más útiles para que un modelo de lenguaje o un agente de IA las encuentre cuando necesita responder.

El agents.md es un archivo de texto en Markdown escrito para agentes de IA, no para personas.

El Markdown para agentes es la práctica de ofrecer, junto a la versión HTML de una página, una versión del mismo contenido en Markdown para que la lean agentes de IA y modelos de lenguaje.

La negociación de contenido (content negotiation) es el mecanismo de HTTP por el que un servidor elige qué versión de un mismo recurso entrega, en formato, idioma o compresión, según las preferencias que el cliente declara en cabeceras como Accept o Accept-Language.

El header Link rel=alternate, o cabecera Link con rel=alternate, es una línea de la respuesta HTTP que anuncia que ese mismo contenido existe en otra versión, en otra dirección: en otro idioma, si lleva hreflang, o en otro formato, si lleva type, como un PDF o una versión en Markdown.

El directorio .well-known es la ruta /.well-known/ que la RFC 8615 reserva en la raíz de un sitio web para publicar información sobre el sitio entero en direcciones fijas y conocidas de antemano, como /.well-known/security.txt.

Las Core Web Vitals son las tres métricas con las que Google mide la experiencia real de una página: LCP para la carga, INP para la respuesta y CLS para la estabilidad visual.

Pega el código de tu ficha y mira lo que recibe un rastreador que no ejecuta JavaScript: texto, encabezados, meta y JSON-LD. Herramienta gratuita.

Comprueba qué bots de IA deja entrar tu robots.txt, GPTBot, ClaudeBot o PerplexityBot entre ellos, y escribe las líneas para permitir o bloquear cada uno.