# Qué es robots.txt y para qué sirve en una tienda online

> Qué es el archivo robots.txt, cómo lo leen Googlebot, GPTBot y OAI-SearchBot, por qué no sirve para desindexar y cómo revisar el de tu tienda.

URL: https://clione.ai/es/glosario/robots-txt/
Lang: es

El robots.txt no tiene nada que ver con la robótica ni con un archivo que tengas que instalar: es un texto plano que vive en la raíz de tu dominio y que lee cualquier [rastreador](/es/glosario/rastreador/) educado antes de pedir una página. Para una tienda importa por dos razones. Es **el sitio donde decides qué bots pueden pedir tus fichas**, los de Google y los de cada asistente de IA, uno por uno. Y es un archivo pequeño con mucho poder: Shopify avisa de que usar mal su personalización **puede hacerte perder todo el tráfico**.[^shopify-robots]

## Cómo funciona

El estándar es el protocolo de exclusión de robots, que Martijn Koster definió en 1994 y que el IETF publicó como RFC 9309 en 2022. Las reglas tienen que estar en un archivo llamado `/robots.txt`, todo en minúsculas, en el nivel superior del sitio.[^rfc9309] Google añade un matiz que se olvida a menudo: **las reglas solo valen para el host, el protocolo y el puerto donde está el archivo**, así que cada subdominio necesita el suyo.[^google-robots-spec]

El archivo se organiza en grupos. Cada grupo empieza con una o varias líneas `User-agent`, que nombran a un bot, y sigue con sus reglas `Allow` y `Disallow`. Cada rastreador busca el grupo que lo nombra sin distinguir mayúsculas, y si ninguno lo nombra obedece el grupo `User-agent: *`.[^rfc9309] Google lo dice con más claridad: para un rastreador solo vale un grupo, el del nombre más específico que coincide con el suyo, y **el grupo específico y el general no se combinan**.[^google-robots-spec] Dicho de otro modo: si das a un bot un grupo propio, deja de leer las reglas del asterisco.

Dentro de un grupo, gana la regla más específica, la que coincide con más caracteres de la ruta, y si un `Allow` y un `Disallow` empatan, se aplica el `Allow`.[^rfc9309] En el ejemplo de Google, con `allow: /p` y `disallow: /`, la URL `/page` se puede rastrear, porque la primera regla es más específica. Las rutas distinguen mayúsculas y minúsculas, y admiten dos comodines: `*` para cualquier secuencia de caracteres y `$` para el final de la URL.[^google-robots-spec]

Google solo reconoce cuatro campos: `user-agent`, `allow`, `disallow` y `sitemap`. **`Crawl-delay` no está entre ellos y Google lo ignora.**[^google-robots-spec] Anthropic, en cambio, dice que admite esa extensión no estándar.[^anthropic-bots] La línea `Sitemap` apunta a tu [sitemap XML](/es/glosario/sitemap-xml/) con una URL completa y no depende de ningún grupo: la pueden seguir todos los rastreadores.[^google-robots-spec]

Tres detalles operativos pesan más que la sintaxis:

- **El código de respuesta cuenta.** Si el archivo devuelve un 4xx, el rastreador puede pedir cualquier cosa. Si devuelve un 5xx, el estándar le manda suponer que no puede pedir nada.[^rfc9309] Google, en ese caso, deja de rastrear el sitio durante las primeras 12 horas mientras sigue intentando leer el archivo, y después usa la última copia guardada hasta 30 días.[^google-robots-spec]
- **Los cambios no son inmediatos.** El estándar dice que un rastreador no debería usar la copia en caché durante más de 24 horas,[^rfc9309] y OpenAI calcula unas 24 horas para que su búsqueda se ajuste a un cambio.[^openai-bots]
- **El tamaño tiene límite.** Google lee como máximo 500 KiB y no tiene en cuenta lo que pase de ahí.[^google-robots-spec]

Por último, lo que el archivo no es. El propio estándar dice que **estas reglas no son una forma de autorizar el acceso** ni sustituyen a una medida de seguridad,[^rfc9309] y Shopify las describe como orientativas: no todos los rastreadores están obligados a cumplirlas.[^shopify-robots]

## En una tienda

Las empresas de IA usan varios agentes, y cada uno se permite o se bloquea por separado. OpenAI lo pone como ejemplo: puedes dejar pasar a [OAI-SearchBot](/es/glosario/oai-searchbot/) para aparecer en la búsqueda de ChatGPT y bloquear a [GPTBot](/es/glosario/gptbot/) para indicar que lo rastreado no se use en el entrenamiento de sus modelos.[^openai-bots] Google tiene un control parecido, [Google-Extended](/es/glosario/google-extended/), que decide si lo que rastrea puede usarse para entrenar futuras versiones de [Gemini](/es/glosario/gemini/), y que según Google no afecta a tu presencia en la Búsqueda ni a tu posición.[^google-common-crawlers] La tabla completa de agentes está en la [entrada de GEO](/es/glosario/geo/).

Así quedaría el archivo de una tienda que quiere dejar fuera el carrito y las colecciones ordenadas, y no ceder su contenido para entrenar modelos. Es un **ejemplo ficticio**:

```text
User-agent: *
Disallow: /admin
Disallow: /cart
Disallow: /checkout
Disallow: /collections/*sort_by*

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
Disallow: /

Sitemap: https://tienda-ejemplo.com/sitemap.xml
```

Lo que hace cada parte. El primer grupo vale para cualquier bot que no tenga uno propio: [Googlebot](/es/glosario/googlebot/), OAI-SearchBot y el resto pueden pedir las fichas, pero no el carrito ni las colecciones reordenadas, que solo multiplican URL de [navegación facetada](/es/glosario/navegacion-facetada/). El segundo grupo nombra a tres agentes de entrenamiento y les cierra todo el sitio. Fíjate en lo que no aparece: **OAI-SearchBot no tiene grupo propio a propósito**. Si se lo dieras con un `Allow: /`, dejaría de leer el asterisco y podría pedir también `/cart` y `/checkout`.[^rfc9309][^google-robots-spec]

En Shopify no partes de cero. Todas las tiendas tienen un robots.txt por defecto que bloquea, entre otras rutas, el panel de administración, el carrito, el checkout, la cuenta del cliente, los pedidos y las colecciones ordenadas o filtradas. Para cambiarlo se crea la plantilla `robots.txt.liquid` en el tema, y Shopify advierte de que es una personalización sin soporte. Bloquear rastreadores de IA ahí solo afecta a lo que se descubre en la web abierta: **no frena los datos de producto que [Shopify Catalog](/es/glosario/shopify-catalog/) envía a los [_agentic storefronts_](/es/glosario/agentic-storefronts/)** que tengas activados.[^shopify-robots]

En BigCommerce el archivo se edita en `Settings › Website › Search Engine Robots`. Lo que ves ahí no es todo: la plataforma aplica a los rastreadores de IA y de mucho volumen reglas aparte, con un retardo de 10 segundos y las páginas sensibles bloqueadas, que solo aparecen si abres el archivo publicado. Por defecto no hace falta añadir nada para que los bots de IA rastreen la tienda.[^bigcommerce-robots]


**Permitir el rastreo no es pedir la [indexación](/es/glosario/indexacion/), y bloquearlo no es salir del índice.** Un `Allow` solo dice que el rastreador puede pedir la URL; qué se guarda lo decide el buscador después. Y una página bloqueada en robots.txt puede salir en Google igualmente si otros sitios la enlazan, sin descripción.[^google-robots-intro] Para dejarla fuera está [`noindex`](/es/glosario/noindex/), que solo funciona si la página no está bloqueada: si el rastreador no puede leerla, **nunca verá la instrucción**.[^google-noindex]


## Cómo comprobarlo

1. **Abre `tudominio.com/robots.txt`** y comprueba que responde con un 200. Haz lo mismo en cada subdominio que sirva páginas, porque cada uno lleva sus propias reglas.[^google-robots-spec]
2. **Para cada bot que te importe, busca el grupo que lo nombra.** Si no hay ninguno, le toca el del asterisco. Después mira qué dice ese grupo de la ruta de tus fichas, por ejemplo `/products/`.
3. **Abre el informe de robots.txt de [Search Console](/es/glosario/search-console/).** Enseña los archivos que Google encontró en los 20 hosts principales de tu sitio, cuándo los leyó por última vez y los errores o avisos. Si has corregido algo urgente, desde ahí puedes pedir que lo vuelva a leer.[^gsc-robots-report]
4. **Prueba una URL concreta con la Inspección de URLs**, que dice si Google tiene bloqueado el acceso a ella.[^gsc-robots-report]
5. **En Shopify o BigCommerce, lee el archivo publicado, no la pantalla de ajustes**: en BigCommerce, las reglas para bots de IA solo aparecen ahí.[^bigcommerce-robots]

## Concepto cercano: noindex

robots.txt controla el rastreo; `noindex` controla la indexación. La regla `noindex` va en una etiqueta `<meta name="robots">` o en la cabecera HTTP `X-Robots-Tag`, y cuando Googlebot la lee, Google quita la página de sus resultados aunque otros sitios la enlacen.[^google-noindex] Por eso no se combinan a la ligera: **si bloqueas la URL en robots.txt, el rastreador no llega a leer el `noindex`** y la página puede seguir apareciendo.[^google-noindex] El orden correcto para retirar una ficha es primero `noindex` con el rastreo abierto, y el bloqueo después, si hace falta. Cuándo conviene cerrar la puerta a cada bot de IA es otra decisión, y la tienes en [bloqueo de bots de IA](/es/glosario/bloqueo-de-bots-de-ia/).

Para seguir, la guía de [lo que ve un rastreador de IA en tu tienda](/es/guias/que-ve-un-rastreador-de-ia/) lee el archivo agente por agente, y la [ruta de lectura de rastreo e indexación](/es/aprender/rastreo-e-indexacion/) ordena el resto de términos.