¿Qué es el archivo robots.txt y para qué sirve?

El robots.txt no tiene nada que ver con la robótica ni con un archivo que tengas que instalar: es un texto plano que vive en la raíz de tu dominio y que lee cualquier rastreador educado antes de pedir una página. Para una tienda importa por dos razones. Es el sitio donde decides qué bots pueden pedir tus fichas, los de Google y los de cada asistente de IA, uno por uno. Y es un archivo pequeño con mucho poder: Shopify avisa de que usar mal su personalización puede hacerte perder todo el tráfico.⁠^{[1]Ayuda de Shopify. Editing robots.txt.liquid}

Cómo funciona

El estándar es el protocolo de exclusión de robots, que Martijn Koster definió en 1994 y que el IETF publicó como RFC 9309 en 2022. Las reglas tienen que estar en un archivo llamado /robots.txt, todo en minúsculas, en el nivel superior del sitio.⁠^{[2]IETF (Koster, Illyes, Zeller y Sassman). RFC 9309: Robots Exclusion Protocol} Google añade un matiz que se olvida a menudo: las reglas solo valen para el host, el protocolo y el puerto donde está el archivo, así que cada subdominio necesita el suyo.⁠^{[3]Google Crawling Infrastructure. How Google interprets the robots.txt specification}

El archivo se organiza en grupos. Cada grupo empieza con una o varias líneas User-agent, que nombran a un bot, y sigue con sus reglas Allow y Disallow. Cada rastreador busca el grupo que lo nombra sin distinguir mayúsculas, y si ninguno lo nombra obedece el grupo User-agent: *.⁠^{[2]IETF (Koster, Illyes, Zeller y Sassman). RFC 9309: Robots Exclusion Protocol} Google lo dice con más claridad: para un rastreador solo vale un grupo, el del nombre más específico que coincide con el suyo, y el grupo específico y el general no se combinan.⁠^{[3]Google Crawling Infrastructure. How Google interprets the robots.txt specification} Dicho de otro modo: si das a un bot un grupo propio, deja de leer las reglas del asterisco.

Dentro de un grupo, gana la regla más específica, la que coincide con más caracteres de la ruta, y si un Allow y un Disallow empatan, se aplica el Allow.⁠^{[2]IETF (Koster, Illyes, Zeller y Sassman). RFC 9309: Robots Exclusion Protocol} En el ejemplo de Google, con allow: /p y disallow: /, la URL /page se puede rastrear, porque la primera regla es más específica. Las rutas distinguen mayúsculas y minúsculas, y admiten dos comodines: * para cualquier secuencia de caracteres y $ para el final de la URL.⁠^{[3]Google Crawling Infrastructure. How Google interprets the robots.txt specification}

Google solo reconoce cuatro campos: user-agent, allow, disallow y sitemap. Crawl-delay no está entre ellos y Google lo ignora.⁠^{[3]Google Crawling Infrastructure. How Google interprets the robots.txt specification} Anthropic, en cambio, dice que admite esa extensión no estándar.⁠^{[4]Anthropic. Does Anthropic crawl data from the web, and how can site owners block the crawler?} La línea Sitemap apunta a tu sitemap XML con una URL completa y no depende de ningún grupo: la pueden seguir todos los rastreadores.⁠^{[3]Google Crawling Infrastructure. How Google interprets the robots.txt specification}

Tres detalles operativos pesan más que la sintaxis:

• El código de respuesta cuenta. Si el archivo devuelve un 4xx, el rastreador puede pedir cualquier cosa. Si devuelve un 5xx, el estándar le manda suponer que no puede pedir nada.⁠^{[2]IETF (Koster, Illyes, Zeller y Sassman). RFC 9309: Robots Exclusion Protocol} Google, en ese caso, deja de rastrear el sitio durante las primeras 12 horas mientras sigue intentando leer el archivo, y después usa la última copia guardada hasta 30 días.⁠^{[3]Google Crawling Infrastructure. How Google interprets the robots.txt specification}
• Los cambios no son inmediatos. El estándar dice que un rastreador no debería usar la copia en caché durante más de 24 horas,⁠^{[2]IETF (Koster, Illyes, Zeller y Sassman). RFC 9309: Robots Exclusion Protocol} y OpenAI calcula unas 24 horas para que su búsqueda se ajuste a un cambio.⁠^{[5]OpenAI. Overview of OpenAI Crawlers}
• El tamaño tiene límite. Google lee como máximo 500 KiB y no tiene en cuenta lo que pase de ahí.⁠^{[3]Google Crawling Infrastructure. How Google interprets the robots.txt specification}

Por último, lo que el archivo no es. El propio estándar dice que estas reglas no son una forma de autorizar el acceso ni sustituyen a una medida de seguridad,⁠^{[2]IETF (Koster, Illyes, Zeller y Sassman). RFC 9309: Robots Exclusion Protocol} y Shopify las describe como orientativas: no todos los rastreadores están obligados a cumplirlas.⁠^{[1]Ayuda de Shopify. Editing robots.txt.liquid}

En una tienda

Las empresas de IA usan varios agentes, y cada uno se permite o se bloquea por separado. OpenAI lo pone como ejemplo: puedes dejar pasar a OAI-SearchBot para aparecer en la búsqueda de ChatGPT y bloquear a GPTBot para indicar que lo rastreado no se use en el entrenamiento de sus modelos.⁠^{[5]OpenAI. Overview of OpenAI Crawlers} Google tiene un control parecido, Google-Extended, que decide si lo que rastrea puede usarse para entrenar futuras versiones de Gemini, y que según Google no afecta a tu presencia en la Búsqueda ni a tu posición.⁠^{[6]Google Crawling Infrastructure. Google's common crawlers} La tabla completa de agentes está en la entrada de GEO.

Así quedaría el archivo de una tienda que quiere dejar fuera el carrito y las colecciones ordenadas, y no ceder su contenido para entrenar modelos. Es un ejemplo ficticio:

User-agent: *
Disallow: /admin
Disallow: /cart
Disallow: /checkout
Disallow: /collections/*sort_by*

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
Disallow: /

Sitemap: https://tienda-ejemplo.com/sitemap.xml

Lo que hace cada parte. El primer grupo vale para cualquier bot que no tenga uno propio: Googlebot, OAI-SearchBot y el resto pueden pedir las fichas, pero no el carrito ni las colecciones reordenadas, que solo multiplican URL de navegación facetada. El segundo grupo nombra a tres agentes de entrenamiento y les cierra todo el sitio. Fíjate en lo que no aparece: OAI-SearchBot no tiene grupo propio a propósito. Si se lo dieras con un Allow: /, dejaría de leer el asterisco y podría pedir también /cart y /checkout.⁠^{[2]IETF (Koster, Illyes, Zeller y Sassman). RFC 9309: Robots Exclusion Protocol}⁠^{[3]Google Crawling Infrastructure. How Google interprets the robots.txt specification}

En Shopify no partes de cero. Todas las tiendas tienen un robots.txt por defecto que bloquea, entre otras rutas, el panel de administración, el carrito, el checkout, la cuenta del cliente, los pedidos y las colecciones ordenadas o filtradas. Para cambiarlo se crea la plantilla robots.txt.liquid en el tema, y Shopify advierte de que es una personalización sin soporte. Bloquear rastreadores de IA ahí solo afecta a lo que se descubre en la web abierta: no frena los datos de producto que Shopify Catalog envía a los agentic storefronts que tengas activados.⁠^{[1]Ayuda de Shopify. Editing robots.txt.liquid}

En BigCommerce el archivo se edita en Settings › Website › Search Engine Robots. Lo que ves ahí no es todo: la plataforma aplica a los rastreadores de IA y de mucho volumen reglas aparte, con un retardo de 10 segundos y las páginas sensibles bloqueadas, que solo aparecen si abres el archivo publicado. Por defecto no hace falta añadir nada para que los bots de IA rastreen la tienda.⁠^{[7]BigCommerce Support. Understanding the Robots.txt File}

Cómo comprobarlo

1. Abre tudominio.com/robots.txt y comprueba que responde con un 200. Haz lo mismo en cada subdominio que sirva páginas, porque cada uno lleva sus propias reglas.⁠^{[3]Google Crawling Infrastructure. How Google interprets the robots.txt specification}
2. Para cada bot que te importe, busca el grupo que lo nombra. Si no hay ninguno, le toca el del asterisco. Después mira qué dice ese grupo de la ruta de tus fichas, por ejemplo /products/.
3. Abre el informe de robots.txt de Search Console. Enseña los archivos que Google encontró en los 20 hosts principales de tu sitio, cuándo los leyó por última vez y los errores o avisos. Si has corregido algo urgente, desde ahí puedes pedir que lo vuelva a leer.⁠^{[10]Ayuda de Search Console. robots.txt report}
4. Prueba una URL concreta con la Inspección de URLs, que dice si Google tiene bloqueado el acceso a ella.⁠^{[10]Ayuda de Search Console. robots.txt report}
5. En Shopify o BigCommerce, lee el archivo publicado, no la pantalla de ajustes: en BigCommerce, las reglas para bots de IA solo aparecen ahí.⁠^{[7]BigCommerce Support. Understanding the Robots.txt File}

Concepto cercano: noindex

robots.txt controla el rastreo; noindex controla la indexación. La regla noindex va en una etiqueta <meta name="robots"> o en la cabecera HTTP X-Robots-Tag, y cuando Googlebot la lee, Google quita la página de sus resultados aunque otros sitios la enlacen.⁠^{[9]Google Search Central. Block Search indexing with noindex} Por eso no se combinan a la ligera: si bloqueas la URL en robots.txt, el rastreador no llega a leer el noindex y la página puede seguir apareciendo.⁠^{[9]Google Search Central. Block Search indexing with noindex} El orden correcto para retirar una ficha es primero noindex con el rastreo abierto, y el bloqueo después, si hace falta. Cuándo conviene cerrar la puerta a cada bot de IA es otra decisión, y la tienes en bloqueo de bots de IA.

Para seguir, la guía de lo que ve un rastreador de IA en tu tienda lee el archivo agente por agente, y la ruta de lectura de rastreo e indexación ordena el resto de términos.