robots.txt para bots de IA: comprueba y escribe tus reglas

Si tienes una tienda, o llevas las de tus clientes desde una agencia, esta herramienta responde a dos preguntas: a qué bots de IA deja entrar hoy tu robots.txt, y qué líneas tienes que escribir para dejar entrar, o fuera, a cada uno. La primera parte lee tu archivo como lo lee un rastreador que sigue el estándar; la segunda escribe las líneas a partir de lo que eliges. Todo ocurre en tu navegador: la herramienta no hace ninguna petición, y nada de lo que pegas sale de esta página.

Cómo usarla

1. Pega el archivo vivo. Abre tutienda.com/robots.txt en el navegador, copia el archivo entero y pégalo en el primer campo. Pega lo que sirve tu dominio, no la pantalla de ajustes de la plataforma ni la plantilla robots.txt.liquid de Shopify: las líneas de Liquid de la plantilla no son reglas, y la herramienta no las interpreta.
2. Elige la ruta. Por defecto se comprueba /, la portada. Para saber qué pasa con tus fichas, escribe la ruta de una, como /products/camisa-de-lino.
3. Pulsa Comprobar. Si antes quieres ver un resultado, «Cargar un ejemplo» pega el archivo de una tienda ficticia que deja fuera a GPTBot y a ClaudeBot y aparta a todos del carrito y del pago.
4. Escribe tus líneas. En «Escribe las líneas», elige Permitir o Bloquear para cada agente y copia el resultado con el botón Copiar.

Cómo leer el resultado

La comprobación devuelve una fila por agente:

• User agent: el nombre que el agente busca en tu archivo, el que va detrás de User-agent:.
• Empresa: quién lo opera.
• Grupo que aplica: «Su propio grupo» si alguna línea User-agent lo nombra; «El grupo *» si no lo nombra ninguna y cae en el general; «Ningún grupo: todo permitido» si el archivo no tiene ni lo uno ni lo otro.
• Veredicto: Permitido o Bloqueado, para la ruta que has escrito.
• La nota de la última columna aparece en los agentes que lanza una persona desde ChatGPT y desde Perplexity, ChatGPT-User y Perplexity-User, porque sus empresas dicen que robots.txt puede no aplicarse a ellos o que por lo general lo ignoran. Ahí, un «Bloqueado» es lo que pide tu archivo, no lo que va a pasar.

Debajo de la herramienta está la lista de los nueve agentes que conoce, con su empresa, para qué sirve cada uno y la página en la que su empresa lo documenta, con la fecha en que la leímos. Solo está el agente que su empresa documenta en una página propia: ninguno sale de una lista de terceros.

Cómo elige cada agente su grupo

Un robots.txt se lee por grupos: una o varias líneas User-agent y las reglas que van debajo. El estándar, el RFC 9309, fija cómo elige un rastreador el suyo, y la herramienta aplica esas mismas reglas:

• Busca el grupo que lo nombra, sin distinguir mayúsculas. Si hay varios, junta sus reglas en uno. Si no lo nombra ninguno, obedece el grupo User-agent: *, y si tampoco existe, no tiene reglas.⁠^{[1]IETF (Koster, Illyes, Zeller y Sassman; septiembre de 2022). RFC 9309: Robots Exclusion Protocol}
• De las reglas cuya ruta coincide, gana la más larga, y si un Allow y un Disallow empatan, se aplica el Allow.⁠^{[1]IETF (Koster, Illyes, Zeller y Sassman; septiembre de 2022). RFC 9309: Robots Exclusion Protocol} Google lo llama aplicar la regla menos restrictiva.⁠^{[2]Google Search Central. How Google interprets the robots.txt specification}
• En una ruta, * vale por cualquier secuencia de caracteres y un $ final marca dónde acaba.⁠^{[1]IETF (Koster, Illyes, Zeller y Sassman; septiembre de 2022). RFC 9309: Robots Exclusion Protocol}

La primera regla tiene una consecuencia que se pasa por alto a menudo: un agente con grupo propio deja de leer el grupo general. En este ejemplo ficticio, OAI-SearchBot encuentra su grupo y, con él, permiso para /cart y /checkout:

User-agent: *
Disallow: /cart
Disallow: /checkout

User-agent: OAI-SearchBot
Allow: /

El generador escribe grupos como el segundo, uno por agente, con Allow: / o Disallow: /, a propósito: así la decisión sobre cada agente no depende del resto del archivo. Si tu grupo general tiene líneas Disallow que quieres mantener para todos, cópialas en cada grupo de agente que permitas, y pega el archivo final en la comprobación antes de publicarlo.

Tres agentes por empresa, tres decisiones

Las empresas de IA no tienen un bot cada una, sino uno para cada uso, y cada uno se controla por separado:

En OpenAI, cada ajuste es independiente del resto: puedes permitir OAI-SearchBot para salir en las búsquedas de ChatGPT y bloquear GPTBot, el que recoge contenido para entrenar sus modelos.⁠^{[3]OpenAI. Overview of OpenAI Crawlers} En Anthropic, ClaudeBot recoge contenido que puede usarse para entrenar, y Claude-SearchBot rastrea para la calidad de sus resultados de búsqueda.⁠^{[4]Anthropic. Does Anthropic crawl data from the web, and how can site owners block the crawler?} Perplexity dice que PerplexityBot sirve para mostrar y enlazar sitios en sus resultados y que no se usa para entrenar modelos.⁠^{[5]Perplexity. Perplexity Crawlers}

De ahí la regla más útil de esta página: bloquear el rastreador de entrenamiento no te saca de la búsqueda con IA; bloquear el de búsqueda, sí. OpenAI dice que un sitio que excluye OAI-SearchBot no se muestra en las respuestas de búsqueda de ChatGPT,⁠^{[3]OpenAI. Overview of OpenAI Crawlers} y Anthropic avisa de que bloquear Claude-SearchBot puede reducir tu visibilidad en sus resultados.⁠^{[4]Anthropic. Does Anthropic crawl data from the web, and how can site owners block the crawler?} Cuándo conviene dejar fuera a cada uno es otra decisión, y la tienes en bloqueo de bots de IA.

Google-Extended no es un rastreador. No tiene user agent propio: Google rastrea con sus agentes de siempre y lee ese nombre en tu robots.txt solo como un control, que decide si lo rastreado puede usarse para entrenar los modelos de Gemini y para fundamentar sus respuestas. Según Google, no afecta a tu inclusión en la Búsqueda ni es una señal de posicionamiento.⁠^{[6]Google Search Central. Google's common crawlers} Lo que pidas a Googlebot, en cambio, afecta a la Búsqueda y a todas sus funciones,⁠^{[6]Google Search Central. Google's common crawlers} y para salir como enlace en sus funciones de IA, Google pide que la página esté indexada y pueda mostrarse con fragmento.⁠^{[7]Google Search Central. AI features and your website} Googlebot no está en la herramienta porque no es un bot de IA, y bloquearlo es otra conversación.

Los agentes que lanza una persona pueden no seguir el archivo. OpenAI dice que las reglas de robots.txt pueden no aplicarse a ChatGPT-User, porque sus visitas las pide alguien desde ChatGPT,⁠^{[3]OpenAI. Overview of OpenAI Crawlers} y Perplexity dice que Perplexity-User por lo general las ignora, por el mismo motivo.⁠^{[5]Perplexity. Perplexity Crawlers} Anthropic dice que sus bots respetan robots.txt y que admiten Crawl-delay, una directiva que no es del estándar.⁠^{[4]Anthropic. Does Anthropic crawl data from the web, and how can site owners block the crawler?}

robots.txt es una petición, no un muro

El propio estándar lo dice: estas reglas no son una forma de autorizar el acceso.⁠^{[1]IETF (Koster, Illyes, Zeller y Sassman; septiembre de 2022). RFC 9309: Robots Exclusion Protocol} Shopify lo repite a su manera: las reglas de tu robots.txt son orientativas y no todos los rastreadores las cumplen.⁠^{[8]Shopify Help Center. Editing robots.txt.liquid} Un Disallow es una petición que un rastreador educado atiende, no una puerta cerrada.

Y funciona también al revés: un Allow no abre la puerta de tu CDN ni de tu cortafuegos. Google pide que el rastreo esté permitido en robots.txt y también en cualquier CDN o alojamiento.⁠^{[7]Google Search Central. AI features and your website} Si quieres bloquear de verdad, el sitio es el cortafuegos, y ahí un nombre no basta: Perplexity recomienda comprobar el user agent y también que la IP esté en las listas que publica.⁠^{[5]Perplexity. Perplexity Crawlers} Bloquear por IP tiene su propio límite, porque Anthropic avisa de que puede no funcionar bien ni garantizar la exclusión de forma permanente: les impide leer tu robots.txt.⁠^{[4]Anthropic. Does Anthropic crawl data from the web, and how can site owners block the crawler?}

Un cambio tampoco es instantáneo. El estándar permite guardar el archivo en caché hasta 24 horas,⁠^{[1]IETF (Koster, Illyes, Zeller y Sassman; septiembre de 2022). RFC 9309: Robots Exclusion Protocol} y OpenAI calcula unas 24 horas para que sus búsquedas noten un cambio.⁠^{[3]OpenAI. Overview of OpenAI Crawlers}

Dónde van las líneas en Shopify y en BigCommerce

Shopify. El archivo se cambia con la plantilla robots.txt.liquid: en el editor de código del tema, añades una plantilla nueva de tipo robots y la guardas en el tema publicado. Shopify avisa de que es una personalización sin soporte y de que usarla mal puede hacerte perder todo el tráfico.⁠^{[8]Shopify Help Center. Editing robots.txt.liquid} Su documentación para desarrolladores pide no sustituir la plantilla por texto plano: deja los objetos de Liquid que escriben las reglas por defecto y añade tus grupos debajo, que es como lo hace su ejemplo para permitir o bloquear un rastreador.⁠^{[9]Shopify.dev. Customize robots.txt} Ahí van las líneas del generador, con las Disallow del grupo general copiadas dentro si las quieres conservar. Y una cosa que este archivo no toca: bloquear rastreadores de IA en robots.txt o en la red solo afecta a lo que se descubre en la web abierta, no a los datos de producto que Shopify Catalog envía a los agentic storefronts que tengas activados.⁠^{[8]Shopify Help Center. Editing robots.txt.liquid}

BigCommerce. El archivo se edita en Settings › Website, en la sección Search Engine Robots, y con Multi-Storefront, por tienda. Lo que ves ahí no es el archivo entero: BigCommerce aplica a los rastreadores de IA y de mucho volumen unas reglas aparte, con Crawl-delay: 10 y el bloqueo de las páginas sensibles, que no aparecen en los ajustes y sí en tu /robots.txt. Por defecto, no hace falta añadir nada para que los bots de IA rastreen la tienda.⁠^{[10]BigCommerce Support. Understanding the Robots.txt File} Por eso, en BigCommerce más que en ningún sitio, pega en la comprobación el archivo vivo, no el de los ajustes.

Lo que la herramienta no puede decirte

• No descarga tu archivo. Los navegadores limitan las peticiones que un script hace a otro dominio,⁠^{[11]MDN Web Docs. Cross-Origin Resource Sharing (CORS)} así que trabaja con lo que pegas.
• Dice lo que pide tu archivo, no lo que hizo cada bot. Si un agente respetó tus reglas solo se ve en los registros del servidor, con su IP contrastada con la lista de su empresa. La guía qué ve un rastreador de IA en tu tienda explica cómo.
• No ve tu CDN ni tu cortafuegos, que pueden bloquear a un agente al que el archivo deja pasar.
• Comprueba una ruta cada vez. Una tienda con reglas distintas para fichas, colecciones y búsqueda interna necesita una comprobación por ruta.
• No lee Crawl-delay ni Sitemap, y no sabe cómo responde tu servidor al pedir el archivo. Eso importa: con un error 4xx el rastreador puede entrar en todo, y con un 5xx el estándar le pide suponer que no puede entrar en nada.⁠^{[1]IETF (Koster, Illyes, Zeller y Sassman; septiembre de 2022). RFC 9309: Robots Exclusion Protocol}
• Solo conoce nueve agentes. Un bot que no esté en la lista no sale en el resultado, aunque tu archivo lo nombre.