# robots.txt para bots de IA: comprueba y escribe tus reglas > Comprueba qué bots de IA deja entrar tu robots.txt, GPTBot, ClaudeBot o PerplexityBot entre ellos, y escribe las líneas para permitir o bloquear cada uno. URL: https://clione.ai/es/herramientas/robots-txt-bots-ia/ Lang: es Si tienes una tienda, o llevas las de tus clientes desde una agencia, esta herramienta responde a dos preguntas: **a qué bots de IA deja entrar hoy tu [robots.txt](/es/glosario/robots-txt/)**, y qué líneas tienes que escribir para dejar entrar, o fuera, a cada uno. La primera parte lee tu archivo como lo lee un [rastreador](/es/glosario/rastreador/) que sigue el estándar; la segunda escribe las líneas a partir de lo que eliges. Todo ocurre en tu navegador: la herramienta no hace ninguna petición, y nada de lo que pegas sale de esta página. ## Cómo usarla 1. **Pega el archivo vivo.** Abre `tutienda.com/robots.txt` en el navegador, copia el archivo entero y pégalo en el primer campo. Pega lo que sirve tu dominio, no la pantalla de ajustes de la plataforma ni la plantilla `robots.txt.liquid` de Shopify: las líneas de [Liquid](/es/glosario/liquid/) de la plantilla no son reglas, y la herramienta no las interpreta. 2. **Elige la ruta.** Por defecto se comprueba `/`, la portada. Para saber qué pasa con tus fichas, escribe la ruta de una, como `/products/camisa-de-lino`. 3. **Pulsa Comprobar.** Si antes quieres ver un resultado, «Cargar un ejemplo» pega el archivo de una tienda ficticia que deja fuera a [GPTBot](/es/glosario/gptbot/) y a [ClaudeBot](/es/glosario/claudebot/) y aparta a todos del carrito y del pago. 4. **Escribe tus líneas.** En «Escribe las líneas», elige Permitir o Bloquear para cada agente y copia el resultado con el botón Copiar. ## Cómo leer el resultado La comprobación devuelve una fila por agente: - **[User agent](/es/glosario/user-agent/)**: el nombre que el agente busca en tu archivo, el que va detrás de `User-agent:`. - **Empresa**: quién lo opera. - **Grupo que aplica**: «Su propio grupo» si alguna línea `User-agent` lo nombra; «El grupo \*» si no lo nombra ninguna y cae en el general; «Ningún grupo: todo permitido» si el archivo no tiene ni lo uno ni lo otro. - **Veredicto**: Permitido o Bloqueado, para la ruta que has escrito. - **La nota de la última columna** aparece en los agentes que lanza una persona desde ChatGPT y desde [Perplexity](/es/glosario/perplexity/), [ChatGPT-User](/es/glosario/chatgpt-user/) y Perplexity-User, porque sus empresas dicen que robots.txt puede no aplicarse a ellos o que por lo general lo ignoran. Ahí, un «Bloqueado» es lo que pide tu archivo, no lo que va a pasar. Debajo de la herramienta está la lista de los nueve agentes que conoce, con su empresa, para qué sirve cada uno y la página en la que su empresa lo documenta, con la fecha en que la leímos. **Solo está el agente que su empresa documenta en una página propia**: ninguno sale de una lista de terceros. ## Cómo elige cada agente su grupo Un robots.txt se lee por grupos: una o varias líneas `User-agent` y las reglas que van debajo. El estándar, el RFC 9309, fija cómo elige un rastreador el suyo, y la herramienta aplica esas mismas reglas: - Busca el grupo que lo nombra, sin distinguir mayúsculas. Si hay varios, junta sus reglas en uno. Si no lo nombra ninguno, obedece el grupo `User-agent: *`, y si tampoco existe, no tiene reglas.[^rfc9309] - De las reglas cuya ruta coincide, gana la más larga, y si un `Allow` y un `Disallow` empatan, se aplica el `Allow`.[^rfc9309] Google lo llama aplicar la regla menos restrictiva.[^google-robots-spec] - En una ruta, `*` vale por cualquier secuencia de caracteres y un `$` final marca dónde acaba.[^rfc9309] La primera regla tiene una consecuencia que se pasa por alto a menudo: **un agente con grupo propio deja de leer el grupo general**. En este ejemplo ficticio, [OAI-SearchBot](/es/glosario/oai-searchbot/) encuentra su grupo y, con él, permiso para `/cart` y `/checkout`: ```text User-agent: * Disallow: /cart Disallow: /checkout User-agent: OAI-SearchBot Allow: / ``` El generador escribe grupos como el segundo, uno por agente, con `Allow: /` o `Disallow: /`, a propósito: así la decisión sobre cada agente no depende del resto del archivo. Si tu grupo general tiene líneas `Disallow` que quieres mantener para todos, cópialas en cada grupo de agente que permitas, y pega el archivo final en la comprobación antes de publicarlo. ## Tres agentes por empresa, tres decisiones Las empresas de IA no tienen un bot cada una, sino uno para cada uso, y cada uno se controla por separado: | Empresa | Entrena modelos | Busca para sus respuestas | Visita una página porque lo pide una persona | | ---------- | ---------------------------------------------------------------- | --------------------------------------------------------------- | -------------------------------------------- | | OpenAI | GPTBot | OAI-SearchBot | ChatGPT-User | | Anthropic | ClaudeBot | Claude-SearchBot | Claude-User | | Perplexity | Ninguno de sus rastreadores, según su documentación | [PerplexityBot](/es/glosario/perplexitybot/) | Perplexity-User | | Google | [Google-Extended](/es/glosario/google-extended/), que no rastrea | [Googlebot](/es/glosario/googlebot/), fuera de esta herramienta | Fuera de esta herramienta | En OpenAI, cada ajuste es independiente del resto: puedes permitir OAI-SearchBot para salir en las búsquedas de ChatGPT y bloquear GPTBot, el que recoge contenido para entrenar sus modelos.[^openai-bots] En Anthropic, ClaudeBot recoge contenido que puede usarse para entrenar, y Claude-SearchBot rastrea para la calidad de sus resultados de búsqueda.[^anthropic-bots] Perplexity dice que PerplexityBot sirve para mostrar y enlazar sitios en sus resultados y que no se usa para entrenar modelos.[^perplexity-bots] De ahí la regla más útil de esta página: **bloquear el rastreador de entrenamiento no te saca de la [búsqueda con IA](/es/glosario/busqueda-con-ia/); bloquear el de búsqueda, sí**. OpenAI dice que un sitio que excluye OAI-SearchBot no se muestra en las respuestas de búsqueda de ChatGPT,[^openai-bots] y Anthropic avisa de que bloquear Claude-SearchBot puede reducir tu visibilidad en sus resultados.[^anthropic-bots] Cuándo conviene dejar fuera a cada uno es otra decisión, y la tienes en [bloqueo de bots de IA](/es/glosario/bloqueo-de-bots-de-ia/). **Google-Extended no es un rastreador.** No tiene _user agent_ propio: Google rastrea con sus agentes de siempre y lee ese nombre en tu robots.txt solo como un control, que decide si lo rastreado puede usarse para entrenar los modelos de [Gemini](/es/glosario/gemini/) y para fundamentar sus respuestas. Según Google, no afecta a tu inclusión en la Búsqueda ni es una señal de posicionamiento.[^google-common-crawlers] Lo que pidas a Googlebot, en cambio, afecta a la Búsqueda y a todas sus funciones,[^google-common-crawlers] y para salir como enlace en sus funciones de IA, Google pide que la página esté indexada y pueda mostrarse con fragmento.[^google-ai-features] Googlebot no está en la herramienta porque no es un bot de IA, y bloquearlo es otra conversación. **Los agentes que lanza una persona pueden no seguir el archivo.** OpenAI dice que las reglas de robots.txt pueden no aplicarse a ChatGPT-User, porque sus visitas las pide alguien desde ChatGPT,[^openai-bots] y Perplexity dice que Perplexity-User por lo general las ignora, por el mismo motivo.[^perplexity-bots] Anthropic dice que sus bots respetan robots.txt y que admiten `Crawl-delay`, una directiva que no es del estándar.[^anthropic-bots] ## robots.txt es una petición, no un muro El propio estándar lo dice: estas reglas no son una forma de autorizar el acceso.[^rfc9309] Shopify lo repite a su manera: las reglas de tu robots.txt son orientativas y no todos los rastreadores las cumplen.[^shopify-robots] Un `Disallow` es una petición que un rastreador educado atiende, no una puerta cerrada. Y funciona también al revés: **un `Allow` no abre la puerta de tu CDN ni de tu cortafuegos**. Google pide que el rastreo esté permitido en robots.txt y también en cualquier CDN o alojamiento.[^google-ai-features] Si quieres bloquear de verdad, el sitio es el cortafuegos, y ahí un nombre no basta: Perplexity recomienda comprobar el _user agent_ y también que la IP esté en las listas que publica.[^perplexity-bots] Bloquear por IP tiene su propio límite, porque Anthropic avisa de que puede no funcionar bien ni garantizar la exclusión de forma permanente: les impide leer tu robots.txt.[^anthropic-bots] Un cambio tampoco es instantáneo. El estándar permite guardar el archivo en caché hasta 24 horas,[^rfc9309] y OpenAI calcula unas 24 horas para que sus búsquedas noten un cambio.[^openai-bots] ## Dónde van las líneas en Shopify y en BigCommerce **Shopify.** El archivo se cambia con la plantilla `robots.txt.liquid`: en el editor de código del tema, añades una plantilla nueva de tipo robots y la guardas en el tema publicado. Shopify avisa de que es una personalización sin soporte y de que usarla mal puede hacerte perder todo el tráfico.[^shopify-robots] Su documentación para desarrolladores pide no sustituir la plantilla por texto plano: deja los objetos de Liquid que escriben las reglas por defecto y añade tus grupos debajo, que es como lo hace su ejemplo para permitir o bloquear un rastreador.[^shopify-robots-liquid] Ahí van las líneas del generador, con las `Disallow` del grupo general copiadas dentro si las quieres conservar. Y una cosa que este archivo no toca: bloquear rastreadores de IA en robots.txt o en la red solo afecta a lo que se descubre en la web abierta, no a los datos de producto que [Shopify Catalog](/es/glosario/shopify-catalog/) envía a los [_agentic storefronts_](/es/glosario/agentic-storefronts/) que tengas activados.[^shopify-robots] **BigCommerce.** El archivo se edita en `Settings › Website`, en la sección Search Engine Robots, y con Multi-Storefront, por tienda. Lo que ves ahí no es el archivo entero: BigCommerce aplica a los rastreadores de IA y de mucho volumen unas reglas aparte, con `Crawl-delay: 10` y el bloqueo de las páginas sensibles, que no aparecen en los ajustes y sí en tu `/robots.txt`. Por defecto, no hace falta añadir nada para que los bots de IA rastreen la tienda.[^bigcommerce-robots] Por eso, en BigCommerce más que en ningún sitio, **pega en la comprobación el archivo vivo, no el de los ajustes**. ## Lo que la herramienta no puede decirte - **No descarga tu archivo.** Los navegadores limitan las peticiones que un script hace a otro dominio,[^mdn-cors] así que trabaja con lo que pegas. - **Dice lo que pide tu archivo, no lo que hizo cada bot.** Si un agente respetó tus reglas solo se ve en los registros del servidor, con su IP contrastada con la lista de su empresa. La guía [qué ve un rastreador de IA en tu tienda](/es/guias/que-ve-un-rastreador-de-ia/) explica cómo. - **No ve tu CDN ni tu cortafuegos**, que pueden bloquear a un agente al que el archivo deja pasar. - **Comprueba una ruta cada vez.** Una tienda con reglas distintas para fichas, colecciones y búsqueda interna necesita una comprobación por ruta. - **No lee `Crawl-delay` ni `Sitemap`**, y no sabe cómo responde tu servidor al pedir el archivo. Eso importa: con un error 4xx el rastreador puede entrar en todo, y con un 5xx el estándar le pide suponer que no puede entrar en nada.[^rfc9309] - **Solo conoce nueve agentes.** Un bot que no esté en la lista no sale en el resultado, aunque tu archivo lo nombre.