# Quita el bloqueo a los bots de IA, Cloudflare incluido

> Si tu tienda responde 403, 429 o una prueba a los rastreadores de IA, aquí ves qué capa lo decide y qué ajuste cambiar, de Cloudflare a robots.txt.

URL: https://clione.ai/es/guias/tienda-bloquea-rastreadores-de-ia/
Lang: es

Antes de tocar nada, decide a quién quieres dejar pasar, porque **[bloquear bots de IA](/es/glosario/bloqueo-de-bots-de-ia/) no es una sola decisión**, ni en tu [robots.txt](/es/glosario/robots-txt/) ni en el cortafuegos. Cada [rastreador](/es/glosario/rastreador/) entra para un trabajo distinto: OpenAI, por ejemplo, separa el agente que busca del que entrena y del que visita una página porque se lo pide una persona.[^openai-bots] Anthropic y [Perplexity](/es/glosario/perplexity/) documentan sus agentes de la misma forma, cada uno con su función:[^anthropic-bots][^perplexity-bots]

| Para qué entra               | Agentes                                                                                                      | En una tienda que quiere salir en las respuestas                                                                                                                                                  |
| ---------------------------- | ------------------------------------------------------------------------------------------------------------ | ------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- |
| Buscar y citar               | [OAI-SearchBot](/es/glosario/oai-searchbot/), Claude-SearchBot, [PerplexityBot](/es/glosario/perplexitybot/) | Dejar pasar                                                                                                                                                                                       |
| Visitas que pide una persona | [ChatGPT-User](/es/glosario/chatgpt-user/), Claude-User, Perplexity-User                                     | Dejar pasar                                                                                                                                                                                       |
| Buscar y entrenar a la vez   | [Googlebot](/es/glosario/googlebot/), [Bingbot](/es/glosario/bingbot/), Applebot                             | Dejar pasar siempre: son tu presencia en la Búsqueda de Google, en Bing y en la búsqueda de Siri, Spotlight y Safari |
| Solo entrenar                | [GPTBot](/es/glosario/gptbot/), [ClaudeBot](/es/glosario/claudebot/)                                         | Tu decisión: bloquearlos no te saca de ninguna búsqueda                                                                                                                                           |

Las dos últimas filas siguen la clasificación de Cloudflare,[^cf-mixed-use] y Apple usa lo que rastrea Applebot para la búsqueda que integra en Siri, Spotlight y Safari.[^apple-bot]

## Paso 1: lee qué capa te ha dicho que no

Antes de cambiar un ajuste, mira qué ha recibido el agente. Pide una ficha con el [_user agent_](/es/glosario/user-agent/) de cada agente y busca sus visitas reales en los registros, como se explica en los [pasos 4 y 5 de la guía de qué ve un rastreador de IA en tu tienda](/es/guias/que-ve-un-rastreador-de-ia/). Lo que encuentres te dice dónde mirar:

| Lo que recibe el agente                       | Quién puede decirlo                                                                                                                                                                   | Dónde se arregla |
| --------------------------------------------- | ------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- | ---------------- |
| Un 403                                        | Una regla de la CDN o del cortafuegos. AI Crawl Control de Cloudflare, al bloquear un rastreador, responde con un 403; en los planes de pago puedes cambiarlo por un 402.[^cf-manage] | Pasos 2, 3 y 5   |
| Un 429                                        | Un límite de peticiones: es el código que devuelve Cloudflare por defecto.[^cf-rl-params]                                                                                             | Paso 3           |
| Una página de comprobación en vez de la ficha | Un gestor de bots que pone a prueba al visitante, como Bot Fight Mode.[^perplexity-bots]                                                                                              | Pasos 3 y 5      |
| Ninguna visita, y un `Disallow` en el archivo | Tu robots.txt, o las reglas que Cloudflare pone delante de él.[^cf-managed-robots]                                                                                                    | Paso 4           |
| La página con contraseña de la tienda         | El modo privado de Shopify, que cierra la tienda a visitantes y buscadores.[^shopify-prefs]                                                                                           | Paso 6           |

El 403 es el que más cuesta. Cuando Googlebot recibe un 403 en una URL que Google ya tenía en su índice, la saca del índice. Un 429 o un 503, en cambio, le hacen rastrear más despacio, aunque, si duran, las URLs indexadas también acaban saliendo.[^google-http] Y **un Disallow no produce ningún código**: el agente que respeta robots.txt no llega a pedir la página.

## Paso 2: Cloudflare, la política de IA y AI Crawl Control

**En Cloudflare, poner el entrenamiento en Block bloquea también a Googlebot, Bingbot y Applebot.** Cloudflare los cuenta como rastreadores de uso mixto, que sirven a la vez para buscar y para entrenar, y desde el 15 de septiembre de 2026 sus opciones Block y Block on pages with ads se aplican también a ellos. Bloquearlos te saca de la búsqueda, no solo del entrenamiento.[^cf-mixed-use] Es justo lo contrario de lo que pasa con los controles de Google: allí el entrenamiento se decide con [Google-Extended](/es/glosario/google-extended/), que no afecta a tu inclusión en la Búsqueda.[^google-common-crawlers]

Para el entrenamiento, la opción es **Disallow**. Publica tu preferencia en robots.txt y deja permitidos para la búsqueda a esos rastreadores mixtos.[^cf-mixed-use] Que Disallow frene además en el borde de Cloudflare a los rastreadores de entrenamiento, salvo a los mixtos, depende de Bot Preference Sync: actívalo en el punto 3 de la lista de abajo.[^cf-policies] **Es el criterio que firman nuestros revisores: para el entrenamiento, Disallow, no Block.** La diferencia entre las dos opciones son los rastreadores mixtos, y una tienda que quiere vender necesita que esos entren. Cloudflare señala un límite: hasta que Microsoft admita esa preferencia en robots.txt, algo que prevé para principios de 2027, Disallow no le transmite a Bing que no quieres que entrene con tu contenido.[^cf-mixed-use]

Los valores por defecto han cambiado varias veces en 2026. El 1 de julio, todos los planes, el gratuito incluido, recibieron controles separados para Search, Agent y Training.[^cf-changelog] El 15 de septiembre, Cloudflare retiró el interruptor único Block AI bots en favor de esos controles, y llegaron unos preajustes para las altas nuevas que dependen de si la web vive de anuncios.[^cf-mixed-use] Y la documentación actual describe otro punto de partida.[^cf-policies] No supongas cuál tiene tu zona: ábrela y míralo.

1. En el panel, ve a Security › Settings, filtra por Bot traffic y abre AI Crawler and Agent access policies.[^cf-policies]
2. Pon Search y Agent en Allow (do not block). Para Personal Agents, Cloudflare recomienda Allow.[^cf-policies]
3. Pon Training en Disallow, la opción que solo existe para esa categoría, y activa Enable Bot Preference Sync en la misma pantalla.[^cf-policies][^cf-managed-robots]
4. Después, en AI Crawl Control, revisa la acción de cada rastreador. Se puede permitir o bloquear uno a uno, y cada bloqueo crea o actualiza una regla personalizada del WAF de la zona.[^cf-manage] Si un agente de búsqueda sigue recibiendo un 403, esa regla es la primera sospechosa.

## Paso 3: Bot Fight Mode y los límites de peticiones

**Bot Fight Mode no se puede saltar con una regla personalizada del WAF ni con Page Rules.** No funciona sobre el motor de reglas, así que las acciones Skip, Bypass o Allow no le afectan.[^cf-bfm][^cf-skip] Perplexity lo avisa en su documentación: Bot Fight Mode puede seguir poniendo a prueba a sus agentes aunque escribas reglas para dejarlos pasar.[^perplexity-bots] Te quedan tres salidas: apagarlo, para todo el dominio; crear reglas de IP Access, porque Bot Fight Mode no salta si una de ellas coincide antes con la petición; o pasarte a Super Bot Fight Mode, que funciona sobre el motor de reglas y admite reglas Skip, como verás en el párrafo siguiente.[^cf-bfm] Para las reglas de IP Access necesitas las IP que publica cada empresa, como `searchbot.json` o `chatgpt-user.json` en OpenAI,[^openai-bots] y Perplexity recomienda actualizar esas reglas de forma automática, porque los rangos cambian.[^perplexity-bots]

Super Bot Fight Mode reparte el tráfico en tres grupos, Definitely automated, Likely automated y Verified bots, y cada uno tiene su respuesta. Pon Verified bots en Allow y, para cualquier otra excepción, crea una regla personalizada con la acción Skip, que deja a la petición saltarse esa fase y seguir por el resto de la seguridad.[^cf-sbfm][^cf-skip] Un bot verificado, para Cloudflare, es el que se identifica de forma honrada, con una firma de [Web Bot Auth](/es/glosario/web-bot-auth/), con una lista de IP publicada y un _user agent_ estable o con DNS inverso, y además no abusa del acceso que eso le da.[^cf-verified]

Los límites de peticiones responden por defecto con un 429.[^cf-rl-params] Cloudflare avisa de que aplicarlos a los bots verificados puede afectar al posicionamiento, y en cualquier plan la expresión de la regla puede usar el campo Verified Bot para dejarlos fuera.[^cf-rl]

## Paso 4: robots.txt, el tuyo y el que añade Cloudflare

El robots.txt que lee un agente puede no ser el que subiste. Con Bot Preference Sync, Cloudflare genera reglas a partir de tus políticas de búsqueda, agente y entrenamiento y **las pone delante de tu archivo**, que sigue ahí, debajo.[^cf-managed-robots][^cf-bps] Si las tres políticas están en Allow, el archivo sale sin cambios. En cuanto una de las tres, el entrenamiento incluido, está en Block o en Block on pages with ads, o el entrenamiento está en Disallow, añade sus reglas.[^cf-managed-robots] Para los clientes nuevos viene activado por defecto.[^cf-bps]

Así que lee el archivo vivo, en `/robots.txt` de tu dominio, y no la copia que tienes en el servidor. Si un agente de búsqueda aparece ahí con `Disallow: /` y tú no lo escribiste, la causa está en las políticas del paso 2. Las líneas para permitir o bloquear a cada agente, con la regla de qué grupo lee cada uno, las escribe y las comprueba la [herramienta de robots.txt para bots de IA](/es/herramientas/robots-txt-bots-ia/).

## Paso 5: otros cortafuegos y gestores de bots

Si delante de tu tienda no está Cloudflare, el ajuste tiene otro nombre y la idea es la misma: busca la categoría de IA y mira qué hace con cada tipo de agente.

- **AWS WAF.** En el grupo Bot Control, la regla CategoryAI bloquea a los bots de IA **estén verificados o no**, y solo se libran las peticiones que llegan con una firma de Web Bot Auth validada.[^aws-bot-control] Si un agente de búsqueda verificado recibe un no, empieza por esa regla.
- **Akamai.** Separa tres categorías, los rastreadores de entrenamiento, los de búsqueda y los agentes que piden contenido en tiempo real, y deja fijar una política para cada una: limitar el entrenamiento y permitir la búsqueda, por ejemplo.[^akamai-ai]
- **Fastly.** Eliges la acción para todos los bots de una categoría, y cada bot concreto la hereda o la sustituye por otra.[^fastly-bots]
- **DataDome.** Clasifica a los agentes en AI Crawlers, AI Assistants, Autonomous Agents y Agentic Browsers. La mayoría recibe por defecto una política según su intención, que deja pasar el tráfico salvo que detecte un intento de fraude; la excepción son los rastreadores de entrenamiento, que por lo general vienen en Block. Se revisa en Agentic Trust › Access Control antes de activar la protección.[^datadome]
- **Imperva.** Para dejar pasar a un bot de IA concreto, se crea una excepción con su Client App ID.[^imperva]

En todos ellos manda la misma regla: **deja pasar por categoría verificada o por las IP que publica cada empresa, nunca solo por el _user agent_**, porque esa firma se puede falsificar.[^aws-bot-control] Perplexity recomienda combinar la cadena con la comprobación de la IP,[^perplexity-bots] y Google explica cómo verificar sus rastreadores con DNS inverso o con sus listas de rangos.[^google-verify] Un bloqueo por países también cuenta: Google sale sobre todo desde IP de Estados Unidos y, si detecta que bloqueas las peticiones de ese país, puede intentar rastrear desde otros.[^google-crawlers]

## Paso 6: lo que decide tu plataforma

**Shopify.** Mientras el modo privado está activo, la tienda enseña una página con contraseña y quedan fuera visitantes y buscadores.[^shopify-prefs] Si el `Disallow` sale de la plantilla `robots.txt.liquid` de tu tema, qué trae el archivo por defecto y cómo se cambia está en el paso 1 de la guía de qué ve un rastreador de IA.[^shopify-robots]

**BigCommerce.** Para un control más fuerte de los bots, BigCommerce remite a un servicio que gestione el acceso en la infraestructura, como Cloudflare.[^bigcommerce-robots] Si lo has puesto, los pasos 2 y 3 son los tuyos.

## Paso 7: confirma el arreglo

Un cambio en robots.txt no se nota al momento: OpenAI calcula unas 24 horas para que sus sistemas lo apliquen, y Perplexity, hasta 24 horas.[^openai-bots][^perplexity-bots] Pasado ese día, vuelve a los registros como en el paso 5 de la guía de qué ve un rastreador: filtra por el nombre del agente, comprueba su IP contra la lista de su empresa y mira que la respuesta sea un 200.

Para Googlebot tienes una ventana directa, la inspección de URLs de [Search Console](/es/glosario/search-console/). «Probar URL publicada» examina la página en ese momento, y sus campos dicen si Google pudo obtenerla de tu servidor y si tu robots.txt le deja rastrearla. Si el bloqueo llegó a sacar URLs del índice, desde ahí puedes pedir que se vuelvan a indexar, aunque pedirlo no garantiza que entren.[^gsc-url-inspection] Y si lo que recibía era un 429 o un 503, Google vuelve a subir poco a poco el ritmo de rastreo cuando tu servidor responde bien.[^google-http]


Cuando no podemos hacer el informe de una tienda, a veces es porque su web responde con un 403 a nuestro rastreador ya en la página de inicio. Ese 403 no sale de robots.txt: **un Disallow le pide al agente que no entre; un 403 se lo impide**, y lo decide una capa que va antes, la CDN, el cortafuegos o el servidor. El estándar lo dice a su manera: las reglas de robots.txt no son una forma de autorizar el acceso.[^rfc9309] Por eso Google pide que el rastreo esté permitido en robots.txt y también en cualquier CDN o infraestructura de alojamiento,[^google-ai-features] y por eso una tienda puede tener el archivo abierto a todos y cerrarle la puerta a quien quería dejar pasar. Lo que se arregla es la capa del paso 1, no el archivo.


## Lo que hemos comprobado

Los menús, las opciones y los valores por defecto de esta guía salen de la documentación de cada empresa, que leímos el 11 de noviembre de 2026. En Cloudflare, las páginas de las políticas de acceso para rastreadores y agentes de IA, del robots.txt gestionado y de los bots verificados se actualizaron el 2 de noviembre de 2026; la de los parámetros de los límites de peticiones, el 4 de noviembre; la de las reglas de límites, el 25 de agosto; las de Bot Fight Mode, Super Bot Fight Mode y la acción Skip, el 3 de agosto; y la de la gestión de rastreadores en AI Crawl Control, el 28 de julio.[^cf-policies][^cf-managed-robots][^cf-verified][^cf-rl-params][^cf-rl][^cf-bfm][^cf-sbfm][^cf-skip][^cf-manage] Lo que contamos de Akamai e Imperva sale de sus blogs, en entradas del 3 de septiembre y del 30 de junio de 2026.[^akamai-ai][^imperva]

Para escribirla no hemos cambiado ningún ajuste en una zona en producción, y todavía no hemos repetido los pasos en una zona de prueba, activando cada opción y anotando qué código recibe cada agente y desde qué IP llega.
