¿Qué es el bloqueo de bots de IA y cuándo conviene?

«Bloquear la IA» suena a una sola decisión, y en una tienda son por lo menos tres: si dejas que tu catálogo sirva para entrenar modelos, si quieres salir en las respuestas de los asistentes que buscan en la web, y si dejas pasar a un agente que visita tu ficha porque una persona se lo ha pedido. Cada una se toma con un agente distinto, y bloquear el que no era puede sacarte de las respuestas que querías. La sintaxis de las reglas está en la entrada de robots.txt; aquí va la decisión, y las capas donde se aplica.

Qué se puede bloquear

Las empresas de IA separan sus agentes por función, y cada uno se identifica con su propio nombre de user agent. OpenAI lo pone como ejemplo de uso: puedes dejar pasar a OAI-SearchBot para aparecer en los resultados de búsqueda de ChatGPT y bloquear a GPTBot para indicar que lo rastreado no se use en el entrenamiento.⁠^{[1]OpenAI. Overview of OpenAI Crawlers}

Las fuentes de la tabla son la documentación de cada empresa.⁠^{[1]OpenAI. Overview of OpenAI Crawlers}⁠^{[2]Anthropic. Does Anthropic crawl data from the web, and how can site owners block the crawler?}⁠^{[3]Perplexity. Perplexity Crawlers} Google es el caso aparte. Google-Extended no es un rastreador: es un nombre que se usa en robots.txt para decidir si lo que Google ya rastrea puede servir para entrenar futuras generaciones de Gemini. No afecta a tu inclusión en la Búsqueda de Google ni es una señal de posicionamiento, y Google rastrea con sus agentes de siempre.⁠^{[4]Google Crawling Infrastructure. Google's common crawlers}

La fila de abajo es la que más sorprende. OpenAI dice que, como las visitas de ChatGPT-User las inicia una persona, las reglas de robots.txt pueden no aplicarse, y que para salir o no de la búsqueda se usa OAI-SearchBot.⁠^{[1]OpenAI. Overview of OpenAI Crawlers} Perplexity dice que Perplexity-User, por la misma razón, por lo general ignora robots.txt.⁠^{[3]Perplexity. Perplexity Crawlers}

Las tres capas donde se bloquea

robots.txt: una petición. Es la capa que leen los rastreadores que se portan bien, y el propio estándar lo deja claro: sus reglas no son una forma de autorización de acceso ni sustituyen a una medida de seguridad.⁠^{[5]IETF (Koster, Illyes, Zeller y Sassman). RFC 9309: Robots Exclusion Protocol} Shopify lo dice con sus palabras: las reglas son orientativas y no todos los rastreadores están obligados a cumplirlas.⁠^{[6]Ayuda de Shopify. Editing robots.txt.liquid} Los cambios tampoco son inmediatos: OpenAI y Perplexity calculan hasta unas 24 horas para que sus sistemas los apliquen.⁠^{[1]OpenAI. Overview of OpenAI Crawlers}⁠^{[3]Perplexity. Perplexity Crawlers}

La red: un bloqueo de verdad. Una CDN o un cortafuegos de aplicaciones web (WAF) puede rechazar la petición antes de que llegue a tu tienda. Cloudflare, por ejemplo, ofrece AI Crawl Control en todos sus planes: muestra qué servicios de IA visitan tu web, deja permitir o bloquear cada rastreador por separado y señala cuáles se saltan tu robots.txt.⁠^{[7]Cloudflare Docs. AI Crawl Control} Al bloquear uno, crea o actualiza una regla del cortafuegos que, por defecto, responde con un 403.⁠^{[8]Cloudflare Docs. Manage AI crawlers} El 1 de julio de 2025, Cloudflare anunció que pasaba a bloquear por defecto a los rastreadores de IA salvo que pagaran a los creadores por el contenido.⁠^{[9]Cloudflare Blog (Matthew Prince). Content Independence Day: no AI crawl without compensation!} Y su ajuste antiguo, Block AI bots, que bloquea los bots verificados clasificados como de entrenamiento y otros no verificados que se comportan igual, deja de usarse el 15 de septiembre de 2026, sustituido por categorías más finas: búsqueda, agente y entrenamiento.⁠^{[10]Cloudflare Docs. Block AI bots}

Bloquear en la red exige saber quién es quién, porque el nombre de un bot se puede falsificar. Google lo advierte y explica cómo verificar sus rastreadores por sus rangos de IP y su DNS inverso.⁠^{[4]Google Crawling Infrastructure. Google's common crawlers} OpenAI y Perplexity publican las IP de cada agente en archivos JSON, y Perplexity recomienda combinar el nombre y la IP al configurar un WAF.⁠^{[1]OpenAI. Overview of OpenAI Crawlers}⁠^{[3]Perplexity. Perplexity Crawlers} Anthropic avisa del límite contrario: bloquear sus IP puede no funcionar bien ni garantizar la exclusión, porque le impide leer tu robots.txt.⁠^{[2]Anthropic. Does Anthropic crawl data from the web, and how can site owners block the crawler?}

La plataforma: lo que ya viene hecho. Shopify gestiona los bots en su red sin que tengas que hacer nada y desaconseja poner un proxy delante de la tienda. Y marca un límite importante: bloquear rastreadores de IA en robots.txt o en la red solo afecta a lo que se descubre en la web abierta, no a los datos de producto que Shopify Catalog envía a los agentic storefronts que tengas activados; eso se controla en sus propios ajustes.⁠^{[6]Ayuda de Shopify. Editing robots.txt.liquid} BigCommerce aplica a los rastreadores de IA y de mucho volumen reglas aparte, con un retardo de 10 segundos entre peticiones y el carrito, el checkout, la cuenta y los listados filtrados cerrados; no se ven en los ajustes, solo en el robots.txt publicado.⁠^{[11]BigCommerce Support. Understanding the Robots.txt File}

En una tienda

Un ejemplo ficticio: una tienda de material de montaña que quiere salir en las respuestas de los asistentes y no quiere que su catálogo sirva para entrenar modelos.

La tabla dice algo que la lista de un blog no dice: cerrar el entrenamiento y quedarse en la búsqueda no es contradictorio, porque son agentes distintos.⁠^{[1]OpenAI. Overview of OpenAI Crawlers} El fallo típico es copiar una lista de «todos los bots de IA» que mete en el mismo saco a los de búsqueda.

Cómo comprobarlo

1. Abre tu robots.txt publicado y apunta qué agentes de la tabla tienen grupo propio y qué dice ese grupo de tus fichas. En BigCommerce, mira el archivo vivo, no los ajustes.⁠^{[11]BigCommerce Support. Understanding the Robots.txt File}
2. Revisa la CDN o el cortafuegos. Si usas Cloudflare, abre AI Crawl Control y mira la acción de cada rastreador; si tenías activado el ajuste antiguo Block AI bots, revisa a qué categorías ha pasado.⁠^{[8]Cloudflare Docs. Manage AI crawlers}⁠^{[10]Cloudflare Docs. Block AI bots}
3. Busca en los registros las respuestas 403 a agentes de IA y comprueba la IP de cada uno contra las listas que publica su empresa antes de fiarte del nombre.⁠^{[1]OpenAI. Overview of OpenAI Crawlers}⁠^{[3]Perplexity. Perplexity Crawlers}
4. En Shopify, revisa por separado los ajustes de los agentic storefronts: ni robots.txt ni la red deciden qué datos salen por ahí.⁠^{[6]Ayuda de Shopify. Editing robots.txt.liquid}
5. Después de un cambio, espera un día antes de sacar conclusiones: es el plazo que dan OpenAI y Perplexity.⁠^{[1]OpenAI. Overview of OpenAI Crawlers}⁠^{[3]Perplexity. Perplexity Crawlers}

Concepto cercano: pay per crawl

Entre dejar pasar y bloquear hay una tercera opción: cobrar. El pay per crawl de Cloudflare deja fijar un precio por zona, y el rastreador que no presenta intención de pago recibe un 402 Payment Required con el precio en lugar del contenido. Está en beta cerrada.⁠^{[12]Cloudflare Docs. What is Pay Per Crawl} El bloqueo responde a quién puede entrar; el pago, a cuánto cuesta, y los dos se apoyan en lo mismo: saber de verdad qué bot está llamando, y no solo cómo dice llamarse.

Para seguir, la guía de lo que ve un rastreador de IA en tu tienda lo comprueba agente por agente, y la ruta de lectura de este tema ordena el resto de términos.