¿Qué es pay per crawl (pago por rastreo) de Cloudflare?

Pay per crawl no tiene nada que ver con el pago por clic de la publicidad: aquí quien paga es el rastreador de una empresa de IA, y cobra quien publica. Es una función de Cloudflare, no un estándar de la web, y solo está disponible para los dominios que pasan por su red. A una tienda le importa por una razón concreta: le da una tercera opción entre dejar pasar gratis a los bots de IA y cerrarles la puerta, y esa opción tiene consecuencias distintas según qué bot reciba la factura.

Cómo funciona

Cloudflare presentó pay per crawl el 1 de julio de 2025, en beta privada.⁠^{[1]Cloudflare, blog (Will Allen y Simon Newton). Introducing pay per crawl: Enabling content owners to charge AI crawlers for access} Ese mismo día anunció que pasaba a bloquear por defecto a los rastreadores de IA que acceden al contenido sin permiso ni compensación, y que las empresas de IA podían declarar si sus rastreadores sirven para entrenar, para la inferencia o para la búsqueda.⁠^{[2]Cloudflare, nota de prensa. Cloudflare Just Changed How AI Crawlers Scrape the Internet-at-Large} En la documentación actualizada el 28 de julio de 2026, la función sigue en beta cerrada: para entrar hay que rellenar un formulario o, si eres cliente Enterprise, hablar con tu gestor de cuenta.⁠^{[3]Cloudflare Docs, AI Crawl Control. What is Pay Per Crawl?}

El propietario elige una acción para cada rastreador que identifica Cloudflare: permitir (acceso gratis), cobrar (el precio configurado por cada acceso con éxito) o bloquear (sin acceso).⁠^{[4]Cloudflare Docs, AI Crawl Control. Select crawlers to charge} El precio es uno solo para todos los rastreadores a los que se cobra: se pueden tener acciones distintas por bot, pero no precios distintos por bot.⁠^{[5]Cloudflare Docs, AI Crawl Control. Pay Per Crawl FAQ} El precio mínimo es de 0,001 dólares por página.⁠^{[6]Cloudflare Docs, AI Crawl Control. Set a pay per crawl price} Desde el 16 de junio de 2026 se puede variar por página: el servidor de origen, o un Worker de Cloudflare, añade a la respuesta una cabecera crawler-price con el precio de esa URL.⁠^{[7]Cloudflare Docs. AI Crawl Control changelog}⁠^{[8]Cloudflare Docs, AI Crawl Control. Advanced configuration}

La conversación entre el rastreador y el sitio usa un código HTTP que llevaba años sin uso, el 402 Payment Required.⁠^{[1]Cloudflare, blog (Will Allen y Simon Newton). Introducing pay per crawl: Enabling content owners to charge AI crawlers for access} Hay dos caminos:⁠^{[9]Cloudflare Docs, AI Crawl Control. Crawl pages}

• Primero pregunta. El rastreador pide la página sin ofrecer nada, recibe un 402 con la cabecera crawler-price y repite la petición con crawler-exact-price y ese mismo importe.
• Primero ofrece. El rastreador manda desde el principio crawler-max-price con lo máximo que está dispuesto a pagar. Si el precio de la página es igual o menor, recibe el contenido; si es mayor, recibe el 402.

Cuando la página se sirve, la respuesta 200 lleva la cabecera crawler-charged con lo que se le cobrará.⁠^{[9]Cloudflare Docs, AI Crawl Control. Crawl pages} Cada visita cuenta, también la segunda vez que pide la misma página; las respuestas de error no se cobran; y algunas rutas son siempre gratis, entre ellas /robots.txt y /sitemap.xml.⁠^{[5]Cloudflare Docs, AI Crawl Control. Pay Per Crawl FAQ}

El nombre no basta para pagar. Para que nadie pueda hacerse pasar por un rastreador de pago, Cloudflare exige que el rastreador firme sus peticiones con Web Bot Auth: genera un par de claves, publica la pública y se registra con su user agent.⁠^{[1]Cloudflare, blog (Will Allen y Simon Newton). Introducing pay per crawl: Enabling content owners to charge AI crawlers for access} Desde el 10 de diciembre de 2025, la cabecera de pago tiene que ir dentro de la firma, para que nadie la manipule por el camino.⁠^{[7]Cloudflare Docs. AI Crawl Control changelog}

Cloudflare cobra al operador del rastreador, actúa como vendedor (merchant of record) y paga a los sitios cada mes a través de una cuenta de Stripe Connect creada desde su panel.⁠^{[3]Cloudflare Docs, AI Crawl Control. What is Pay Per Crawl?}⁠^{[10]Cloudflare Docs, AI Crawl Control. Manage payouts} Dos límites que reconoce: el saldo acumulado aún no se ve en el panel, y los pagos tienen periodos de liquidación y un mínimo.⁠^{[10]Cloudflare Docs, AI Crawl Control. Manage payouts}

En una tienda

Así se vería el intercambio con una ficha de producto cobrada. Es un ejemplo ficticio, con las cabeceras que documenta Cloudflare y la firma de Web Bot Auth omitida:

GET /products/tripode-viaje-t20 HTTP/2
→ HTTP/2 402
  crawler-price: USD 0.01

GET /products/tripode-viaje-t20 HTTP/2
  crawler-exact-price: USD 0.01
→ HTTP/2 200
  crawler-charged: USD 0.01

Para un medio de comunicación, esa factura es el modelo de negocio. Para una tienda, la cuenta cambia, porque lo que quiere es que los asistentes lean sus fichas y las recomienden. Cloudflare avisa de que cobrar o bloquear a los rastreadores de la categoría de buscadores puede perjudicar al SEO del sitio, porque puede impedir la buena indexación del contenido.⁠^{[4]Cloudflare Docs, AI Crawl Control. Select crawlers to charge} Y en el lado de los asistentes pasa algo parecido: OpenAI dice que los sitios que excluyen a OAI-SearchBot no se muestran en las respuestas de búsqueda de ChatGPT, aunque pueden seguir saliendo como enlaces de navegación.⁠^{[11]OpenAI. Overview of OpenAI Crawlers}

Por eso la decisión se toma bot por bot. Los de entrenamiento, como GPTBot, son los candidatos naturales a pagar o a quedarse fuera; los de búsqueda son los que traen las citas. Cloudflare sugiere además dejar gratis las páginas que ayudan a descubrir el resto, como la portada o las categorías, y empezar por una sección pequeña del sitio.⁠^{[8]Cloudflare Docs, AI Crawl Control. Advanced configuration}

Cómo comprobarlo

1. Confirma que tu dominio pasa por Cloudflare. Es un requisito: el dominio tiene que usar sus servidores de nombres o tener los registros DNS gestionados por Cloudflare, y hace falta un administrador de la cuenta para activar la función.⁠^{[3]Cloudflare Docs, AI Crawl Control. What is Pay Per Crawl?}
2. Abre AI Crawl Control y revisa la acción de cada rastreador. La columna de categoría señala cuáles son de buscadores, que son los que Cloudflare avisa de no cobrar ni bloquear a la ligera.⁠^{[4]Cloudflare Docs, AI Crawl Control. Select crawlers to charge}
3. Busca reglas del WAF o de gestión de bots que afecten a esos mismos rastreadores. Si bloquean, el cobro no llega a aplicarse.⁠^{[3]Cloudflare Docs, AI Crawl Control. What is Pay Per Crawl?}
4. Abre tu robots.txt y comprueba que dice lo mismo que el panel. Es una petición que los bots honrados respetan; el panel de Cloudflare actúa en la red.
5. Lee el registro de cambios antes de decidir. Es una beta y cambia: la API de descubrimiento, las rutas gratuitas por patrón y los precios por página llegaron después del lanzamiento.⁠^{[7]Cloudflare Docs. AI Crawl Control changelog}

Concepto cercano: bloqueo de bots de IA

El bloqueo de bots de IA es decidir qué agentes no pueden leer tu web, ya sea con una regla en robots.txt o con una regla en la red. Pay per crawl parte de esa misma lista y añade un precio: el rastreador que paga entra, el que no paga se queda fuera. Bloquear dice «no»; cobrar dice «no, salvo que pagues», y para el bot que no puede pagar las dos respuestas son la misma.⁠^{[1]Cloudflare, blog (Will Allen y Simon Newton). Introducing pay per crawl: Enabling content owners to charge AI crawlers for access} Cuál de las dos conviene a cada bot depende de si ese bot te trae citas o solo se lleva contenido.

Para seguir, la ruta de lectura de rastreo e indexación ordena el resto de términos, y el término user agent explica con qué nombre se presenta cada rastreador.