# Qué es pay per crawl de Cloudflare y cómo funciona

> Qué es pay per crawl de Cloudflare: cómo cobra a los rastreadores de IA con el error 402, quién paga, qué sigue en beta y qué supone en una tienda.

URL: https://clione.ai/es/glosario/pay-per-crawl/
Lang: es

_Pay per crawl_ no tiene nada que ver con el pago por clic de la publicidad: aquí quien paga es el [rastreador](/es/glosario/rastreador/) de una empresa de IA, y cobra quien publica. Es una función de Cloudflare, no un estándar de la web, y solo está disponible para los dominios que pasan por su red. A una tienda le importa por una razón concreta: **le da una tercera opción entre dejar pasar gratis a los bots de IA y cerrarles la puerta**, y esa opción tiene consecuencias distintas según qué bot reciba la factura.

## Cómo funciona

Cloudflare presentó _pay per crawl_ el 1 de julio de 2025, en beta privada.[^cf-ppc-blog] Ese mismo día anunció que pasaba a bloquear por defecto a los rastreadores de IA que acceden al contenido sin permiso ni compensación, y que las empresas de IA podían declarar si sus rastreadores sirven para entrenar, para la inferencia o para la búsqueda.[^cf-press] **En la documentación actualizada el 28 de julio de 2026, la función sigue en beta cerrada**: para entrar hay que rellenar un formulario o, si eres cliente Enterprise, hablar con tu gestor de cuenta.[^cf-ppc-what]

El propietario elige una acción para cada rastreador que identifica Cloudflare: **permitir** (acceso gratis), **cobrar** (el precio configurado por cada acceso con éxito) o **bloquear** (sin acceso).[^cf-ppc-select] El precio es uno solo para todos los rastreadores a los que se cobra: se pueden tener acciones distintas por bot, pero no precios distintos por bot.[^cf-ppc-faq] El precio mínimo es de 0,001 dólares por página.[^cf-ppc-price] Desde el 16 de junio de 2026 se puede variar por página: el servidor de origen, o un Worker de Cloudflare, añade a la respuesta una cabecera `crawler-price` con el precio de esa URL.[^cf-aicc-changelog][^cf-ppc-advanced]

La conversación entre el rastreador y el sitio usa un código HTTP que llevaba años sin uso, el **402 Payment Required**.[^cf-ppc-blog] Hay dos caminos:[^cf-ppc-crawl]

- **Primero pregunta.** El rastreador pide la página sin ofrecer nada, recibe un 402 con la cabecera `crawler-price` y repite la petición con `crawler-exact-price` y ese mismo importe.
- **Primero ofrece.** El rastreador manda desde el principio `crawler-max-price` con lo máximo que está dispuesto a pagar. Si el precio de la página es igual o menor, recibe el contenido; si es mayor, recibe el 402.

Cuando la página se sirve, la respuesta 200 lleva la cabecera `crawler-charged` con lo que se le cobrará.[^cf-ppc-crawl] Cada visita cuenta, también la segunda vez que pide la misma página; las respuestas de error no se cobran; y algunas rutas son siempre gratis, entre ellas `/robots.txt` y `/sitemap.xml`.[^cf-ppc-faq]

**El nombre no basta para pagar.** Para que nadie pueda hacerse pasar por un rastreador de pago, Cloudflare exige que el rastreador firme sus peticiones con [Web Bot Auth](/es/glosario/web-bot-auth/): genera un par de claves, publica la pública y se registra con su [_user agent_](/es/glosario/user-agent/).[^cf-ppc-blog] Desde el 10 de diciembre de 2025, la cabecera de pago tiene que ir dentro de la firma, para que nadie la manipule por el camino.[^cf-aicc-changelog]

Cloudflare cobra al operador del rastreador, actúa como vendedor (_merchant of record_) y paga a los sitios cada mes a través de una cuenta de Stripe Connect creada desde su panel.[^cf-ppc-what][^cf-ppc-payouts] Dos límites que reconoce: el saldo acumulado aún no se ve en el panel, y los pagos tienen periodos de liquidación y un mínimo.[^cf-ppc-payouts]

## En una tienda

Así se vería el intercambio con una [ficha de producto](/es/glosario/ficha-de-producto/) cobrada. Es un **ejemplo ficticio**, con las cabeceras que documenta Cloudflare y la firma de Web Bot Auth omitida:

```text
GET /products/tripode-viaje-t20 HTTP/2
→ HTTP/2 402
  crawler-price: USD 0.01

GET /products/tripode-viaje-t20 HTTP/2
  crawler-exact-price: USD 0.01
→ HTTP/2 200
  crawler-charged: USD 0.01
```

Para un medio de comunicación, esa factura es el modelo de negocio. Para una tienda, la cuenta cambia, porque **lo que quiere es que los asistentes lean sus fichas y las recomienden**. Cloudflare avisa de que cobrar o bloquear a los rastreadores de la categoría de buscadores puede perjudicar al SEO del sitio, porque puede impedir la buena [indexación](/es/glosario/indexacion/) del contenido.[^cf-ppc-select] Y en el lado de los asistentes pasa algo parecido: OpenAI dice que los sitios que excluyen a [OAI-SearchBot](/es/glosario/oai-searchbot/) no se muestran en las respuestas de búsqueda de ChatGPT, aunque pueden seguir saliendo como enlaces de navegación.[^openai-bots]

Por eso la decisión se toma bot por bot. Los de entrenamiento, como [GPTBot](/es/glosario/gptbot/), son los candidatos naturales a pagar o a quedarse fuera; los de búsqueda son los que traen las citas. Cloudflare sugiere además dejar gratis las páginas que ayudan a descubrir el resto, como la portada o las categorías, y empezar por una sección pequeña del sitio.[^cf-ppc-advanced]


Que cobrar es una forma suave de dejar pasar. Cloudflare permite poner «cobrar» incluso a un rastreador que no tiene acuerdo de pago con ellos y que, por tanto, no puede pagar: **ese rastreador recibe el 402 y se queda sin el contenido, igual que con un bloqueo**, con la diferencia de que el mensaje le dice que podría haber un acuerdo en el futuro.[^cf-ppc-blog] Y si una regla del cortafuegos (WAF) o de gestión de bots bloquea a un rastreador, esa regla manda sobre el cobro.[^cf-ppc-what]


## Cómo comprobarlo

1. **Confirma que tu dominio pasa por Cloudflare.** Es un requisito: el dominio tiene que usar sus servidores de nombres o tener los registros DNS gestionados por Cloudflare, y hace falta un administrador de la cuenta para activar la función.[^cf-ppc-what]
2. **Abre AI Crawl Control y revisa la acción de cada rastreador.** La columna de categoría señala cuáles son de buscadores, que son los que Cloudflare avisa de no cobrar ni bloquear a la ligera.[^cf-ppc-select]
3. **Busca reglas del WAF o de gestión de bots** que afecten a esos mismos rastreadores. Si bloquean, el cobro no llega a aplicarse.[^cf-ppc-what]
4. **Abre tu [`robots.txt`](/es/glosario/robots-txt/)** y comprueba que dice lo mismo que el panel. Es una petición que los bots honrados respetan; el panel de Cloudflare actúa en la red.
5. **Lee el registro de cambios antes de decidir.** Es una beta y cambia: la API de descubrimiento, las rutas gratuitas por patrón y los precios por página llegaron después del lanzamiento.[^cf-aicc-changelog]

## Concepto cercano: bloqueo de bots de IA

El [bloqueo de bots de IA](/es/glosario/bloqueo-de-bots-de-ia/) es decidir qué agentes no pueden leer tu web, ya sea con una regla en `robots.txt` o con una regla en la red. _Pay per crawl_ parte de esa misma lista y añade un precio: el rastreador que paga entra, el que no paga se queda fuera. **Bloquear dice «no»; cobrar dice «no, salvo que pagues»**, y para el bot que no puede pagar las dos respuestas son la misma.[^cf-ppc-blog] Cuál de las dos conviene a cada bot depende de si ese bot te trae citas o solo se lleva contenido.

Para seguir, la [ruta de lectura de rastreo e indexación](/es/aprender/rastreo-e-indexacion/) ordena el resto de términos, y el término [_user agent_](/es/glosario/user-agent/) explica con qué nombre se presenta cada rastreador.
