¿Qué es ClaudeBot, el rastreador de Anthropic?

ClaudeBot no es Claude, el asistente, ni una función de él: es el rastreador con el que Anthropic recorre la web para reunir contenido con el que mejorar sus modelos. Para una tienda, el nombre suele aparecer de dos maneras: en una lista de «bots de IA» que alguien propone bloquear, o en los registros del servidor, a veces con muchas peticiones seguidas. En los dos casos la pregunta útil es la misma: qué deja de pasar si le cierras la puerta, y qué sigue pasando aunque se la cierres.

Cómo funciona

Anthropic usa tres agentes, cada uno con su trabajo, y los describe en una sola página de ayuda, actualizada el 7 de abril de 2026:⁠^{[1]Anthropic. Does Anthropic crawl data from the web, and how can site owners block the crawler?}

La consecuencia práctica es la misma que en OpenAI, donde GPTBot rastrea para entrenar y OAI-SearchBot para la búsqueda:⁠^{[2]OpenAI. Overview of OpenAI Crawlers} entrenamiento y visibilidad se deciden por separado. Bloquear ClaudeBot afecta a lo primero; para lo segundo cuentan los otros dos.

Anthropic afirma que sus bots respetan las señales de «no rastrear» siguiendo las directivas estándar de robots.txt, y pone el ejemplo de cómo cerrar todo el sitio a ClaudeBot con un grupo propio y Disallow: /. Pide repetirlo en cada subdominio que quieras excluir, porque cada uno tiene su propio archivo. Y añade dos cosas que no todos los rastreadores hacen: admite la directiva Crawl-delay, que no forma parte del estándar, para pedir que espacie sus visitas, y dice que no intentará saltarse los CAPTCHA de los sitios que rastrea.⁠^{[1]Anthropic. Does Anthropic crawl data from the web, and how can site owners block the crawler?}

Lo que desaconseja es bloquear por IP. Según Anthropic, otros métodos, como bloquear direcciones IP, pueden no funcionar bien ni garantizar la exclusión de forma duradera, porque le impiden leer tu robots.txt.⁠^{[1]Anthropic. Does Anthropic crawl data from the web, and how can site owners block the crawler?} Si ClaudeBot no puede leer el archivo, tampoco puede leer tu Disallow.

Para comprobar si una visita es suya, Anthropic publica los rangos de IP de sus bots en claude.com/crawling/bots.json: si un rastreador sale de una dirección de esa lista, viene de Anthropic.⁠^{[1]Anthropic. Does Anthropic crawl data from the web, and how can site owners block the crawler?} La versión que leímos el 6 de octubre de 2026 tenía fecha del 2 de octubre de 2026 y 28 prefijos IPv4.⁠^{[3]Anthropic. bots.json (rangos de IP de los bots de Anthropic)} La lista es una para todos sus bots, así que confirma que la visita es de Anthropic, y el nombre del user agent dice cuál de los tres es.

Google no tiene un equivalente directo con visitas propias. Su control para el entrenamiento de Gemini, Google-Extended, es un nombre que solo existe en robots.txt: el rastreo lo hacen los agentes de siempre de Google, y Google dice que no afecta a la inclusión del sitio en la Búsqueda.⁠^{[4]Google Crawling Infrastructure. Google's common crawlers} Con ClaudeBot sí verás peticiones en tus registros.

En una tienda

Una tienda de material de escalada quiere que su catálogo no se use para entrenar modelos, pero sí aparecer cuando alguien le pregunta a Claude por un arnés. Es un ejemplo ficticio. Su robots.txt:

User-agent: *
Disallow: /cart
Disallow: /checkout
Disallow: /collections/*sort_by*

User-agent: ClaudeBot
Disallow: /

ClaudeBot encuentra su grupo y no puede pedir nada. Claude-SearchBot y Claude-User no tienen grupo propio, así que siguen el del asterisco: pueden pedir las fichas, pero no el carrito, el checkout ni las colecciones reordenadas. El estándar manda que cada rastreador busque el grupo que lo nombra y, solo si no lo encuentra, obedezca el del asterisco.⁠^{[5]IETF (Koster, Illyes, Zeller y Sassman). RFC 9309: Robots Exclusion Protocol}

Otra tienda no quiere cerrar la puerta, sino que ClaudeBot pida menos páginas por minuto. Si le da un grupo propio para eso, tiene que repetir dentro las reglas generales, porque un rastreador que encuentra su grupo deja de leer el del asterisco:⁠^{[5]IETF (Koster, Illyes, Zeller y Sassman). RFC 9309: Robots Exclusion Protocol}

User-agent: ClaudeBot
Crawl-delay: 1
Disallow: /cart
Disallow: /checkout
Disallow: /collections/*sort_by*

Sin esas tres líneas, el Crawl-delay le abriría a ClaudeBot el carrito y las colecciones reordenadas.

Cómo comprobarlo

1. Abre tudominio.com/robots.txt y busca los tres nombres de Anthropic. Si ninguno tiene grupo, les toca el del asterisco.⁠^{[5]IETF (Koster, Illyes, Zeller y Sassman). RFC 9309: Robots Exclusion Protocol} Haz lo mismo en cada subdominio que sirva páginas.⁠^{[1]Anthropic. Does Anthropic crawl data from the web, and how can site owners block the crawler?}
2. Si ClaudeBot tiene un grupo propio, comprueba que repite tus reglas generales (carrito, checkout, colecciones filtradas), porque no las hereda.⁠^{[5]IETF (Koster, Illyes, Zeller y Sassman). RFC 9309: Robots Exclusion Protocol}
3. Busca ClaudeBot, Claude-SearchBot y Claude-User en los registros de tu servidor o de tu CDN, y cuenta las peticiones de cada uno por separado.
4. Contrasta cada IP con claude.com/crawling/bots.json el mismo día. Una IP fuera de la lista no es de las que Anthropic declara para sus bots.⁠^{[1]Anthropic. Does Anthropic crawl data from the web, and how can site owners block the crawler?}
5. Si hay un bloqueo por IP en el cortafuegos, revísalo: Anthropic advierte de que puede impedirle leer tu robots.txt y no garantizar la exclusión.⁠^{[1]Anthropic. Does Anthropic crawl data from the web, and how can site owners block the crawler?}

Concepto cercano: GPTBot

GPTBot es el equivalente de OpenAI: rastrea contenido que puede usarse para entrenar sus modelos fundacionales, y bloquearlo indica que el contenido del sitio no debe usarse en ese entrenamiento.⁠^{[2]OpenAI. Overview of OpenAI Crawlers} Los dos dejan la búsqueda a otro agente, OAI-SearchBot en OpenAI y Claude-SearchBot en Anthropic, y los dos tienen al lado un agente para las peticiones de una persona: ChatGPT-User y Claude-User.⁠^{[2]OpenAI. Overview of OpenAI Crawlers}⁠^{[1]Anthropic. Does Anthropic crawl data from the web, and how can site owners block the crawler?} La diferencia está en ese tercer agente. OpenAI avisa de que, a las visitas de ChatGPT-User, robots.txt puede no aplicarse;⁠^{[2]OpenAI. Overview of OpenAI Crawlers} Anthropic dice que sus bots respetan robots.txt y que bloquear Claude-User tiene un coste en visibilidad.⁠^{[1]Anthropic. Does Anthropic crawl data from the web, and how can site owners block the crawler?} Si tu robots.txt ya trata a GPTBot, trata a ClaudeBot igual y con su propio nombre: una regla para uno no vale para el otro.

Para seguir, la guía de lo que ve un rastreador de IA en tu tienda recorre agente por agente qué lee cada uno, y la ruta de lectura de este tema ordena el resto de términos.