¿Tu tienda bloquea a los rastreadores de IA? Encuentra el bloqueo y quítalo
Cuando un rastreador de IA no entra en tu tienda, la puerta la puede cerrar tu robots.txt, la CDN, el cortafuegos, un gestor de bots o la propia plataforma, y cada una dice que no de una forma distinta. El código que recibe el agente te dice qué capa ha sido, y cada capa tiene su ajuste. En Cloudflare hay una trampa: poner el entrenamiento en Block bloquea también a Googlebot, Bingbot y Applebot, así que para el entrenamiento la opción es Disallow. Aquí tienes siete pasos, del síntoma al arreglo comprobado.
Lo esencial
- Un rastreador de IA bloqueado no siempre lo está por robots.txt: un 403 o un 429 lo deciden la CDN, el cortafuegos o un límite de peticiones, y un Disallow no produce ningún código, porque el agente que lo respeta no pide la página.
- En Cloudflare, poner el entrenamiento en Block bloquea también a Googlebot, Bingbot y Applebot, que sirven a la vez para buscar y para entrenar. Para el entrenamiento, la opción es Disallow.
- Bot Fight Mode no se salta con reglas del WAF: o lo apagas, o creas reglas de IP Access, o pasas a Super Bot Fight Mode, que sí admite una regla con la acción Skip.
- Deja pasar a los agentes por categoría verificada o por las IP que publica cada empresa, nunca solo por el user agent, que se puede falsificar.
- Un 403 a Googlebot saca del índice de Google las URLs que ya tenía. Un 429 o un 503 solo le hacen rastrear más despacio, aunque, si duran, esas URLs también acaban saliendo.
Antes de tocar nada, decide a quién quieres dejar pasar, porque bloquear bots de IA no es una sola decisión, ni en tu robots.txt ni en el cortafuegos. Cada rastreador entra para un trabajo distinto: OpenAI, por ejemplo, separa el agente que busca del que entrena y del que visita una página porque se lo pide una persona.[1]OpenAI. Overview of OpenAI Crawlers Anthropic y Perplexity documentan sus agentes de la misma forma, cada uno con su función:[2]Anthropic. Does Anthropic crawl data from the web, and how can site owners block the crawler?[3]Perplexity. Perplexity Crawlers
| Para qué entra | Agentes | En una tienda que quiere salir en las respuestas |
|---|---|---|
| Buscar y citar | OAI-SearchBot, Claude-SearchBot, PerplexityBot | Dejar pasar |
| Visitas que pide una persona | ChatGPT-User, Claude-User, Perplexity-User | Dejar pasar |
| Buscar y entrenar a la vez | Googlebot, Bingbot, Applebot | Dejar pasar siempre: son tu presencia en la Búsqueda de Google, en Bing y en la búsqueda de Siri, Spotlight y Safari |
| Solo entrenar | GPTBot, ClaudeBot | Tu decisión: bloquearlos no te saca de ninguna búsqueda |
Las dos últimas filas siguen la clasificación de Cloudflare,[4]Cloudflare Blog (15 de septiembre de 2026). Have it both ways: stay discoverable in search while disallowing AI training y Apple usa lo que rastrea Applebot para la búsqueda que integra en Siri, Spotlight y Safari.[5]Apple Support. About Applebot
Paso 1: lee qué capa te ha dicho que no
Antes de cambiar un ajuste, mira qué ha recibido el agente. Pide una ficha con el user agent de cada agente y busca sus visitas reales en los registros, como se explica en los pasos 4 y 5 de la guía de qué ve un rastreador de IA en tu tienda. Lo que encuentres te dice dónde mirar:
| Lo que recibe el agente | Quién puede decirlo | Dónde se arregla |
|---|---|---|
| Un 403 | Una regla de la CDN o del cortafuegos. AI Crawl Control de Cloudflare, al bloquear un rastreador, responde con un 403; en los planes de pago puedes cambiarlo por un 402.[6]Cloudflare Docs (actualizado el 28 de julio de 2026). Manage AI crawlers | Pasos 2, 3 y 5 |
| Un 429 | Un límite de peticiones: es el código que devuelve Cloudflare por defecto.[7]Cloudflare Docs (actualizado el 4 de noviembre de 2026). Rate limiting parameters | Paso 3 |
| Una página de comprobación en vez de la ficha | Un gestor de bots que pone a prueba al visitante, como Bot Fight Mode.[3]Perplexity. Perplexity Crawlers | Pasos 3 y 5 |
Ninguna visita, y un Disallow en el archivo |
Tu robots.txt, o las reglas que Cloudflare pone delante de él.[8]Cloudflare Docs (actualizado el 2 de noviembre de 2026). Managed robots.txt | Paso 4 |
| La página con contraseña de la tienda | El modo privado de Shopify, que cierra la tienda a visitantes y buscadores.[9]Shopify Help Center. Setting your online store preferences | Paso 6 |
El 403 es el que más cuesta. Cuando Googlebot recibe un 403 en una URL que Google ya tenía en su índice, la saca del índice. Un 429 o un 503, en cambio, le hacen rastrear más despacio, aunque, si duran, las URLs indexadas también acaban saliendo.[10]Google Crawling Infrastructure (actualizado el 4 de febrero de 2026). How HTTP status codes affect Google's crawlers Y un Disallow no produce ningún código: el agente que respeta robots.txt no llega a pedir la página.
Paso 2: Cloudflare, la política de IA y AI Crawl Control
En Cloudflare, poner el entrenamiento en Block bloquea también a Googlebot, Bingbot y Applebot. Cloudflare los cuenta como rastreadores de uso mixto, que sirven a la vez para buscar y para entrenar, y desde el 15 de septiembre de 2026 sus opciones Block y Block on pages with ads se aplican también a ellos. Bloquearlos te saca de la búsqueda, no solo del entrenamiento.[4]Cloudflare Blog (15 de septiembre de 2026). Have it both ways: stay discoverable in search while disallowing AI training Es justo lo contrario de lo que pasa con los controles de Google: allí el entrenamiento se decide con Google-Extended, que no afecta a tu inclusión en la Búsqueda.[11]Google Crawling Infrastructure (actualizado el 30 de octubre de 2026). Google's common crawlers
Para el entrenamiento, la opción es Disallow. Publica tu preferencia en robots.txt y deja permitidos para la búsqueda a esos rastreadores mixtos.[4]Cloudflare Blog (15 de septiembre de 2026). Have it both ways: stay discoverable in search while disallowing AI training Que Disallow frene además en el borde de Cloudflare a los rastreadores de entrenamiento, salvo a los mixtos, depende de Bot Preference Sync: actívalo en el punto 3 de la lista de abajo.[12]Cloudflare Docs (actualizado el 2 de noviembre de 2026). AI Crawler and Agent access policies Es el criterio que firman nuestros revisores: para el entrenamiento, Disallow, no Block. La diferencia entre las dos opciones son los rastreadores mixtos, y una tienda que quiere vender necesita que esos entren. Cloudflare señala un límite: hasta que Microsoft admita esa preferencia en robots.txt, algo que prevé para principios de 2027, Disallow no le transmite a Bing que no quieres que entrene con tu contenido.[4]Cloudflare Blog (15 de septiembre de 2026). Have it both ways: stay discoverable in search while disallowing AI training
Los valores por defecto han cambiado varias veces en 2026. El 1 de julio, todos los planes, el gratuito incluido, recibieron controles separados para Search, Agent y Training.[13]Cloudflare Changelog (1 de julio de 2026). New options to manage AI traffic El 15 de septiembre, Cloudflare retiró el interruptor único Block AI bots en favor de esos controles, y llegaron unos preajustes para las altas nuevas que dependen de si la web vive de anuncios.[4]Cloudflare Blog (15 de septiembre de 2026). Have it both ways: stay discoverable in search while disallowing AI training Y la documentación actual describe otro punto de partida.[12]Cloudflare Docs (actualizado el 2 de noviembre de 2026). AI Crawler and Agent access policies No supongas cuál tiene tu zona: ábrela y míralo.
- En el panel, ve a Security › Settings, filtra por Bot traffic y abre AI Crawler and Agent access policies.[12]Cloudflare Docs (actualizado el 2 de noviembre de 2026). AI Crawler and Agent access policies
- Pon Search y Agent en Allow (do not block). Para Personal Agents, Cloudflare recomienda Allow.[12]Cloudflare Docs (actualizado el 2 de noviembre de 2026). AI Crawler and Agent access policies
- Pon Training en Disallow, la opción que solo existe para esa categoría, y activa Enable Bot Preference Sync en la misma pantalla.[12]Cloudflare Docs (actualizado el 2 de noviembre de 2026). AI Crawler and Agent access policies[8]Cloudflare Docs (actualizado el 2 de noviembre de 2026). Managed robots.txt
- Después, en AI Crawl Control, revisa la acción de cada rastreador. Se puede permitir o bloquear uno a uno, y cada bloqueo crea o actualiza una regla personalizada del WAF de la zona.[6]Cloudflare Docs (actualizado el 28 de julio de 2026). Manage AI crawlers Si un agente de búsqueda sigue recibiendo un 403, esa regla es la primera sospechosa.
Paso 3: Bot Fight Mode y los límites de peticiones
Bot Fight Mode no se puede saltar con una regla personalizada del WAF ni con Page Rules. No funciona sobre el motor de reglas, así que las acciones Skip, Bypass o Allow no le afectan.[14]Cloudflare Docs (actualizado el 3 de agosto de 2026). Bot Fight Mode[15]Cloudflare Docs (actualizado el 3 de agosto de 2026). Configure a custom rule with the Skip action Perplexity lo avisa en su documentación: Bot Fight Mode puede seguir poniendo a prueba a sus agentes aunque escribas reglas para dejarlos pasar.[3]Perplexity. Perplexity Crawlers Te quedan tres salidas: apagarlo, para todo el dominio; crear reglas de IP Access, porque Bot Fight Mode no salta si una de ellas coincide antes con la petición; o pasarte a Super Bot Fight Mode, que funciona sobre el motor de reglas y admite reglas Skip, como verás en el párrafo siguiente.[14]Cloudflare Docs (actualizado el 3 de agosto de 2026). Bot Fight Mode Para las reglas de IP Access necesitas las IP que publica cada empresa, como searchbot.json o chatgpt-user.json en OpenAI,[1]OpenAI. Overview of OpenAI Crawlers y Perplexity recomienda actualizar esas reglas de forma automática, porque los rangos cambian.[3]Perplexity. Perplexity Crawlers
Super Bot Fight Mode reparte el tráfico en tres grupos, Definitely automated, Likely automated y Verified bots, y cada uno tiene su respuesta. Pon Verified bots en Allow y, para cualquier otra excepción, crea una regla personalizada con la acción Skip, que deja a la petición saltarse esa fase y seguir por el resto de la seguridad.[16]Cloudflare Docs (actualizado el 3 de agosto de 2026). Super Bot Fight Mode[15]Cloudflare Docs (actualizado el 3 de agosto de 2026). Configure a custom rule with the Skip action Un bot verificado, para Cloudflare, es el que se identifica de forma honrada, con una firma de Web Bot Auth, con una lista de IP publicada y un user agent estable o con DNS inverso, y además no abusa del acceso que eso le da.[17]Cloudflare Docs (actualizado el 2 de noviembre de 2026). Verified bots
Los límites de peticiones responden por defecto con un 429.[7]Cloudflare Docs (actualizado el 4 de noviembre de 2026). Rate limiting parameters Cloudflare avisa de que aplicarlos a los bots verificados puede afectar al posicionamiento, y en cualquier plan la expresión de la regla puede usar el campo Verified Bot para dejarlos fuera.[18]Cloudflare Docs (actualizado el 25 de agosto de 2026). Rate limiting rules
Paso 4: robots.txt, el tuyo y el que añade Cloudflare
El robots.txt que lee un agente puede no ser el que subiste. Con Bot Preference Sync, Cloudflare genera reglas a partir de tus políticas de búsqueda, agente y entrenamiento y las pone delante de tu archivo, que sigue ahí, debajo.[8]Cloudflare Docs (actualizado el 2 de noviembre de 2026). Managed robots.txt[19]Cloudflare Blog (21 de agosto de 2026). Say it once: introducing Bot Preference Sync Si las tres políticas están en Allow, el archivo sale sin cambios. En cuanto una de las tres, el entrenamiento incluido, está en Block o en Block on pages with ads, o el entrenamiento está en Disallow, añade sus reglas.[8]Cloudflare Docs (actualizado el 2 de noviembre de 2026). Managed robots.txt Para los clientes nuevos viene activado por defecto.[19]Cloudflare Blog (21 de agosto de 2026). Say it once: introducing Bot Preference Sync
Así que lee el archivo vivo, en /robots.txt de tu dominio, y no la copia que tienes en el servidor. Si un agente de búsqueda aparece ahí con Disallow: / y tú no lo escribiste, la causa está en las políticas del paso 2. Las líneas para permitir o bloquear a cada agente, con la regla de qué grupo lee cada uno, las escribe y las comprueba la herramienta de robots.txt para bots de IA.
Paso 5: otros cortafuegos y gestores de bots
Si delante de tu tienda no está Cloudflare, el ajuste tiene otro nombre y la idea es la misma: busca la categoría de IA y mira qué hace con cada tipo de agente.
- AWS WAF. En el grupo Bot Control, la regla CategoryAI bloquea a los bots de IA estén verificados o no, y solo se libran las peticiones que llegan con una firma de Web Bot Auth validada.[20]AWS WAF Developer Guide. AWS WAF Bot Control rule group Si un agente de búsqueda verificado recibe un no, empieza por esa regla.
- Akamai. Separa tres categorías, los rastreadores de entrenamiento, los de búsqueda y los agentes que piden contenido en tiempo real, y deja fijar una política para cada una: limitar el entrenamiento y permitir la búsqueda, por ejemplo.[21]Akamai Blog (3 de septiembre de 2026). Introducing More Granular Controls for AI Bot Traffic
- Fastly. Eliges la acción para todos los bots de una categoría, y cada bot concreto la hereda o la sustituye por otra.[22]Fastly Documentation. Managing bot traffic
- DataDome. Clasifica a los agentes en AI Crawlers, AI Assistants, Autonomous Agents y Agentic Browsers. La mayoría recibe por defecto una política según su intención, que deja pasar el tráfico salvo que detecte un intento de fraude; la excepción son los rastreadores de entrenamiento, que por lo general vienen en Block. Se revisa en Agentic Trust › Access Control antes de activar la protección.[23]DataDome Documentation. Checklist before activating protection
- Imperva. Para dejar pasar a un bot de IA concreto, se crea una excepción con su Client App ID.[24]Imperva Blog (30 de junio de 2026). AI Agents Are Visiting Your Website. Which Ones Should You Trust?
En todos ellos manda la misma regla: deja pasar por categoría verificada o por las IP que publica cada empresa, nunca solo por el user agent, porque esa firma se puede falsificar.[20]AWS WAF Developer Guide. AWS WAF Bot Control rule group Perplexity recomienda combinar la cadena con la comprobación de la IP,[3]Perplexity. Perplexity Crawlers y Google explica cómo verificar sus rastreadores con DNS inverso o con sus listas de rangos.[25]Google Crawling Infrastructure (actualizado el 20 de marzo de 2026). Verify requests from Google crawlers and fetchers Un bloqueo por países también cuenta: Google sale sobre todo desde IP de Estados Unidos y, si detecta que bloqueas las peticiones de ese país, puede intentar rastrear desde otros.[26]Google Crawling Infrastructure (actualizado el 12 de junio de 2026). Google crawler (user agent) overview
Paso 6: lo que decide tu plataforma
Shopify. Mientras el modo privado está activo, la tienda enseña una página con contraseña y quedan fuera visitantes y buscadores.[9]Shopify Help Center. Setting your online store preferences Si el Disallow sale de la plantilla robots.txt.liquid de tu tema, qué trae el archivo por defecto y cómo se cambia está en el paso 1 de la guía de qué ve un rastreador de IA.[27]Shopify Help Center. Editing robots.txt.liquid
BigCommerce. Para un control más fuerte de los bots, BigCommerce remite a un servicio que gestione el acceso en la infraestructura, como Cloudflare.[28]BigCommerce Support. Understanding the Robots.txt File Si lo has puesto, los pasos 2 y 3 son los tuyos.
Paso 7: confirma el arreglo
Un cambio en robots.txt no se nota al momento: OpenAI calcula unas 24 horas para que sus sistemas lo apliquen, y Perplexity, hasta 24 horas.[1]OpenAI. Overview of OpenAI Crawlers[3]Perplexity. Perplexity Crawlers Pasado ese día, vuelve a los registros como en el paso 5 de la guía de qué ve un rastreador: filtra por el nombre del agente, comprueba su IP contra la lista de su empresa y mira que la respuesta sea un 200.
Para Googlebot tienes una ventana directa, la inspección de URLs de Search Console. «Probar URL publicada» examina la página en ese momento, y sus campos dicen si Google pudo obtenerla de tu servidor y si tu robots.txt le deja rastrearla. Si el bloqueo llegó a sacar URLs del índice, desde ahí puedes pedir que se vuelvan a indexar, aunque pedirlo no garantiza que entren.[29]Ayuda de Search Console. URL Inspection tool Y si lo que recibía era un 429 o un 503, Google vuelve a subir poco a poco el ritmo de rastreo cuando tu servidor responde bien.[10]Google Crawling Infrastructure (actualizado el 4 de febrero de 2026). How HTTP status codes affect Google's crawlers
Lo que se suele confundir
Cuando no podemos hacer el informe de una tienda, a veces es porque su web responde con un 403 a nuestro rastreador ya en la página de inicio. Ese 403 no sale de robots.txt: un Disallow le pide al agente que no entre; un 403 se lo impide, y lo decide una capa que va antes, la CDN, el cortafuegos o el servidor. El estándar lo dice a su manera: las reglas de robots.txt no son una forma de autorizar el acceso.[30]IETF (Koster, Illyes, Zeller y Sassman; septiembre de 2022). RFC 9309: Robots Exclusion Protocol Por eso Google pide que el rastreo esté permitido en robots.txt y también en cualquier CDN o infraestructura de alojamiento,[31]Google Search Central (actualizado el 10 de diciembre de 2025). AI features and your website y por eso una tienda puede tener el archivo abierto a todos y cerrarle la puerta a quien quería dejar pasar. Lo que se arregla es la capa del paso 1, no el archivo.
Lo que hemos comprobado
Los menús, las opciones y los valores por defecto de esta guía salen de la documentación de cada empresa, que leímos el 11 de noviembre de 2026. En Cloudflare, las páginas de las políticas de acceso para rastreadores y agentes de IA, del robots.txt gestionado y de los bots verificados se actualizaron el 2 de noviembre de 2026; la de los parámetros de los límites de peticiones, el 4 de noviembre; la de las reglas de límites, el 25 de agosto; las de Bot Fight Mode, Super Bot Fight Mode y la acción Skip, el 3 de agosto; y la de la gestión de rastreadores en AI Crawl Control, el 28 de julio.[12]Cloudflare Docs (actualizado el 2 de noviembre de 2026). AI Crawler and Agent access policies[8]Cloudflare Docs (actualizado el 2 de noviembre de 2026). Managed robots.txt[17]Cloudflare Docs (actualizado el 2 de noviembre de 2026). Verified bots[7]Cloudflare Docs (actualizado el 4 de noviembre de 2026). Rate limiting parameters[18]Cloudflare Docs (actualizado el 25 de agosto de 2026). Rate limiting rules[14]Cloudflare Docs (actualizado el 3 de agosto de 2026). Bot Fight Mode[16]Cloudflare Docs (actualizado el 3 de agosto de 2026). Super Bot Fight Mode[15]Cloudflare Docs (actualizado el 3 de agosto de 2026). Configure a custom rule with the Skip action[6]Cloudflare Docs (actualizado el 28 de julio de 2026). Manage AI crawlers Lo que contamos de Akamai e Imperva sale de sus blogs, en entradas del 3 de septiembre y del 30 de junio de 2026.[21]Akamai Blog (3 de septiembre de 2026). Introducing More Granular Controls for AI Bot Traffic[24]Imperva Blog (30 de junio de 2026). AI Agents Are Visiting Your Website. Which Ones Should You Trust?
Para escribirla no hemos cambiado ningún ajuste en una zona en producción, y todavía no hemos repetido los pasos en una zona de prueba, activando cada opción y anotando qué código recibe cada agente y desde qué IP llega.
Fuentes
- [1] OpenAI. Overview of OpenAI Crawlers. Consultado el . ↑ ↑ ↑
- [2] Anthropic. Does Anthropic crawl data from the web, and how can site owners block the crawler?. Consultado el . ↑
- [3] Perplexity. Perplexity Crawlers. Consultado el . ↑ ↑ ↑ ↑ ↑ ↑
- [4] Cloudflare Blog (15 de septiembre de 2026). Have it both ways: stay discoverable in search while disallowing AI training. Consultado el . ↑ ↑ ↑ ↑ ↑
- [5] Apple Support. About Applebot. Consultado el . ↑
- [6] Cloudflare Docs (actualizado el 28 de julio de 2026). Manage AI crawlers. Consultado el . ↑ ↑ ↑
- [7] Cloudflare Docs (actualizado el 4 de noviembre de 2026). Rate limiting parameters. Consultado el . ↑ ↑ ↑
- [8] Cloudflare Docs (actualizado el 2 de noviembre de 2026). Managed robots.txt. Consultado el . ↑ ↑ ↑ ↑ ↑
- [9] Shopify Help Center. Setting your online store preferences. Consultado el . ↑ ↑
- [10] Google Crawling Infrastructure (actualizado el 4 de febrero de 2026). How HTTP status codes affect Google's crawlers. Consultado el . ↑ ↑
- [11] Google Crawling Infrastructure (actualizado el 30 de octubre de 2026). Google's common crawlers. Consultado el . ↑
- [12] Cloudflare Docs (actualizado el 2 de noviembre de 2026). AI Crawler and Agent access policies. Consultado el . ↑ ↑ ↑ ↑ ↑ ↑
- [13] Cloudflare Changelog (1 de julio de 2026). New options to manage AI traffic. Consultado el . ↑
- [14] Cloudflare Docs (actualizado el 3 de agosto de 2026). Bot Fight Mode. Consultado el . ↑ ↑ ↑
- [15] Cloudflare Docs (actualizado el 3 de agosto de 2026). Configure a custom rule with the Skip action. Consultado el . ↑ ↑ ↑
- [16] Cloudflare Docs (actualizado el 3 de agosto de 2026). Super Bot Fight Mode. Consultado el . ↑ ↑
- [17] Cloudflare Docs (actualizado el 2 de noviembre de 2026). Verified bots. Consultado el . ↑ ↑
- [18] Cloudflare Docs (actualizado el 25 de agosto de 2026). Rate limiting rules. Consultado el . ↑ ↑
- [19] Cloudflare Blog (21 de agosto de 2026). Say it once: introducing Bot Preference Sync. Consultado el . ↑ ↑
- [20] AWS WAF Developer Guide. AWS WAF Bot Control rule group. Consultado el . ↑ ↑
- [21] Akamai Blog (3 de septiembre de 2026). Introducing More Granular Controls for AI Bot Traffic. Consultado el . ↑ ↑
- [22] Fastly Documentation. Managing bot traffic. Consultado el . ↑
- [23] DataDome Documentation. Checklist before activating protection. Consultado el . ↑
- [24] Imperva Blog (30 de junio de 2026). AI Agents Are Visiting Your Website. Which Ones Should You Trust?. Consultado el . ↑ ↑
- [25] Google Crawling Infrastructure (actualizado el 20 de marzo de 2026). Verify requests from Google crawlers and fetchers. Consultado el . ↑
- [26] Google Crawling Infrastructure (actualizado el 12 de junio de 2026). Google crawler (user agent) overview. Consultado el . ↑
- [27] Shopify Help Center. Editing robots.txt.liquid. Consultado el . ↑
- [28] BigCommerce Support. Understanding the Robots.txt File. Consultado el . ↑
- [29] Ayuda de Search Console. URL Inspection tool. Consultado el . ↑
- [30] IETF (Koster, Illyes, Zeller y Sassman; septiembre de 2022). RFC 9309: Robots Exclusion Protocol. Consultado el . ↑
- [31] Google Search Central (actualizado el 10 de diciembre de 2025). AI features and your website. Consultado el . ↑
Historial de cambios
- Primera versión.
Otras preguntas
¿Bloquear el entrenamiento me saca de Google?
Si pongo Training en Block, ¿me sigue citando ChatGPT?
¿Por qué Google ve mi tienda y ChatGPT no?
¿Sirve el llms.txt para que entren los rastreadores de IA?
¿Y si prefiero cobrar en lugar de bloquear?
Términos relacionados
Bloqueo de bots de IA
Qué es el bloqueo de bots de IA, qué agentes conviene dejar pasar en una tienda y por qué robots.txt, la CDN y la plataforma bloquean cosas distintas.
robots.txt
Qué es el archivo robots.txt, cómo lo leen Googlebot, GPTBot y OAI-SearchBot, por qué no sirve para desindexar y cómo revisar el de tu tienda.
Rastreador
Qué es un rastreador web o crawler, cómo descubre las fichas de tu tienda, qué respeta del robots.txt y cómo comprobar en tus registros quién te visita.
Googlebot
Qué es Googlebot, el rastreador de la Búsqueda de Google, qué lee de tus fichas, qué pasa si lo bloqueas y cómo verificar que una visita es de Google.
Bingbot
Qué es Bingbot, el rastreador de Bing y Copilot: sus user agents, cómo controlarlo en robots.txt y cómo comprobar que una visita es de verdad.
User agent
Qué es el user agent, cómo se lee la cadena de un navegador o de Googlebot, por qué no prueba quién visita tu tienda y cómo se comprueba en los registros.
Sigue leyendo
Comparativa
llms.txt, sitemap y datos estructurados: qué hace cada uno
llms.txt, sitemap XML y datos estructurados en una tienda: quién define cada uno, quién lo lee, qué hace por tus fichas y qué dice Google del llms.txt.
Leer el artículo →
El Corpus
Todo lo que aprendimos, en un informe.
Un año leyendo lo que las webs les cuentan a las máquinas, en un informe de 100 páginas y el dataset que lo sostiene.
Pídelo gratis →
Guía
Qué ve un rastreador de IA en tu tienda y cómo comprobarlo
Qué ve un rastreador de IA como GPTBot u OAI-SearchBot en tu tienda: tu robots.txt, el HTML que envía tu servidor y cómo comprobarlo paso a paso.
Leer el artículo →Haz que los bots entiendan tu catálogo
Clione completa cada ficha de producto con sus datos en dos formas: el grafo JSON-LD para los buscadores y Gemini, una meta description para el resultado de búsqueda y unas preguntas frecuentes en la página, la parte que leen todos los asistentes. Tú revisas y pulsas Push; después comprobamos tu tienda en vivo para que todo siga publicado.