¿Qué es Bingbot, el rastreador de Bing?

Bingbot no es Bing Webmaster Tools, que es el panel donde ves cómo te trata Bing, ni Copilot, que es el asistente: es el rastreador que visita tu tienda y se lleva el contenido. Te importa más de lo que suele parecer, porque Bing dice que su búsqueda y Copilot se apoyan en la misma base de rastreo, indexación y clasificación: lo que Bingbot no puede leer no llega a ninguno de los dos.⁠^{[1]Bing Webmaster Tools, ayuda. Bing Webmaster Guidelines} Y te importa por un motivo más prosaico: cualquiera puede usar su nombre en una petición, y lo que ves en los registros de tu servidor no siempre es Bing.

Cómo funciona

Bing tiene varios rastreadores, y Bingbot es el principal: según Bing, se encarga de la mayor parte de su rastreo diario.⁠^{[2]Bing Webmaster Tools, ayuda. Which Crawlers Does Bing Use?} Los demás tienen tareas concretas:

Bingbot se presenta con varias cadenas de user agent, una de escritorio, una de móvil y una corta, y todas llevan bingbot/2.0. Donde pone W.X.Y.Z va la versión de Microsoft Edge que usa en ese momento: Bing actualiza su motor de renderizado a la última versión estable de Edge, así que una tienda que pinta su contenido con JavaScript se lee con un navegador moderno.⁠^{[2]Bing Webmaster Tools, ayuda. Which Crawlers Does Bing Use?} Eso no es carta blanca: sus directrices piden no esconder contenido crítico detrás del renderizado en el cliente y avisan de que lo que no se puede renderizar de forma fiable puede quedarse sin indexar.⁠^{[1]Bing Webmaster Tools, ayuda. Bing Webmaster Guidelines}

Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm) Chrome/W.X.Y.Z Safari/537.36

Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)

Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)

Un detalle que conviene saber al leer registros: en la tabla de Bing, BingPreview usa las mismas cadenas con bingbot/2.0 que Bingbot.⁠^{[2]Bing Webmaster Tools, ayuda. Which Crawlers Does Bing Use?} Por el user agent no siempre sabrás cuál de los dos te visitó.

Cómo se controla. Bing ofrece dos vías: el archivo robots.txt y, en Bing Webmaster Tools, una herramienta de control del rastreo que regula la frecuencia por horas.⁠^{[2]Bing Webmaster Tools, ayuda. Which Crawlers Does Bing Use?} En robots.txt Bing admite reglas específicas para su rastreador, como Crawl-delay, en un grupo User-agent: Bingbot aparte. Con una condición que suele pillar desprevenido: cuando Bingbot encuentra un grupo propio, ignora las reglas del grupo general, así que hay que repetirlas todas en el suyo. Bing desaconseja por eso los grupos por bot salvo que hagan falta. Y los cambios no son inmediatos: los buscadores guardan una copia de robots.txt en caché al menos unas horas.⁠^{[3]Bing Webmaster Tools, ayuda. How to Create a robots.txt File}

Qué puede usar Copilot. El rastreo es una cosa y el uso del contenido, otra. Bing admite etiquetas meta robots (o la cabecera X-Robots-Tag) que puedes dirigir solo a él con name="bingbot". Tres le importan a una tienda:⁠^{[4]Bing Webmaster Tools, ayuda. Robots meta tags and attributes that Bing supports}

• noindex: la página no entra en el índice de Bing. Sus directrices añaden que tampoco aparece en Copilot ni en los resultados de grounding de su API.⁠^{[1]Bing Webmaster Tools, ayuda. Bing Webmaster Guidelines}
• noarchive: Bing no guarda copia, no la enlaza en Copilot y no la usa para entrenar los modelos fundacionales de IA generativa de Microsoft.⁠^{[4]Bing Webmaster Tools, ayuda. Robots meta tags and attributes that Bing supports}
• nocache: Copilot solo puede mostrar la URL, el título y el fragmento. Si una página lleva nocache y noarchive, Bing aplica nocache.⁠^{[4]Bing Webmaster Tools, ayuda. Robots meta tags and attributes that Bing supports}

Bing lo resume así en sus directrices: noarchive impide que el contenido se use en las respuestas de Copilot y en los resultados de grounding, y nocache reduce la profundidad de las citas, así que para que te citen con detalle, no pongas nocache en las páginas que quieres ver en Copilot.⁠^{[1]Bing Webmaster Tools, ayuda. Bing Webmaster Guidelines}

En una tienda

Ejemplo ficticio. Una tienda quiere que Bingbot vaya más despacio y añade un grupo propio a su robots.txt, debajo de las reglas que ya tenía para todos:

User-agent: *
Disallow: /checkout/
Disallow: /carrito/

User-agent: Bingbot
Crawl-delay: 1

El resultado no es el que buscaba. Como Bingbot tiene ahora su propio grupo, deja de leer el general y puede rastrear /checkout/ y /carrito/, que la tienda creía cerrados.⁠^{[3]Bing Webmaster Tools, ayuda. How to Create a robots.txt File} La versión correcta repite las reglas en el grupo de Bingbot:

User-agent: *
Disallow: /checkout/
Disallow: /carrito/

User-agent: Bingbot
Crawl-delay: 1
Disallow: /checkout/
Disallow: /carrito/

Y si lo que la tienda quería era que Bing la visitara menos a ciertas horas, la herramienta de control del rastreo de Bing Webmaster Tools lo hace sin tocar el archivo.⁠^{[2]Bing Webmaster Tools, ayuda. Which Crawlers Does Bing Use?}

Cómo comprobarlo

1. Busca bingbot en los registros de tu servidor o de tu CDN y anota las IP de las visitas.
2. Verifica una IP con dos consultas DNS. La inversa tiene que devolver un nombre que acabe en search.msn.com, y la directa sobre ese nombre tiene que devolver la misma IP. En Windows sirve nslookup y en Linux, host; también puedes usar la herramienta Verify Bingbot de Bing.⁠^{[5]Bing Webmaster Tools, ayuda. How to Verify Bingbot}
3. O compárala con la lista oficial. Bing publica los rangos de IP de Bingbot en bingbot.json⁠^{[6]Microsoft Bing. bingbot.json (rangos de IP de Bingbot)} y pide refrescar esa lista a diario, porque puede cambiar en cualquier momento; también desaconseja fijar IP a mano en tu configuración.⁠^{[5]Bing Webmaster Tools, ayuda. How to Verify Bingbot}
4. Lee tu robots.txt. Si tiene un grupo User-agent: Bingbot, comprueba que repite todas las reglas del grupo general.⁠^{[3]Bing Webmaster Tools, ayuda. How to Create a robots.txt File}
5. Mira las etiquetas meta robots y la cabecera X-Robots-Tag de tus fichas. Un noarchive o un nocache heredado de una plantilla decide cuánto de tu catálogo puede usar Copilot.⁠^{[4]Bing Webmaster Tools, ayuda. Robots meta tags and attributes that Bing supports}

Concepto cercano: Googlebot

Googlebot hace para Google lo que Bingbot hace para Bing, y la mayoría de las reglas de robots.txt les sirven a los dos. Las diferencias están en los detalles. Google no admite Crawl-delay: su documentación lo lista entre los campos que no interpreta,⁠^{[7]Google Search Central. How Google interprets the robots.txt specification} mientras que Bing lo pone como ejemplo de regla para su rastreador.⁠^{[3]Bing Webmaster Tools, ayuda. How to Create a robots.txt File} Y el control del uso en IA va por caminos distintos. En Bing son las etiquetas noarchive y nocache en la propia página.⁠^{[4]Bing Webmaster Tools, ayuda. Robots meta tags and attributes that Bing supports} En Google, para limitar el entrenamiento y el grounding en algunos de sus otros sistemas, Google remite a Google-Extended.⁠^{[8]Google Search Central. AI features and your website} Cada uno se verifica con sus propios dominios y sus propias listas de IP.

Para seguir, la ruta de lectura de rastreo e indexación ordena el resto de términos, y la entrada de IndexNow explica cómo avisar a Bing de cada cambio en lugar de esperar a que Bingbot vuelva.