¿Qué es el presupuesto de rastreo (crawl budget)?

El presupuesto de rastreo no es dinero que pagues a Google ni una cifra que aparezca en ningún panel: es la forma de hablar de cuántas URL de tu sitio está dispuesto a pedir un rastreador y cuáles elige. A una tienda le importa por una razón concreta. Un catálogo con filtros de color, talla y precio fabrica muchas más URL que productos, y si el rastreador gasta su tiempo en ellas, las fichas nuevas y los cambios de precio tardan más en llegar al buscador. Y le importa saber también lo contrario: Google dice que si tus páginas se rastrean el mismo día que se publican, no necesitas leer su guía.⁠^{[1]Google Search Central. Optimize your crawl budget}

Cómo funciona

Google parte de una constatación: la web es casi infinita y tiene que poner límites al tiempo y los recursos que dedica a cada sitio. A ese reparto lo llama presupuesto de rastreo, y lo define como el conjunto de URL que Google puede y quiere rastrear. Para su infraestructura, un sitio es un nombre de host: www.tienda.com y blog.tienda.com tienen presupuestos separados.⁠^{[1]Google Search Central. Optimize your crawl budget}

El «puede» es el límite de capacidad de rastreo, que Google también llama hostload: el tiempo total que tu servidor pasa con conexiones abiertas para Google, contando cuántas a la vez y cuánto duran. Todos los sitios empiezan con el mismo límite, conservador. Si el servidor responde de forma estable y rápida, el límite sube; si se ralentiza o devuelve errores 5xx o señales de limitación como un 429, baja y Google rastrea menos. Ese límite lo comparten todos los rastreadores de Google, así que la demanda de uno reduce la capacidad que queda para los demás.⁠^{[1]Google Search Central. Optimize your crawl budget}

El «quiere» es la demanda de rastreo. Para Googlebot depende del tamaño del sitio, de cada cuánto cambia, de la calidad de sus páginas y de su relevancia frente a otros sitios. Google nombra tres factores en los que puedes influir: el inventario que percibe (sin indicaciones tuyas, intenta rastrear todas o casi todas las URL que conoce, y es el factor que más puedes controlar), la popularidad de cada URL y su antigüedad, porque quiere volver a rastrear a tiempo para recoger los cambios. Hay un detalle propio del comercio: Google Shopping tiene más demanda para los productos que están en tu feed de productos de Google Merchant Center.⁠^{[1]Google Search Central. Optimize your crawl budget}

Dos consecuencias que se olvidan. Primera: aunque no se llegue al límite de capacidad, si la demanda es baja, Google rastrea menos. Segunda: rastrear no es indexar. Cada página rastreada se evalúa y se consolida después, y no todas acaban en el índice;⁠^{[1]Google Search Central. Optimize your crawl budget} esa segunda fase es la indexación. Para conseguir más presupuesto, Google da solo dos vías: más recursos de servidor, si el problema es de capacidad, y más calidad para el producto de Google al que apuntas, que en la Búsqueda incluye popularidad, valor para el usuario, contenido único y capacidad de servirlo.⁠^{[1]Google Search Central. Optimize your crawl budget}

¿A quién va dirigido todo esto? Google lo escribe para tres tipos de sitio: los de más de un millón de páginas únicas que cambian más o menos una vez por semana, los de más de 10.000 que cambian a diario y los que tienen una parte grande de sus URL en el estado «Descubierta: actualmente sin indexar» de Search Console. Y avisa de que las cifras son una estimación aproximada, no umbrales exactos.⁠^{[1]Google Search Central. Optimize your crawl budget}

En una tienda

Una tienda de ropa con 2.000 productos y 40 colecciones. Cada colección se puede filtrar por seis colores, cinco tallas y cuatro órdenes, y cada combinación genera su propia URL con parámetros. Es un ejemplo ficticio, con cifras redondas para ver la proporción:

El catálogo útil son 2.040 URL; el que el rastreador puede encontrar, casi 16.000. Google describe los dos daños que causa la navegación facetada: el sobrerrastreo, porque cada URL de filtro parece nueva y el rastreador no sabe si sirve hasta que la pide, y el descubrimiento más lento, porque el tiempo gastado en URL inútiles deja menos para las nuevas.⁠^{[2]Google Search Central. Managing crawling of faceted navigation URLs} Lo mismo pasa con el contenido duplicado: Google prefiere que Googlebot dedique su tiempo a las páginas nuevas o actualizadas y no a versiones duplicadas del mismo contenido.⁠^{[3]Google Search Central. How to specify a canonical URL with rel="canonical" and other methods}

Las salidas que propone Google para los filtros que no quieres rastreados: bloquearlos en robots.txt, usar fragmentos (#color=azul) en lugar de parámetros, o marcar sus enlaces con rel="nofollow". La URL canónica apuntando a la colección sin filtrar también se puede usar, pero Google la considera en general menos eficaz a largo plazo.⁠^{[2]Google Search Central. Managing crawling of faceted navigation URLs} Ninguna de estas cifras dice que esta tienda tenga un problema: con 2.000 productos, está muy por debajo del público de la guía. Lo que lo diría es el informe de estadísticas de rastreo.

Cómo comprobarlo

1. Mira primero si es tu problema. Publica un producto y comprueba en la Inspección de URLs de Search Console cuándo lo rastreó Google. Si es el mismo día, Google dice que basta con mantener el sitemap al día y revisar con regularidad el informe de indexación de páginas.⁠^{[1]Google Search Central. Optimize your crawl budget}
2. Abre el informe de estadísticas de rastreo desde la configuración de la propiedad. Da las solicitudes totales, el tamaño descargado, el tiempo medio de respuesta y el estado del host, con desgloses por código de respuesta, tipo de archivo, propósito (descubrimiento o actualización) y tipo de Googlebot. Solo funciona en propiedades de nivel raíz, y Google lo presenta como un informe para usuarios avanzados que un sitio de menos de 1.000 páginas normalmente no necesita.⁠^{[4]Ayuda de Search Console. Crawl Stats report}
3. Lee en qué se va el rastreo. Muchas respuestas 404, redirecciones o páginas que devuelven un «no encontrado» con un 200 (los soft 404) son rastreo gastado. Google pide devolver un 404 o un 410 en los productos retirados para siempre, eliminar los soft 404 y evitar las cadenas largas de redirecciones.⁠^{[1]Google Search Central. Optimize your crawl budget}
4. Ordena tu inventario de URL. Consolida los duplicados, decide qué filtros no se rastrean y mantén el sitemap XML con la etiqueta <lastmod> cuando el contenido cambia.⁠^{[1]Google Search Central. Optimize your crawl budget}⁠^{[2]Google Search Central. Managing crawling of faceted navigation URLs}
5. Vigila la velocidad del servidor. Si las respuestas se alargan o aparecen errores 5xx o 429, el límite de capacidad baja. Responder con un 304 (Not Modified) a las páginas que no han cambiado deja a Google reutilizar su copia y ahorra recursos a tu servidor.⁠^{[1]Google Search Central. Optimize your crawl budget}

Concepto cercano: indexación

El presupuesto de rastreo decide qué URL se piden; la indexación, cuáles de esas se guardan. Por eso un presupuesto holgado no arregla una ficha que Google rastrea y no indexa: el estado «Rastreada: actualmente sin indexar» habla de lo que la página ofrece, no de cuánto se rastrea. El que sí apunta al rastreo es «Descubierta: actualmente sin indexar», el tercer perfil al que Google dirige su guía.⁠^{[1]Google Search Central. Optimize your crawl budget} La entrada rastreo frente a indexación pone las dos fases una al lado de la otra, y la de IndexNow explica cómo avisar a Bing y a otros buscadores de un cambio sin esperar a que lo descubran.

Para seguir, la ruta de lectura de rastreo e indexación ordena el resto de términos.