¿Qué diferencia hay entre rastreo e indexación?

Cuando una ficha no sale en Google, la frase de siempre es «Google no la ve». Detrás de esa frase hay dos fallos distintos, con arreglos distintos: que el rastreador no llegue a pedir la página, o que la pida y Google decida no guardarla en su índice. Cada fase tiene su entrada, la del rastreador y la de la indexación; lo útil es la frontera entre las dos: los casos en que una ocurre sin la otra y cómo saber en cuál estás. Para una tienda, saber en qué lado está el problema decide quién lo arregla y qué se toca: el servidor y sus reglas de acceso en un caso, la página y sus señales en el otro.

Cómo funciona

Google describe la Búsqueda en tres fases. En el rastreo, sus rastreadores descargan el texto, las imágenes y los vídeos de las páginas que han encontrado; en la indexación, Google analiza ese contenido y guarda la información en su índice; en la tercera, cuando alguien busca, devuelve lo que considera relevante.⁠^{[1]Google Search Central. In-depth guide to how Google Search works} Entre las dos primeras hay un paso que se olvida a menudo: las páginas que responden con un código 200 pasan a una cola de renderizado, donde un Chromium sin interfaz ejecuta el JavaScript, y lo que se indexa es el HTML ya renderizado.⁠^{[2]Google Search Central. Understand JavaScript SEO basics}

Cada fase tiene sus propios obstáculos, y Google los enumera por separado. Al rastreo lo frenan los problemas del servidor, los problemas de red y las reglas de robots.txt que no dejan pasar a Googlebot. A la indexación, el contenido de poca calidad, las reglas de robots en la propia página que prohíben indexarla y un diseño del sitio que lo pone difícil.⁠^{[1]Google Search Central. In-depth guide to how Google Search works}

Y cada fase tiene su interruptor. robots.txt actúa antes de que exista la visita: si una URL está bloqueada, Googlebot ni siquiera hace la petición HTTP.⁠^{[2]Google Search Central. Understand JavaScript SEO basics} La regla noindex actúa después, porque viaja dentro de la respuesta: Google la encuentra al intentar indexar la página, y por eso pide quitar el bloqueo de robots.txt cuando lo que quieres es que una página no se indexe.⁠^{[3]Ayuda de Search Console. Informe de indexación de páginas}

Los dos informes de Search Console separan las dos fases. El de estadísticas de rastreo, en la configuración de la propiedad, muestra el historial de rastreo de Google en tu sitio: las solicitudes, el tamaño descargado, el tiempo medio de respuesta, el estado del host y los desgloses por código de respuesta, tipo de archivo, objetivo del rastreo y tipo de Googlebot. Google lo dirige a usuarios avanzados: si tu sitio tiene menos de mil páginas, dice que no hace falta usarlo.⁠^{[4]Ayuda de Search Console. Informe de estadísticas de rastreo} El de indexación de páginas dice, URL a URL, qué está en el índice y por qué no lo está el resto.⁠^{[3]Ayuda de Search Console. Informe de indexación de páginas}

Cuando una ocurre sin la otra

Los estados del informe de indexación de páginas, leídos con calma, son un catálogo de esas combinaciones.⁠^{[3]Ayuda de Search Console. Informe de indexación de páginas}

Rastreada y no indexada, porque lo decide Google. «Rastreada: actualmente sin indexar» quiere decir que Google ha rastreado la página pero no la ha indexado, y que es posible que la indexe más adelante.⁠^{[3]Ayuda de Search Console. Informe de indexación de páginas} El rastreo funcionó: lo que falla está en lo que la página ofrece frente a las demás, y pedir más visitas no lo arregla.

Rastreada y no indexada, porque lo pides tú. «Excluida por la etiqueta noindex»: al intentar indexar la página, Google encontró la directiva. «Página con redirección»: es una URL no canónica que redirige a otra y no se indexará; el destino puede estar indexado o no, según lo que Google considere.⁠^{[3]Ayuda de Search Console. Informe de indexación de páginas} En los dos casos la visita es imprescindible, porque sin ella no hay noindex ni redirección 301 que leer.

Indexada sin haberse rastreado. «Se ha indexado aunque un archivo robots.txt la tenía bloqueada». Google no pide la página, pero puede indexarla con la información de otra página que la enlaza, y como no la ha leído, los fragmentos que muestra de ella son muy limitados.⁠^{[3]Ayuda de Search Console. Informe de indexación de páginas} La URL está en el índice con lo que otros dicen de ella, no con lo que dice ella.

Encontrada y aún sin visitar. «Descubierta: actualmente sin indexar» quiere decir que Google ha encontrado la página pero no la ha rastreado, probablemente porque hacerlo habría sobrecargado el sitio y ha tenido que aplazarlo; por eso el informe no da fecha de último rastreo.⁠^{[3]Ayuda de Search Console. Informe de indexación de páginas} Aquí el problema sí es de rastreo, y es donde entra el presupuesto de rastreo.

Indexada, pero con una versión antigua. El índice guarda lo que Google leyó en su último rastreo. La inspección de URLs lo avisa: lo que muestra de la versión indexada no corresponde a la versión publicada en la web, y para ver la actual está la prueba en directo.⁠^{[5]Ayuda de Search Console. Herramienta de inspección de URLs} Un precio cambiado esta mañana no está en el índice hasta que Google vuelva a pedir la ficha y la procese.

Leída sin índice detrás. Fuera de Google, una lectura puede no alimentar ningún índice. OpenAI explica que ChatGPT-User no rastrea la web de forma automática y que no se usa para decidir si un contenido aparece en la búsqueda de ChatGPT: son visitas que inicia una persona, y a ellas las reglas de robots.txt pueden no aplicarse.⁠^{[6]OpenAI. Overview of OpenAI Crawlers} Una línea suya en tus registros es una lectura, no un sitio en un índice.

En una tienda

Un ejemplo ficticio: una tienda de té cruza dos fuentes para cinco URL. La primera columna de datos sale de los registros del servidor, contando solo las peticiones de Googlebot verificadas; la segunda, del informe de indexación de páginas. Los nombres de los estados son los de la ayuda de Google en español.⁠^{[3]Ayuda de Search Console. Informe de indexación de páginas}

Ninguna de las dos fuentes basta sola. Los registros no saben qué hay en el índice, y el informe de indexación no enseña cada visita. La tercera fila es la menos intuitiva: una página de resultados del buscador interno, bloqueada para que no se rastree y aun así en el índice porque otra página la enlaza.

Cómo comprobarlo

1. Inspecciona la URL y lee el rastreo y la indexación por separado. En la versión indexada, la inspección de URLs da la última vez que Google rastreó la página, el tipo de rastreador, si tu sitio le permitió rastrearla y si pudo obtenerla del servidor; aparte, si la página rechaza la indexación.⁠^{[5]Ayuda de Search Console. Herramienta de inspección de URLs} Lo primero habla del rastreo; lo último, de la indexación.
2. Compara con la prueba en directo. «Ver página probada» enseña la captura renderizada, el HTML, las cabeceras HTTP y los recursos cargados. Un resultado positivo no garantiza que la página salga en la Búsqueda.⁠^{[5]Ayuda de Search Console. Herramienta de inspección de URLs}
3. Reparte los motivos del informe de indexación en dos montones. De rastreo: «El archivo robots.txt ha bloqueado la URL», «Error del servidor (5xx)» y «Descubierta: actualmente sin indexar». De indexación: «Rastreada: actualmente sin indexar», «Excluida por la etiqueta noindex», las duplicadas y «Página con redirección».⁠^{[3]Ayuda de Search Console. Informe de indexación de páginas}
4. Si pasas de mil páginas, abre las estadísticas de rastreo y mira los desgloses por código de respuesta y el estado del host.⁠^{[4]Ayuda de Search Console. Informe de estadísticas de rastreo} Un pico de errores ahí explica fichas que se quedan en «Descubierta».
5. Arregla en orden: primero el rastreo, después la indexación. Un noindex detrás de un bloqueo en robots.txt no se lee nunca.⁠^{[3]Ayuda de Search Console. Informe de indexación de páginas}

Concepto cercano: renderizado de JavaScript

El renderizado es la fase que queda entre las dos, y la que más confunde en tiendas con temas que montan la ficha en el navegador. Google pone en la cola de renderizado las páginas que responden con un 200 y usa el HTML renderizado para indexar; una página con otro código de respuesta puede saltarse el renderizado, y un noindex en el HTML original también puede hacer que se omita.⁠^{[2]Google Search Central. Understand JavaScript SEO basics} Por eso una ficha puede estar bien rastreada, porque el servidor respondió, y aun así entrar en el índice sin el dato que solo pinta un script si ese dato no llega al HTML renderizado. La entrada de renderizado de JavaScript explica cómo comprobar qué llega.

Para seguir, la ruta de lectura de rastreo e indexación ordena el resto de términos, y la guía de lo que ve un rastreador de IA en tu tienda lleva la misma pregunta a los agentes que no son Google.