Presupuesto de rastreo de Google: Guía para editores

Los editores que invierten en aparecer en los primeros resultados de búsqueda de Google ya comprenden la importancia del SEO. Sin embargo, un aspecto importante del SEO, y que puede pasarse por alto para los grandes editores, es el presupuesto de rastreo de Google.

Los presupuestos de rastreo de Google ayudan a determinar en qué medida aparecen los artículos en los resultados de búsqueda.

Comprender los presupuestos de rastreo es fundamental para garantizar el cumplimiento de los objetivos de SEO y la visualización del contenido. Comprobar que el backend técnico de un sitio web esté en buen estado aumenta la probabilidad de que el frontend refleje ese estado.

En este artículo explicamos qué es un presupuesto de rastreo, qué afecta al presupuesto, cómo optimizarlo, cómo verificar y realizar un seguimiento de los presupuestos de rastreo y por qué estos presupuestos son tan importantes para el bienestar de cualquier sitio en línea.

¿Qué es el presupuesto de rastreo?

El presupuesto de rastreo se refiere a los recursos que Google asigna a la búsqueda e indexación de páginas web nuevas y existentes.

El robot de rastreo de Google, Googlebot, rastrea sitios web para actualizar y ampliar la base de datos de páginas web del gigante de las búsquedas. Utiliza enlaces internos y externos, mapas de sitio XML, feeds RSS y Atom, así como archivos robots.txt para ayudar a rastrear e indexar sitios web lo más rápido posible.

Algunas páginas adquieren más autoridad con el tiempo, mientras que otras pueden ser ignoradas por completo debido a una serie de razones que van desde cuestiones relacionadas con el contenido hasta restricciones técnicas.

Saber cómo maximizar el presupuesto de rastreo es invaluable para cualquier editor o sitio web organizacional que busque éxito en las páginas de resultados de motores de búsqueda (SERP).

Limitaciones de Googlebot

El robot de Google no es un recurso inagotable y Google no puede permitirse el lujo de explorar una cantidad indefinida de servidores web. Por ello, la empresa ^ha ofrecido asesoramiento a los propietarios de dominios para que maximicen su presupuesto de rastreo.

Comprender cómo los bots realizan su actividad es fundamental.

Si un robot de rastreo llega a un sitio y determina que analizarlo y categorizarlo será problemático, reducirá su velocidad o se trasladará a otro sitio completamente dependiendo del alcance y el tipo de problemas que enfrente.

Cuando esto sucede, es una clara señal de que el sitio carece de optimización del presupuesto de rastreo.

Saber que Googlebot es un recurso limitado debería ser motivo suficiente para que cualquier propietario de un sitio web se preocupe por el presupuesto de rastreo. Sin embargo, no todos los sitios web enfrentan este problema con la misma intensidad.

¿A quién debería importarle y por qué?

Si bien todo propietario de un sitio desea que su sitio web tenga éxito, solo los sitios medianos y grandes que actualizan su contenido con frecuencia realmente necesitan preocuparse por los presupuestos de rastreo.

Google define los sitios medianos como aquellos con más de 10 000 páginas únicas que se actualizan a diario. Los sitios grandes, por su parte, tienen más de un millón de páginas únicas y se actualizan al menos una vez a la semana.

Google observa la relación entre la actividad de rastreo y los sitios web más grandes, diciendo: "Priorizar qué rastrear, cuándo y cuánto recurso puede asignar el servidor que aloja el sitio web al rastreo es más importante para los sitios web más grandes o aquellos que generan páginas automáticamente según los parámetros de URL, por ejemplo". ²

Los sitios con un número limitado de páginas no deben preocuparse demasiado por el presupuesto de rastreo. Sin embargo, dado que algunos editores pueden expandirse rápidamente, comprender las estadísticas y operaciones de rastreo permitirá a todos los propietarios de sitios web aprovechar mejor los beneficios de un mayor tráfico en el futuro.

¿Qué afecta el presupuesto de rastreo de Google?

El grado en que Google rastrea un sitio web está determinado por los límites de capacidad de rastreo y la demanda de rastreo.

Para evitar que la actividad de rastreo sature un servidor host, el límite de capacidad se calcula estableciendo la cantidad máxima de conexiones simultáneas y paralelas que el bot puede usar para rastrear el sitio, así como el retraso de tiempo entre las devoluciones de datos.

Límite de capacidad de rastreo

Esta métrica, también conocida como límite de velocidad de rastreo, es fluida y se relaciona con cambios en tres factores:

• Salud del rastreo : si el sitio responde sin errores ni demoras y la velocidad del sitio es buena, el límite puede aumentar y viceversa.
• Frecuencia de rastreo de GSC : Google Search Console (GSC) puede utilizarse para reducir la actividad de rastreo , una función útil durante el mantenimiento o las actualizaciones prolongadas del sitio. ^3. Los cambios permanecen activos durante 90 días . ^4.

Si el límite de frecuencia de rastreo aparece como "calculado en el nivel óptimo", no es posible aumentarlo y solo se puede reducir mediante una solicitud especial. Si un sitio web sufre un rastreo excesivo, lo que provoca problemas de disponibilidad o de carga de la página, utilice robots.txt para bloquear el rastreo y la indexación. Sin embargo, esta opción puede tardar 24 horas en surtir efecto.

Si bien muchos sitios no imponen sanciones de límite de rastreo, aún puede ser una herramienta útil.

Demanda de rastreo

La demanda de rastreo refleja el interés de Google en indexar un sitio. También se ve influenciada por tres factores:

• Inventario percibido : Sin la guía del propietario del sitio —que abordaremos más adelante—, Google intentará rastrear todas las URL, incluyendo las duplicadas, los enlaces defectuosos y las páginas menos importantes. En este punto, restringir los parámetros de búsqueda de Googlebot puede aumentar el presupuesto de rastreo.
• Popularidad : si un sitio es extremadamente popular, sus URL se rastrearán con mayor frecuencia.
• Obsolescencia : Generalmente, el sistema Googlebot intenta volver a rastrear las páginas para detectar cualquier cambio. Este proceso se puede facilitar mediante el GSC y solicitando nuevos rastreos, aunque no hay garantía de que la solicitud se procese de inmediato.

La actividad de rastreo es, en esencia, producto de una buena gestión del sitio web.

Preocupaciones de los CMS

Vahe Arabian , fundador de State of Digital Publishing (SODP) , dice que los elementos del sistema de gestión de contenido (CMS) , como los complementos, pueden afectar los presupuestos de rastreo. ⁵

Dijo: “Muchos complementos utilizan bases de datos pesadas y provocan un aumento en la carga de recursos, lo que ralentizará una página o creará páginas innecesarias y afectará su capacidad de rastreo”

El modelo de ingresos basado en publicidad de un sitio web puede crear problemas similares si varias funciones del sitio consumen muchos recursos.

Cómo comprobar y hacer seguimiento de los presupuestos de rastreo

Hay dos formas clave de realizar un seguimiento de los presupuestos de rastreo: Google Search Console (GSC) y/o los registros del servidor. ⁶

Consola de búsqueda de Google

Antes de verificar las velocidades de rastreo de un sitio en Google Search Console (GSC), se debe verificar la propiedad del dominio.

La consola tiene tres herramientas para comprobar las páginas del sitio web y confirmar qué URL son funcionales y cuáles no han sido indexadas.

• Informe de cobertura del índice⁷
• Herramienta de inspección de URL⁸
• Informe de estadísticas de rastreo⁹

La consola verifica si hay imprecisiones en el dominio y ofrecerá sugerencias sobre cómo resolver varios errores de rastreo.

GSC agrupa los errores de estado en varias categorías en su Informe de cobertura del índice, entre las que se incluyen:

• Error del servidor [5xx]
• Error de redirección
• URL enviada bloqueada por robots.txt
• URL enviada marcada 'noindex'
• La URL enviada parece ser un error 404 leve
• La URL enviada devuelve una solicitud no autorizada (401)
• URL enviada no encontrada (404)
• La URL enviada devolvió 403: 
• URL enviada bloqueada debido a otro problema 4xx

El informe indica cuántas páginas se vieron afectadas por cada error junto con el estado de validación.

La herramienta de inspección de URL proporciona información de indexación sobre cualquier página específica, mientras que el Informe de estadísticas de rastreo se puede utilizar para averiguar con qué frecuencia Google rastrea un sitio, la capacidad de respuesta del servidor del sitio y cualquier problema de disponibilidad asociado.

Existe un enfoque fijo para identificar y corregir cada error, que varía desde reconocer que un servidor del sitio puede haber estado inactivo o no disponible en el momento del rastreo hasta usar una redirección 301 para redirigir a otra página o eliminar páginas del mapa del sitio.

Si el contenido de la página ha cambiado significativamente, se puede utilizar el botón “solicitar indexación” de la herramienta de inspección de URL para iniciar un rastreo de la página.

Si bien puede que no sea necesario “arreglar” cada error de página individual, minimizar los problemas que ralentizan a los robots de rastreo es definitivamente una buena práctica.

Usar registros del servidor

Como alternativa a Google Search Console (GSC), el estado de rastreo de un sitio se puede inspeccionar a través de registros del servidor que no solo registran cada visita al sitio, sino también cada visita de Googlebot.

Para quienes aún no lo sepan, los servidores crean y almacenan automáticamente una entrada de registro cada vez que Googlebot o un usuario solicitan que se sirva una página. Estas entradas se recopilan en un archivo de registro.

Una vez accedido a un archivo de registro, es necesario analizarlo. Sin embargo, dada la gran cantidad de entradas de registro, esta tarea no debe tomarse a la ligera. Dependiendo del tamaño del sitio, un archivo de registro puede contener fácilmente cientos de millones o incluso miles de millones de entradas.

Si se decide analizar el archivo de registro, los datos deben exportarse a una hoja de cálculo o a un software propietario, lo que facilita más el proceso de análisis.

El análisis de estos registros mostrará el tipo de errores que ha enfrentado un bot, qué páginas fueron accedidas con más frecuencia y con qué frecuencia se rastreó un sitio.

9 maneras de optimizar el presupuesto de rastreo

La optimización implica verificar y rastrear las estadísticas de salud del sitio, como se mencionó anteriormente, y luego abordar directamente las áreas problemáticas.

A continuación, presentamos nuestro kit de herramientas de optimización del presupuesto de rastreo, que utilizamos para abordar los problemas de rastreabilidad a medida que surgen.

1. Consolidar contenido duplicado

Los problemas de rastreo pueden surgir cuando una misma página es accesible desde varias URL diferentes o contiene contenido replicado en otras partes del sitio. El bot considerará estos ejemplos como duplicados y simplemente seleccionará uno como la versión canónica.

Las URL restantes se considerarán menos importantes y se rastrearán con menos frecuencia o incluso no se rastrearán en absoluto. ¹⁰ Esto está bien si Google elige la página canónica deseada, pero es un problema grave si no lo hace.

Dicho esto, puede haber razones válidas para tener páginas duplicadas, como el deseo de admitir múltiples tipos de dispositivos, habilitar la sindicación de contenido o usar URL dinámicas para parámetros de búsqueda o ID de sesión.

Recomendaciones de SODP :

• Podar el contenido del sitio web siempre que sea posible
  • Utilice 301 para consolidar URL y fusionar contenido
  • Eliminar contenido de bajo rendimiento 
• El uso de enlaces 301 después de una reestructuración del sitio web enviará a los usuarios, bots y otros rastreadores a donde necesitan ir.
• Utilice noindex para páginas delgadas, paginación (para archivos más antiguos) y para canibalizar contenido.
• En los casos en que el contenido duplicado genere un rastreo excesivo, ajuste la configuración de la frecuencia de rastreo en Google Search Console (GSC).

2. Utilice el archivo Robots.txt 

Este archivo ayuda a evitar que los bots exploren todo el sitio. Su uso permite excluir páginas o secciones individuales.

Esta opción le brinda al editor control sobre lo que se indexa, manteniendo cierto contenido privado y al mismo tiempo mejorando la forma en que se gasta el presupuesto de rastreo.

Recomendaciones de SODP :

• Ordene la preferencia de parámetros para priorizar los parámetros que deben bloquearse para evitar el rastreo.
• Especifique robots, directivas y parámetros que provocan un rastreo adicional mediante archivos de registro.
• Bloquear rutas comunes que suelen tener los CMS, como 404, administración, páginas de inicio de sesión, etc.
• Evite usar la directiva crawl-delay para reducir el tráfico de bots y perjudicar el rendimiento del servidor. Esto solo afecta la indexación de contenido nuevo.

3. Segmente los mapas de sitio XML para garantizar una recogida de contenido más rápida

Un bot de rastreo llega a un sitio con una asignación general de páginas que rastreará. El mapa del sitio XML le indica al bot que lea las URL seleccionadas, lo que garantiza el uso eficiente de ese presupuesto.

Tenga en cuenta que el posicionamiento de una página depende de varios factores, como la calidad del contenido y los enlaces internos y externos. Considere incluir solo las páginas de mayor calidad en el mapa. A las imágenes se les puede asignar su propio mapa del sitio XML.

Recomendaciones de SODP :

• Haga referencia al mapa del sitio XML desde el archivo robots.txt.
• Cree varios mapas de sitio para un sitio muy grande. No agregue más de 50 000 URL a un solo mapa de sitio XML.
• Mantenlo limpio y solo incluye páginas indexables.
• Mantenga el mapa del sitio XML actualizado.
• Mantenga el tamaño del archivo por debajo de 50 MB.

4. Examinar la estrategia de enlaces internos

Google sigue la red de enlaces dentro de un sitio y cualquier página con múltiples enlaces se considera de alto valor y vale la pena invertir el presupuesto de rastreo en ella.

Sin embargo, vale la pena señalar que, si bien una cantidad limitada de enlaces internos puede ir en contra del presupuesto de rastreo, también puede ocurrir lo mismo si se llena todo el sitio con enlaces.

Las páginas sin enlaces internos no reciben ningún valor de enlace del resto del sitio web, lo que alienta a Google a tratarlas como si fueran de menor valor.

Al mismo tiempo, las páginas de alto valor que contienen muchos enlaces internos terminan compartiendo su valor de enlace equitativamente con otras páginas, independientemente de su valor estratégico. Por lo tanto, evite enlazar a páginas que ofrezcan poco valor a los lectores.

Una estrategia de enlaces internos requiere un toque hábil para garantizar que las páginas de alto valor reciban suficientes enlaces, mientras que las páginas de bajo valor no canibalicen el valor del enlace.

5. Actualice el alojamiento si el tráfico concurrente es un cuello de botella

Si un sitio web se ejecuta en una plataforma de alojamiento compartido, el presupuesto de rastreo se compartirá con otros sitios web que se ejecuten en dicha plataforma. Una gran empresa podría considerar el alojamiento independiente como una alternativa valiosa.

Otras consideraciones al actualizar su alojamiento o incluso antes de actualizar para resolver la sobrecarga de tráfico de bots que puede afectar las cargas del servidor:

• Procesa imágenes utilizando una CDN independiente que también está optimizada para alojar formatos de imágenes de próxima generación como webp
• Considere alojar CPU y espacio en disco según las funciones y requisitos de su sitio web
• Monitorear la actividad utilizando soluciones como New Relic para monitorear el uso excesivo de complementos y bots

6. Equilibrar el uso de Javascript

Cuando el robot de Google llega a una página web, procesa todos los recursos de dicha página, incluido Javascript. Si bien rastrear HTML es bastante sencillo, el robot de Google debe procesar Javascript varias veces para poder procesarlo y comprender su contenido.

Esto puede agotar rápidamente el presupuesto de rastreo de Google para un sitio web. La solución es implementar la renderización de Javascript en el servidor.

Al evitar enviar recursos de Javascript al cliente para su renderizado , los robots de rastreo no gastan sus recursos y pueden trabajar de manera más eficiente. ¹¹

Recomendaciones de SODP :

• Utilice la carga diferida a nivel de navegador en lugar de basarse en JS
• Determinar si los elementos 
• Utilice el etiquetado del lado del servidor para análisis y el etiquetado de terceros, ya sea alojado por usted mismo o utilizando soluciones como https://stape.io/ . ¹² 

7. Actualizar Core Web Vitals (CWV) para mejorar la experiencia de la página

Core Web Vitals (CWV) de Google Search Console (GSC) utiliza lo que el gigante de las búsquedas llama " datos de uso del mundo real " para mostrar el rendimiento de la página. ¹³

El informe CWV agrupa el rendimiento de las URL en tres categorías:

• Tipo de métrica (LCP, FID y CLS)
• Estado 
• Grupos de URL

Métrico

El informe CWV se basa en las de pintura con contenido más grande (LCP), ¹⁴ de retraso de primera entrada (FID) ¹⁵ y de cambio de diseño acumulativo (CLS) ¹⁶ .

LCP se relaciona con la cantidad de tiempo que lleva hacer visible el elemento de contenido más grande en el área visible de la página web.

FID se refiere al tiempo que tarda una página en responder a la interacción de un usuario.

CLS es una medida de cuánto cambia el diseño de la página durante la sesión del usuario; las puntuaciones más altas representan una peor experiencia del usuario.

 Estado

Después de una evaluación de página, a cada métrica se le asigna uno de tres rangos de estado:

• Bien
• Necesita mejorar
• Pobre

Grupos de URL

El informe también puede asignar problemas a un grupo de URL similares, asumiendo que los problemas de rendimiento que afectan a páginas similares pueden atribuirse a un problema compartido.

CWV y capacidad de rastreo

Como se mencionó anteriormente, cuanto más tiempo pasa Googlebot en una página, más desperdicia su presupuesto de rastreo. Por lo tanto, los editores pueden usar los informes de CWV para optimizar la eficiencia de la página y reducir el tiempo de rastreo.

de SODP , con foco en WordPress:

8. Utilice un rastreador de terceros

Un rastreador de terceros como Semrush, Sitechecker.pro o Screaming Frog permite a los desarrolladores web auditar todas las URL de un sitio e identificar posibles problemas.

Los rastreadores se pueden utilizar para identificar:

• Enlaces rotos
• Contenido duplicado
• Títulos de páginas faltantes

Estos programas ofrecen un informe de estadísticas de rastreo para ayudar a resaltar problemas que las propias herramientas de Google no pueden detectar.

Mejorar los datos estructurados y reducir los problemas de higiene agilizarán el trabajo de Googlebot de rastrear e indexar un sitio.

Recomendaciones de SODP :

• Utilice consultas SQL para realizar actualizaciones por lotes de errores en lugar de solucionar manualmente cada problema.
• Emule Googlebot, a través de la configuración de rastreo de búsqueda, para evitar ser bloqueado por los proveedores de alojamiento y para identificar y solucionar adecuadamente todos los problemas técnicos.
• Depure las páginas faltantes de un rastreo usando esta excelente guía de Screaming Frog . ¹⁷

9. Parámetros de URL

Los parámetros de URL (la sección de la dirección web que sigue al “?”) se utilizan en una página por diversos motivos, entre ellos el filtrado, la paginación y la búsqueda. 

Si bien esto puede mejorar la experiencia del usuario, también puede causar problemas de rastreo cuando tanto la URL base como una con parámetros devuelven el mismo contenido. Un ejemplo sería que "http://mysite.com" y "http://mysite.com?id=3" devuelven exactamente la misma página.

Los parámetros permiten que un sitio tenga un número casi ilimitado de enlaces, por ejemplo, cuando un usuario puede seleccionar días, meses y años en un calendario. Si se permite que el bot rastree estas páginas, el presupuesto de rastreo se consumirá innecesariamente.

Recomendaciones de SODP :

• Utilice las reglas de robots.txt. Por ejemplo, especifique el orden de los parámetros en una directiva de permiso.
• Utilice hreflang para especificar las variaciones de idioma del contenido.

Resumen de mitos y realidades sobre Googlebot

Existen varios conceptos erróneos sobre el poder y el alcance de Googlebot.

Aquí hay cinco que hemos explorado:

1. Googlebot rastrea un sitio de forma intermitente 

Googlebot rastrea sitios web con bastante frecuencia y, en algunos casos, incluso a diario. Sin embargo, la frecuencia se determina por la calidad percibida del sitio, su novedad, relevancia y popularidad.

Como se indicó anteriormente, se puede utilizar Google Search Console (GSC) para solicitar un rastreo.

2. Googlebot toma decisiones sobre la clasificación del sitio

Si bien esto solía ser correcto, Google ahora considera que esto es una parte separada del proceso de rastreo, indexación y clasificación, según Martin Splitt , analista de tendencias para webmasters de Google. ¹⁸

Sin embargo, también es importante recordar que el contenido de un sitio, el mapa del sitio, el número de páginas, los enlaces, las URL, etc. son factores que determinan su clasificación.

En esencia, las decisiones inteligentes de SEO por parte de los editores pueden conducir a un posicionamiento sólido dentro de los SERP.

3. Googlebot invade secciones privadas de un sitio

El bot no tiene el concepto de “contenido privado” y simplemente su tarea es indexar sitios a menos que el propietario del sitio le indique lo contrario.

Algunas páginas web pueden permanecer sin indexar siempre que se tomen las medidas necesarias dentro del GSC para restringir el acceso.

4. La actividad de Googlebot puede afectar la operatividad del sitio

El proceso de Googlebot tiene sus limitaciones tanto por las limitaciones de recursos de Google como porque Google no quiere interrumpir el funcionamiento de un sitio.

Splitt dijo: «Nos arrastramos un poco y luego, básicamente, lo intensificamos. Y cuando empezamos a ver errores, lo reducimos un poco»¹⁵

El GSC puede retrasar los rastreos y, dado que algunos sitios pueden tener cientos de miles de páginas, Googlebot divide su rastreo en varias visitas.

5. Googlebot es el único bot del que vale la pena preocuparse

Si bien Googlebot es el rastreador líder a nivel mundial, no todos los bots pertenecen a Google. Otros motores de búsqueda rastrean la web, mientras que los bots que se centran en el análisis, los datos y la seguridad de la marca también están activos.

Al mismo tiempo, los actores maliciosos están diseñando software cada vez más sofisticado para cometer fraudes publicitarios , robar contenido, publicar spam y más. ¹⁹

Reflexiones finales

Es importante recordar que la optimización del presupuesto de rastreo y las experiencias de usuario exitosas se pueden gestionar sin comprometer la otra 

Comprobar el estado del presupuesto de rastreo de un sitio debería ser un elemento de los programas de mantenimiento de todos los propietarios de sitios web, y la frecuencia de estas comprobaciones debería depender del tamaño y la naturaleza del propio sitio web.

El mantenimiento técnico (como arreglar enlaces rotos, páginas que no funcionan , contenido duplicado, URL mal redactadas y mapas de sitios antiguos y llenos de errores) también es esencial.