Presupuesto de rastreo de Google: una guía para editores

Los editores que invirtieron en aparecer en la parte superior de los resultados de búsqueda de Google ya comprenden la importancia del SEO. Sin embargo, un aspecto importante y potencialmente pasado por alto del SEO para los editores más grandes es el presupuesto de rastreo de Google.

Los presupuestos de rastreo de Google ayudan a determinar en qué medida aparecen los artículos en los resultados de búsqueda.

Comprender los presupuestos de rastreo es un paso fundamental para garantizar que se cumplan los objetivos de SEO y se vea el contenido. Verificar que el back-end técnico de un sitio esté en buen estado significa que es más probable que el front-end refleje ese estado.

En este artículo explicamos qué es un presupuesto de rastreo, qué afecta al presupuesto, cómo optimizarlo, cómo verificar y realizar un seguimiento de los presupuestos de rastreo y por qué estos presupuestos son tan importantes para el bienestar de cualquier sitio en línea.

¿Qué es el presupuesto de rastreo?

El presupuesto de rastreo se refiere a los recursos que Google asigna a la búsqueda e indexación de páginas web nuevas y existentes.

El robot de rastreo de Google, Googlebot, rastrea sitios para actualizar y ampliar la base de datos de páginas web del gigante de las búsquedas. Utiliza enlaces internos y externos, mapas de sitios XML, canales RSS y Atom, así como archivos robots.txt para ayudar a rastrear e indexar sitios lo más rápido posible.

Ciertas páginas ganan más autoridad con el tiempo, mientras que otras pueden ser ignoradas por completo debido a una serie de razones que van desde restricciones técnicas hasta relacionadas con el contenido.

Saber cómo maximizar el presupuesto de rastreo es invaluable para cualquier editor u sitio web organizacional que busque el éxito en las páginas de resultados de los motores de búsqueda (SERP).

Limitaciones del robot de Google

El robot de Google no es un recurso infinito y Google no puede permitirse el lujo de rastrear un número infinito de servidores web. Como tal, la empresa ha ofrecido orientación a los propietarios de dominios para maximizar su propio presupuesto de rastreo. ¹

Comprender cómo los robots realizan su actividad es fundamental.

Si un rastreador llega a un sitio y determina que analizarlo y categorizarlo será problemático, se ralentizará o pasará a otro sitio completamente dependiendo de la magnitud y el tipo de problemas que enfrenta.

Cuando esto sucede, es una señal clara de que el sitio carece de optimización del presupuesto de rastreo.

Saber que Googlebot es un recurso finito debería ser motivo suficiente para que cualquier propietario de un sitio se preocupe por el presupuesto de rastreo. Sin embargo, no todos los sitios enfrentan este problema en la misma medida.

¿A quién debería importarle y por qué?

Aunque todos los propietarios de sitios quieren que su sitio web tenga éxito, sólo los sitios medianos y grandes que actualizan con frecuencia su contenido realmente deben preocuparse por los presupuestos de rastreo.

Google define los sitios medianos como aquellos con más de 10.000 páginas únicas que se actualizan diariamente. Mientras tanto, los sitios grandes tienen más de 1 millón de páginas únicas y se actualizan al menos una vez por semana.

Google señala la relación entre la actividad de rastreo y los sitios web más grandes, diciendo: "Priorizar qué rastrear, cuándo y cuántos recursos el servidor que aloja el sitio web puede asignar al rastreo es más importante para los sitios web más grandes, o aquellos que generan automáticamente páginas basadas en Parámetros de URL, por ejemplo”. ²

Los sitios con un número de páginas limitado no necesitan preocuparse demasiado por el presupuesto de rastreo. Sin embargo, dado que algunos editores pueden expandirse rápidamente, obtener una comprensión básica de las estadísticas y operaciones de rastreo colocará a todos los propietarios de sitios en una mejor posición para cosechar las recompensas de un mayor tráfico del sitio en el futuro.

¿Qué afecta el presupuesto de rastreo de Google?

El grado en que Google rastrea un sitio web está determinado por los límites de capacidad de rastreo y la demanda de rastreo.

Para evitar que la actividad de rastreo abrume a un servidor host, el límite de capacidad se calcula estableciendo el número máximo de conexiones paralelas simultáneas que el bot puede usar para rastrear el sitio, así como el tiempo de demora entre las devoluciones de datos.

Límite de capacidad de rastreo

Esta métrica, que también se conoce como límite de velocidad de rastreo, es fluida y se relaciona con cambios en tres factores:

• Estado del rastreo : si el sitio responde sin errores ni demoras, y la velocidad del sitio es buena, el límite puede aumentar y viceversa.
• Tasa de rastreo de GSC : Google Search Console (GSC) se puede utilizar para reducir la actividad de rastreo , una función que puede resultar útil durante el mantenimiento prolongado o las actualizaciones del sitio. ³ Cualquier cambio permanece activo durante 90 días . ⁴

Si el límite de velocidad de rastreo aparece como "calculado de manera óptima", aumentarlo no es una opción y reducirlo solo puede ocurrir mediante una solicitud especial. Si un sitio está siendo sobreexplotado, lo que genera problemas de disponibilidad y/o carga de la página, utilice robots.txt para bloquear el rastreo y la indexación. Esta opción, sin embargo, puede tardar 24 horas en entrar en vigor.

Si bien muchos sitios no imponen sanciones de límite de rastreo, aún así puede ser una herramienta útil.

Demanda de rastreo

La demanda de rastreo es una expresión del interés que hay por parte de Google en indexar un sitio. También está influenciado por tres factores:

• Inventario percibido : sin la orientación del propietario del sitio (lo cual cubriremos un poco más adelante), Google intentará rastrear cada URL, incluidos los duplicados, los enlaces que no funcionan y las páginas menos importantes. Aquí es donde limitar los parámetros de búsqueda del robot de Google puede aumentar el presupuesto de rastreo.
• Popularidad : si un sitio es extremadamente popular, sus URL se rastrearán con más frecuencia.
• Estancamiento : generalmente, el sistema del robot de Google tiene como objetivo volver a rastrear las páginas para detectar cualquier cambio. Se puede facilitar este proceso utilizando el GSC y solicitando nuevos rastreos, aunque no hay garantía de que se actúe de inmediato sobre la solicitud.

La actividad de rastreo es, en esencia, un producto de una buena gestión del sitio web.

Preocupaciones de CMS

Vahe Arabian , fundador de State of Digital Publishing (SODP) , afirma que los elementos del sistema de gestión de contenidos (CMS) , como los complementos, pueden afectar los presupuestos de rastreo. ⁵

Dijo: "Muchos complementos se basan en bases de datos pesadas y aumentan la carga de recursos, lo que ralentizará una página o creará páginas innecesarias y afectará su capacidad de rastreo".

El modelo de ingresos basado en publicidad de un sitio web puede crear problemas similares si varias funciones del sitio consumen muchos recursos.

Cómo verificar y realizar un seguimiento de los presupuestos de rastreo

Hay dos formas clave de realizar un seguimiento de los presupuestos de rastreo: Google Search Console (GSC) y/o registros del servidor. ⁶

Consola de búsqueda de Google

Antes de verificar las tasas de rastreo de un sitio en Google Search Console (GSC), se debe verificar la propiedad del dominio.

La consola tiene tres herramientas para verificar las páginas del sitio web y confirmar qué URL son funcionales y cuáles no han sido indexadas.

• El informe de cobertura del índice⁷
• Herramienta de inspección de URL⁸
• Informe de estadísticas de rastreo⁹

La consola busca imprecisiones en el dominio y ofrecerá sugerencias sobre cómo resolver varios errores de rastreo.

GSC agrupa los errores de estado en varias categorías en su Informe de cobertura del índice, que incluyen:

• Error del servidor [5xx]
• Error de redireccionamiento
• URL enviada bloqueada por robots.txt
• URL enviada marcada como 'noindex'
• La URL enviada parece ser un 404 suave
• La URL enviada devuelve una solicitud no autorizada (401)
• URL enviada no encontrada (404)
• La URL enviada devolvió 403: 
• URL enviada bloqueada debido a otro problema 4xx

El informe indica cuántas páginas se han visto afectadas por cada error junto con el estado de validación.

La herramienta de inspección de URL proporciona información de indexación en cualquier página específica, mientras que el informe de estadísticas de rastreo se puede utilizar para averiguar con qué frecuencia Google rastrea un sitio, la capacidad de respuesta del servidor del sitio y cualquier problema de disponibilidad asociado.

Existe un enfoque fijo para identificar y corregir cada error, que va desde reconocer que el servidor de un sitio puede haber estado inactivo o no disponible en el momento del rastreo hasta usar una redirección 301 para redirigir a otra página o eliminar páginas del mapa del sitio. .

Si el contenido de la página ha cambiado significativamente, se puede utilizar el botón "solicitar indexación" de la herramienta de inspección de URL para iniciar un rastreo de la página.

Si bien puede que no sea necesario "corregir" cada error de página individual, minimizar los problemas que ralentizan los robots de rastreo es definitivamente una buena práctica.

Usar registros del servidor

Como alternativa a Google Search Console (GSC), el estado del rastreo de un sitio se puede inspeccionar a través de registros del servidor que no solo registran cada visita al sitio sino también cada visita del robot de Google.

Para aquellos que aún no lo saben, los servidores crean y almacenan automáticamente una entrada de registro cada vez que el robot de Google o un humano solicitan que se publique una página. Estas entradas de registro luego se recopilan en un archivo de registro.

Una vez que se ha accedido a un archivo de registro, es necesario analizarlo. Sin embargo, dado el gran alcance de las entradas de registro, esta tarea no debe tomarse a la ligera. Dependiendo del tamaño del sitio, un archivo de registro puede contener fácilmente cientos de millones o incluso miles de millones de entradas.

Si se toma la decisión de analizar el archivo de registro, los datos deben exportarse a una hoja de cálculo o a un software propietario, lo que facilita más fácilmente el proceso de análisis.

El análisis de estos registros mostrará el tipo de errores que ha enfrentado un bot, a qué páginas se accedió con mayor frecuencia y con qué frecuencia se rastreó un sitio.

Nueve formas de optimizar el presupuesto de rastreo

La optimización implica verificar y rastrear las estadísticas de salud del sitio, como se señaló anteriormente, y luego abordar directamente las áreas problemáticas.

A continuación, presentamos nuestro conjunto de herramientas de optimización del presupuesto de rastreo, que utilizamos para abordar los problemas de rastreabilidad a medida que surgen.

1. Consolidar contenido duplicado

Pueden aparecer problemas de rastreo cuando se puede acceder a una sola página desde varias URL diferentes o cuando contiene contenido replicado en otra parte del sitio. El bot verá estos ejemplos como duplicados y simplemente elegirá uno como versión canónica.

Las URL restantes se considerarán menos importantes y se rastrearán con menos frecuencia o incluso ninguna. ¹⁰ Esto está bien si Google elige la página canónica deseada, pero es un problema grave si no lo hace.

Dicho esto, puede haber razones válidas para tener páginas duplicadas, como el deseo de admitir múltiples tipos de dispositivos, habilitar la distribución de contenido o usar URL dinámicas para parámetros de búsqueda o ID de sesión.

Recomendaciones de SODP :

• Elimine el contenido del sitio web siempre que sea posible
  • Utilice 301 para consolidar URL y fusionar contenido
  • Eliminar contenido de bajo rendimiento 
• El uso de 301 después de la reestructuración de un sitio web enviará a los usuarios, bots y otros rastreadores a donde deben ir.
• Utilice noindex para páginas delgadas, paginación (para archivos más antiguos) y para canibalizar contenido.
• En los casos en que el contenido duplicado provoque un rastreo excesivo, ajuste la configuración de la velocidad de rastreo en Google Search Console (GSC).

2. Utilice el archivo Robots.txt 

Este archivo ayuda a evitar que los robots rastreen un sitio completo. El uso del archivo permite la exclusión de páginas individuales o secciones de páginas.

Esta opción le da al editor control sobre lo que se indexa, manteniendo cierto contenido privado y al mismo tiempo mejorando cómo se gasta el presupuesto de rastreo.

Recomendaciones de SODP :

• Ordene la preferencia de parámetros para priorizar los parámetros cuyo rastreo debe bloquearse.
• Especifique robots, directivas y parámetros que provocan un rastreo adicional mediante archivos de registro.
• Bloquee las rutas comunes que suelen tener los CMS, como 404, administración, páginas de inicio de sesión, etc.
• Evite el uso de la directiva de retraso de rastreo para reducir el tráfico de bots para mejorar el rendimiento del servidor. Esto solo afecta la indexación de contenido nuevo.

3. Segmentar mapas de sitio XML para garantizar una recogida de contenido más rápida

Un robot de rastreo llega a un sitio con una asignación general de cuántas páginas rastreará. El mapa del sitio XML dirige eficazmente al bot para que lea las URL seleccionadas, lo que garantiza el uso eficaz de ese presupuesto.

Tenga en cuenta que el rendimiento de clasificación de una página depende de varios factores, incluida la calidad del contenido y los enlaces internos/externos. Considere incluir solo páginas de primer nivel en el mapa. A las imágenes se les puede asignar su propio mapa del sitio XML.

Recomendaciones de SODP :

• Haga referencia al mapa del sitio XML del archivo robots.txt.
• Cree varios mapas de sitio para un sitio muy grande. No agregue más de 50.000 URL a un único mapa de sitio XML.
• Mantenlo limpio y solo incluye páginas indexables.
• Mantenga actualizado el mapa del sitio XML.
• Mantenga el tamaño del archivo a menos de 50 MB.

4. Examinar la estrategia de vinculación interna

Google sigue la red de enlaces dentro de un sitio y cualquier página con múltiples enlaces se considera de alto valor y vale la pena gastar el presupuesto de rastreo.

Sin embargo, vale la pena señalar que, si bien un número limitado de enlaces internos puede ir en contra del presupuesto de rastreo, también puede hacerlo llenar todo el sitio con enlaces.

Las páginas sin enlaces internos no reciben ningún valor de enlace del resto del sitio web, lo que anima a Google a tratarlas como de menor valor.

Al mismo tiempo, las páginas de alto valor que contienen muchos enlaces internos terminan compartiendo su valor de enlaces por igual entre otras páginas, independientemente de su valor estratégico. Como tal, evite vincular a páginas que ofrezcan poco valor a los lectores.

Una estrategia de enlaces internos requiere un toque hábil para garantizar que las páginas de alto valor reciban suficientes enlaces, mientras que las páginas de bajo valor no canibalicen la equidad de los enlaces.

5. Actualice el alojamiento si el tráfico simultáneo es un cuello de botella

Si un sitio web se ejecuta en una plataforma de alojamiento compartido, el presupuesto de rastreo se compartirá con otros sitios web que se ejecutan en dicha plataforma. Una gran empresa puede considerar que el hosting independiente es una alternativa valiosa.

Otras consideraciones al actualizar su hosting o incluso antes de actualizar para resolver la sobrecarga de tráfico de bots que puede afectar las cargas del servidor:

• Procese imágenes utilizando una CDN separada que también está optimizada para alojar formatos de imágenes de próxima generación, como webp.
• Considere alojar CPU y espacio en disco según la función y los requisitos de su sitio web.
• Supervise la actividad utilizando soluciones como New Relic para controlar el uso excesivo de complementos y bots.

6. Equilibrar el uso de Javascript

Cuando Googlebot llega a una página web, muestra todos los recursos de dicha página, incluido Javascript. Si bien rastrear HTML es bastante sencillo, el robot de Google debe procesar Javascript varias veces para poder representarlo y comprender su contenido.

Esto puede agotar rápidamente el presupuesto de rastreo de Google para un sitio web. La solución es implementar la representación de Javascript en el lado del servidor.

Al evitar enviar activos de Javascript al cliente para su procesamiento , los robots de rastreo no gastan sus recursos y pueden trabajar de manera más eficiente. ¹¹

Recomendaciones de SODP :

• Utilice la carga diferida a nivel del navegador en lugar de estar basada en JS
• Determinar si los elementos 
• Utilice el etiquetado del lado del servidor para análisis y etiquetado de terceros, ya sea de forma autohospedada o mediante soluciones como https://stape.io/ . ¹² 

7. Actualice Core Web Vitals (CWV) para mejorar la experiencia de la página

Core Web Vitals (CWV) de Google Search Console (GSC) utiliza lo que el gigante de las búsquedas llama “ datos de uso en el mundo real ” para mostrar el rendimiento de la página. ¹³

El informe CWV agrupa el rendimiento de las URL en tres categorías:

• Tipo de métrica (LCP, FID y CLS)
• Estado 
• Grupos de URL

Métrico

El informe CWV se basa en las pintura con contenido más grande (LCP), ¹⁴ retardo de primera entrada (FID) ¹⁵ y cambio de diseño acumulativo (CLS) ¹⁶ .

LCP se relaciona con la cantidad de tiempo que lleva mostrar el elemento de contenido más grande en el área visible de la página web.

FID se refiere al tiempo que tarda una página en responder a la interacción de un usuario.

CLS es una medida de cuánto cambia el diseño de la página durante la sesión del usuario; las puntuaciones más altas representan una peor experiencia de usuario.

 Estado

Después de una evaluación de la página, a cada métrica se le asigna uno de tres rangos de estado:

• Bien
• Necesita mejorar
• Pobre

Grupos de URL

El informe también puede asignar problemas a un grupo de URL similares, asumiendo que los problemas de rendimiento que afectan a páginas similares pueden atribuirse a un problema compartido.

CWV y rastreabilidad

Como se señaló anteriormente, cuanto más tiempo pasa el robot de Google en una página, más desperdicia su presupuesto de rastreo. Como tal, los editores pueden utilizar los informes CWV para optimizar la eficiencia de la página y reducir el tiempo de rastreo.

de SODP , con especial atención a WordPress:

8. Utilice un rastreador de terceros

Un rastreador de terceros como Semrush, Sitechecker.pro o Screaming Frog permite a los desarrolladores web auditar todas las URL de un sitio e identificar posibles problemas.

Los rastreadores se pueden utilizar para identificar:

Contenido de nuestros socios

Sitios que obtienen CPM más altos utilizando ID de anuncios y soluciones de datos propios

Estrategia de contenido para la búsqueda impulsada por IA de Google

Revisión de Taption para 2024

• Enlaces rotos
• Contenido duplicado
• Títulos de página faltantes

Estos programas ofrecen un informe de estadísticas de rastreo para ayudar a resaltar problemas que las propias herramientas de Google pueden no detectar.

Mejorar los datos estructurados y reducir los problemas de higiene agilizará el trabajo del robot de Google de rastrear e indexar un sitio.

Recomendaciones de SODP :

• Utilice consultas SQL para realizar actualizaciones por lotes de errores en lugar de solucionar manualmente cada problema.
• Emule el robot de Google, a través de la configuración de rastreo de búsqueda, para evitar que los proveedores de alojamiento lo bloqueen e identificar y solucionar adecuadamente todos los problemas técnicos.
• Depure las páginas que faltan en un rastreo utilizando esta excelente guía de Screaming Frog . ¹⁷

9. Parámetros de URL

Parámetros de URL: la sección de la dirección web que sigue al "?" — se utilizan en una página por diversos motivos, incluidos el filtrado, la paginación y la búsqueda.  

Si bien esto puede mejorar la experiencia del usuario, también puede causar problemas de rastreo cuando tanto la URL base como la que tiene parámetros devuelven el mismo contenido. Un ejemplo de esto sería "http://mysite.com" y "http://mysite.com?id=3" que devuelven exactamente la misma página.

Los parámetros permiten que un sitio tenga una cantidad casi ilimitada de enlaces, como cuando un usuario puede seleccionar días, meses y años en un calendario. Si al robot se le permite rastrear estas páginas, el presupuesto de rastreo se consumirá innecesariamente.

Recomendaciones de SODP :

• Utilice reglas de robots.txt. Por ejemplo, especifique el orden de los parámetros en una directiva de permiso.
• Utilice hreflang para especificar las variaciones de idioma del contenido.

Resumen de mitos y realidades sobre los robots de Google

Existen varios conceptos erróneos sobre el poder y el alcance del robot de Google.

Aquí hay cinco que hemos explorado:

1. El robot de Google rastrea un sitio de forma intermitente 

De hecho, el robot de Google rastrea sitios con bastante frecuencia y, en algunas situaciones, incluso a diario. Sin embargo, la frecuencia está determinada por la calidad percibida, la novedad, la relevancia y la popularidad del sitio.

Como se señaló anteriormente, Google Search Console (GSC) se puede utilizar para solicitar un rastreo.

2. El robot de Google toma decisiones sobre la clasificación del sitio

Si bien esto solía ser correcto, Google ahora lo considera una parte separada del proceso de rastreo, indexación y clasificación, según Martin Splitt , analista de tendencias webmaster de Google. ¹⁸

Sin embargo, también es importante recordar que el contenido de un sitio, el mapa del sitio, la cantidad de páginas, los enlaces, las URL, etc., son factores que determinan su clasificación.

En esencia, las elecciones inteligentes de SEO por parte de los editores pueden conducir a un posicionamiento sólido dentro de las SERP.

3. El robot de Google invade secciones privadas de un sitio

El bot no tiene ningún concepto de "contenido privado" y simplemente tiene la tarea de indexar sitios a menos que el propietario del sitio le indique lo contrario.

Ciertas páginas web pueden permanecer sin indexar siempre que se tomen las medidas necesarias dentro del GSC para restringir el acceso.

4. La actividad del robot de Google puede poner a prueba la funcionalidad del sitio

El proceso del robot de Google tiene sus limitaciones debido a las limitaciones de recursos de Google y porque Google no quiere alterar un sitio.

Splitt dijo: “Nos arrastramos un poco y luego básicamente aumentamos. Y cuando empezamos a ver errores, los reducimos un poco”. ¹⁵

El GSC puede retrasar los rastreos y, dado que algunos sitios pueden tener unos cientos de miles de páginas, el robot de Google divide su rastreo en varias visitas.

5. El robot de Google es el único robot del que vale la pena preocuparse

Si bien Googlebot es el rastreador líder en el mundo, no todos los bots pertenecen a Google. Otros motores de búsqueda rastrean la web, mientras que los bots que se centran en análisis, así como en datos y seguridad de la marca, también están activos.

Al mismo tiempo, los malos actores están diseñando software cada vez más sofisticado para cometer fraude publicitario , robar contenido, publicar spam y más. ¹⁹

Pensamientos finales

Es importante recordar que la optimización del presupuesto de rastreo y las experiencias de usuario exitosas se pueden gestionar sin comprometer la otra. 

Verificar el estado del presupuesto de rastreo de un sitio debe ser un elemento de los programas de mantenimiento de todos los propietarios de sitios web, y la frecuencia de estas comprobaciones depende del tamaño y la naturaleza del sitio web en sí.

La limpieza técnica, como arreglar enlaces rotos, páginas que no funcionan , contenido duplicado, URL mal redactadas y mapas de sitio antiguos y cargados de errores, también es esencial.