Budget di scansione di Google: una guida per l'editore

Gli editori che hanno investito nell'apparire in cima ai risultati di ricerca di Google comprendono già l'importanza della SEO. Un aspetto importante e potenzialmente trascurato della SEO per gli editori più grandi, tuttavia, è il budget di scansione di Google.

I budget di scansione di Google aiutano a determinare la misura in cui gli articoli vengono visualizzati nei risultati di ricerca.

Comprendere i budget di scansione è un passo fondamentale per garantire che gli obiettivi SEO siano raggiunti e che i contenuti vengano visualizzati. Controllare che il back-end tecnico di un sito sia integro significa che è più probabile che il front-end rispecchi tale stato.

In questo articolo spieghiamo cos'è un crawl budget, cosa influenza il budget, l'ottimizzazione del crawl budget, come controllare e monitorare i crawl budget e perché questi budget sono così importanti per il benessere di qualsiasi sito online.

Che cos'è il budget di scansione?

Il crawl budget si riferisce alle risorse che Google assegna alla ricerca e all'indicizzazione di pagine web nuove ed esistenti.

Il bot di scansione di Google, Googlebot, esegue la scansione dei siti per aggiornare ed espandere il database di pagine web del gigante della ricerca. Utilizza collegamenti interni ed esterni, mappe del sito XML, feed RSS e Atom, nonché file robots.txt per aiutare a scansionare e indicizzare i siti il ​​più rapidamente possibile.

Alcune pagine acquisiscono maggiore autorità nel tempo, mentre altre possono essere completamente ignorate per una serie di ragioni che vanno dal contenuto alle restrizioni tecniche.

Sapere come massimizzare il crawl budget ha un valore inestimabile per qualsiasi editore o sito web organizzativo che cerca il successo nelle pagine dei risultati dei motori di ricerca (SERP).

I limiti di Googlebot

Googlebot non è una risorsa infinita e Google non può permettersi di esplorare un numero infinito di server web. Pertanto, l'azienda ha offerto indicazioni ai proprietari di domini per massimizzare il proprio budget di scansione. ¹

Comprendere come i robot conducono la loro attività è fondamentale.

Se un crawlbot arriva su un sito e determina che analizzarlo e classificarlo sarà problematico, rallenterà o si sposterà su un altro sito interamente a seconda della portata e del tipo di problemi che deve affrontare.

Quando ciò accade, è un chiaro segnale che il sito non ha ottimizzato il crawl budget.

Sapere che Googlebot è una risorsa limitata dovrebbe essere una ragione sufficiente per cui qualsiasi proprietario di sito deve preoccuparsi del budget di scansione. Tuttavia, non tutti i siti affrontano questo problema nella stessa misura.

Chi dovrebbe interessarsene e perché?

Sebbene ogni proprietario di sito desideri che il proprio sito web abbia successo, solo i siti di medie e grandi dimensioni che aggiornano frequentemente i propri contenuti devono davvero preoccuparsi dei budget di scansione.

Google definisce i siti medi come quelli con più di 10.000 pagine uniche che si aggiornano quotidianamente. I siti di grandi dimensioni, invece, hanno oltre 1 milione di pagine uniche e si aggiornano almeno una volta alla settimana.

Google sottolinea la relazione tra l'attività di scansione e i siti Web più grandi, affermando: "Dare la priorità a cosa scansionare, quando e quante risorse il server che ospita il sito Web può allocare alla scansione è più importante per i siti Web più grandi o per quelli che generano automaticamente pagine in base a Parametri URL, ad esempio." ²

I siti con numeri di pagina limitati non devono preoccuparsi eccessivamente del budget di scansione. Tuttavia, dato che alcuni editori potrebbero espandersi rapidamente, acquisire una conoscenza fondamentale delle statistiche e delle operazioni di scansione metterà tutti i proprietari di siti in una posizione migliore per raccogliere i frutti di un maggiore traffico sul sito più avanti.

Cosa influenza il budget di scansione di Google?

La misura in cui Google esegue la scansione di un sito web è determinata dai limiti di capacità di scansione e dalla domanda di scansione.

Per evitare che l'attività di scansione sovraccarichi un server host, il limite di capacità viene calcolato stabilendo il numero massimo di connessioni parallele simultanee che il bot può utilizzare per eseguire la scansione del sito, nonché il ritardo tra la restituzione dei dati.

Limite della capacità di scansione

Questa metrica, chiamata anche limite della velocità di scansione, è fluida e si riferisce ai cambiamenti di tre fattori:

• Stato della scansione : se il sito risponde senza errori o ritardi e la velocità del sito è buona, il limite può aumentare e viceversa.
• Velocità di scansione GSC : Google Search Console (GSC) può essere utilizzato per ridurre l'attività di scansione , una funzione che può essere utile durante la manutenzione prolungata o gli aggiornamenti del sito. ³ Eventuali modifiche restano attive per 90 giorni . ⁴

Se il limite della velocità di scansione è elencato come “calcolato in modo ottimale”, aumentarlo non è un’opzione e abbassarlo può avvenire solo tramite richiesta speciale. Se viene eseguita una scansione eccessiva di un sito, con conseguenti problemi di disponibilità del sito e/o di caricamento della pagina, utilizza robots.txt per bloccare la scansione e l'indicizzazione. Questa opzione, tuttavia, potrebbe richiedere 24 ore per entrare in vigore.

Anche se molti siti non impongono sanzioni relative ai limiti di scansione, può comunque essere uno strumento utile.

Domanda di scansione

La crawl demand è l’espressione di quanto interesse c’è da parte di Google nell’indicizzazione di un sito. Anch’esso è influenzato da tre fattori:

• Inventario percepito : senza la guida del proprietario del sito, di cui parleremo più avanti, Google proverà a eseguire la scansione di ogni URL, inclusi duplicati, collegamenti non funzionanti e pagine meno importanti. È qui che restringere i parametri di ricerca di Googlebot può aumentare il budget di scansione.
• Popolarità : se un sito è estremamente popolare, i suoi URL verranno sottoposti a scansione più spesso.
• Stanchità : in genere, il sistema Googlebot mira a ripetere la scansione delle pagine per rilevare eventuali modifiche. Questo processo può essere facilitato utilizzando l'SGC e richiedendo nuove scansioni, sebbene non vi sia alcuna garanzia che la richiesta venga immediatamente evasa.

L'attività di scansione è, in sostanza, il prodotto di una corretta gestione del sito web.

Preoccupazioni del CMS

Vahe Arabian , fondatore di State of Digital Publishing (SODP) , afferma che gli elementi del sistema di gestione dei contenuti (CMS) , come i plug-in, possono influire sui budget di scansione. ⁵

Ha affermato: "Molti plug-in sono pesantemente gestiti da database e causano un aumento del carico di risorse che rallenterà una pagina o creerà pagine non necessarie e ne influenzerà la scansione."

Il modello di entrate basate sulla pubblicità di un sito Web può creare problemi simili se più funzionalità del sito richiedono molte risorse.

Come controllare e tenere traccia dei budget di scansione

Esistono due modi principali per monitorare i budget di scansione: Google Search Console (GSC) e/o i log del server. ⁶

Google Search Console

Prima di controllare le velocità di scansione di un sito su Google Search Console (GSC), è necessario verificare la proprietà del dominio.

La console dispone di tre strumenti per controllare le pagine del sito Web e confermare quali URL funzionano e quali non sono stati indicizzati.

• Il rapporto sulla copertura dell'indice⁷
• Strumento di controllo URL⁸
• Rapporto sulle statistiche di scansione⁹

La console verifica la presenza di imprecisioni nel dominio e offrirà suggerimenti su come risolvere vari errori di scansione.

GSC raggruppa gli errori di stato in una serie di categorie nel suo rapporto sulla copertura dell'indice, tra cui:

• Errore del server [5xx]
• Errore di reindirizzamento
• URL inviato bloccato da robots.txt
• URL inviato contrassegnato come "noindex"
• L'URL inviato sembra essere un soft 404
• L'URL inviato restituisce una richiesta non autorizzata (401)
• URL inviato non trovato (404)
• L'URL inviato ha restituito 403: 
• URL inviato bloccato a causa di un altro problema 4xx

Il rapporto indica quante pagine sono state interessate da ciascun errore insieme allo stato di convalida.

Lo strumento di controllo URL fornisce informazioni sull'indicizzazione di qualsiasi pagina specifica, mentre il rapporto sulle statistiche di scansione può essere utilizzato per scoprire la frequenza con cui Google esegue la scansione di un sito, la reattività del server del sito ed eventuali problemi di disponibilità associati.

Esiste un approccio fisso per identificare e correggere ogni errore, che va dal riconoscimento che un server del sito potrebbe essere stato inattivo o non disponibile al momento della scansione all'utilizzo di un reindirizzamento 301 per reindirizzare a un'altra pagina o alla rimozione di pagine dalla mappa del sito .

Se il contenuto della pagina è cambiato in modo significativo, è possibile utilizzare il pulsante "Richiedi indicizzazione" dello Strumento di controllo URL per avviare una scansione della pagina.

Anche se potrebbe non essere necessario “correggere” ogni singolo errore della pagina, ridurre al minimo i problemi che rallentano i robot di scansione è sicuramente una best practice.

Utilizza i log del server

In alternativa a Google Search Console (GSC), lo stato di salute della scansione di un sito può essere controllato tramite i log del server che registrano non solo ogni visita al sito ma anche ogni visita di Googlebot.

Per coloro che non lo sanno già, i server creano e archiviano automaticamente una voce di registro ogni volta che Googlebot o un essere umano richiedono che venga pubblicata una pagina. Queste voci di registro vengono quindi raccolte in un file di registro.

Una volta effettuato l'accesso a un file di registro, è necessario analizzarlo. Tuttavia, data la portata delle voci di registro, questo sforzo non dovrebbe essere intrapreso alla leggera. A seconda delle dimensioni del sito, un file di registro può facilmente contenere centinaia di milioni o addirittura miliardi di voci.

Se si decide di analizzare il file di registro, i dati devono essere esportati in un foglio di calcolo o in un software proprietario, facilitando più facilmente il processo di analisi.

L'analisi di questi record mostrerà il tipo di errori che un bot ha dovuto affrontare, quali pagine sono state visitate di più e con quale frequenza un sito è stato scansionato.

9 modi per ottimizzare il budget di scansione

L'ottimizzazione implica il controllo e il monitoraggio delle statistiche sullo stato di salute del sito, come indicato sopra, quindi la risoluzione diretta delle aree problematiche.

Di seguito abbiamo presentato il nostro toolkit per l'ottimizzazione del crawl budget, che utilizziamo per risolvere i problemi di crawlability non appena si presentano.

1. Consolidare i contenuti duplicati

I problemi di scansione possono verificarsi quando una singola pagina è accessibile da un numero di URL diversi o contiene contenuti replicati altrove nel sito. Il bot vedrà questi esempi come duplicati e ne sceglierà semplicemente uno come versione canonica.

Gli URL rimanenti verranno considerati meno importanti e verranno sottoposti a scansione meno spesso o addirittura non verranno sottoposti a scansione. ¹⁰ Questo va bene se Google sceglie la pagina canonica desiderata, ma è un problema serio se non lo fa.

Detto questo, potrebbero esserci validi motivi per avere pagine duplicate, ad esempio il desiderio di supportare più tipi di dispositivi, abilitare la distribuzione dei contenuti o utilizzare URL dinamici per parametri di ricerca o ID di sessione.

Raccomandazioni della SODP :

• Eliminare il contenuto del sito Web ove possibile
  • Utilizza i 301 per consolidare gli URL e unire i contenuti
  • Elimina i contenuti a basso rendimento 
• L'utilizzo dei 301 in seguito alla ristrutturazione di un sito Web invierà utenti, bot e altri crawler dove devono andare.
• Usa noindex per pagine sottili, impaginazione (per archivi più vecchi) e per cannibalizzare i contenuti.
• Nei casi in cui i contenuti duplicati portano a una scansione eccessiva, modifica l'impostazione della velocità di scansione in Google Search Console (GSC).

2. Utilizzare il file Robots.txt 

Questo file aiuta a impedire ai bot di esplorare un intero sito. L'utilizzo del file consente l'esclusione di singole pagine o sezioni di pagina.

Questa opzione offre all'editore il controllo su ciò che viene indicizzato, mantenendo privati ​​determinati contenuti e migliorando al tempo stesso il modo in cui viene speso il budget di scansione.

Raccomandazioni della SODP :

• Ordina la preferenza dei parametri per dare priorità ai parametri che devono essere bloccati dalla scansione.
• Specifica robot, direttive e parametri che causano un'ulteriore scansione utilizzando i file di registro.
• Blocca i percorsi comuni tipicamente utilizzati dai CMS, ad esempio 404, amministrazione, pagine di accesso, ecc.
• Evitare di utilizzare la direttiva crawl-delay per ridurre il traffico bot a vantaggio delle prestazioni del server. Ciò influisce solo sulla nuova indicizzazione del contenuto.

3. Segmentare le Sitemap XML per garantire una raccolta più rapida dei contenuti

Un bot di scansione arriva a un sito con un'allocazione generale di quante pagine sottoporrà a scansione. La mappa del sito XML indirizza in modo efficace il bot a leggere gli URL selezionati, garantendo l'uso efficace di tale budget.

Tieni presente che il rendimento in classifica di una pagina dipende da diversi fattori, tra cui la qualità dei contenuti e i collegamenti interni/esterni. Valuta la possibilità di includere nella mappa solo le pagine di livello superiore. Alle immagini può essere assegnata la propria mappa del sito XML.

Raccomandazioni della SODP :

• Fai riferimento alla mappa del sito XML dal file robots.txt.
• Crea più Sitemap per un sito molto grande. Non aggiungere più di 50.000 URL a una singola mappa del sito XML.
• Mantienilo pulito e includi solo pagine indicizzabili.
• Mantieni aggiornata la mappa del sito XML.
• Mantieni la dimensione del file inferiore a 50 MB.

4. Esaminare la strategia di collegamento interno

Google segue la rete di collegamenti all'interno di un sito e qualsiasi pagina con più collegamenti è considerata di alto valore e su cui vale la pena spendere il budget di scansione.

Tuttavia, vale la pena notare che, mentre un numero limitato di collegamenti interni può andare contro il budget di scansione, lo stesso vale per riempire l'intero sito di collegamenti.

Le pagine senza collegamenti interni non ricevono alcun link equity dal resto del sito Web, incoraggiando Google a trattarle come di valore inferiore.

Allo stesso tempo, le pagine di alto valore che contengono molti collegamenti interni finiscono per condividere equamente la loro equità di collegamento tra le altre pagine, indipendentemente dal loro valore strategico. Pertanto, evita di collegarti a pagine che offrono poco valore ai lettori.

Una strategia di collegamento interno richiede un tocco abile per garantire che le pagine di alto valore ricevano abbastanza collegamenti, mentre le pagine di basso valore non cannibalizzino la link equity.

5. Aggiorna l'hosting se il traffico simultaneo rappresenta un collo di bottiglia

Se un sito Web viene eseguito su una piattaforma di hosting condivisa, il budget di scansione verrà condiviso con altri siti Web in esecuzione su tale piattaforma. Una grande azienda potrebbe ritenere che l’hosting indipendente sia una valida alternativa.

Altre considerazioni da fare quando si aggiorna il proprio hosting o anche prima dell'aggiornamento per risolvere il sovraccarico del traffico dei bot che può influire sui carichi del server:

• Elabora le immagini utilizzando una CDN separata, ottimizzata anche per ospitare formati di immagine di nuova generazione come webp
• Considera l'hosting della CPU e dello spazio su disco in base alla funzione e ai requisiti del tuo sito web
• Monitora l'attività utilizzando soluzioni come New Relic per monitorare l'utilizzo eccessivo di plugin e bot

6. Bilanciare l'utilizzo di Javascript

Quando Googlebot arriva su una pagina web, esegue il rendering di tutte le risorse su detta pagina, incluso Javascript. Sebbene la scansione dell'HTML sia piuttosto semplice, Googlebot deve elaborare Javascript più volte per poterlo visualizzare e comprenderne il contenuto.

Ciò può rapidamente esaurire il budget di scansione di Google per un sito web. La soluzione è implementare il rendering Javascript sul lato server.

Evitando di inviare risorse Javascript al client per il rendering , i robot di scansione non consumano le proprie risorse e possono lavorare in modo più efficiente. ¹¹

Raccomandazioni della SODP :

• Utilizza il caricamento lento a livello di browser invece di essere basato su JS
• Determinare se gli elementi 
• Utilizza il tagging lato server per l'analisi e il tagging di terze parti, in hosting autonomo o utilizzando soluzioni come https://stape.io/ . ¹² 

7. Aggiorna Core Web Vitals (CWV) per migliorare l'esperienza sulla pagina

Core Web Vitals (CWV) di Google Search Console (GSC) utilizza ciò che il gigante della ricerca chiama " dati di utilizzo del mondo reale " per mostrare le prestazioni della pagina. ¹³

Il rapporto CWV raggruppa le prestazioni degli URL in tre categorie:

• Tipo metrico (LCP, FID e CLS)
• Stato 
• Gruppi di URL

Metrico

Il rapporto CWV si basa sul più grande contenuto contenuto (LCP), ¹⁴ primo ritardo di input (FID) ¹⁵ e spostamento cumulativo del layout (CLS) ¹⁶ .

LCP si riferisce alla quantità di tempo necessaria per rendere visibile l'elemento di contenuto più grande nell'area visibile della pagina web.

Il FID riguarda il tempo impiegato da una pagina per rispondere all'interazione di un utente.

CLS misura quanto cambia il layout della pagina durante la sessione utente, con punteggi più alti che rappresentano un'esperienza utente peggiore.

 Stato

Dopo una valutazione della pagina, a ogni metrica viene assegnato uno dei tre livelli di stato:

• Bene
• Ha bisogno di miglioramenti
• Povero

Gruppi URL

Il rapporto può anche assegnare problemi a un gruppo di URL simili, presupponendo che i problemi di prestazioni che interessano pagine simili possano essere attribuiti a un problema condiviso.

CWV e scansione

Come notato in precedenza, più tempo Googlebot trascorre su una pagina, più spreca il budget di scansione. Pertanto, gli editori possono utilizzare i report CWV per ottimizzare l'efficienza della pagina e ridurre i tempi di scansione.

di SODP , con particolare attenzione a WordPress:

8. Utilizza un crawler di terze parti

Un crawler di terze parti come Semrush, Sitechecker.pro o Screaming Frog consente agli sviluppatori web di controllare tutti gli URL su un sito e identificare potenziali problemi.

I crawler possono essere utilizzati per identificare:

Contenuti dei nostri partner

Siti che ottengono CPM più elevati utilizzando ID annuncio e soluzioni di dati proprietari

Strategia dei contenuti per la ricerca basata sull'intelligenza artificiale di Google

Revisione delle rubriche per il 2024

• Collegamenti interrotti
• Contenuti duplicati
• Titoli delle pagine mancanti

Questi programmi offrono un rapporto sulle statistiche di scansione per aiutare a evidenziare i problemi che gli strumenti di Google potrebbero non evidenziare.

Migliorare i dati strutturati e ridurre i problemi di igiene semplificherà il lavoro di Googlebot di scansione e indicizzazione di un sito.

Raccomandazioni della SODP :

• Utilizza le query SQL per eseguire aggiornamenti batch sugli errori invece di risolvere manualmente ciascun problema.
• Emula Googlebot, tramite le impostazioni di scansione della ricerca, per evitare di essere bloccato dai provider di hosting e per identificare e risolvere correttamente tutti i problemi tecnici.
• Esegui il debug delle pagine mancanti durante una scansione utilizzando questa fantastica guida di Screaming Frog . ¹⁷

9. Parametri URL

Parametri URL: la sezione dell'indirizzo web che segue il "?" - vengono utilizzati su una pagina per una serie di motivi, tra cui il filtraggio, l'impaginazione e la ricerca. 

Sebbene ciò possa migliorare l'esperienza dell'utente, può anche causare problemi di scansione quando sia l'URL di base che quello con parametri restituiscono lo stesso contenuto. Un esempio di ciò potrebbe essere "http://miosito.com" e "http://miosito.com?id=3" che restituiscono esattamente la stessa pagina.

I parametri consentono a un sito di avere un numero quasi illimitato di collegamenti, ad esempio quando un utente può selezionare giorni, mesi e anni su un calendario. Se al bot è consentito eseguire la scansione di queste pagine, il budget di scansione verrà utilizzato inutilmente.

Raccomandazioni della SODP :

• Utilizza le regole del file robots.txt. Ad esempio, specificare gli ordini dei parametri in una direttiva di autorizzazione.
• Utilizza hreflang per specificare le varianti linguistiche del contenuto.

Raccolta di miti e fatti di Googlebot

Esistono diversi malintesi riguardo alla potenza e alla portata di Googlebot.

Eccone cinque che abbiamo esplorato:

1. Googlebot esegue la scansione intermittente di un sito 

Googlebot in realtà esegue la scansione dei siti abbastanza frequentemente e, in alcune situazioni, anche quotidianamente. Tuttavia, la frequenza è determinata dalla qualità percepita, dalla novità, dalla pertinenza e dalla popolarità del sito.

Come notato sopra, è possibile utilizzare Google Search Console (GSC) per richiedere una scansione.

2. Googlebot prende decisioni sul posizionamento del sito

Sebbene un tempo ciò fosse corretto, ora Google lo considera una parte separata del processo di scansione, indicizzazione e posizionamento, secondo Martin Splitt , WebMaster Trends Analyst di Google. ¹⁸

Tuttavia, è anche importante ricordare che il contenuto di un sito, la mappa del sito, il numero di pagine, i collegamenti, gli URL, ecc. sono tutti fattori che determinano il suo posizionamento.

In sostanza, scelte SEO oculate da parte degli editori possono portare a un solido posizionamento all’interno delle SERP.

3. Googlebot invade le sezioni private di un sito

Il bot non ha il concetto di “contenuto privato” e ha semplicemente il compito di indicizzare i siti a meno che il proprietario del sito non indichi diversamente.

Alcune pagine web possono rimanere non indicizzate purché vengano adottate le misure necessarie all'interno dell'SGC per limitare l'accesso.

4. L'attività di Googlebot può mettere a dura prova la lavorabilità del sito

Il processo di Googlebot ha i suoi limiti sia a causa delle limitazioni delle risorse di Google sia perché Google non vuole interrompere un sito.

Splitt ha detto: “Strisciamo un po’ e poi sostanzialmente aumentiamo. E quando iniziamo a vedere errori, li riduciamo un po’”.¹⁵

Il GSC può ritardare la scansione e, dato che alcuni siti possono avere alcune centinaia di migliaia di pagine, Googlebot suddivide la scansione in diverse visite.

5. Googlebot è l'unico bot di cui preoccuparsi

Sebbene Googlebot sia il crawler leader a livello mondiale, non tutti i bot appartengono a Google. Altri motori di ricerca scansionano il web, mentre sono attivi anche bot che si concentrano sull’analisi, sui dati e sulla sicurezza del marchio.

Allo stesso tempo, i malintenzionati stanno progettando software sempre più sofisticati per commettere frodi pubblicitarie , rubare contenuti, pubblicare spam e altro ancora. ¹⁹

Considerazioni finali

È importante ricordare che l'ottimizzazione del crawl budget e le esperienze utente di successo possono essere gestite entrambe senza compromettere l'una 

Il controllo dello stato del budget di scansione di un sito dovrebbe essere un elemento dei programmi di manutenzione di tutti i proprietari di siti Web, con la frequenza di questi controlli che dipende dalle dimensioni e dalla natura del sito Web stesso.

la pulizia tecnica, come la correzione di collegamenti interrotti, pagine non funzionanti , contenuti duplicati, URL mal formulati e vecchie mappe del sito piene di errori, è essenziale.