Google Crawl Budget: En utgiverveiledning

Utgivere som har investert i å vises øverst i Googles søkeresultater, forstår allerede viktigheten av SEO. Et viktig og potensielt oversett aspekt ved SEO for større utgivere er imidlertid Googles gjennomgangsbudsjett.

Googles gjennomsøkingsbudsjetter bidrar til å bestemme i hvilken grad artikler vises i søkeresultater.

Å forstå gjennomsøkingsbudsjetter er et kritisk skritt for å sikre at SEO-målene nås og at innholdet blir sett. Hvis du sjekker at den tekniske bakenden til et nettsted er sunn, betyr det at det er mer sannsynlig at frontenden gjenspeiler denne statusen.

I denne artikkelen forklarer vi hva et crawl-budsjett er, hva som påvirker budsjettet, crawl-budsjettoptimalisering, hvordan du sjekker og sporer crawl-budsjetter og hvorfor disse budsjettene er så viktige for trivselen til ethvert nettsted.

Hva er gjennomgangsbudsjett?

Gjennomgangsbudsjett refererer til ressursene som Google allokerer til å finne og indeksere nye og eksisterende nettsider.

Googles gjennomsøkingsrobot – Googlebot – gjennomsøker nettsteder for å oppdatere og utvide søkegigantens database med nettsider. Den bruker interne og eksterne lenker, XML-nettstedskart, RSS- og Atom-feeder, samt robots.txt-filer for å hjelpe til med å gjennomsøke og indeksere nettsteder så raskt som mulig.

Enkelte sider får mer autoritet over tid, mens andre kan bli ignorert fullstendig på grunn av en rekke årsaker som spenner fra innholdsrelatert til tekniske begrensninger.

Å vite hvordan man maksimerer gjennomsøkingsbudsjettet er uvurderlig for alle utgivere eller organisasjonsnettsteder som leter etter suksess på søkemotorresultatsider (SERP).

Googlebots begrensninger

Googlebot er ikke en uendelig ressurs, og Google har ikke råd til å tråle gjennom et uendelig antall webservere. Som sådan har selskapet tilbudt veiledning til domeneeiere for å maksimere sitt eget gjennomgangsbudsjett. ¹

Det er grunnleggende å forstå hvordan roboter utfører aktiviteten sin.

Hvis en crawlbot kommer til et nettsted og fastslår at det vil være problematisk å analysere og kategorisere det, vil det bremse ned eller gå videre til et annet nettsted helt avhengig av omfanget og typen problemer den står overfor.

Når dette skjer, er det et tydelig signal om at nettstedet mangler crawl-budsjettoptimalisering.

Å vite at Googlebot er en begrenset ressurs burde være nok grunn for enhver nettstedseier til å bekymre seg for gjennomgangsbudsjettet. Men ikke alle nettsteder møter dette problemet i samme grad.

Hvem bør bry seg og hvorfor?

Selv om hver nettstedeier ønsker at nettstedet deres skal lykkes, er det bare mellomstore og store nettsteder som ofte oppdaterer innholdet som virkelig trenger å bekymre seg for gjennomgangsbudsjetter.

Google definerer mellomstore nettsteder som de med mer enn 10 000 unike sider som oppdateres på daglig basis. Store nettsteder har i mellomtiden over 1 million unike sider og oppdateres minst én gang i uken.

Google legger merke til forholdet mellom gjennomsøkingsaktivitet og større nettsteder, og sier: «Å prioritere hva som skal gjennomsøkes, når og hvor mye ressurs serveren som er vert for nettstedet kan allokere til gjennomsøking, er viktigere for større nettsteder, eller de som automatisk genererer sider basert på URL-parametere, for eksempel." ²

Nettsteder med begrenset sidetall trenger ikke være altfor bekymret for gjennomsøkingsbudsjettet. Men gitt at noen utgivere kan ekspandere raskt, vil en grunnleggende forståelse av gjennomsøkingsstatistikk og operasjoner sette alle nettstedseiere i en bedre posisjon til å høste fruktene av større nettstedtrafikk lenger ned i sporet.

Hva påvirker Googles gjennomsøkingsbudsjett?

I hvilken grad Google gjennomsøker et nettsted, bestemmes av grenser for gjennomsøkingskapasitet og etterspørsel etter gjennomsøking.

For å forhindre at gjennomsøkingsaktivitet overvelder en vertsserver, beregnes kapasitetsgrensen ved å etablere maksimalt antall samtidige, parallelle tilkoblinger som roboten kan bruke til å gjennomsøke nettstedet, samt tidsforsinkelsen mellom dataretur.

Gjennomgang kapasitetsgrense

Denne beregningen, som også omtales som grense for gjennomgangshastighet, er flytende og er relatert til endringer i tre faktorer:

• Gjennomgangshelse : Hvis nettstedet svarer uten feil eller forsinkelse, og nettstedets hastighet er god, kan grensen stige og omvendt.
• GSC-gjennomsøkingshastighet : Google Search Console (GSC) kan brukes til å redusere gjennomsøkingsaktivitet , en funksjon som kan være nyttig under utvidet sidevedlikehold eller oppdateringer. ³ Eventuelle endringer forblir aktive i 90 dager . ⁴

Hvis grensen for gjennomsøkingshastighet er oppført som "beregnet til optimal", er det ikke et alternativ å heve den og senke den kun via spesiell forespørsel. Hvis et nettsted blir overgjennomsøkt, noe som fører til nettstedtilgjengelighet og/eller problemer med sideinnlasting, bruker du robots.txt for å blokkere gjennomsøking og indeksering. Det kan imidlertid ta 24 timer før dette alternativet trer i kraft.

Selv om mange nettsteder ikke pålegger crawl limit-sanksjoner, kan det fortsatt være et nyttig verktøy.

Krav etter krav

Crawl demand er et uttrykk for hvor stor interesse det er fra Google for å indeksere et nettsted. Det påvirkes også av tre faktorer:

• Oppfattet beholdning : Uten veiledning fra nettstedeieren – som vi skal dekke litt senere – vil Google prøve å gjennomsøke hver nettadresse, inkludert duplikater, lenker som ikke fungerer og mindre viktige sider. Det er her innsnevring av Googlebots søkeparametere kan øke gjennomgangsbudsjettet.
• Popularitet : Hvis et nettsted er ekstremt populært, vil nettadressene bli gjennomsøkt oftere.
• Stålhet : Generelt har Googlebot-systemet som mål å gjennomsøke sider på nytt for å fange opp eventuelle endringer. Denne prosessen kan hjelpes på vei ved å bruke GSC og be om ny gjennomgang, selv om det ikke er noen garanti for at forespørselen umiddelbart vil bli fulgt opp.

Crawl-aktivitet er i hovedsak et produkt av god nettstedsadministrasjon.

CMS bekymringer

Vahe Arabian , grunnlegger av State of Digital Publishing (SODP) , sier at innholdsstyringssystem (CMS)-elementer – for eksempel plug-ins – kan påvirke gjennomgangsbudsjetter. ⁵

Han sa: "Mange plugin-moduler er tunge databasedrevne og fører til at ressursbelastningen øker, noe som vil senke en side ned eller lage unødvendige sider og påvirke gjennomsøkbarheten."

Et nettsteds annonsedrevne inntektsmodell kan skape lignende problemer hvis flere nettstedsfunksjoner er ressurstunge.

Hvordan sjekke og spore gjennomsøkingsbudsjetter

Det er to viktige måter å spore gjennomsøkingsbudsjetter på: Google Search Console (GSC) og/eller serverlogger. ⁶

Google Search Console

Før du sjekker et nettsteds gjennomsøkingshastigheter på Google Search Console (GSC), må domeneeierskapet bekreftes.

Konsollen har tre verktøy for å sjekke nettsider og bekrefte hvilke URL-er som er funksjonelle og hvilke som ikke er indeksert.

• Indeksdekningsrapporten⁷
• URL-inspeksjonsverktøy⁸
• Gjennomgangsstatistikkrapport⁹

Konsollen ser etter domeneunøyaktigheter og vil gi forslag til hvordan du kan løse ulike gjennomsøkingsfeil.

GSC grupperer statusfeil i en rekke kategorier i sin Index Coverage Report, inkludert:

• Serverfeil [5xx]
• Omdirigeringsfeil
• Innsendt URL blokkert av robots.txt
• Innsendt URL merket "noindex"
• Innsendt URL ser ut til å være en myk 404
• Innsendt URL returnerer uautorisert forespørsel (401)
• Finner ikke innsendt nettadresse (404)
• Innsendt URL returnerte 403: 
• Innsendt URL blokkert på grunn av annet 4xx-problem

Rapporten angir hvor mange sider som har blitt påvirket av hver feil sammen med valideringsstatusen.

URL-inspeksjonsverktøyet gir indekseringsinformasjon på en spesifikk side, mens Crawl Stats-rapporten kan brukes til å finne ut hvor ofte Google gjennomsøker et nettsted, responsen til nettstedets server og eventuelle tilknyttede tilgjengelighetsproblemer.

Det er en fast tilnærming til å identifisere og korrigere hver feil, med disse spenner fra å gjenkjenne at en nettstedserver kan ha vært nede eller utilgjengelig på tidspunktet for gjennomsøkingen til å bruke en 301-omdirigering for å omdirigere til en annen side, eller fjerne sider fra nettstedskartet .

Hvis sideinnholdet har endret seg betydelig, kan URL-inspeksjonsverktøyets "be om indeksering"-knapp brukes til å starte en sidegjennomsøking.

Selv om det kanskje ikke er nødvendig å "fikse" hver enkelt sidefeil, er det definitivt en beste praksis å minimere problemer med sakte gjennomsøkingsroboter.

Bruk serverlogger

Som et alternativ til Google Search Console (GSC), kan et nettsteds gjennomsøkingstilstand inspiseres via serverlogger som ikke bare registrerer hvert nettstedsbesøk, men også hvert Googlebot-besøk.

For de som ikke allerede vet det, oppretter og lagrer servere automatisk en loggoppføring hver gang Googlebot eller et menneske ber om at en side skal vises. Disse loggoppføringene blir deretter samlet i en loggfil.

Når en loggfil har blitt åpnet, må den analyseres. Med tanke på omfanget av loggoppføringer bør denne bestrebelsen imidlertid ikke gjøres lettvint. Avhengig av størrelsen på nettstedet, kan en loggfil enkelt inneholde hundrevis av millioner eller til og med milliarder av oppføringer.

Hvis beslutningen tas om å analysere loggfilen, må dataene eksporteres til enten et regneark eller et proprietært stykke programvare, noe som gjør analyseprosessen enklere.

Analyse av disse postene vil vise typen feil en robot har møtt, hvilke sider som ble åpnet mest og hvor ofte et nettsted ble gjennomsøkt.

9 måter å optimalisere gjennomsøkingsbudsjettet

Optimalisering innebærer å sjekke og spore helsestatistikk for nettstedet, som nevnt ovenfor, og deretter direkte adressere problemområder.

Nedenfor har vi lagt ut vårt verktøysett for optimalisering av gjennomsøkingsbudsjett, som vi bruker til å løse problemer med gjennomsøking etter hvert som de oppstår.

1. Konsolider duplikatinnhold

Gjennomsøkingsproblemer kan oppstå når en enkelt side enten er tilgjengelig fra en rekke forskjellige nettadresser eller inneholder innhold som er replikert andre steder på nettstedet. Boten vil se disse eksemplene som duplikater og bare velge ett som kanonisk versjon.

De resterende nettadressene vil bli vurdert som mindre viktige og vil bli gjennomsøkt sjeldnere eller til og med ikke i det hele tatt. ¹⁰ Dette er greit hvis Google velger den ønskede kanoniske siden, men er et alvorlig problem hvis den ikke gjør det.

Når det er sagt, kan det være gyldige grunner til å ha dupliserte sider, for eksempel et ønske om å støtte flere enhetstyper, aktivere innholdssyndikering eller bruke dynamiske URL-er for søkeparametere eller økt-ID-er.

SODPs anbefalinger :

• Beskjær nettstedinnhold der det er mulig
  • Bruk 301s til å konsolidere URL-er og slå sammen innhold
  • Slett innhold med dårlige resultater 
• Å bruke 301-er etter en omstrukturering av nettstedet vil sende brukere, roboter og andre søkeroboter dit de trenger å gå.
• Bruk noindex for tynne sider, paginering (for eldre arkiver) og for kannibalisering av innhold.
• I tilfeller der duplisert innhold fører til overgjennomsøking, justerer du innstillingen for gjennomsøkingshastighet i Google Search Console (GSC).

2. Bruk Robots.txt-filen 

Denne filen hjelper til med å forhindre roboter fra å tråle gjennom et helt nettsted. Bruk av filen gjør det mulig å ekskludere individuelle sider eller sideseksjoner.

Dette alternativet gir utgiveren kontroll over hva som indekseres, og holder visst innhold privat samtidig som det forbedrer hvordan gjennomsøkingsbudsjettet brukes.

SODPs anbefalinger :

• Bestill preferanse for parametere for å prioritere parameterne som må blokkeres fra gjennomsøking.
• Spesifiser roboter, direktiver og parametere som forårsaker ytterligere gjennomgang ved hjelp av loggfiler.
• Blokker vanlige stier som CMS vanligvis har som 404, admin, påloggingssider osv.
• Unngå å bruke crawl-delay-direktivet for å redusere bottrafikken for serverytelse. Dette påvirker bare indeksering av nytt innhold.

3. Segmenter XML-nettkart for å sikre raskere henting av innhold

En gjennomsøkingsrobot kommer til et nettsted med en generell tildeling av hvor mange sider den vil gjennomsøke. XML-nettstedskartet leder effektivt roboten til å lese utvalgte URL-er, og sikrer effektiv bruk av dette budsjettet.

Merk at en sides rangeringsytelse avhenger av flere faktorer, inkludert innholdskvalitet og interne/eksterne lenker. Vurder å inkludere bare toppnivåsider i kartet. Bilder kan tildeles sitt eget XML-nettkart.

SODPs anbefalinger :

• Referer til XML-nettstedskartet fra robots.txt-filen.
• Lag flere nettstedskart for et veldig stort nettsted. Ikke legg til mer enn 50 000 nettadresser i et enkelt XML-nettkart.
• Hold det rent og ta bare med indekserbare sider.
• Hold XML-nettkartet oppdatert.
• Hold filstørrelsen til mindre enn 50 MB.

4. Undersøk den interne koblingsstrategien

Google følger nettverket av koblinger på et nettsted, og alle sider med flere lenker blir sett på som verdifulle og verdt å bruke gjennomsøkingsbudsjettet på.

Det er imidlertid verdt å merke seg at selv om et begrenset antall interne lenker kan virke mot gjennomgangsbudsjettet, kan det også peppe hele nettstedet med lenker.

Sider uten interne lenker mottar ingen lenkeandel fra resten av nettstedet, noe som oppmuntrer Google til å behandle dem som mindre verdifulle.

Samtidig ender det med at sider med høy verdi som inneholder mange interne lenker deler lenkeandelen sin likt mellom andre sider uavhengig av deres strategiske verdi. Unngå derfor å lenke til sider som gir liten verdi for leserne.

En intern koblingsstrategi krever en dyktig berøring for å sikre at sider med høy verdi mottar nok lenker, mens sider med lav verdi ikke kannibaliserer lenkeandel.

5. Oppgrader hosting hvis samtidig trafikk er en flaskehals

Hvis et nettsted kjører på en delt vertsplattform, vil gjennomsøkingsbudsjettet deles med andre nettsteder som kjører på nevnte plattform. Et stort selskap kan finne at uavhengig hosting er et verdifullt alternativ.

Andre hensyn når du oppgraderer hostingen din eller til og med før du oppgraderer for å løse overbelastning av bottrafikk som kan påvirke serverbelastningen:

• Behandle bilder ved hjelp av et eget CDN som også er optimalisert for å være vert for neste generasjons bildeformater som webp
• Vurder å være vert for CPU, diskplass basert på nettstedets funksjon og krav
• Overvåk aktivitet ved å bruke løsninger som New Relic for å overvåke overdreven bruk av plugins og bots

6. Balanse Javascript-bruk

Når Googlebot lander på en nettside, gjengir den alle ressursene på siden, inkludert Javascript. Selv om det er ganske enkelt å gjennomsøke HTML, må Googlebot behandle Javascript flere ganger for å kunne gjengi det og forstå innholdet.

Dette kan raskt tappe Googles gjennomsøkingsbudsjett for et nettsted. Løsningen er å implementere Javascript-gjengivelse på serversiden.

Ved å unngå å sende Javascript-ressurser til klienten for gjengivelse , bruker ikke crawl-roboter på ressursene sine og kan arbeide mer effektivt. ¹¹

SODPs anbefalinger :

• Bruk lat lasting på nettlesernivå i stedet for å være JS-basert
• Bestem om elementer 
• Bruk serversidetagging for analyser og tredjepartstagging, enten selvvert eller ved hjelp av løsninger som https://stape.io/ . ¹² 

7. Oppdater Core Web Vitals (CWV) for å forbedre sideopplevelsen

Google Search Console (GSC) Core Web Vitals (CWV) bruker det søkegiganten kaller " bruksdata fra den virkelige verden " for å vise sideytelse. ¹³

CWV-rapporten grupperer URL-ytelse i tre kategorier:

• Metrisk type (LCP, FID og CLS)
• Status 
• URL-grupper

Metrisk

CWV-rapporten er basert på den største innholdsrike malingen (LCP), ¹⁴ første inngangsforsinkelse (FID) ¹⁵ og kumulativ layoutskifte (CLS) ¹⁶ beregninger.

LCP er relatert til hvor lang tid det tar å gjengi det største innholdselementet synlig på nettsidens synlige område.

FID gjelder tiden det tar for en side å svare på en brukers interaksjon.

CLS er et mål på hvor mye sideoppsettet endres i løpet av brukerøkten, med høyere poengsum som representerer en dårligere brukeropplevelse.

 Status

Etter en sidevurdering tildeles hver beregning en av tre statusrangeringer:

• God
• Trenger forbedring
• Fattig

URL-grupper

Rapporten kan også tilordne problemer til en gruppe lignende nettadresser, forutsatt at ytelsesproblemer som påvirker lignende sider kan tilskrives et delt problem.

CWV og gjennomgangbarhet

Som nevnt tidligere, jo lenger tid Googlebot bruker på en side, desto mer sløser den bort gjennomsøkingsbudsjettet. Som sådan kan utgivere bruke CWV-rapportene til å optimalisere sideeffektiviteten og redusere gjennomsøkingstiden.

SODPs anbefalinger, med fokus på WordPress:

8. Bruk en tredjeparts søkerobot

En tredjeparts crawler som Semrush, Sitechecker.pro eller Screaming Frog lar webutviklere revidere alle nettadressene på et nettsted og identifisere potensielle problemer.

Crawlere kan brukes til å identifisere:

Innhold fra våre partnere

Nettsteder som ser høyere CPM ved bruk av annonse-ID-er og førstepartsdataløsninger

Innholdsstrategi for Googles AI-drevne søk

Trykkeanmeldelse for 2024

• Ødelagte lenker
• Duplisert innhold
• Manglende sidetitler

Disse programmene tilbyr en gjennomsøkingsstatistikkrapport for å bidra til å synliggjøre problemer som Googles egne verktøy kanskje ikke.

Å forbedre strukturerte data og redusere hygieneproblemer vil strømlinjeforme Googlebots jobb med å gjennomsøke og indeksere et nettsted.

SODPs anbefalinger :

• Bruk SQL-spørringer til å utføre batchoppdateringer av feil i stedet for å fikse hvert problem manuelt.
• Emuler Googlebot, via søkegjennomsøkingsinnstillinger, for å forhindre blokkering fra vertsleverandører og for å identifisere og fikse alle tekniske problemer på riktig måte.
• Feilsøk manglende sider fra en gjennomgang ved hjelp av denne flotte guiden fra Screaming Frog . ¹⁷

9. URL-parametre

URL-parametere – delen av nettadressen som følger «?» – brukes på en side av en rekke årsaker, inkludert filtrering, paginering og søking. 

Selv om dette kan øke brukeropplevelsen, kan det også forårsake gjennomsøkingsproblemer når både basis-URLen og en med parametere returnerer det samme innholdet. Et eksempel på dette kan være "http://mysite.com" og "http://mysite.com?id=3" som returnerer nøyaktig samme side.

Parametere lar et nettsted ha et nesten ubegrenset antall lenker - for eksempel når en bruker kan velge dager, måneder og år i en kalender. Hvis roboten får lov til å gjennomsøke disse sidene, vil gjennomsøkingsbudsjettet bli brukt opp unødvendig.

SODPs anbefalinger :

• Bruk robots.txt-regler. Angi for eksempel parameterordre i et tillat-direktiv.
• Bruk hreflang for å spesifisere innholdets språkvariasjoner.

Oppsummering av Googlebot-myter og -fakta

Det er flere misoppfatninger angående Googlebots kraft og omfang.

Her er fem vi har utforsket:

1. Googlebot gjennomsøker et nettsted med jevne mellomrom 

Googlebot gjennomsøker faktisk nettsteder ganske ofte og, i noen situasjoner, til og med daglig. Frekvensen bestemmes imidlertid av nettstedets opplevde kvalitet, nyhet, relevans og popularitet.

Som nevnt ovenfor kan Google Search Console (GSC) brukes til å be om en gjennomgang.

2. Googlebot tar avgjørelser om nettstedrangering

Mens dette pleide å være riktig, anser Google nå at dette er en egen del av gjennomsøkings-, indekserings- og rangeringsprosessen, ifølge Martin Splitt , WebMaster Trends Analyst hos Google. ¹⁸

Det er imidlertid også viktig å huske at et nettsteds innhold, nettstedskart, antall sider, lenker, URL-er osv. er alle faktorer som bestemmer rangeringen.

I hovedsak kan kunnskapsrike SEO-valg fra utgivere føre til solid posisjonering i SERP-ene.

3. Googlebot invaderer private deler av et nettsted

Boten har ikke noe begrep om "privat innhold" og har rett og slett i oppgave å indeksere nettsteder med mindre nettstedets eier er instruert om å gjøre noe annet.

Enkelte nettsider kan forbli uindeksert så lenge de nødvendige skritt i GSC tas for å begrense tilgangen.

4. Googlebot-aktivitet kan sette en belastning på nettstedets arbeidbarhet

Googlebot-prosessen har sine begrensninger både på grunn av Googles ressursbegrensninger og fordi Google ikke ønsker å forstyrre et nettsted.

Splitt sa: "Vi kryper litt, og så øker vi i grunnen. Og når vi begynner å se feil, trapper vi det ned litt.»¹⁵

GSC kan forsinke gjennomganger, og siden enkelte nettsteder kan ha noen hundre tusen sider, bryter Googlebot opp gjennomgangen over flere besøk.

5. Googlebot er den eneste boten som er verdt å bekymre seg for

Selv om Googlebot er verdens ledende søkerobot, tilhører ikke alle roboter Google. Andre søkemotorer gjennomsøker nettet, mens roboter som fokuserer på analyser samt data og merkevaresikkerhet også er aktive.

Samtidig designer dårlige skuespillere stadig mer sofistikert programvare for å engasjere seg i annonsesvindel , stjele innhold, poste spam og mer. ¹⁹

Siste tanker

Det er viktig å huske at optimering av gjennomgangsbudsjett og vellykkede brukeropplevelser begge kan administreres uten at det går på bekostning av den andre 

Å sjekke et nettsteds gjennomsøkingsbudsjett-helse bør være en del av alle nettstedeiers vedlikeholdsprogrammer, med hyppigheten av disse kontrollene avhengig av størrelsen og arten til selve nettstedet.

Teknisk rengjøring – som å fikse ødelagte lenker, ikke - fungerende sider, duplisert innhold, dårlig formulerte URL-er og gamle, feilfylte nettstedskart – er også viktig.