Google Crawl-budsjett: En utgiverveiledning

Utgivere som investerer i å vises øverst i Googles søkeresultater forstår allerede viktigheten av SEO. Et viktig og potensielt oversett aspekt ved SEO for større utgivere er imidlertid Googles budsjett for gjennomsøking.

Googles gjennomsøkingsbudsjetter bidrar til å bestemme i hvilken grad artikler vises i søkeresultatene.

Å forstå budsjetter for gjennomsøking er et kritisk skritt for å sikre at SEO-målene nås og at innholdet vises. Å sjekke at et nettsteds tekniske backend er i orden, betyr at frontenden er mer sannsynlig å gjenspeile denne statusen.

I denne artikkelen forklarer vi hva et gjennomsøkingsbudsjett er, hva som påvirker budsjettet, optimalisering av gjennomsøkingsbudsjett, hvordan man sjekker og sporer gjennomsøkingsbudsjetter og hvorfor disse budsjettene er så viktige for at ethvert nettsted skal fungere optimalt.

Hva er et gjennomgangsbudsjett?

Gjennomsøkingsbudsjett refererer til ressursene Google tildeler til å finne og indeksere nye og eksisterende nettsider.

Googles gjennomsøkingsrobot – Googlebot – gjennomsøker nettsteder for å oppdatere og utvide søkegigantens database med nettsider. Den bruker interne og eksterne lenker, XML-nettstedskart, RSS- og Atom-feeder, samt robots.txt-filer for å gjennomsøke og indeksere nettsteder så raskt som mulig.

Enkelte sider får mer autoritet over tid, mens andre kan bli ignorert fullstendig på grunn av en rekke årsaker som spenner fra innholdsrelaterte til tekniske begrensninger.

Å vite hvordan man maksimerer gjennomsøkingsbudsjettet er uvurderlig for enhver utgiver eller organisasjonsnettsted som ønsker å lykkes på søkemotorresultatsider (SERP-er).

Googlebots begrensninger

Googlebot er ikke en uendelig ressurs, og Google har ikke råd til å tråle gjennom et uendelig antall webservere. Som sådan har selskapet ^tilbudt veiledning til domeneeiere for å maksimere sitt eget gjennomsøkingsbudsjett.

Å forstå hvordan roboter utfører aktivitetene sine er grunnleggende.

Hvis en crawlbot kommer til et nettsted og bestemmer at det vil være problematisk å analysere og kategorisere det, vil den bremse ned eller gå videre til et annet nettsted, helt avhengig av omfanget og typen problemer den står overfor.

Når dette skjer, er det et tydelig signal om at nettstedet mangler optimalisering av gjennomsøkingsbudsjettet.

Å vite at Googlebot er en begrenset ressurs burde være nok grunn til at enhver nettstedseier bekymrer seg for budsjettet for gjennomsøking. Imidlertid opplever ikke alle nettsteder dette problemet i samme grad.

Hvem burde bry seg, og hvorfor?

Selv om alle nettstedseiere ønsker at nettstedet deres skal lykkes, er det bare mellomstore og store nettsteder som ofte oppdaterer innholdet sitt som trenger å bekymre seg for gjennomsøkingsbudsjetter.

Google definerer mellomstore nettsteder som nettsteder med mer enn 10 000 unike sider som oppdateres daglig. Store nettsteder har derimot over 1 million unike sider og oppdateres minst én gang i uken.

Google bemerker forholdet mellom gjennomsøkingsaktivitet og større nettsteder, og sier: «Å prioritere hva som skal gjennomsøkes, når og hvor mye ressurs serveren som er vert for nettstedet kan allokere til gjennomsøking er viktigere for større nettsteder, eller de som automatisk genererer sider basert på URL-parametere, for eksempel.» ²

Nettsteder med begrenset sidetall trenger ikke å være altfor bekymret for gjennomsøkingsbudsjettet. Men gitt at noen utgivere kan ekspandere raskt, vil en grunnleggende forståelse av gjennomsøkingsstatistikk og -operasjoner sette alle nettstedseiere i bedre posisjon til å høste fruktene av større nettstedstrafikk senere.

Hva påvirker Googles gjennomsøkingsbudsjett?

I hvilken grad Google gjennomsøker et nettsted bestemmes av grenser for gjennomsøkingskapasitet og gjennomsøkingsetterspørsel.

For å forhindre at gjennomsøkingsaktivitet overbelaster en vertsserver, beregnes kapasitetsgrensen ved å etablere det maksimale antallet samtidige, parallelle tilkoblinger som roboten kan bruke til å gjennomsøke nettstedet, samt tidsforsinkelsen mellom datareturer.

Grense for krypekapasitet

Denne målingen, som også kalles en grense for gjennomsøkingshastighet, er flytende og relaterer seg til endringer i tre faktorer:

• Gjennomsøkingshelse : Hvis nettstedet svarer uten feil eller forsinkelse, og nettstedets hastighet er god, kan grensen øke og omvendt.
• GSC-gjennomsøkingshastighet : Google Search Console (GSC) kan brukes til å redusere gjennomsøkingsaktivitet , en funksjon som kan være nyttig under utvidet vedlikehold eller oppdateringer av nettstedet. ³ Eventuelle endringer forblir aktive i 90 dager . ⁴

Hvis grensen for gjennomsøkingshastighet er oppført som «beregnet optimalt», er det ikke mulig å heve den, og det kan bare senkes etter spesiell forespørsel. Hvis et nettsted blir overbelastet, noe som fører til problemer med nettstedstilgjengelighet og/eller sideinnlasting, bruk robots.txt for å blokkere gjennomsøking og indeksering. Det kan imidlertid ta 24 timer før dette alternativet trer i kraft.

Selv om mange nettsteder ikke innfører sanksjoner mot gjennomsøkingsgrenser, kan det fortsatt være et nyttig verktøy.

Gjennomgangsetterspørsel

Gjennomsøkingsetterspørsel er et uttrykk for hvor stor interesse Google har for å indeksere et nettsted. Den påvirkes også av tre faktorer:

• Oppfattet beholdning : Uten veiledning fra nettstedseieren – som vi skal dekke litt senere – vil Google prøve å gjennomsøke alle URL-er, inkludert duplikater, lenker som ikke fungerer og mindre viktige sider. Det er her det å begrense Googlebots søkeparametere kan øke gjennomsøkingsbudsjettet.
• Popularitet : Hvis et nettsted er ekstremt populært, vil nettadressene bli gjennomsøkt oftere.
• Foreldethet : Vanligvis har Googlebot-systemet som mål å gjennomsøke sider på nytt for å fange opp eventuelle endringer. Denne prosessen kan forenkles ved å bruke GSC og be om nye gjennomsøkinger, men det er ingen garanti for at forespørselen blir behandlet umiddelbart.

Gjennomsøkingsaktivitet er i hovedsak et produkt av god nettstedsadministrasjon.

CMS-bekymringer

Vahe Arabian , grunnleggeren av State of Digital Publishing (SODP) , sier at ⁱ innholdsstyringssystemet (CMS) – som plugin-moduler – kan påvirke budsjettene for gjennomsøking.

Han sa: «Mange programtillegg er databasedrevne og fører til økte ressursbelastninger, noe som vil bremse ned en side eller opprette unødvendige sider og påvirke gjennomsøkbarheten.»

En nettsides annonsedrevne inntektsmodell kan skape lignende problemer hvis flere nettstedsfunksjoner er ressurstunge.

Slik sjekker og sporer du gjennomsøkingsbudsjetter

^å spore gjennomsøkingsbudsjetter på: Google Search Console (GSC) og/eller serverlogger.

Google Search Console

Før du sjekker et nettsteds gjennomsøkingshastigheter i Google Search Console (GSC), må domeneeierskapet bekreftes.

Konsollen har tre verktøy for å sjekke nettsider og bekrefte hvilke URL-er som fungerer og hvilke som ikke er indeksert.

• Indeksdekningrapporten⁷
• URL-inspeksjonsverktøy⁸
• Rapport om gjennomsøkingsstatistikk⁹

Konsollen sjekker for domenefeil og gir forslag til hvordan du kan løse ulike gjennomsøkingsfeil.

GSC grupperer statusfeil i en rekke kategorier i sin indeksdekningsrapport, inkludert:

• Serverfeil [5xx]
• Omdirigeringsfeil
• Innsendt URL blokkert av robots.txt
• Innsendt URL merket med «noindex»
• Den innsendte URL-en ser ut til å være en myk 404-feil
• Innsendt URL returnerer uautorisert forespørsel (401)
• Innsendt URL ikke funnet (404)
• Innsendt URL returnerte 403: 
• Innsendt URL blokkert på grunn av et annet 4xx-problem

Rapporten viser hvor mange sider som har blitt påvirket av hver feil, sammen med valideringsstatusen.

URL-inspeksjonsverktøyet gir indekseringsinformasjon på en bestemt side, mens rapporten for gjennomsøkingsstatistikk kan brukes til å finne ut hvor ofte Google gjennomsøker et nettsted, responstiden til nettstedets server og eventuelle tilhørende tilgjengelighetsproblemer.

Det finnes en fast tilnærming for å identifisere og korrigere hver feil, og disse spenner fra å gjenkjenne at en nettstedsserver kan ha vært nede eller utilgjengelig på tidspunktet for gjennomsøkingen, til å bruke en 301-omdirigering for å omdirigere til en annen side, eller fjerne sider fra nettstedskartet.

Hvis sideinnholdet har endret seg betydelig, kan knappen «Be om indeksering» i URL-inspeksjonsverktøyet brukes til å starte en sidegjennomsøking.

Selv om det kanskje ikke er nødvendig å «fikse» hver enkelt sidefeil, er det definitivt en god praksis å minimere problemer som bremser gjennomsøkingsroboter.

Bruk serverlogger

Som et alternativ til Google Search Console (GSC) kan et nettsteds gjennomsøkingstilstand inspiseres via serverlogger som ikke bare registrerer hvert nettstedsbesøk, men også hvert Googlebot-besøk.

For de som ikke allerede er klar over det, oppretter og lagrer servere automatisk en loggoppføring når Googlebot eller et menneske ber om å få vist en side. Disse loggoppføringene samles deretter inn i en loggfil.

Når en loggfil er åpnet, må den analyseres. Gitt det store omfanget av loggoppføringer, bør dette imidlertid ikke gjøres lettvint. Avhengig av størrelsen på nettstedet, kan en loggfil lett inneholde hundrevis av millioner eller til og med milliarder av oppføringer.

Hvis det bestemmes å analysere loggfilen, må dataene eksporteres til enten et regneark eller et proprietært program, noe som forenkler analyseprosessen.

Analyse av disse postene vil vise hvilken type feil en bot har møtt, hvilke sider som ble besøkt mest og hvor ofte et nettsted ble gjennomsøkt.

9 måter å optimalisere gjennomsøkingsbudsjettet på

Optimalisering innebærer å sjekke og spore statistikk for nettstedets helse, som nevnt ovenfor, og deretter adressere problemområder direkte.

Nedenfor har vi lagt frem verktøysettet vårt for optimalisering av gjennomsøkingsbudsjett, som vi bruker for å håndtere problemer med gjennomsøkingsevnen når de oppstår.

1. Konsolider duplikatinnhold

Gjennomsøkingsproblemer kan oppstå når en enkelt side enten er tilgjengelig fra en rekke forskjellige nettadresser eller inneholder innhold som er replikert andre steder på nettstedet. Boten vil se disse eksemplene som duplikater og ganske enkelt velge én som den kanoniske versjonen.

De gjenværende nettadressene vil bli ansett som mindre viktige og vil bli gjennomsøkt sjeldnere eller ikke i det hele tatt. ¹⁰ Dette er greit hvis Google velger den ønskede kanoniske siden, men det er et alvorlig problem hvis ikke.

Når det er sagt, kan det være gyldige grunner til å ha dupliserte sider, for eksempel et ønske om å støtte flere enhetstyper, aktivere innholdssyndikering eller bruke dynamiske URL-er for søkeparametere eller økt-ID-er.

SODPs anbefalinger :

• Beskjær innhold på nettsiden der det er mulig
  • Bruk 301-er for å konsolidere URL-er og slå sammen innhold
  • Slett innhold med lav ytelse 
• Bruk av 301-sider etter en omstrukturering av et nettsted vil sende brukere, roboter og andre robotsøkeprogrammer dit de skal.
• Bruk noindex for tynne sider, paginering (for eldre arkiver) og for kannibalisering av innhold.
• I tilfeller der duplisert innhold fører til overgjennomsøking, juster innstillingen for gjennomsøkingshastighet i Google Search Console (GSC).

2. Bruk Robots.txt-filen 

Denne filen bidrar til å forhindre at roboter tråler gjennom et helt nettsted. Bruk av filen tillater ekskludering av individuelle sider eller sidedeler.

Dette alternativet gir utgiveren kontroll over hva som indekseres, noe som holder bestemt innhold privat og samtidig forbedrer hvordan gjennomsøkingsbudsjettet brukes.

SODPs anbefalinger :

• Ordne parameterpreferansene for å prioritere parameterne som må blokkeres fra gjennomsøking.
• Spesifiser roboter, direktiver og parametere som forårsaker ytterligere gjennomsøking ved hjelp av loggfiler.
• Blokker vanlige stier som CMS-er vanligvis har, for eksempel 404, admin, innloggingssider osv.
• Unngå å bruke direktivet om gjennomsøkingsforsinkelse for å redusere robottrafikk for serverytelse. Dette påvirker bare indeksering av nytt innhold.

3. Segmenter XML-nettstedskart for å sikre raskere innholdsopptak

En gjennomsøkingsrobot ankommer et nettsted med en generell tildeling av hvor mange sider den skal gjennomsøke. XML-nettstedskartet dirigerer effektivt roboten til å lese utvalgte URL-er, noe som sikrer effektiv bruk av budsjettet.

Merk at en sides rangering avhenger av flere faktorer, inkludert innholdskvalitet og interne/eksterne lenker. Vurder å bare inkludere toppsider i kartet. Bilder kan tildeles sitt eget XML-nettstedskart.

SODPs anbefalinger :

• Se XML-sitemapet fra robots.txt-filen.
• Opprett flere nettstedskart for et veldig stort nettsted. Ikke legg til mer enn 50 000 nettadresser i ett enkelt XML-nettstedskart.
• Hold det rent og inkluder kun indekserbare sider.
• Hold XML-sitemapet oppdatert.
• Hold filstørrelsen til under 50 MB.

4. Undersøk den interne lenkestrategien

Google følger nettverket av lenker på et nettsted, og sider med flere lenker blir sett på som verdifulle og verdt å bruke gjennomsøkingsbudsjettet på.

Det er imidlertid verdt å merke seg at selv om et begrenset antall interne lenker kan motvirke gjennomsøkingsbudsjettet, kan det også være vanskelig å overøse hele nettstedet med lenker.

Sider uten interne lenker får ingen lenkeverdi fra resten av nettstedet, noe som oppfordrer Google til å behandle dem som om de har lavere verdi.

Samtidig ender sider med høy verdi som inneholder mange interne lenker opp med å dele lenkeandelen sin likt mellom andre sider, uavhengig av strategisk verdi. Unngå derfor å lenke til sider som tilbyr liten verdi for leserne.

En intern lenkestrategi krever et fingertupp for å sikre at sider med høy verdi får nok lenker, mens sider med lav verdi ikke kannibaliserer lenkeverdien.

5. Oppgrader hosting hvis samtidig trafikk er en flaskehals

Hvis et nettsted kjører på en delt hostingplattform, vil gjennomsøkingsbudsjettet deles med andre nettsteder som kjører på nevnte plattform. Et stort selskap kan finne uavhengig hosting som et verdifullt alternativ.

Andre hensyn å ta når du oppgraderer hosting eller før du oppgraderer for å løse overbelastning av bottrafikk som kan påvirke serverbelastningen:

• Behandle bilder ved hjelp av et separat CDN som også er optimalisert for å være vert for neste generasjons bildeformater som webp
• Vurder hosting av CPU og diskplass basert på nettstedets funksjonalitet og krav
• Overvåk aktivitet ved hjelp av løsninger som New Relic for å overvåke overdreven bruk av plugins og bots

6. Balansering av Javascript-bruk

Når Googlebot lander på en nettside, gjengir den alle ressursene på siden, inkludert Javascript. Selv om det er ganske enkelt å gjennomsøke HTML, må Googlebot behandle Javascript flere ganger for å kunne gjengi den og forstå innholdet.

Dette kan raskt tappe Googles budsjett for gjennomsøking av et nettsted. Løsningen er å implementere Javascript-gjengivelse på serversiden.

Ved å unngå å sende Javascript-ressurser til klienten for gjengivelse , bruker ikke crawl-roboter opp ressursene sine og kan jobbe mer effektivt. ¹¹

SODPs anbefalinger :

• Bruk lat lasting på nettlesernivå i stedet for JS-basert
• Avgjør om elementene 
• Bruk serversidetagging for analyser og tredjepartstagging, enten selvhostet eller ved hjelp av løsninger som https://stape.io/ . ¹² 

7. Oppdater Core Web Vitals (CWV) for å forbedre sideopplevelsen

Google Search Consoles (GSC) Core Web Vitals (CWV) bruker det søkegiganten kaller « virkelige bruksdata » for å vise sideytelse. ¹³

CWV-rapporten grupperer URL-ytelse i tre kategorier:

• Metrisk type (LCP, FID og CLS)
• Status 
• URL-grupper

Metrisk

CWV-rapporten er basert på de målene ^for innholdsbasert maling (LCP), ¹⁴ forsinkelse ved første inngang (FID) ¹⁵ og kumulativ layoutforskyvning (CLS)

LCP forholder seg til hvor lang tid det tar å gjengi det største innholdselementet synlig på nettsidens synlige område.

FID handler om tiden det tar for en side å reagere på en brukers interaksjon.

CLS er en måling av hvor mye sideoppsettet endres i løpet av brukerøkten, der høyere poengsummer representerer en dårligere brukeropplevelse.

 Status

Etter en sidevurdering tildeles hver metrikk én av tre statusrangeringer:

• God
• Trenger forbedring
• Fattig

URL-grupper

Rapporten kan også tilordne problemer til en gruppe lignende nettadresser, forutsatt at ytelsesproblemer som påvirker lignende sider kan tilskrives et delt problem.

CWV og gjennomsøkbarhet

Som nevnt tidligere, jo lenger Googlebot bruker på en side, desto mer sløser den bort gjennomsøkingsbudsjettet. Som sådan kan utgivere bruke CWV-rapportene til å optimalisere sideeffektiviteten og redusere gjennomsøkingstiden.

SODPs anbefalinger, med fokus på WordPress:

8. Bruk en tredjeparts crawler

En tredjeparts crawler som Semrush, Sitechecker.pro eller Screaming Frog lar nettutviklere revidere alle URL-ene på et nettsted og identifisere potensielle problemer.

Crawlere kan brukes til å identifisere:

Innhold fra våre partnere

REMP av Fatchilli 2026 anmeldelse

Publicics-gjennomgang for 2025

Ezoics Open.Video-anmeldelse for 2025

• Ødelagte lenker
• Duplikatinnhold
• Manglende sidetitler

Disse programmene tilbyr en rapport om gjennomsøkingsstatistikk for å fremheve problemer som Googles egne verktøy kanskje ikke vil oppdage.

Å forbedre strukturerte data og redusere hygieneproblemer vil effektivisere Googlebots jobb med å gjennomsøke og indeksere et nettsted.

SODPs anbefalinger :

• Bruk SQL-spørringer til å kjøre batchoppdateringer av feil i stedet for å fikse hvert problem manuelt.
• Emuler Googlebot via innstillinger for søkegjennomsøking for å unngå å bli blokkert fra hostingleverandører og for å identifisere og fikse alle tekniske problemer på riktig måte.
• Feilsøk manglende sider fra en gjennomgang ved hjelp av denne flotte veiledningen fra Screaming Frog . ¹⁷

9. URL-parametere

URL-parametere – den delen av nettadressen som kommer etter «?» – brukes på en side av en rekke årsaker, inkludert filtrering, paginering og søking. 

Selv om dette kan forbedre brukeropplevelsen, kan det også forårsake problemer med gjennomsøking når både basis-URL-en og en med parametere returnerer det samme innholdet. Et eksempel på dette kan være at «http://mysite.com» og «http://mysite.com?id=3» returnerer nøyaktig samme side.

Parametere lar et nettsted ha et nærmest ubegrenset antall lenker – for eksempel når en bruker kan velge dager, måneder og år i en kalender. Hvis roboten får lov til å gjennomsøke disse sidene, vil gjennomsøkingsbudsjettet bli brukt opp unødvendig.

SODPs anbefalinger :

• Bruk robots.txt-regler. Angi for eksempel parameterordrer i en allow-direktiv.
• Bruk hreflang til å angi språkvariasjonene i innholdet.

Oppsummering av Googlebot-myter og fakta

Det finnes flere misoppfatninger angående Googlebots makt og omfang.

Her er fem vi har utforsket:

1. Googlebot gjennomsøker et nettsted av og til 

Googlebot gjennomsøker faktisk nettsteder ganske ofte, og i noen tilfeller til og med daglig. Hyppigheten bestemmes imidlertid av nettstedets oppfattede kvalitet, nyhet, relevans og popularitet.

Som nevnt ovenfor kan Google Search Console (GSC) brukes til å be om en gjennomsøking.

2. Googlebot tar avgjørelser om nettstedrangering

Selv om dette pleide å være riktig, anser Google dette nå som en separat del av gjennomsøkings-, indekserings- og rangeringsprosessen, ifølge Martin Splitt , WebMaster Trends Analyst hos Google. ¹⁸

Det er imidlertid også viktig å huske at et nettsteds innhold, nettstedskart, antall sider, lenker, URL-er osv. alle er faktorer som bestemmer rangeringen.

I hovedsak kan smarte SEO-valg fra utgivere føre til solid posisjonering i SERP-ene.

3. Googlebot invaderer private deler av et nettsted

Boten har ikke noe konsept med «privat innhold» og har ganske enkelt i oppgave å indeksere nettsteder med mindre nettstedseieren ber om noe annet.

Enkelte nettsider kan forbli uindekserte så lenge de nødvendige tiltakene innenfor GSC iverksettes for å begrense tilgangen.

4. Googlebot-aktivitet kan sette en belastning på nettstedets arbeidsevne

Googlebot-prosessen har sine begrensninger både på grunn av Googles ressursbegrensninger og fordi Google ikke ønsker å forstyrre et nettsted.

Splitt sa: «Vi kryper litt, og så øker vi i bunn og grunn hastigheten. Og når vi begynner å se feil, reduserer vi hastigheten litt.»¹⁵

GSC kan forsinke gjennomsøkinger, og siden noen nettsteder kan ha et par hundre tusen sider, deler Googlebot opp gjennomsøkingen over flere besøk.

5. Googlebot er den eneste boten det er verdt å bekymre seg for

Selv om Googlebot er verdens ledende søkemotor, tilhører ikke alle roboter Google. Andre søkemotorer gjennomsøker nettet, mens roboter som fokuserer på analyser samt data og merkevaresikkerhet også er aktive.

Samtidig utvikler skurker stadig mer sofistikert programvare for å drive med annonsesvindel , stjele innhold, legge ut spam og mer. ¹⁹

Siste tanker

Det er viktig å huske at optimalisering av gjennomsøkingsbudsjett og vellykkede brukeropplevelser kan håndteres uten at det går på bekostning av hverandre 

Å sjekke et nettsteds gjennomsøkingsbudsjett bør være en del av alle nettstedseieres vedlikeholdsprogrammer, og hyppigheten av disse kontrollene avhenger av nettstedets størrelse og art.

Teknisk rengjøring – som å fikse ødelagte lenker, sider som ikke fungerer , duplisert innhold, dårlig formulerte URL-er og gamle, feilfylte nettstedskart – er også viktig.