Utgiverveksttaktikker for valgsesongen | WEBINAR
Utgiverveksttaktikker for valgsesongen | WEBINAR
Etter å ha gått gjennom denne modulen, bør du forstå hva gjennomsøkingsbudsjettet er, hvordan det er allokert til et nettsted og hvordan du kan optimalisere for det.
Videovarighet
23:27
Svar Quiz
Ta gjeldende modulquiz
Materialer
Klar til bruk maler
Ressurser
Rapporter og ressurser
2.6.1 Hva er et gjennomgangsbudsjett?
Gjennomgangsbudsjett er antall sider på nettstedet ditt en webcrawler vil gjennomsøke innenfor en gitt tidsramme.
Hver gang du trykker på publiser-knappen, må Google gjennomsøke og indeksere innholdet for at det skal begynne å vises i søkeresultatene. Gitt omfanget og volumet av innhold på internett, blir gjennomgang en verdifull ressurs som må budsjetteres og rasjoneres for mest mulig effektiv bruk.
For å si det enkelt, er det vanskelig for Google å gjennomsøke og indeksere hver eneste side på internett hver dag. Så Google gjennomsøker hvert nettsted i henhold til det tildelte budsjettet.
Gjennomgangsbudsjett tildeles nettsteder basert på to faktorer – gjennomsøkingsgrense og etterspørsel etter gjennomsøking.
Dette er et nettsteds kapasitet og/eller vilje til å bli gjennomsøkt.
Ikke alle nettsider er bygd for å bli gjennomsøkt hver dag. Gjennomgang innebærer at Googlebot sender forespørsler til nettstedets server som, hvis det gjøres for ofte, kan belaste serverens kapasitet.
Det er heller ikke alle utgivere som ønsker at nettstedet deres skal gjennomgås kontinuerlig.
Crawl demand er et mål på hvor ofte en bestemt side ønsker å bli (re)gjennomsøkt. Populære sider eller sider som oppdateres ofte, må gjennomsøkes og gjennomgås på nytt oftere.
Hvis Google ikke kan gjennomsøke og indeksere innholdet ditt, vil dette innholdet rett og slett ikke vises i søkeresultatene.
Når det er sagt, er gjennomgangsbudsjetter generelt bare et problem for mellomstore til store utgivere som har mer enn 10 000 sider på nettstedet. Mindre utgivere bør ikke bekymre seg for mye om gjennomgangsbudsjetter.
Utgivere med 10.000 eller flere sider på nettstedet deres vil imidlertid ønske å unngå Googlebot krypende sider som ikke var viktige. Å utmatte ditt gjennomsøkingsbudsjett på irrelevant eller mindre viktig innhold betyr at sider med høyere verdi ikke kan krøpes.
Dessuten vil nyhetsutgivere ønske å være forsiktig med bortkastede gjennomsøkingsbudsjetter gitt at kryping er en av de tre måtene Google News oppdager ferskt innhold på en riktig måte. De to andre er ved å bruke Sitemaps og Google Publisher Center, som vi har undersøkt videre i Google News Sitemap og Google Publisher Center -moduler
Optimalisering av frekvensen og hastigheten som Googlebot kryper nettstedet ditt med å overvåke en rekke variabler. Vi begynner med å liste opp de viktigste faktorene som er involvert i å optimalisere gjennomsøkingsbudsjettet og frekvensen.
De to mest nyttige taktikkene for å overvåke hvordan innholdet ditt blir gjennomsøkt, analyserer loggfiler og Google Search Console (GSC) Crawl Statistikk -rapport.
En loggfil er et tekstdokument som registrerer hver aktivitet på nettstedets server. Dette inkluderer alle data om gjennomgangsforespørsler, sideforespørsler, bildeforespørsler, forespørsler om JavaScript -filer og all annen ressurs som trengs for å kjøre nettstedet ditt.
I forbindelse med teknisk SEO hjelper loggfilanalyse med å bestemme mye nyttig informasjon om URL -kryping, inkludert, men ikke begrenset til:
Hvordan gjøre dette
Loggfilanalyse er en oppgave som krever en viss grad av teknisk fortrolighet med backend på nettstedet. Av denne grunn anbefaler vi å bruke programvare for logganalysator. Det er flere gratis og betalte logganalyseverktøy tilgjengelig som Graylog , Loggly , Elastic Stack , Screaming Frog Log Analyzer og Nagios for å nevne noen.
Hvis du er en erfaren utvikler eller systemadministrator, kan du også utføre en loggfilanalyse.
For å gjøre dette, følg disse trinnene:
Når du har lastet ned loggfilen, kan du endre utvidelsen til .csv og åpne den ved hjelp av Microsoft Excel eller Google Sheets. Som vi sa, krever imidlertid denne tilnærmingen et visst kompetanse for å gi mening om loggfilen.
Du kan også få tilgang til loggfilen ved hjelp av en FTP -klient ved å legge inn banen til loggfilen. En typisk loggfilbane ser ut som denne:
Servernavn (for eksempel apache) /var/log/access.log
Imidlertid er det mye mer praktisk å bruke et logganalyseverktøy i stedet. Når du har lastet opp loggfilen i verktøyet, kan du sortere dataene ved å bruke flere filtre. For eksempel vil du kunne se hvilke nettadresser som er tilgang til hyppigst av Googlebot.
Du vil også kunne se om Googlebot har fått tilgang til ikke-essensielle eller nettadresser med lav verdi, for eksempel fasetterte navigasjons-nettadresser, dupliserte nettadresser, etc. Å identifisere disse er viktig ettersom de kaster bort gjennomsøkingsbudsjettet.
Se på skjermbildet nedenfor, hentet fra Screaming Frogs SEO Log File Analyzer, for å se hva vi mener.
GSC gir nettstedseiere omfattende data og innsikt om hvordan Google gjennomsøker innholdet. Dette inkluderer detaljerte rapporter om:
GSC gjør også tilgjengelig lett å forstå grafer og diagrammer for å gi nettstedseiere enda mer informasjon. Skjermbildet nedenfor er hvordan en typisk gjennomgangsstatistikkrapport om GSC ser ut.
GSC lar deg også vite om det er noen problemer med å krype. Den sjekker for flere feil og tildeler hver en kode. De vanligste feilene som GSC sjekker for inkluderer:
GSC -rapporten viser også hvor mange sider som har blitt påvirket av hver feil ved siden av valideringsstatusen.
Hvordan gjøre dette
Slik kan du få tilgang til GSC Crawl Statistikk -rapporten for nettstedet ditt eller websiden:
Disse inkluderer:
Vi vet nå at gjennomsøkingsbudsjettet er en verdifull ressurs hvis bruk må optimaliseres for best resultat. Her er noen få teknikker for å gjøre dette:
Duplisert innhold kan ende opp med å bli krøp separat, noe som fører til et svinn av gjennomsøkingsbudsjettet. For å unngå at dette skjer, kan du enten konsolidere dupliserte sider på nettstedet ditt til en, eller slette dupliserte sider.
Robots.txt er en fil som tjener en rekke formål, hvorav den ene er å fortelle GoogleBot om ikke å krype visse sider eller sider av sider. Dette er en viktig strategi som kan brukes til å forhindre at GoogleBot kryper innhold eller innhold med lav verdi eller innhold som ikke trenger å krype.
Her er noen få beste praksis når du bruker roboter.txt for å optimalisere gjennomsøkingsbudsjettet:
Hvordan gjøre dette
Opprette og utføre en robots.txt -fil for å begrense GoogleBot -tilgang krever litt kodingskunnskap. Her er trinnene involvert:
En typisk robots.txt -fil vil ha følgende elementer:
Nedenfor er hvordan en enkel robots.txt -fil ser ut.
Denne koden betyr at en brukeragent - GoogleBot i dette tilfellet - ikke har lov til å krype noen URL som begynner med " http://www.example.com/nogooglebot/ ".
Vi foreslår at du søker eksperthjelp hvis du ikke føler deg komfortabel med å lage og laste opp roboter.txt -filer selv.
En gjennomsøkingsrobot kommer til et nettsted med en generell tildeling av hvor mange sider den vil gjennomsøke. XML-nettstedskartet leder effektivt roboten til å lese utvalgte URL-er, og sikrer effektiv bruk av dette budsjettet.
Merk at en sides rangeringsytelse avhenger av flere faktorer, inkludert innholdskvalitet og interne/eksterne lenker. Vurder å inkludere bare toppnivåsider i kartet. Bilder kan tildeles sitt eget XML-nettkart.
Følg disse anbefalingene for å sikre optimal implementering av XML -sitemap:
For en mer detaljert titt på nettsteder, se vår dedikerte modul om dette emnet .
Interne koblinger utfører tre viktige funksjoner:
For effektiv gjennomsøking er det således viktig å implementere en effektiv intern koblingsstrategi. For mer om intern kobling, se vår detaljerte kursmodul her.
Hvis et nettsted kjører på en delt hosting -plattform, vil gjennomsøkingsbudsjettet bli delt med andre nettsteder som kjører på nevnte plattform. Et stort forlegger kan synes uavhengig hosting er et verdifullt alternativ.
Før du oppgraderer hostingen din for å løse overbelastning av BOT -trafikk, er det noen faktorer som er verdt å vurdere som kan påvirke serverbelastningen på annen måte.
For mer informasjon om fordelene med CDN -er, sjekk ut sideopplevelsesmodulen .
Når Googlebot lander på en nettside, gjengir den alle ressursene på siden, inkludert Javascript. Selv om det er ganske enkelt å gjennomsøke HTML, må Googlebot behandle Javascript flere ganger for å kunne gjengi det og forstå innholdet.
Dette kan raskt tappe Googles gjennomsøkingsbudsjett for et nettsted. Løsningen er å implementere Javascript-gjengivelse på serversiden.
Hvordan gjøre dette
Å adressere JavaScript i nettstedets kildekode krever kodingskompetanse, og vi anbefaler å konsultere en webutvikler hvis du planlegger å gjøre noen slike endringer. Når det er sagt, her er noen få retningslinjer for hva du skal se etter når du prøver å optimalisere bruken av JavaScript.
CWV -er er et mål på sideytelsen som direkte påvirker hvordan siden din presterer i søkerangeringer.
GSCs CWV -rapportgrupper URL -ytelse under tre kategorier:
CWV -er kan også påvirke gjennomsøkingsbudsjettet ditt. For eksempel kan sakte lastesider spise opp i gjennomsøkingsbudsjettet, ettersom Google har en begrenset tid for å krype oppgaver. Hvis sidene dine lastes raskt, kan Google krype flere av dem innen den begrensede tiden det har. Tilsvarende kan for mange feilstatusrapporter bremse å krype ned og kaste bort gjennomsøkingsbudsjettet.
For en grundigere undersøkelse av CWV -er, se modulen vår på sideopplevelse .
En tredjeparts crawler som Semrush , Sitechecker.Pro eller Screaming Frog lar nettutviklere revidere alle nettstedets nettadresser og identifisere potensielle problemer.
Tredjeparts crawlers kan brukes til å identifisere:
Disse programmene tilbyr en gjennomsøkingsstatistikkrapport for å bidra til å synliggjøre problemer som Googles egne verktøy kanskje ikke.
Å forbedre strukturerte data og redusere hygieneproblemer vil strømlinjeforme Googlebots jobb med å gjennomsøke og indeksere et nettsted.
Vi anbefaler følgende beste praksis når du bruker tredjeparts crawlers:
URL-parametere – delen av nettadressen som følger «?» – brukes på en side av en rekke årsaker, inkludert filtrering, paginering og søking.
Selv om dette kan øke brukeropplevelsen, kan det også forårsake gjennomsøkingsproblemer når både basis-URLen og en med parametere returnerer det samme innholdet. Et eksempel på dette kan være "http://mysite.com" og "http://mysite.com?id=3" som returnerer nøyaktig samme side.
Parametere lar et nettsted ha et nesten ubegrenset antall lenker - for eksempel når en bruker kan velge dager, måneder og år i en kalender. Hvis roboten får lov til å gjennomsøke disse sidene, vil gjennomsøkingsbudsjettet bli brukt opp unødvendig.
Dette kan spesielt være et spørsmål om bekymring hvis nettstedet ditt bruker fasetterte navigasjons- eller øktidentifikatorer som kan gyte flere dupliserte sider som, hvis de gjennomgår, kan føre til et svinn av gjennomsøkingsbudsjettet.
Dupliserte URL -er kan også resultere hvis du har lokaliserte versjoner av websiden din på forskjellige språk, og innholdet på disse sidene ikke er oversatt.
Vi anbefaler følgende å adressere dette:
Slik er en enkel<hreflang> Ser ut som i kildekoden din:
https://examplesite.com/news/hreflang-tags-/ >
Dette forteller crawleren at den spesifiserte URL -en er en spansk (meksikansk) variant av hoved -URL -en, og at den ikke skal behandles som en duplikat.
Vi har diskutert det vesentlige av gjennomgangsbudsjettstyring. Pekerne som er oppført i dette avsnittet, selv om de ikke er avgjørende for sunn gjennomgangsbudsjettstyring, går langt mot å supplere teknikkene som er diskutert tidligere.
En krypende nødsituasjon oppstår når Googlebot overvelder nettstedet ditt med flere krav om krypning enn det kan håndtere. Det er viktig å identifisere problemet så raskt som mulig, noe som kan gjøres ved å overvåke serverlogger og gjennomgangsstatistikk i Google Search -konsoll.
Hvis en plutselig bølge av kryping ikke administreres i tide, kan det føre til at serveren bremser. Servernedgangen ville øke den gjennomsnittlige responstiden for crawlers, og som et resultat av denne høye responstiden vil søkemotorer automatisk redusere gjennomsøkingshastigheten. Dette er problematisk fordi reduserte gjennomsøkingshastigheter vil føre til tap i synligheten, med nye artikler som ikke blir krøp umiddelbart.
Hvis du merker over kryping beskatter serverne dine, her kan du gjøre noen ting du kan gjøre:
Google har sofistikerte algoritmer som kontrollerer gjennomsøkingshastigheten. Så ideelt sett skal man ikke tukle med gjennomsøkingshastigheten. I en nødsituasjon kan du imidlertid logge deg på GSC -kontoen din og navigere til Crawl Rate -innstillinger for eiendommen din.
Hvis du ser gjennomsøkingshastigheten der som beregnet som optimal, vil du ikke kunne endre den manuelt. En spesiell forespørsel må arkiveres til Google for å endre gjennomsøkingsfrekvensen.
Hvis dette ikke er tilfelle, kan du ganske enkelt endre gjennomgangshastigheten selv til ønsket verdi. Denne verdien vil forbli gyldig i 90 dager.
Hvis du ikke ønsker å tukle med gjennomsøkingsfrekvens i GSC, kan du også blokkere tilgangen til siden av GoogleBot ved hjelp av roboter.txt. Prosedyren for å gjøre dette har blitt forklart tidligere.
Det kan ta Google opptil tre dager å krype de fleste nettsteder. De eneste unntakene er nyhetssider eller andre nettsteder som publiserer tidsfølsomme innhold som kan krøpes daglig.
For å sjekke hvor ofte sidene dine blir krøp, må du overvåke nettstedloggen. Hvis du fremdeles føler at innholdet ditt ikke blir krøp så ofte som det skal være, følg disse trinnene:
https://www.google.com/ping?sitemap=full_url_of_sitemap
Merk: Dette trinnet skal sees på som den siste handlingen noen bør ta, da det bærer en viss grad av risiko. Hvis Googlebot ser 503 og 429 feil, vil det begynne å krype saktere og kan stoppe krypingen, noe som fører til et midlertidig fall i antall indekserte sider.
En feilkode på 503 betyr at serveren er midlertidig nede, mens 429 betyr at en bruker har sendt for mange forespørsler på en bestemt tid. Disse kodene lar Googlebot vite at problemet er midlertidig, og det skal gå tilbake for å krype siden på et senere tidspunkt.
Selv om et tilsynelatende mindre trinn, er dette viktig fordi hvis Googlebot ikke vet arten av problemet en webside opplever, antar det at problemet er av langsiktig karakter og kan markere siden ned som ikke reagerer, noe som kan påvirke SEO.
Opprette 503 feilkoder gjøres gjennom en PHP -fil, som settes inn i den eksisterende HTML -kildekoden på siden din sammen med en feilmelding. Du må også skrive noen flere linjer med HTML -kode som nevner når nettstedet forventes å komme tilbake.
Slik ser koden for en 503 -omdirigering ut:
Å gjøre 503 eller 429 viderekoblinger krever avanserte HTML -kodingsevner, og vi foreslår å konsultere med nettutvikleren din før du prøver dette.
Vi har nå en god forståelse av hva et gjennomsøkingsbudsjett er og hvordan du kan optimalisere det. Det er imidlertid like viktig å vite hva du ikke skal gjøre når det gjelder gjennomsøkingsbudsjetter.
Her er noen vanlige fallgruver for å unngå å sikre at du får mest mulig ut av nettstedets gjennomgangsbudsjett:
Hyppigheten som Google gjennomsøker nettstedet ditt bestemmes av algoritmene, som tar hensyn til flere signaler for å komme frem til en optimal gjennomsøkingsfrekvens.
Å øke gjennomsøkingshastigheten fører ikke nødvendigvis til bedre posisjoner i søkeresultatene. Å krype frekvens eller til og med krype i seg selv er ikke en rangeringsfaktor i seg selv.
Google foretrekker ikke nødvendigvis friskere innhold fremfor eldre innhold. Google rangerer sider basert på relevansen og kvaliteten på innholdet uavhengig av om det er gammelt eller nytt. Så det er ikke nødvendig å fortsette å få dem gjennomsøkt.
Crawl-Delay-direktivet hjelper ikke med å kontrollere GoogleBot. Hvis du ønsker å bremse gjennomsøkingsfrekvensen som svar på overdreven kryping som overveldet nettstedet ditt, kan du se instruksjonene som er gitt i seksjonen ovenfor.
Nettstedets lastehastighet kan påvirke gjennomsøkingsbudsjettet ditt. En rask lasteside betyr at Google kan få tilgang til mer informasjon over samme antall tilkoblinger.
For tips om optimalisering av lastehastighet, sjekk ut modulen vår på sideopplevelsen .
Nofollow -koblinger kan fremdeles ende opp med å påvirke gjennomsøkingsbudsjettet, da disse fremdeles kan ende opp med å bli krøp. På den annen side har koblinger som roboter.txt ikke tillatt ikke innvirkning på gjennomsøkingsbudsjettet.
Alternative nettadresser og JavaScript -innhold kan også ende opp med å bli gjennomsøkt, og konsumere gjennomgangsbudsjettet ditt, så det er viktig å begrense tilgangen til dem ved å fjerne dem eller ved å bruke roboter.txt.
Crawl -budsjettet er en verdifull ressurs, og det er viktig at du optimaliserer for det. Å krype og indeksere problemer kan påvirke ytelsen til innholdet ditt, spesielt hvis nettstedet ditt har et stort antall sider.
De to mest grunnleggende operasjonene som er involvert i å optimalisere gjennomsøkingsbudsjettet, holder ditt nettstedoppdaterte og overvåker indekseringsproblemer regelmessig fra GSC Crawl Statistikk -rapporten og loggfiler.
Det er viktig å lære hvordan du bruker beste praksis for krypingsledelse både under utrullingen av nye nettstedsfunksjoner og også når engangsfeil skjer.
