I 30 år har internett drevet av en overraskende dyp sosial kontrakt: de fleste nettsteder er gratis for søkemotorer å få tilgang til, men hvis du bruker innholdet deres, gir du kreditt ved å lenke til kilden.
Nylig har denne sosiale kontrakten begynt å kollapse. Verktøy for kunstig intelligens (KI) gjennomsøker nettsteder, ikke for å lenke til dem, men for å trene modeller og generere svar (som kan være nøyaktige eller ikke).
Når du søker etter noe, kan ChatGPTs svar eller Googles AI-oversikter fortsatt inkludere lenker til kilder, men de er et slags valgfritt tillegg til hovedsvaret.
Dette har utløst en dårlig dynamikk for nettstedseiere, publikum og til og med AI-selskaper selv: etter hvert som nettsteder mister trafikk (og inntekter), begynner mange å blokkere AI-skrapeverktøy, noe som betyr at AI-resultater er mer avhengige av nettsteder av lav kvalitet (hvorav mange også genereres av AI). Som et resultat kan god informasjon være vanskeligere enn noensinne å finne.
Hvordan vi kom hit
I verdensvevens tidlige dager ble søkemotorer og innholdsskapere enige om gjennomsøking (praksisen med å teknologisk undersøke et nettsted for å indeksere det, slik at det kan vises i søkeresultatene). Innholdsskapere ga tilgang til nettstedene sine gratis, og tillot til og med søkemotorer å reprodusere små tekstbiter.
Til gjengjeld ga søkemotorer lenker til nettsteder eid av innholdsskapere, som dro nytte av denne nettrafikken. Hvis innholdsskaperne ikke likte avtalen, kunne de forhindre søkemotorer fra å gjennomsøke nettstedet deres med instruksjoner i en fil kalt robots.txt.
Men hvis AI-verktøy ikke lenger gir webtrafikk, kutter det innholdsskapere ut av den økonomiske sløyfen. Det er også andre kostnader forbundet med hvert besøk på et nettsted, så AI-gjennomsøking kan koste nettstedsleverandører penger samtidig som det ikke gir dem noen av annonse- eller andre inntekter som ville kommet fra menneskelig trafikk. AI-crawlere kryper også dypere og mer intenst enn tradisjonelle webcrawlere, noe som forsterker denne kostnaden.
Denne endringen i trafikkmønstre er ikke et lite eller hypotetisk problem. Cloudflare, et webhotell- og tjenesteselskap som administrerer 30 % eller mer av de 10 000 største nettstedene på internett, anslår at over halvparten av all nettrafikk nå er AI-roboter.
Noe av dette vil være AI-agenter som overvåkes direkte av mennesker, men de fleste vil være roboter. Nettstedseiere kan bruke robots.txt til å be AI-roboter om å holde seg unna nettstedene deres – men noen AI-selskaper kan ignorere denne høflige forespørselen.
Hvis AI-selskapene imøtekommer forespørselen, kan det skape et annet problem. Nettsteder som inneholder feilinformasjon har langt mindre sannsynlighet for å utestenge AI-crawlere, så AI-svarene vil ikke være basert på kilder av høy kvalitet.
Hva skjer på kort sikt
I horisonten venter en hendelse kalt «Google Zero» – dagen da gjennomgangstrafikken fra Google faller til ingenting. Selv om noen gråhårede ihuga (som en av forfatterne av denne artikkelen) fortsatt kan klikke seg videre for å bekrefte AI-svar, minker denne trafikken raskt, som et direkte resultat av AI-sammendrag.
En studie av Wikipedia bekrefter dette, og viser at trafikken til den engelskspråklige versjonen av nettstedet falt raskt med lanseringen av AI-sammendrag på Google på engelsk, og at det samme mønsteret skjedde på andre språk da AI-sammendrag ble rullet ut. Å aldri måtte klikke seg videre for å få et svar kan virke bra for informasjonssøkere, men virkeligheten er mer kompleks.
Mange nettsteder blokkerer nå AI-crawlere fullstendig. Nettstedseiere som bestemmer seg for å blokkere AI-crawlere, har mindre sannsynlighet for å bli lenket i svar i AI Overviews, selv når AI-verktøyet fortsatt kan få tilgang til innholdet for å basere svarene sine (ved hjelp av en teknikk som kalles henteutvidet generering).
Alternative «betal for å gjennomgå»-modeller har blitt foreslått som en måte å kompensere innholdsskapere på, men har ikke fått fotfeste.
Fra og med 15. septembervil Cloudflare-nettsteder som standard blokkere AI-crawlere på sider som inneholder reklame (og dermed tjener penger for innholdsskapere).
Dette betyr at opptil 30 % av verdens beste nettsteder ikke lenger vil vises i sammendragene i Google AI Overviews. Det betyr også at mye av det AI trenes på i seg selv vil være AI-generert tekst.
Hva det betyr for deg
Så hva betyr dette når du leter etter informasjon? Kvaliteten på AI-sammendrag vil sannsynligvis synke, i hvert fall på kort sikt, mens den nye økonomien på nettet blir ordnet opp.
Dette vil skje av to grunner. Den første er at det er mindre sannsynlig at innhold av høy kvalitet kommer med i disse AI-sammendragene – en nylig studie fant at allerede rundt én av seks kilder som brukes av AI-søkeverktøy, er et AI-generert nettsted.
Den andre grunnen er at etter hvert som AI-modeller trenes på mer AI-tekst, kan resultatet bli dårligere (et fenomen kjent som modellkollaps).
Som et resultat kan søkemotorer som er mindre avhengige av AI bli mer pålitelige. Utfordringen er å finne en som ikke bruker en AI-basert robotsøkemotor. De finnes: ZDNet anbefaler Mojeek, PCMag anbefaler Brave, og Ban the Bots lister opp flere, inkludert en spesielt for innhold fra «små produsenter», som blogger.
Foreløpig, uansett hvilken søkemotor du bruker, er det beste du kan gjøre å bla ned og klikke på noen faktiske søkeresultater. Dette er fordelaktig for innholdsskapere, og det er også mer sannsynlig at det gir deg mer nøyaktig informasjon.
Dana McKay, førsteamanuensis, interaksjon, teknologi og informasjon, RMIT University
Damiano Spina, førsteamanuensis, School of Computing Technologies, RMIT University
Denne artikkelen er publisert på nytt fra The Conversation under en Creative Commons-lisens. Les den opprinnelige artikkelen.
