Da 30 anni, il World Wide Web si basa su un contratto sociale sorprendentemente profondo: la maggior parte dei siti è accessibile gratuitamente ai motori di ricerca, ma se si utilizza il loro contenuto è necessario citare la fonte inserendo un link.
Di recente, questo contratto sociale ha iniziato a sgretolarsi. Gli strumenti di intelligenza artificiale (IA) scansionano i siti non per creare link, ma per addestrare modelli e generare risposte (che possono essere accurate o meno).
Quando si effettua una ricerca, la risposta di ChatGPT o le panoramiche sull'intelligenza artificiale di Google potrebbero comunque includere link alle fonti, ma si tratta di un'aggiunta facoltativa alla risposta principale.
Questo ha innescato una dinamica negativa per i proprietari dei siti web, il pubblico e persino le stesse aziende di intelligenza artificiale: man mano che i siti web perdono traffico (e ricavi), molti stanno iniziando a bloccare gli strumenti di scraping basati sull'IA, il che significa che i risultati dell'IA dipendono maggiormente da siti web di bassa qualità (molti dei quali sono anch'essi generati dall'IA). Di conseguenza, trovare informazioni di qualità può essere più difficile che mai.
Come siamo arrivati qui
Agli albori del World Wide Web, i motori di ricerca e i creatori di contenuti raggiunsero un accordo sulla scansione (la pratica di esaminare tecnologicamente un sito per indicizzarlo, in modo che possa essere visualizzato nei risultati di ricerca). I creatori di contenuti avrebbero fornito l'accesso gratuito ai propri siti e avrebbero persino permesso ai motori di ricerca di riprodurre brevi estratti di testo.
In cambio, i motori di ricerca fornivano link ai siti dei creatori di contenuti, che beneficiavano di quel traffico web. Se i creatori di contenuti non gradivano l'accordo, potevano impedire ai motori di ricerca di indicizzare il loro sito tramite istruzioni contenute in un file chiamato robots.txt.
Ma se gli strumenti di intelligenza artificiale non forniscono più traffico web, i creatori di contenuti vengono esclusi dal ciclo economico. Ogni visita a un sito web comporta anche altri costi , quindi la scansione tramite IA può costare denaro ai fornitori di siti web senza generare alcun ricavo pubblicitario o di altro tipo, a differenza del traffico umano. Inoltre, i crawler basati sull'IA effettuano scansioni più approfondite e intensive rispetto ai crawler tradizionali, amplificando ulteriormente tale costo.
Questo cambiamento nei modelli di traffico non è un problema di poco conto o ipotetico. Cloudflare, un'azienda di hosting e servizi web che gestisce il 30% o più dei 10.000 siti più visitati su Internet, stima che oltre la metà di tutto il traffico web sia ora generato da bot basati sull'intelligenza artificiale.
Alcuni di questi saranno agenti di intelligenza artificiale supervisionati direttamente da persone, ma la maggior parte sarà costituita da crawler. I proprietari dei siti possono utilizzare il file robots.txt per chiedere ai crawler di intelligenza artificiale di non accedere ai loro siti, ma alcune aziende che si occupano di intelligenza artificiale potrebbero ignorare questa cortese richiesta.
Se le aziende che sviluppano IA dovessero accogliere la richiesta, ciò potrebbe creare un problema diverso. I siti che diffondono disinformazione hanno molte meno probabilità di bloccare i crawler basati sull'IA, quindi le risposte generate dall'IA non si baseranno su fonti di alta qualità.
Cosa succederà nel breve termine
All'orizzonte si profila un evento soprannominato "Google Zero": il giorno in cui il traffico proveniente da Google si azzererà. Sebbene alcuni irriducibili (come uno degli autori di questo articolo) possano ancora cliccare per verificare le risposte fornite dall'IA, questo traffico sta diminuendo rapidamente, come diretta conseguenza dei riassunti generati dall'IA.
Uno studio su Wikipedia lo conferma, mostrando che il traffico nella versione inglese del sito è calato rapidamente con il lancio dei riassunti basati sull'intelligenza artificiale su Google in inglese, e che lo stesso schema si è verificato in altre lingue con l'implementazione di tali riassunti. Non dover cliccare per ottenere una risposta potrebbe sembrare un vantaggio per chi cerca informazioni, ma la realtà è più complessa.
Molti siti ora bloccano completamente i crawler basati sull'intelligenza artificiale. I proprietari dei siti che decidono di bloccare i crawler basati sull'IA hanno meno probabilità di essere citati nelle risposte delle panoramiche sull'IA, anche quando lo strumento di IA può comunque accedere al contenuto per supportare le proprie risposte (utilizzando una tecnica chiamata generazione aumentata dal recupero).
alternativi di "pagamento per la scansione" come metodo per compensare i creatori di contenuti, ma non hanno riscosso successo.
A partire dal 15 settembre, i siti che utilizzano Cloudflare bloccheranno per impostazione predefinita i crawler basati sull'intelligenza artificiale sulle pagine che contengono pubblicità (e che quindi generano profitti per i creatori di contenuti).
Questo significa che fino al 30% dei siti web più visitati al mondo non apparirà più nei riepiloghi di Google AI Overview. Significa anche che gran parte del materiale su cui viene addestrata l'IA sarà costituito da testo generato dall'IA stessa.
Cosa significa per te
Cosa significa tutto ciò quando si cercano informazioni? La qualità dei riassunti generati dall'IA probabilmente diminuirà, almeno nel breve termine, finché non si saranno definite le nuove dinamiche economiche del web.
Questo accadrà per due motivi. Il primo è che i contenuti di alta qualità hanno meno probabilità di essere inclusi in questi riassunti generati dall'IA: un recente studio ha rilevato che già oggi circa una fonte su sei utilizzata dagli strumenti di ricerca basati sull'IA è essa stessa un sito web generato dall'IA.
Il secondo motivo è che, man mano che i modelli di IA vengono addestrati su una quantità sempre maggiore di testo generato dall'IA, il loro output potrebbe degradarsi (un fenomeno noto come collasso del modello).
Di conseguenza, i motori di ricerca che dipendono meno dall'intelligenza artificiale potrebbero diventare più affidabili. La sfida è trovarne uno che non utilizzi un crawler basato sull'IA. Esistono: ZDNet consiglia Mojeek, PCMag consiglia Bravee Ban the Bots ne elenca diversi, tra cui uno specifico per i contenuti dei "piccoli produttori" come i blog.
Per ora, a prescindere dal motore di ricerca che utilizzi, la cosa migliore da fare è scorrere verso il basso e cliccare su alcuni risultati di ricerca effettivi. Questo avvantaggia i creatori di contenuti ed è anche più probabile che ti fornisca informazioni più accurate.
Dana McKay, Preside associata per l'interazione, la tecnologia e l'informazione, Università RMIT
Damiano Spina, Docente senior, Scuola di tecnologie informatiche, Università RMIT
Questo articolo è ripubblicato da The Conversation con licenza Creative Commons. Leggi l' articolo originale.
