Durante 30 anos, a internet funcionou com base num contrato social surpreendentemente profundo: a maioria dos sites é de acesso gratuito para motores de busca, mas se utilizar o conteúdo dos mesmos, deve dar crédito ao autor, incluindo um link para a fonte.
Recentemente, este contrato social começou a ruir. As ferramentas de inteligência artificial (IA) estão a rastrear os sites não para criar links para os mesmos, mas para treinar modelos e gerar respostas (que podem ou não ser precisas).
Ao pesquisar algo, a resposta do ChatGPT ou as Visões Gerais de IA do Google podem ainda incluir links para fontes, mas são uma espécie de complemento opcional à resposta principal.
Isto desencadeou uma dinâmica negativa para os proprietários de websites, o público e até para as próprias empresas de IA: à medida que os websites perdem tráfego (e receitas), muitos começam a bloquear ferramentas de recolha de dados por IA, o que significa que os resultados da IA dependem mais de websites de baixa qualidade (muitos dos quais também são gerados por IA). Como resultado, encontrar informação de qualidade pode ser mais difícil do que nunca.
Como chegámos aqui
Nos primórdios da internet, os motores de busca e os criadores de conteúdos chegaram a um acordo sobre a indexação (a prática de examinar tecnologicamente um site para o indexar e exibir nos resultados de pesquisa). Os criadores de conteúdos disponibilizavam os seus sites gratuitamente e até permitiam que os motores de busca reproduzissem pequenos excertos de texto.
Em troca, os motores de busca forneciam links para os sites pertencentes aos criadores de conteúdo, que beneficiavam deste tráfego na web. Se os criadores de conteúdo não gostassem do acordo, podiam impedir que os motores de busca rastreassem os seus sites através de instruções num ficheiro chamado robots.txt.
Mas se as ferramentas de IA deixarem de gerar tráfego para a web, os criadores de conteúdos ficam excluídos do ciclo económico. Além disso, outros custos , pelo que a indexação por IA pode custar dinheiro aos fornecedores de sites sem lhes proporcionar a receita publicitária ou outras receitas que adviriam do tráfego humano. Os rastreadores de IA também realizam pesquisas mais profundas e intensas do que os rastreadores web tradicionais, o que amplifica este custo.
Esta alteração nos padrões de tráfego não é um problema pequeno ou hipotético. A Cloudflare, uma empresa de alojamento e serviços web que gere 30% ou mais dos 10.000 sites mais populares da internet, estima que mais de metade de todo o tráfego web seja agora proveniente de bots de IA.
Parte disto será composto por agentes de IA supervisionados diretamente por pessoas, mas a maioria será feita por rastreadores. Os proprietários de websites podem utilizar o ficheiro robots.txt para pedir aos rastreadores de IA que não acedam aos seus websites – mas algumas empresas de IA podem ignorar este pedido educado.
Se as empresas de IA atenderem ao pedido, isso poderá criar um problema diferente. Os sites que contêm desinformação têm muito menos probabilidade de banir os rastreadores de IA, pelo que as respostas da IA não serão baseadas em fontes de alta qualidade.
O que está a acontecer no curto prazo?
No horizonte, vislumbra-se um evento apelidado de "Google Zero" – o dia em que o tráfego proveniente do Google cairá para zero. Embora alguns utilizadores mais experientes (como um dos autores deste artigo) ainda cliquem para verificar as respostas da IA, este tráfego está a diminuir rapidamente, como resultado direto dos resumos gerados pela IA.
Um estudo da Wikipédia confirma isto, mostrando que o tráfego na versão inglesa do site caiu rapidamente com o lançamento dos resumos de IA no Google em inglês, e que o mesmo padrão ocorreu noutras línguas à medida que os resumos de IA foram implementados. Nunca ter de clicar para obter uma resposta pode parecer ótimo para quem procura informação, mas a realidade é mais complexa.
Muitos sites estão agora a bloquear completamente os rastreadores de IA. Os proprietários de websites que decidem bloquear os rastreadores de IA têm menos probabilidade de serem citados nas respostas do AI Overviews, mesmo quando a ferramenta de IA ainda consegue aceder ao conteúdo para fundamentar as suas respostas (utilizando uma técnica chamada geração aumentada por recuperação).
alternativos de "pagamento para indexação" foram sugeridos como forma de compensar os criadores de conteúdos, mas não ganharam força.
A partir de 15 de setembro, os sites da Cloudflare bloquearão, por defeito, os rastreadores de IA em páginas que contenham publicidade (e, portanto, gerem receitas para os criadores de conteúdo).
Isto significa que até 30% dos principais sites do mundo deixarão de aparecer nos resumos do Google AI Overviews. Significa também que grande parte do material utilizado para treinar a IA será texto gerado por IA.
O que significa para si?
Então, o que significa isto quando está à procura de informações? A qualidade dos resumos de IA irá provavelmente diminuir, pelo menos a curto prazo, à medida que a nova economia da web se consolida.
Isso acontecerá por dois motivos. O primeiro é que o conteúdo de alta qualidade tem menos probabilidade de entrar nestes resumos de IA – um estudo recente descobriu que, atualmente, cerca de 1 em cada 6 fontes utilizadas pelas ferramentas de pesquisa de IA são sites gerados por IA.
A segunda razão é que, à medida que os modelos de IA são treinados com mais texto de IA, a sua saída pode degradar-se (um fenómeno conhecido como colapso do modelo).
Como resultado, os motores de busca que dependem menos da IA podem tornar-se mais fiáveis. O desafio é encontrar um que não utilize um rastreador baseado em IA. Existem: a ZDNet recomenda o Mojeek, a PCMag recomenda o Bravee o Ban the Bots lista vários, incluindo um específico para conteúdos de "pequenos produtores", como os blogues.
Por enquanto, independentemente do motor de busca que está a utilizar, o melhor a fazer é rolar a página para baixo e clicar em alguns resultados de pesquisa reais. Isto beneficia os criadores de conteúdo e também aumenta a probabilidade de obter informações mais precisas.
Dana McKay, Decana Associada de Interação, Tecnologia e Informação da Universidade RMIT;
Damiano Spina, Professor Sénior na Escola de Tecnologias da Computação da Universidade RMIT.
Este artigo foi republicado do The Conversation sob uma licença Creative Commons. Leia o artigo original.
