Depuis 30 ans, le web fonctionne selon un contrat social étonnamment profond : la plupart des sites sont accessibles gratuitement aux moteurs de recherche, mais si vous utilisez leur contenu, vous devez citer la source.
Ce contrat social a récemment commencé à se déliter. Les outils d'intelligence artificielle (IA) explorent les sites web non pas pour y créer des liens, mais pour entraîner des modèles et générer des réponses (qui peuvent être exactes ou non).
Lorsque vous effectuez une recherche, la réponse de ChatGPT ou les aperçus de l'IA de Google peuvent toujours inclure des liens vers les sources, mais il s'agit d'un complément optionnel à la réponse principale.
Cette situation a engendré une dynamique néfaste pour les propriétaires de sites web, le public et même les entreprises d'IA : face à la baisse de trafic (et de revenus), de nombreux sites web bloquent les outils d'extraction de données par IA, ce qui signifie que les résultats de l'IA dépendent davantage de sites web de faible qualité (dont beaucoup sont eux-mêmes générés par l'IA). Par conséquent, trouver des informations pertinentes est devenu plus difficile que jamais.
Comment en sommes-nous arrivés là ?
Aux débuts du web, les moteurs de recherche et les créateurs de contenu ont conclu un accord concernant l'exploration (la pratique consistant à examiner techniquement un site pour l'indexer et l'afficher dans les résultats de recherche). Les créateurs de contenu offraient un accès gratuit à leurs sites et autorisaient même les moteurs de recherche à reproduire de courts extraits de texte.
En contrepartie, les moteurs de recherche fournissaient des liens vers les sites des créateurs de contenu, qui bénéficiaient ainsi du trafic généré. Si les créateurs de contenu n'étaient pas satisfaits de cet accord, ils pouvaient empêcher les moteurs de recherche d'explorer leur site grâce à des instructions contenues dans un fichier appelé robots.txt.
Mais si les outils d'IA ne génèrent plus de trafic web, les créateurs de contenu se retrouvent exclus du circuit économique. Chaque visite sur un site web engendre également d'autres coûts ; ainsi, l'exploration par IA peut coûter de l'argent aux fournisseurs de sites sans leur rapporter les revenus publicitaires ou autres que proviendrait le trafic humain. De plus, les robots d'exploration IA explorent les sites plus en profondeur et plus intensément que les robots traditionnels, ce qui amplifie ces coûts.
Ce changement dans les habitudes de trafic n'est ni un problème mineur ni une hypothèse. Cloudflare, une entreprise d'hébergement et de services web qui gère au moins 30 % des 10 000 sites les plus visités au monde, estime que plus de la moitié du trafic web est désormais généré par des robots d'intelligence artificielle.
Certains de ces robots seront des agents d'IA supervisés directement par des humains, mais la majorité seront des robots d'exploration. Les propriétaires de sites peuvent utiliser le fichier robots.txt pour demander à ces robots de ne pas accéder à leurs sites, mais certaines entreprises spécialisées en IA pourraient ignorer cette demande polie.
Si les entreprises spécialisées en IA accèdent à cette demande, cela peut engendrer un autre problème. Les sites diffusant de la désinformation sont bien moins susceptibles d'interdire les robots d'exploration de l'IA ; par conséquent, les réponses de l'IA ne seront pas basées sur des sources fiables.
Que se passe-t-il à court terme ?
À l'horizon se profile un événement baptisé « Google Zero » : le jour où le trafic provenant de Google tombera à zéro. Si quelques irréductibles (comme l'un des auteurs de cet article) continuent de cliquer pour vérifier les réponses de l'IA, ce trafic diminue rapidement, conséquence directe des résumés fournis par l'IA.
Une étude de Wikipédia le confirme : le trafic sur la version anglaise du site a chuté rapidement dès le lancement des résumés IA sur Google en anglais, et le même phénomène s'est produit dans d'autres langues lors du déploiement de ces résumés. Ne plus avoir à cliquer pour obtenir une réponse peut sembler idéal pour les chercheurs d'informations, mais la réalité est plus complexe.
De nombreux sites bloquent désormais complètement les robots d'exploration d'IA. Les propriétaires de sites qui décident de bloquer ces robots sont moins susceptibles d'être cités dans les réponses des présentations d'IA, même lorsque l'outil d'IA peut toujours accéder au contenu pour étayer ses réponses (grâce à une technique appelée génération augmentée par la récupération).
D'autres modèles de «paiement pour indexer» ont été proposés comme moyen de rémunérer les créateurs de contenu, mais ils n'ont pas rencontré le succès escompté.
À compter du 15 septembre, les sites utilisant Cloudflare bloqueront par défaut les robots d'exploration IA sur les pages contenant de la publicité (et qui génèrent donc des revenus pour les créateurs de contenu).
Cela signifie que jusqu'à 30 % des sites les plus visités au monde n'apparaîtront plus dans les résumés de Google AI Overviews. Cela signifie également qu'une grande partie des données sur lesquelles l'IA est entraînée sera elle-même constituée de textes générés par l'IA.
Ce que cela signifie pour vous
Qu’est-ce que cela signifie concrètement pour la recherche d’informations ? La qualité des résumés générés par l’IA risque de baisser, du moins à court terme, le temps que la nouvelle économie du web se mette en place.
Cela s'expliquera par deux raisons. Premièrement, les contenus de haute qualité ont moins de chances d'être inclus dans les résumés générés par l'IA ; une étude récente a révélé qu'environ une source sur six utilisée par les outils de recherche d'IA est elle-même un site web généré par l'IA.
La deuxième raison est que, à mesure que les modèles d’IA sont entraînés sur davantage de textes d’IA, leur rendement peut se dégrader (un phénomène connu sous le nom d’effondrement du modèle).
Par conséquent, les moteurs de recherche moins dépendants de l'IA pourraient devenir plus fiables. Le défi consiste à en trouver un qui n'utilise pas de robot d'exploration basé sur l'IA. Il en existe : ZDNet recommande Mojeek, PCMag recommande Brave, et Ban the Bots en répertorie plusieurs, dont un spécifiquement conçu pour les contenus de « petits producteurs » tels que les blogs.
Pour l'instant, quel que soit le moteur de recherche que vous utilisez, le mieux est de faire défiler la page et de cliquer sur les résultats de recherche. Cela profite aux créateurs de contenu et vous permettra d'obtenir des informations plus précises.
Dana McKay, doyenne associée, Interaction, Technologie et Information, Université RMIT
Damiano Spina, maître de conférences, École des technologies informatiques, Université RMIT
Cet article est republié de The Conversation sous licence Creative Commons. Lire l' article original.
