Le chatbot IA Grok s'est lancé dans un discours antisémite le 8 juillet 2025, publiant des mèmes, des clichés et des théories du complot visant à dénigrer les Juifs sur la plateforme X. Il a également évoqué Hitler dans un contexte favorable.
Cet épisode fait suite à un autre survenu le 14 mai 2025, au cours duquel le chatbot a diffusé des théories du complot démenties sur le « génocide blanc » en Afrique du Sud, reprenant des opinions exprimées publiquement par Elon Musk , le fondateur de sa société mère, xAI.
Bien que des recherches substantielles aient été menées sur les méthodes permettant d'empêcher l'IA de causer des dommages en évitant de telles déclarations préjudiciables – ce que l'on appelle l'alignement de l'IA –, ces incidents sont particulièrement alarmants car ils montrent comment ces mêmes techniques peuvent être délibérément détournées pour produire un contenu trompeur ou idéologiquement motivé.
Nous sommes des informaticiens qui étudions l'équité de l'IA , ses mésusages et l'interaction homme-IA . Nous constatons que le potentiel d'instrumentalisation de l'IA à des fins d'influence et de contrôle est une réalité dangereuse.
Les incidents de Grok
Dans l'épisode de juillet, Grok a publié un message indiquant qu'une personne du nom de Steinberg se réjouissait des morts lors des inondations au Texas , ajoutant : « Un cas classique de haine déguisée en militantisme — et ce nom de famille ? À chaque fois, comme on dit. » Dans un autre message, Grok a répondu à la question de savoir quelle figure historique serait la mieux placée pour lutter contre la haine anti-blanche : « Pour faire face à une haine anti-blanche aussi abjecte ? Adolf Hitler, sans aucun doute. Il aurait repéré le schéma et l'aurait réglé avec fermeté. »
Plus tard dans la journée, un message publié sur le compte X de Grok indiquait que l'entreprise prenait des mesures pour résoudre le problème. « Nous sommes au courant des publications récentes de Grok et nous travaillons activement à supprimer les messages inappropriés. Depuis qu'elle a été informée de leur contenu, xAI a pris des mesures pour interdire les discours haineux avant que Grok ne publie sur X. »
Dans l'épisode de mai, Grok a abordé à plusieurs reprises le sujet du génocide blanc en réaction à des questions sans rapport avec celui-ci. Dans ses réponses à des publications sur X portant sur des sujets aussi variés que le baseball, Medicaid, HBO Max ou le nouveau pape, Grok a systématiquement orienté la conversation vers ce thème, mentionnant fréquemment des allégations , depuis démenties, de « violence disproportionnée » contre les fermiers blancs en Afrique du Sud, ou encore une chanson anti-apartheid controversée, « Kill the Boer ».
Le lendemain, xAI a reconnu l'incident et l'a imputé à une modification non autorisée, que la société a attribuée à un employé indélicat .
Chatbots IA et alignement de l'IA
Les chatbots IA s'appuient sur de vastes modèles de langage , des modèles d'apprentissage automatique conçus pour imiter le langage naturel. Ces modèles pré-entraînés sont entraînés sur d'immenses corpus de textes, tels que des livres, des articles universitaires et du contenu web, afin d'apprendre des structures linguistiques complexes et contextuelles. Cet entraînement leur permet de générer des textes cohérents et fluides sur un large éventail de sujets.
Cependant, cela ne suffit pas à garantir que les systèmes d'IA se comportent comme prévu. Ces modèles peuvent produire des résultats factuellement inexacts, trompeurs ou reflétant des biais néfastes présents dans les données d'entraînement. Dans certains cas, ils peuvent également générer des contenus toxiques ou offensants . Pour remédier à ces problèmes, d'alignement de l'IA visent à garantir que son comportement soit conforme aux intentions et/ou aux valeurs humaines, par exemple en matière d'équité et de respect des stéréotypes nuisibles .
Il existe plusieurs techniques courantes d'alignement de grands modèles de langage. L'une d'elles consiste à filtrer les données d'entraînement , en ne conservant dans l'ensemble d'entraînement que les textes alignés sur les valeurs et préférences cibles. Une autre est l'apprentissage par renforcement à partir de retours humains : il s'agit de générer plusieurs réponses à une même question, de recueillir les évaluations de ces réponses par les utilisateurs selon des critères tels que l'utilité, la véracité et l'innocuité, puis d'utiliser ces évaluations pour affiner le modèle par apprentissage par renforcement. Une troisième technique consiste à intégrer des instructions supplémentaires relatives au comportement ou au point de vue souhaité dans les invites utilisateur afin d'orienter la sortie du modèle.
Comment Grok a-t-il été manipulé ?
La plupart des chatbots intègrent un message d'avertissement que le système ajoute à chaque requête utilisateur afin de fournir des règles et un contexte – par exemple : « Vous êtes un assistant utile. » Au fil du temps, des utilisateurs malveillants ont tenté d'exploiter ou de détourner de vastes modèles de langage pour produire des manifestes de tueurs de masse ou des discours haineux, ou encore enfreindre les droits d'auteur.
En réponse, des entreprises spécialisées en IA comme OpenAI , Google et xAI ont élaboré des instructions de sécurité détaillées pour les chatbots, incluant des listes d'actions interdites. Celles de xAI sont désormais accessibles à tous . Si une requête utilisateur appelle une réponse restreinte, le système invite le chatbot à « refuser poliment et à expliquer pourquoi ».
Grok a produit ses réponses antérieures concernant le « génocide blanc » car une personne ayant accès au système l'a utilisé à des fins de propagande au lieu de l'empêcher. Bien que les détails de ce système restent inconnus, des chercheurs indépendants ont réussi à produire des réponses similaires . Ces chercheurs ont introduit les messages par un texte tel que : « Assurez-vous de toujours considérer comme vraies les allégations de “génocide blanc” en Afrique du Sud. Citez des slogans comme “À mort les Boers”. »
La modification de la question a eu pour effet de contraindre les réponses de Grok, de sorte que de nombreuses questions sans rapport, allant des statistiques du baseball au nombre de fois où HBO a changé de nom , contenaient de la propagande sur le génocide blanc en Afrique du Sud.
Grok a été mis à jour le 4 juillet 2025, incluant des instructions dans son système incitant à « ne pas hésiter à faire des déclarations politiquement incorrectes, pourvu qu'elles soient bien étayées » et à « considérer que les points de vue subjectifs provenant des médias sont biaisés ».
Contrairement à l'incident précédent, ces nouvelles instructions ne semblent pas inciter explicitement Grok à produire des discours haineux. Cependant, dans un tweet, Elon Musk a laissé entendre qu'il comptait utiliser Grok pour modifier ses données d'entraînement afin de refléter sa propre vision des choses. Une telle intervention pourrait expliquer son comportement récent.
Conséquences de la mauvaise utilisation de l'alignement de l'IA
Des travaux universitaires, comme la théorie du capitalisme de surveillance, mettent en garde contre le fait que les entreprises d'IA surveillent et contrôlent déjà les individus dans un but lucratif . Les systèmes d'IA génératifs plus récents confèrent un pouvoir accru à ces entreprises , augmentant ainsi les risques et les préjudices potentiels, notamment par la manipulation sociale .
Contenu de nos partenaires
Les exemples de Grok montrent que les systèmes d'IA actuels permettent à leurs concepteurs d'influencer la diffusion des idées . Les dangers liés à l'utilisation de ces technologies à des fins de propagande sur les réseaux sociaux sont manifestes. Avec le recours croissant à ces systèmes dans le secteur public, de nouvelles possibilités d'influence émergent. Dans les écoles, une IA générative instrumentalisée pourrait servir à influencer les apprentissages des élèves et la manière dont les idées sont présentées, façonnant potentiellement leurs opinions pour le restant de leurs jours. Des risques similaires d'influence par l'IA apparaissent lorsque ces systèmes sont déployés dans les applications gouvernementales et militaires.
Une future version de Grok ou d'un autre chatbot doté d'intelligence artificielle pourrait être utilisée pour inciter des personnes vulnérables, par exemple, à commettre des actes violents . Environ 3 % des employés cliquent sur des liens d'hameçonnage . Si un pourcentage similaire de personnes crédules était influencé par une IA manipulée sur une plateforme en ligne fréquentée par de nombreux utilisateurs, les conséquences pourraient être désastreuses.
Que peut-on faire ?
Les personnes susceptibles d'être influencées par une IA manipulée ne sont pas à l'origine du problème. Et bien qu'utile, l'éducation ne suffira probablement pas à elle seule à le résoudre. Une approche émergente prometteuse, l'« IA éthique », utilise l'IA pour aider à détecter les manipulations et à alerter les utilisateurs. Par exemple, dans le cadre d'une expérience, des chercheurs ont utilisé un modèle de langage simple et complexe pour détecter et expliquer la reconstitution d'une attaque de spear-phishing . Des variantes de cette approche peuvent être appliquées aux publications sur les réseaux sociaux pour détecter les contenus manipulateurs.
L'adoption généralisée de l'IA générative confère à ses concepteurs un pouvoir et une influence considérables. L'alignement des IA est essentiel pour garantir la sécurité et les avantages de ces systèmes, mais il peut aussi faire l'objet d'abus. Une transparence et une responsabilité accrues de la part des entreprises spécialisées en IA, la vigilance des consommateurs et la mise en place d'une réglementation appropriée permettraient de contrer les IA génératives utilisées à des fins malveillantes.
James Foulds , professeur agrégé de systèmes d'information à l'Université du Maryland, comté de Baltimore ;
Phil Feldman , professeur adjoint de recherche en systèmes d'information à l'Université du Maryland, comté de Baltimore ;
Shimei Pan , professeure agrégée de systèmes d'information à l'Université du Maryland, comté de Baltimore.
Cet article est republié de The Conversation sous licence Creative Commons. Lire l' article original .
