Imaginez un système d'intelligence artificielle qui fonctionne de manière fiable depuis des mois. Ses recommandations sont presque toujours justes, et l'employé chargé de les examiner a constaté qu'une analyse approfondie modifie rarement le résultat. Puis, un événement imprévu survient : l'IA commet une erreur ou se trouve dans l'incapacité de poursuivre son traitement et nécessite une intervention humaine. L'employé est alors tenu d'intervenir et demeure responsable du résultat.
Mais l'employé sait-il comment accomplir la tâche ?
Je suis professeur de systèmes d'information de gestion et directeur académique du Centre d'IA appliquée et d'analyse commerciale de l'Université Drexel. Dans mes recherches sur les relations humain-IA, je nomme ce phénomène « risque latent » : la possibilité que des individus perdent des compétences dont leurs organisations ont encore besoin.
L'IA peut continuer à être performante même si les personnes qui la supervisent perdent en autonomie de jugement et sont moins préparées à intervenir. Le risque devient latent lorsque l'organisation dépend encore de cette capacité humaine d'intervention, mais n'a guère de raisons de s'apercevoir que cette capacité s'affaiblit.
Cette préoccupation n'est pas entièrement nouvelle. La notion de risque latent s'appuie sur des décennies de recherche sur la façon dont les individus réagissent à l'automatisation. Par exemple, des études sur les biais d'automatisation ont montré que les gens peuvent passer à côté de problèmes ou suivre des recommandations automatisées même lorsque d'autres éléments indiquent le contraire.
Ce qui a changé aujourd'hui, c'est le rôle que l'IA commence à jouer au sein des organisations. Elle prend désormais en charge une part croissante des analyses et des prises de décision auparavant effectuées par des humains.
Le paradoxe du succès
Plus l'IA progresse, plus la nature du travail humain se transforme. Les tâches qui exigeaient autrefois d'un employé qu'il analyse un problème et prenne une décision peuvent désormais être effectuées par l'IA, l'employé se contentant alors d'examiner sa recommandation. L'employé n'effectue plus le même travail avec l'aide de l'IA ; son rôle a évolué : il ne s'agit plus d'exécuter le travail, mais de superviser son fonctionnement.
Cette évolution commence déjà à modifier la formation des employés dans certaines entreprises. Le géant de l'audit Deloitte, par exemple, repense sa formation d'auditeur débutant , l'IA prenant en charge une partie des tâches manuelles traditionnellement effectuées par les auditeurs juniors. Le cabinet introduit des simulations afin que les stagiaires puissent développer le jugement nécessaire pour aborder des missions plus complexes.
Il y a plus de quarante ans, la psychologue cognitive Lisanne Bainbridge décrivait l'un des paradoxes de l'automatisation: à mesure que les systèmes prennent en charge une part croissante du travail, au lieu de simplement alléger la charge de travail des individus, ces derniers peuvent se retrouver confrontés à de nouveaux défis : la surveillance des systèmes et la gestion des situations inhabituelles que ces derniers ne peuvent pas gérer. Des études ultérieures ont mis en évidence un autre problème : moins les individus sont impliqués dans une tâche, moins ils sont préparés à intervenir en cas de besoin. Les chercheurs ont nommé ce phénomène le problème de la performance hors boucle
Cette implication réduite peut avoir des conséquences qui dépassent la simple volonté d'une personne d'intervenir. Elle peut modifier les capacités dont dispose l'organisation.
Le travail qui reste à accomplir ne devient pas nécessairement plus facile. Il peut même se complexifier. C'est dans ces situations que l'expérience et le jugement indépendant sont les plus importants. Il en résulte un paradoxe : on peut être moins souvent amené à faire preuve de jugement indépendant, alors même que les décisions qui nous incombent deviennent plus difficiles.
Le problème de la responsabilité
la responsabilisation peut évoluer moins rapidement que le travail lui-même. Un employé peut désormais superviser bien plus de décisions qu'il n'en prend lui-même, tout en restant responsable des résultats. Les attentes de l'organisation peuvent encore refléter la répartition des tâches antérieure à l'essor de l'IA. L'organisation peut donc finir par tenir les individus responsables de décisions sur lesquelles ils ont peu de contrôle.
Cela crée une inadéquation. Les recherches sur le contrôle humain effectif suggèrent que la responsabilité doit correspondre à l'autorité et à la capacité d'agir d'une personne. Un employé peut conserver l'autorité pour passer outre une recommandation d'IA et demeurer responsable du résultat, tout en perdant la capacité de le faire. Autorité, responsabilité et capacité peuvent alors se dissocier.
Le risque latent devient un problème de conception organisationnelle, et non plus un simple problème de performance humaine.
Le problème de la mesure
Les organisations évaluent généralement les processus automatisés par l'IA selon des critères tels que la précision et la productivité. Ces chiffres peuvent paraître satisfaisants même si le rôle de l'humain évolue. Imaginons que les employés remettent moins souvent en question les recommandations de l'IA au fil du temps. Est-ce le signe d'une dépendance croissante ? Peut-être.
Mais cela pourrait aussi signifier que l'IA est devenue plus précise et qu'il y a moins de raisons d'intervenir. Le nombre de dérogations à lui seul ne nous renseigne guère sur la capacité des employés à exercer leur propre jugement.
L'enjeu principal est de comprendre comment évolue la répartition des tâches entre les humains et l'IA. Quelles décisions sont désormais déléguées à l'IA ? Quelles responsabilités restent du ressort des humains ? Analyser séparément les performances de l'employé et de l'IA risque de masquer les changements qui s'opèrent entre eux.
Le problème de gouvernance
La gouvernance organisationnelle – la définition des rôles et des responsabilités – est également soumise à la pression de l'IA.
Une personne peut rester formellement impliquée dans la gestion d'un système d'IA même si son rôle réel évolue. Définir les rôles humains et ceux de l'IA lors de la mise en place d'un système n'est qu'un point de départ. À mesure que l'IA progresse et que son utilisation se généralise, ces rôles sont susceptibles d' évoluer. Ce changement n'a rien d'anormal en soi.
Le problème survient lorsque la relation évolue sans que les hypothèses qui la sous-tendent ne changent. Il est important que les organisations se posent régulièrement la question suivante : quelle relation entre les personnes et l’IA avons-nous conçue, et quelle relation entretenons-nous réellement aujourd’hui ?
En résumé, la gouvernance organisationnelle doit être dynamique.
Maintenir le filet de sécurité humain
Il n'est pas nécessaire de préserver toutes les capacités humaines. Si l'IA peut accomplir une tâche efficacement, il y a peu de raisons d'exiger que les humains continuent à effectuer le même travail. Les organisations doivent déterminer les capacités qu'elles attendent encore des humains lorsque le jugement humain est requis. Si l'utilisation d'une capacité peut encore être nécessaire, il convient de la maintenir.
Superviser l'IA ne revient pas à exercer un jugement indépendant. Si les individus prennent rarement eux-mêmes les décisions, l'organisation ne peut pas présumer qu'ils seront prêts en cas de besoin. Une façon de le vérifier consiste à demander occasionnellement aux employés de prendre une décision sans consulter au préalable la recommandation de l'IA. L'organisation doit s'assurer que le recours à l'assistance humaine sera effectivement efficace lorsque nécessaire.
À mesure que l'IA prend en charge davantage de tâches, certaines compétences humaines seront inévitablement moins sollicitées. Certaines deviendront obsolètes. D'autres, en revanche, pourraient demeurer essentielles lorsque l'IA atteindra ses limites. Le défi consiste à faire la distinction et à exercer ce choix en toute connaissance de cause.
Pour moi, la question centrale est la suivante : de quelles compétences humaines une organisation dépend-elle encore, et seront-elles disponibles en cas de besoin ?
Murugan Anandarajan, professeur de sciences de la décision et de systèmes d'information de gestion à l'université Drexel
Cet article est republié de The Conversation sous licence Creative Commons. Lire l' article original.
