Immaginate un sistema di intelligenza artificiale che ha funzionato in modo affidabile per mesi. I suoi suggerimenti sono quasi sempre corretti e il dipendente che li esamina ha imparato che un'analisi approfondita raramente cambia il risultato. Poi accade qualcosa di insolito. L'IA commette un errore o non può procedere e necessita dell'intervento umano. Ci si aspetta che il dipendente intervenga e che rimanga responsabile del risultato.
Ma il dipendente sa come svolgere il compito?
Sono professore di sistemi informativi gestionali e direttore accademico del Center for Applied AI & Business Analytics della Drexel University. Nella mia ricerca sulle relazioni uomo-IA, definisco questo fenomeno rischio latente: la possibilità che le persone perdano competenze su cui le loro organizzazioni fanno ancora affidamento.
L'intelligenza artificiale può continuare a funzionare bene anche se le persone che la supervisionano diventano meno esperte nell'esercitare un giudizio indipendente e meno preparate a intervenire. Il rischio diventa latente quando l'organizzazione continua a dipendere da quella capacità umana di intervenire, ma ha pochi motivi per accorgersi che tale capacità potrebbe indebolirsi.
La preoccupazione non è del tutto nuova. L'idea di rischio latente si basa su decenni di ricerca su come le persone reagiscono all'automazione. Ad esempio, studi sul bias dell'automazione hanno dimostrato che le persone possono non notare problemi o seguire raccomandazioni automatiche anche quando altre evidenze suggeriscono il contrario.
La differenza, oggi, sta nel ruolo che l'intelligenza artificiale sta iniziando a svolgere nelle organizzazioni. Sta assumendo un ruolo sempre più importante nell'analisi e nel processo decisionale, attività che prima erano di competenza umana.
Il paradosso del successo
Quanto più l'intelligenza artificiale si perfeziona, tanto più cambia la natura del lavoro umano. Un lavoro che un tempo richiedeva a un dipendente di analizzare un problema e prendere una decisione potrebbe ora essere svolto dall'IA, lasciando al dipendente il compito di valutarne le raccomandazioni. Il dipendente non svolge più lo stesso lavoro con l'aiuto dell'IA, ma il suo ruolo si è trasformato: non si limita più a svolgere il lavoro in prima persona, ma supervisiona l'operato dell'IA.
Questo cambiamento sta già iniziando a modificare le modalità di formazione dei dipendenti in alcune aziende. Il colosso della revisione contabile Deloitte, ad esempio, sta riprogettando il programma di formazione per i neolaureati in revisione contabile , poiché l'intelligenza artificiale si sta facendo carico di parte del lavoro manuale tradizionalmente svolto dai revisori junior. L'azienda sta introducendo delle simulazioni in modo che i tirocinanti possano comunque sviluppare la capacità di giudizio necessaria per affrontare incarichi più complessi.
Oltre quarant'anni fa, la psicologa cognitiva Lisanne Bainbridge descrisse una delle "ironia dell'automazione": man mano che i sistemi si fanno carico di una parte sempre maggiore del lavoro, anziché semplicemente alleggerire il carico di lavoro delle persone, queste si trovano ad affrontare nuove sfide nel monitorare i sistemi e gestire le situazioni insolite che i sistemi non sono in grado di gestire. Studi successivi hanno evidenziato un altro problema: con il diminuire del coinvolgimento delle persone in un compito, diminuisce anche la loro preparazione a intervenire quando necessario. I ricercatori hanno definito questo fenomeno " fuori dal ciclo" .
Questo ridotto coinvolgimento può influire non solo sulla disponibilità di una persona a intervenire, ma può anche modificare le capacità a disposizione dell'organizzazione.
Il lavoro che resta da svolgere non necessariamente diventa più facile. Anzi, potrebbe diventare più difficile. Sono proprio queste le situazioni in cui l'esperienza e il giudizio indipendente contano di più. Il risultato è un paradosso: le persone potrebbero essere chiamate a esercitare il proprio giudizio indipendente con minore frequenza, anche se i giudizi che spettano loro diventano più complessi.
Il problema della responsabilità
la responsabilità potrebbe non cambiare con la stessa rapidità con cui si evolve il lavoro. Un dipendente potrebbe trovarsi a supervisionare un numero di decisioni di gran lunga superiore a quello che prende direttamente, pur rimanendo responsabile dei risultati. Le aspettative dell'organizzazione potrebbero ancora riflettere la suddivisione del lavoro precedente all'introduzione dell'IA. Di conseguenza, l'organizzazione potrebbe finire per ritenere le persone responsabili di decisioni su cui hanno meno controllo.
Questo crea una discrepanza. La ricerca sul controllo umano efficace suggerisce che la responsabilità dovrebbe essere commisurata all'autorità e alla capacità di agire di una persona. Un dipendente può conservare l'autorità di ignorare una raccomandazione dell'IA e rimanere responsabile del risultato, pur perdendo la capacità di farlo. Autorità, responsabilità e capacità possono quindi iniziare a separarsi.
Il rischio latente diventa un problema di progettazione organizzativa, non semplicemente un problema di prestazioni umane.
Il problema della misurazione
Le organizzazioni in genere valutano i processi basati sull'intelligenza artificiale in base a parametri come accuratezza e produttività. Questi numeri possono sembrare positivi anche se il ruolo umano sta cambiando. Supponiamo che col tempo i dipendenti ignorino meno frequentemente i suggerimenti dell'IA. È questo un segno di crescente dipendenza? Forse.
Ma potrebbe anche significare che l'IA è diventata più precisa e che ci sono meno motivi per intervenire. Il solo numero di modifiche non dice molto sulla disponibilità dei dipendenti a esercitare il proprio giudizio.
La chiave sta nel comprendere come sta cambiando la divisione del lavoro tra persone e intelligenza artificiale. Quali decisioni sono passate dalle persone all'IA? Quali responsabilità rimangono in capo alle persone? Analizzare separatamente le prestazioni del dipendente e dell'IA potrebbe non cogliere i cambiamenti in atto tra i due.
Il problema della governance
Anche la governance organizzativa, ovvero la definizione di ruoli e responsabilità, è sotto pressione a causa dell'intelligenza artificiale.
Una persona può rimanere formalmente coinvolta in un sistema di intelligenza artificiale anche se il suo ruolo effettivo cambia. Definire i ruoli umani e dell'IA al momento dell'introduzione di un sistema è solo un punto di partenza. Man mano che l'IA migliora e le persone si abituano al suo utilizzo, è probabile che questi ruoli cambino nel tempo. Non c'è nulla di intrinsecamente sbagliato in questo cambiamento.
Il problema sorge quando la relazione cambia, ma le ipotesi su cui si basa rimangono invariate. È importante che le organizzazioni si chiedano periodicamente: quale relazione tra persone e IA abbiamo progettato e quale relazione abbiamo effettivamente oggi?
In sintesi, la governance organizzativa deve essere dinamica.
Mantenere il supporto umano
Non tutte le capacità umane devono essere preservate. Se l'intelligenza artificiale è in grado di svolgere un compito in modo efficace, ci sono pochi motivi per richiedere alle persone di continuare a fare lo stesso lavoro. Le organizzazioni devono decidere quali capacità si aspettano ancora dalle persone quando è richiesto il giudizio umano. Se le persone potrebbero ancora essere chiamate a utilizzare una determinata capacità, questa deve essere mantenuta.
Supervisionare l'IA non è la stessa cosa che esercitare un giudizio indipendente. Se le persone raramente prendono decisioni in autonomia, l'organizzazione non può dare per scontato che saranno pronte quando necessario. Un modo per verificarlo è chiedere occasionalmente ai dipendenti di prendere una decisione senza prima visualizzare il suggerimento dell'IA. L'organizzazione deve essere certa che il supporto umano su cui fa affidamento funzionerà effettivamente quando necessario.
Con l'aumentare del carico di lavoro dell'IA, alcune capacità umane saranno inevitabilmente utilizzate con minore frequenza. Alcune potrebbero non essere più rilevanti. Altre potrebbero invece rivelarsi essenziali anche quando l'IA raggiungerà i suoi limiti. La sfida consiste nel saper distinguere tra queste e nel compiere una scelta consapevole.
Per me, la questione centrale è questa: su quali capacità umane fa ancora affidamento un'organizzazione e queste saranno disponibili quando saranno necessarie?
Murugan Anandarajan, professore di Scienze delle decisioni e Sistemi informativi gestionali, Drexel University.
Questo articolo è stato ripubblicato da The Conversation con licenza Creative Commons. Leggi l' articolo originale.
