Tenk deg et kunstig intelligens-system som har fungert pålitelig i flere måneder. Anbefalingene er nesten alltid riktige, og den ansatte som gjennomgår dem har lært at nøye gransking sjelden endrer resultatet. Så skjer det noe uvanlig. AI-en gjør en feil eller kan ikke fortsette og trenger menneskelig inngripen. Den ansatte forventes å gripe inn og forblir ansvarlig for resultatet.
Men vet den ansatte hvordan oppgaven skal utføres?
Jeg er professor i ledelsesinformasjonssystemer og akademisk leder ved Drexel Universitys senter for anvendt kunstig intelligens og forretningsanalyse. I min forskning på forholdet mellom mennesker og kunstig intelligens kaller jeg dette latent risiko: muligheten for at folk kan miste evner som organisasjonene deres fortsatt er avhengige av at de utøver.
AI kan fortsette å fungere bra mens de som fører tilsyn med den blir mindre øvde på å utøve uavhengig dømmekraft og mindre forberedt på å gripe inn. Risikoen blir latent når organisasjonen fortsatt er avhengig av den menneskelige evnen til å gripe inn, men har liten grunn til å legge merke til at denne evnen kan svekkes.
Bekymringen er ikke helt ny. Ideen om latent risiko bygger på flere tiår med forskning på hvordan folk reagerer på automatisering. For eksempel studier av automatiseringsskjevhet vist at folk kan overse problemer eller følge automatiserte anbefalinger selv når andre bevis tyder på at de ikke burde gjøre det.
Det som er annerledes i dag er rollen AI begynner å spille i organisasjoner. Den begynner å ta over større deler av analysen og beslutningstakingen som folk tidligere utførte.
Suksessparadokset
Jo bedre AI blir, desto mer endres menneskelig arbeid. Arbeid som en gang krevde at en ansatt analyserte et problem og kom til en beslutning, kan i stedet utføres av AI, slik at den ansatte må gjennomgå anbefalingen. Den ansatte gjør ikke lenger det samme arbeidet med AI-assistanse – snarere har jobben deres gått fra å gjøre arbeidet til å føre tilsyn med hva AI-en gjør.
Dette skiftet begynner allerede å endre hvordan noen selskaper opplærer ansatte. Regnskapsgiganten Deloitte, for eksempel, omdesigner sin revisjonsopplæring for nyutdannede ettersom AI tar over noe av det manuelle arbeidet som tradisjonelt gjøres av juniorrevisorer. Firmaet introduserer simuleringer slik at traineer fortsatt kan utvikle den dømmekraften de trenger når de går over i mer komplekst arbeid.
For mer enn fire tiår siden beskrev den kognitive psykologen Lisanne Bainbridge en av «ironiene ved automatisering»: Etter hvert som systemer tar over mer av arbeidet, kan folk bli stilt overfor nye utfordringer med å overvåke systemene og håndtere de uvanlige situasjonene som systemene ikke kan håndtere. Senere studier har funnet et annet problem: Etter hvert som folk blir mindre involvert i en oppgave, kan de bli mindre forberedt på å gripe inn når det er nødvendig. Forskere har kalt dette «out -of-the-loop» -ytelsesproblemet.
Denne reduserte involveringen kan påvirke mer enn en persons beredskap til å gripe inn. Den kan endre hvilke muligheter som er tilgjengelige for organisasjonen.
Det arbeidet som gjenstår for folk blir ikke nødvendigvis lettere. Det kan bli vanskeligere. Dette er situasjoner der erfaring og uavhengig vurdering betyr mest. Resultatet er et paradoks: Folk kan bli bedt om å utøve uavhengig vurdering sjeldnere, selv om vurderingene som er overlatt til dem blir vanskeligere.
Ansvarlighetsproblemet
Ansvarlighet endrer seg kanskje ikke like raskt som arbeidet gjør når organisasjoner tar i bruk AI-systemer. En ansatt kan nå ha oversikt over langt flere beslutninger enn de tar selv, samtidig som de fortsatt er ansvarlige for resultatene. Organisasjonens forventninger kan fortsatt gjenspeile hvordan arbeidet var fordelt før AI tok på seg en større rolle. Organisasjonen kan derfor ende opp med å holde folk ansvarlige for beslutninger de har mindre kontroll over.
Dette skaper en mismatch. Forskning på meningsfull menneskelig kontroll tyder på at ansvar bør samsvare med en persons autoritet og evne til å handle. En ansatt kan beholde myndigheten til å overstyre en AI-anbefaling og forbli ansvarlig for resultatet, men miste evnen til å gjøre det. Autoritet, ansvar og evne kan begynne å skilles.
Latent risiko blir et organisasjonsdesignproblem, ikke bare et problem med menneskelig ytelse.
Måleproblemet
Organisasjoner vurderer vanligvis AI-aktiverte prosesser etter målinger som nøyaktighet og produktivitet. Disse tallene kan se bra ut selv om den menneskelige rollen endrer seg. La oss si at ansatte overstyrer AI-anbefalinger sjeldnere over tid. Er det et tegn på økende avhengighet? Kanskje.
Men det kan også bety at AI-en har blitt mer nøyaktig, og det er mindre grunn til å gripe inn. Antallet overstyringer alene sier lite om hvorvidt ansatte fortsatt er klare til å utøve sin egen dømmekraft.
Nøkkelen er å forstå hvordan arbeidsfordelingen mellom mennesker og AI endrer seg. Hvilke beslutninger har migrert fra mennesker til AI? Hvilket ansvar ligger fortsatt hos mennesker? Å se på den ansattes eller AI-ens ytelse separat kan overse hva som endrer seg mellom dem.
Styringsproblemet
Organisasjonsstyring – definering av roller og ansvar – er også under press fra AI.
Noen kan forbli formelt oppdatert på et AI-system selv om deres faktiske rolle endres. Å definere menneskelige og AI-roller når et system introduseres er bare et utgangspunkt. Etter hvert som AI forbedres og folk blir vant til å bruke det, vil disse rollene sannsynligvis endre seg over tid. Det er ingenting iboende galt med den endringen.
Problemet oppstår når forholdet endres, men forutsetningene rundt det ikke gjør det. Det er viktig for organisasjoner å med jevne mellomrom spørre: Hvilket forhold mellom mennesker og AI designet vi, og hvilket forhold har vi faktisk i dag?
Kort sagt, organisasjonsstyring må være dynamisk.
Opprettholde den menneskelige sikkerhetsstoppen
Ikke alle menneskelige evner trenger å bevares. Hvis AI kan utføre en oppgave godt, er det liten grunn til å kreve at folk fortsetter å gjøre det samme arbeidet. Organisasjoner må bestemme hvilke evner de fortsatt forventer at folk skal ha når menneskelig dømmekraft er nødvendig. Hvis folk fortsatt kan bli bedt om å bruke en evne, må den opprettholdes.
Å føre tilsyn med AI er ikke det samme som å utøve uavhengig vurdering. Hvis folk sjelden tar avgjørelsen selv, kan ikke organisasjonen anta at de vil være klare når de trenger det. En måte å teste dette på er å av og til be ansatte om å ta en avgjørelse uten først å se AI-anbefalingen. Organisasjonen må vite at den menneskelige sikkerhetsmekanismen den er avhengig av faktisk vil fungere når det er nødvendig.
Etter hvert som AI tar på seg mer arbeid, vil noen menneskelige evner uunngåelig bli brukt sjeldnere. Noen spiller kanskje ikke lenger noen rolle. Andre kan fortsatt være essensielle når AI når sine grenser. Utfordringen er å vite forskjellen og ta det valget bevisst.
For meg er det sentrale spørsmålet dette: Hvilke menneskelige evner er en organisasjon fortsatt avhengig av, og vil de være der når det trengs?
Murugan Anandarajan, professor i beslutningsvitenskap og ledelsesinformasjonssystemer, Drexel University.
Denne artikkelen er publisert på nytt fra The Conversation under en Creative Commons-lisens. Les den opprinnelige artikkelen.
