Imagine um sistema de inteligência artificial que tem funcionado de forma fiável durante meses. As suas recomendações são quase sempre corretas, e o colaborador que as analisa aprendeu que uma análise minuciosa raramente altera o resultado. Então, algo de invulgar acontece. A IA comete um erro ou não consegue prosseguir e necessita de intervenção humana. Espera-se que o colaborador intervenha e continue responsável pelo resultado.
Mas será que o colaborador sabe como realizar a tarefa?
Sou professor de sistemas de informação de gestão e diretor académico do Centro de IA Aplicada e Análise de Negócios da Universidade Drexel. Na minha investigação sobre as relações entre humanos e IA, chamo-lhe risco latente: a possibilidade de as pessoas perderem capacidades que as suas organizações ainda dependem que exerçam.
A IA pode continuar a ter um bom desempenho enquanto as pessoas que a supervisionam se tornam menos experientes no exercício do julgamento independente e menos preparadas para intervir. O risco torna-se latente quando a organização ainda depende dessa capacidade humana para intervir, mas tem poucas razões para perceber que essa capacidade pode estar a enfraquecer.
A preocupação não é totalmente nova. A ideia de risco latente baseia-se em décadas de investigação sobre a forma como as pessoas reagem à automação. Por exemplo, estudos sobre o viés de automação mostraram que as pessoas podem ignorar problemas ou seguir recomendações automatizadas mesmo quando outras evidências sugerem que não o devem fazer.
O que é diferente hoje em dia é o papel que a IA está a começar a desempenhar nas organizações. Ela está a começar a assumir partes maiores da análise e da tomada de decisões que eram anteriormente realizadas por pessoas.
O paradoxo do sucesso
Quanto melhor se torna a IA, mais a natureza do trabalho humano se transforma. As tarefas que antes exigiam que um colaborador analisasse um problema e tomasse uma decisão podem agora ser realizadas por IA, cabendo ao colaborador rever a recomendação. O colaborador já não realiza o mesmo trabalho com a ajuda da IA – em vez disso, a sua função passou de executar o trabalho para supervisionar o que a IA faz.
Esta mudança já começa a alterar a forma como algumas empresas formam os seus colaboradores. A gigante da contabilidade Deloitte, por exemplo, está a reformular o seu programa de formação para auditores recém-formados , à medida que a IA assume parte do trabalho manual tradicionalmente realizado pelos auditores juniores. A empresa está a introduzir simulações para que os trainees ainda possam desenvolver o discernimento necessário para assumirem funções mais complexas.
Há mais de quatro décadas, a psicóloga cognitiva Lisanne Bainbridge descreveu uma das “ironias da automação”: à medida que os sistemas assumem mais tarefas, em vez de simplesmente terem as suas cargas de trabalho aliviadas, as pessoas podem ver-se confrontadas com novos desafios na monitorização dos sistemas e na gestão de situações incomuns com as quais os sistemas não conseguem lidar. Estudos posteriores encontraram outro problema: à medida que as pessoas se envolvem menos numa tarefa, podem estar menos preparadas para intervir quando necessário. Os investigadores chamaram-lhe um fora do circuito .
Esta menor participação pode afetar mais do que a disponibilidade de uma pessoa para intervir. Pode alterar as capacidades disponíveis para a organização.
O trabalho que resta às pessoas não se torna necessariamente mais fácil. Pode até tornar-se mais difícil. É nestas situações que a experiência e o julgamento independente mais importam. O resultado é um paradoxo: as pessoas podem ser chamadas a exercer um juízo independente com menos frequência, mesmo que os juízos que lhes são confiados se tornem mais difíceis.
O problema da responsabilização
A responsabilidade pode não mudar tão rapidamente como o trabalho quando as organizações implementam sistemas de IA. Um colaborador pode agora supervisionar muito mais decisões do que aquelas que toma pessoalmente, embora continue a ser responsável pelos resultados. As expectativas da organização podem ainda refletir a forma como o trabalho era dividido antes da IA assumir um papel mais importante. Consequentemente, a organização pode acabar por responsabilizar as pessoas por decisões sobre as quais têm menos controlo.
Isto cria uma incompatibilidade. A investigação sobre o controlo humano significativo sugere que a responsabilidade deve ser proporcional à autoridade e à capacidade de ação de uma pessoa. Um colaborador pode manter a autoridade para ignorar uma recomendação de IA e continuar responsável pelo resultado, mas perder a capacidade de o fazer. A autoridade, a responsabilidade e a capacidade podem começar a separar-se.
O risco latente torna-se um problema de desenho organizacional, e não simplesmente um problema de desempenho humano.
O problema da medição
As organizações avaliam frequentemente os processos habilitados pela IA através de métricas como a precisão e a produtividade. Estes números podem parecer bons mesmo com a mudança do papel humano. Suponha que os colaboradores ignoram as recomendações da IA com menos frequência ao longo do tempo. Seria um sinal de crescente dependência? Talvez.
Mas isto também pode significar que a IA se tornou mais precisa e há menos razões para intervir. O número de decisões anuladas, por si só, diz pouco sobre se os funcionários ainda estão dispostos a exercer o seu próprio julgamento.
O fundamental é compreender como a divisão do trabalho entre as pessoas e a IA está a mudar. Que decisões migraram das pessoas para a IA? Que responsabilidades permanecem com as pessoas? Analisar o desempenho do colaborador ou da IA separada pode não revelar o que está a mudar entre eles.
O problema da governação
A governação organizacional – que define funções e responsabilidades – também está sob pressão da IA.
Uma pessoa pode permanecer formalmente envolvida com um sistema de IA mesmo que a sua função real mude. Definir os papéis humanos e da IA quando um sistema é introduzido é apenas o ponto de partida. À medida que a IA melhora e as pessoas se habituam a utilizá-la, é provável que estes papéis mudem com o tempo. Não há nada de inerentemente errado com esta mudança.
O problema surge quando a relação muda, mas as premissas que a envolvem permanecem as mesmas. É importante que as organizações se questionem periodicamente: que tipo de relação entre as pessoas e a IA planeamos e que tipo de relação temos de facto hoje?
Em suma, a governação organizacional precisa de ser dinâmica.
Manter a proteção humana
Nem todas as capacidades humanas têm de ser preservadas. Se a IA consegue executar uma tarefa de forma eficiente, há poucas razões para exigir que as pessoas continuem a realizar o mesmo trabalho. As organizações precisam de decidir quais as capacidades que ainda esperam que as pessoas possuam quando o julgamento humano é necessário. Se as pessoas ainda puderem ser solicitadas a utilizar uma determinada capacidade, esta precisa de ser mantida.
Supervisionar a IA não é o mesmo que exercer um julgamento independente. Se as pessoas raramente tomam decisões por si próprias, a organização não pode assumir que estarão preparadas quando necessário. Uma forma de testar isto é pedir ocasionalmente aos colaboradores que tomem uma decisão sem antes verem a recomendação da IA. A organização precisa de ter a certeza de que o apoio humano em que confia funcionará realmente quando necessário.
À medida que a IA assume mais tarefas, algumas capacidades humanas serão inevitavelmente menos utilizadas. Algumas podem mesmo tornar-se irrelevantes. Outras, por sua vez, podem continuar a ser essenciais mesmo quando a IA atinge os seus limites. O desafio é discernir essa diferença e fazer essa escolha de forma consciente.
Para mim, a questão central é esta: de que capacidades humanas uma organização ainda depende, e estarão disponíveis quando forem necessárias?
Murugan Anandarajan, Professor de Ciências da Decisão e Sistemas de Informação de Gestão, Universidade Drexel.
Este artigo foi republicado do The Conversation sob uma licença Creative Commons. Leia o artigo original.
