Imaginemos un sistema de inteligencia artificial que ha funcionado de forma fiable durante meses. Sus recomendaciones son casi siempre acertadas, y el empleado que las revisa ha aprendido que un análisis minucioso rara vez altera el resultado. De repente, ocurre algo inusual. La IA comete un error o no puede continuar y necesita la intervención humana. Se espera que el empleado intervenga y siga siendo responsable del resultado.
Pero, ¿sabe el empleado cómo realizar la tarea?
Soy profesor de sistemas de información gerencial y director académico del Centro de IA Aplicada y Analítica Empresarial de la Universidad de Drexel. En mi investigación sobre las relaciones entre humanos e IA, denomino a esto riesgo latente: la posibilidad de que las personas pierdan capacidades que sus organizaciones aún necesitan que ejerzan.
La IA puede seguir funcionando bien mientras que quienes la supervisan pierden práctica a la hora de ejercer un juicio independiente y se vuelven menos capaces de intervenir. El riesgo se vuelve latente cuando la organización aún depende de esa capacidad humana para intervenir, pero tiene pocos motivos para percatarse de que dicha capacidad puede estar debilitándose.
Esta preocupación no es del todo nueva. La idea del riesgo latente se basa en décadas de investigación sobre cómo responden las personas a la automatización. Por ejemplo, estudios sobre el sesgo de la automatización han demostrado que las personas pueden pasar por alto problemas o seguir recomendaciones automatizadas incluso cuando otras evidencias sugieren que no deberían hacerlo.
Lo que es diferente hoy en día es el papel que la IA está empezando a desempeñar en las organizaciones. Está comenzando a asumir una mayor parte del análisis y la toma de decisiones que antes realizaban las personas.
La paradoja del éxito
Cuanto más avanza la IA, más cambia la naturaleza del trabajo humano. Tareas que antes requerían que un empleado analizara un problema y tomara una decisión ahora pueden ser realizadas por la IA, dejando al empleado la tarea de revisar su recomendación. El empleado ya no realiza el mismo trabajo con la ayuda de la IA; más bien, su función ha pasado de ejecutar el trabajo a supervisar lo que hace la IA.
Este cambio ya está empezando a transformar la forma en que algunas empresas capacitan a sus empleados. La firma de contabilidad Deloitte, por ejemplo, está rediseñando su programa de formación de auditores recién graduados , a medida que la IA se hace cargo de parte del trabajo manual que tradicionalmente realizaban los auditores junior. La firma está introduciendo simulaciones para que los aprendices puedan seguir desarrollando el criterio que necesitarán al asumir tareas más complejas.
Hace más de cuatro décadas, la psicóloga cognitiva Lisanne Bainbridge describió una de las «ironías de la automatización»: a medida que los sistemas asumen más trabajo, en lugar de simplemente aligerar su carga laboral, las personas pueden enfrentarse a nuevos desafíos al supervisar los sistemas y gestionar las situaciones inusuales que estos no pueden resolver. Estudios posteriores descubrieron otro problema: a medida que las personas se involucran menos en una tarea, pueden estar menos preparadas para intervenir cuando sea necesario. Los investigadores han denominado a esto el fuera del bucle .
Esta menor implicación puede afectar a algo más que la disposición de una persona a intervenir. Puede modificar las capacidades de las que dispone la organización.
El trabajo que les queda a las personas no necesariamente se vuelve más fácil. Puede volverse más difícil. En estas situaciones, la experiencia y el juicio independiente son cruciales. El resultado es una paradoja: es posible que se les pida a las personas que ejerzan su juicio independiente con menos frecuencia, incluso cuando las decisiones que les corresponden se vuelven más difíciles.
El problema de la rendición de cuentas
La rendición de cuentas puede no cambiar tan rápidamente como lo hace el trabajo cuando las organizaciones implementan sistemas de IA. Un empleado ahora puede supervisar muchas más decisiones de las que toma personalmente, sin dejar de ser responsable de los resultados. Las expectativas de la organización aún pueden reflejar cómo se dividía el trabajo antes de que la IA asumiera un papel más importante. Por lo tanto, la organización puede terminar responsabilizando a las personas por decisiones sobre las que tienen menos control.
Esto genera una discrepancia. Las investigaciones sobre el control humano efectivo sugieren que la responsabilidad debe corresponder a la autoridad y la capacidad de acción de una persona. Un empleado puede conservar la autoridad para anular una recomendación de IA y seguir siendo responsable del resultado, pero perder la capacidad para hacerlo. Autoridad, responsabilidad y capacidad pueden empezar a disociarse.
El riesgo latente se convierte en un problema de diseño organizacional, y no simplemente en un problema de desempeño humano.
El problema de la medición
Las organizaciones suelen evaluar los procesos basados en IA según indicadores como la precisión y la productividad. Estas cifras pueden parecer positivas, incluso cuando el rol humano está cambiando. Supongamos que, con el tiempo, los empleados ignoran con menos frecuencia las recomendaciones de la IA. ¿Es eso un indicio de creciente dependencia? Quizás.
Pero también podría significar que la IA se ha vuelto más precisa y que hay menos motivos para intervenir. El número de anulaciones por sí solo no revela mucho sobre si los empleados siguen dispuestos a ejercer su propio criterio.
La clave está en comprender cómo está cambiando la división del trabajo entre personas e IA. ¿Qué decisiones se han transferido de las personas a la IA? ¿Qué responsabilidades siguen recayendo en las personas? Analizar el desempeño del empleado o de la IA por separado puede hacer que no se comprendan los cambios que se están produciendo entre ellos.
El problema de la gobernanza
La gobernanza organizacional —la definición de roles y responsabilidades— también está bajo presión debido a la IA.
Es posible que una persona siga estando formalmente involucrada en un sistema de IA, incluso cuando su rol real cambie. Definir los roles humanos y de IA al introducir un sistema es solo un punto de partida. A medida que la IA mejora y las personas se acostumbran a usarla, es probable que esos roles cambien con el tiempo. No hay nada intrínsecamente malo en ese cambio.
El problema surge cuando la relación cambia, pero las suposiciones en las que se basa permanecen. Es importante que las organizaciones se pregunten periódicamente: ¿Qué relación diseñamos entre las personas y la IA, y qué relación tenemos realmente hoy en día?
En resumen, la gobernanza organizacional debe ser dinámica.
Mantener el respaldo humano
No es necesario preservar todas las capacidades humanas. Si la IA puede realizar una tarea con eficacia, hay pocas razones para exigir que las personas sigan haciendo el mismo trabajo. Las organizaciones deben decidir qué capacidades esperan que las personas conserven cuando se requiera su criterio. Si es posible que se les pida que utilicen una capacidad, esta debe mantenerse.
Supervisar la IA no es lo mismo que ejercer un juicio independiente. Si las personas rara vez toman decisiones por sí mismas, la organización no puede dar por sentado que estarán preparadas cuando sea necesario. Una forma de comprobarlo es pedir ocasionalmente a los empleados que tomen una decisión sin antes ver la recomendación de la IA. La organización necesita tener la certeza de que el respaldo humano en el que se basa funcionará correctamente cuando se requiera.
A medida que la IA asume más tareas, algunas capacidades humanas se utilizarán inevitablemente con menos frecuencia. Algunas dejarán de ser relevantes. Otras seguirán siendo esenciales cuando la IA alcance sus límites. El reto reside en discernir la diferencia y tomar esa decisión de forma deliberada.
Para mí, la pregunta central es la siguiente: ¿De qué capacidades humanas sigue dependiendo una organización y estarán disponibles cuando se las necesite?
Murugan Anandarajan, profesor de Ciencias de la Decisión y Sistemas de Información Gerencial, Universidad de Drexel.
Este artículo se republica de The Conversation bajo una licencia Creative Commons. Lea el artículo original.
