想象一下，一个人工智能系统已经稳定运行数月。它的建议几乎总是正确的，负责审核的员工也已经了解到，即使仔细审查，结果也几乎不会改变。然而，突然发生了一件意想不到的事情：人工智能系统出错或无法继续运行，需要人工干预。这时，员工必须介入，并承担最终的责任。.
但该员工是否知道如何完成这项任务？
我是 管理信息系统教授 ，也是 学术主任 。在我的人类与人工智能关系研究中，我把这种现象称为潜在风险：即人们可能会失去其组织仍然依赖他们发挥的能力。
即使人工智能系统运行良好，负责监管它的人员独立判断能力下降，干预准备不足，风险依然存在。当组织仍然依赖人类的干预能力，却几乎没有理由注意到这种能力可能正在减弱时，风险就会悄然滋生。.
这种担忧并非全新。潜在风险的概念建立在数十年来对人们如何应对自动化技术的研究之上。例如， 对自动化偏见的研究 表明，人们可能会忽略问题，或者即使其他证据表明不应该这样做，他们也可能采纳自动化的建议。
如今的不同之处在于人工智能在组织中扮演的角色日益重要。它开始 承担更多 以前由人类完成的分析和决策工作。
成功悖论
人工智能越先进，人类工作的性质就越会发生改变。过去需要员工分析问题并做出决策的工作，现在可能由人工智能完成，员工只需审核其建议即可。员工不再是直接在人工智能的辅助下完成同样的工作，而是将工作重心从执行任务转移到监督人工智能的运行。.
这种转变已经开始改变一些公司的员工培训方式。例如，会计巨头德勤正在 重新设计其毕业生审计培训课程， 因为人工智能正在接管一些传统上由初级审计师完成的手工工作。该公司正在引入模拟环节，以便受训人员在进入更复杂的工作领域后，仍然能够培养所需的判断力。
四十多年前，认知心理学家莉桑妮·贝恩布里奇（Lisanne Bainbridge）描述了自动化带来的“悖论”之一：随着系统承担越来越多的工作，人们的工作量非但没有减轻，反而可能面临新的挑战，例如监控系统运行以及处理系统无法应对的异常情况。后来的研究又发现了另一个问题：随着人们参与任务的程度降低，他们在需要时也更难挺身而出。研究人员将此称为“脱离 回路 绩效问题”。
这种参与度的降低可能不仅仅影响个人的干预意愿，还会改变组织可利用的能力。.
人们剩下的工作未必会变得更容易，反而可能更难。在这种情况下，经验和独立判断就显得尤为重要。这就产生了一个悖论：人们需要运用独立判断的次数可能会减少，但留给他们的判断却变得越来越困难。.
问责问题
问责机制 可能不会像 工作本身那样迅速发生变化。员工现在可能需要监督比自己做出的决策多得多的决策，同时仍然要对结果负责。组织的期望可能仍然反映在人工智能发挥更大作用之前的工作分工方式。因此，组织最终可能会让员工为他们控制力较弱的决策承担责任。
这就造成了一种不匹配。关于 有效人为控制的 表明，责任应该与个人的权限和行动能力相匹配。员工可能仍然拥有否决人工智能建议的权限，并继续对结果负责，但却失去了这样做的能力。权限、责任和能力开始分离。
潜在风险会变成组织设计问题，而不仅仅是人的表现问题。.
测量问题
企业通常会用准确率和生产力等指标来衡量人工智能赋能的流程。即使人的角色正在发生变化，这些数字看起来也可能不错。假设随着时间的推移，员工越来越少地否决人工智能的建议，这是否意味着他们对人工智能的依赖性日益增强？或许如此。
但这也可能意味着人工智能变得更加精准，干预的理由也随之减少。 单凭否决次数 并不能说明员工是否仍然愿意运用自己的判断力。
关键在于理解 工作分工 正在发生怎样的变化。哪些决策已经从人转移到人工智能？哪些职责仍然由人承担？单独考察员工或人工智能的表现可能会忽略二者之间正在发生的变化。
治理问题
组织治理——即角色和职责的界定——也面临着人工智能的压力。.
即使实际角色发生变化，某些人仍可能在形式上与人工智能系统保持联系。在系统引入之初定义人和人工智能的角色仅仅是一个起点。随着人工智能的进步和人们逐渐习惯使用它，这些角色很可能会 随着时间的推移而改变。这种改变本身并没有什么错。
当人际关系发生变化，但围绕这种关系的假设却没有改变时，问题就出现了。因此，组织需要定期反思：我们当初设计的人与人工智能之间的关系是怎样的？而如今我们实际拥有的关系又是怎样的？
简而言之，组织治理需要是动态的。.
维护人墙
并非所有人类能力都需要保留。如果人工智能能够出色地完成某项任务，那么就没有太多理由要求人们继续从事同样的工作。组织需要决定在需要人类判断的情况下，哪些能力仍然需要人们具备。如果人们仍然可能需要运用某种能力，那么就需要保留它。.
监督人工智能与行使独立判断权截然不同。如果人们很少自己做决定，组织就不能想当然地认为他们在需要时能够胜任。一种检验方法是偶尔让员工在不事先看到人工智能建议的情况下做出决定。组织需要确保其所依赖的人工决策机制在必要时确实有效。.
随着人工智能承担越来越多的工作，某些人类能力的使用频率必然会降低。有些能力可能不再重要。而当人工智能达到极限时，另一些能力仍然至关重要。关键在于如何区分这些差异，并做出审慎的选择。.
对我来说，核心问题是：一个组织仍然依赖哪些人力能力，以及在需要的时候这些能力是否能够得到满足？
穆鲁根·阿南达拉詹，德雷克塞尔大学决策科学与管理信息系统教授。
经知识共享许可协议转载自The Conversation 。阅读原文。
