Stellen Sie sich ein System künstlicher Intelligenz vor, das monatelang zuverlässig funktioniert hat. Seine Empfehlungen sind fast immer richtig, und der zuständige Mitarbeiter hat festgestellt, dass eine genaue Überprüfung das Ergebnis selten ändert. Doch dann geschieht etwas Ungewöhnliches: Die KI macht einen Fehler oder kann nicht fortfahren und benötigt menschliches Eingreifen. Der Mitarbeiter muss eingreifen und trägt weiterhin die Verantwortung für das Ergebnis.
Aber weiß der Mitarbeiter, wie er die Aufgabe ausführen soll?
Ich bin Professor für Wirtschaftsinformatik und akademischer Leiter des Zentrums für Angewandte KI und Business Analytics an der Drexel University. In meiner Forschung zu Mensch-KI-Beziehungen bezeichne ich dies als latentes Risiko: die Möglichkeit, dass Menschen Fähigkeiten verlieren, auf deren Ausübung ihre Organisationen weiterhin angewiesen sind.
KI kann weiterhin gute Leistungen erbringen, während die Personen, die sie beaufsichtigen, weniger geübt darin werden, eigenständige Urteile zu fällen und weniger bereit sind, einzugreifen. Das Risiko wird latent, wenn die Organisation weiterhin auf diese menschliche Fähigkeit zum Eingreifen angewiesen ist, aber kaum Anlass hat zu bemerken, dass diese Fähigkeit nachlässt.
Die Besorgnis ist nicht ganz neu. Das Konzept des latenten Risikos basiert auf jahrzehntelanger Forschung darüber, wie Menschen auf Automatisierung reagieren. Studien zu Automatisierungsverzerrungen haben beispielsweise gezeigt, dass Menschen Probleme übersehen oder automatisierten Empfehlungen folgen können, selbst wenn andere Indizien dagegen sprechen.
Der Unterschied heute liegt in der Rolle, die KI in Organisationen zu spielen beginnt. Sie übernimmt zunehmend größere Teile der Analyse- und Entscheidungsprozesse, die zuvor von Menschen durchgeführt wurden.
Das Erfolgsparadoxon
Je leistungsfähiger die KI wird, desto mehr verändert sich die menschliche Arbeit. Aufgaben, die früher von einem Mitarbeiter die Analyse eines Problems und das Treffen einer Entscheidung erforderten, können nun von der KI übernommen werden, wobei der Mitarbeiter lediglich deren Empfehlung prüft. Der Mitarbeiter erledigt also nicht mehr dieselbe Arbeit mit KI-Unterstützung – seine Aufgabe hat sich vielmehr von der eigentlichen Arbeit hin zur Überwachung der KI-Aktivitäten verlagert.
Dieser Wandel beginnt bereits, die Mitarbeiterschulungen einiger Unternehmen zu verändern. Der Wirtschaftsprüfungsriese Deloitte beispielsweise überarbeitet sein Traineeprogramm für Wirtschaftsprüfer , da KI einen Teil der manuellen Arbeit übernimmt, die traditionell von jungen Prüfern erledigt wurde. Das Unternehmen führt Simulationen ein, damit die Trainees weiterhin das Urteilsvermögen entwickeln können, das sie für komplexere Aufgaben benötigen.
Vor über vier Jahrzehnten beschrieb die Kognitionspsychologin Lisanne Bainbridge eine der „Ironien der Automatisierung“: Anstatt die Arbeitsbelastung der Menschen einfach zu verringern, übernehmen Systeme immer mehr Aufgaben. Stattdessen stehen sie vor neuen Herausforderungen bei der Überwachung der Systeme und der Bewältigung ungewöhnlicher Situationen, die die Systeme nicht bewältigen können. Spätere Studien deckten ein weiteres Problem auf: Je weniger Menschen in eine Aufgabe eingebunden sind, desto weniger sind sie darauf vorbereitet, bei Bedarf einzugreifen. Forscher bezeichnen dies als das „ Out-of-the-Loop -Performance-Problem“.
Diese verringerte Beteiligung kann sich nicht nur auf die Interventionsbereitschaft einer Person auswirken, sondern auch auf die der Organisation zur Verfügung stehenden Fähigkeiten.
Die verbleibende Arbeit wird dadurch nicht unbedingt leichter. Sie kann sogar schwieriger werden. Gerade in solchen Situationen sind Erfahrung und selbstständiges Urteilsvermögen besonders wichtig. Daraus ergibt sich ein Paradoxon: Selbstständiges Urteilsvermögen ist möglicherweise seltener gefragt, obwohl die zu treffenden Entscheidungen immer schwieriger werden.
Das Problem der Verantwortlichkeit
Die Verantwortlichkeit ändert sich möglicherweise nicht so schnell wie die Arbeit selbst, wenn Unternehmen KI-Systeme einsetzen. Ein Mitarbeiter kann nun deutlich mehr Entscheidungen überwachen, als er selbst trifft, und bleibt dennoch für deren Ergebnisse verantwortlich. Die Erwartungen des Unternehmens spiegeln möglicherweise immer noch die Arbeitsteilung wider, die vor dem größeren Einsatz von KI bestand. Daher kann es passieren, dass Mitarbeiter für Entscheidungen verantwortlich gemacht werden, über die sie weniger Kontrolle haben.
Dies führt zu einem Ungleichgewicht. Studien zur sinnvollen menschlichen Kontrolle legen nahe, dass Verantwortung der Befugnis und Handlungsfähigkeit einer Person entsprechen sollte. Ein Mitarbeiter kann zwar die Befugnis behalten, eine KI-Empfehlung zu überschreiben und für das Ergebnis verantwortlich bleiben, verliert aber möglicherweise die Fähigkeit dazu. Befugnis, Verantwortung und Handlungsfähigkeit können sich voneinander entfernen.
Latentes Risiko wird zu einem Problem der Organisationsgestaltung und nicht bloß zu einem Problem der menschlichen Leistungsfähigkeit.
Das Messproblem
Unternehmen beurteilen KI-gestützte Prozesse typischerweise anhand von Kennzahlen wie Genauigkeit und Produktivität. Diese Zahlen mögen gut aussehen, selbst wenn sich die Rolle des Menschen verändert. Angenommen, Mitarbeiter korrigieren KI-Empfehlungen mit der Zeit seltener. Ist das ein Zeichen wachsender Abhängigkeit? Womöglich.
Es könnte aber auch bedeuten, dass die KI präziser geworden ist und weniger Grund zum Eingreifen besteht. Die Anzahl der Überschreibungen allein sagt wenig darüber aus, ob Mitarbeiter weiterhin bereit sind, ihr eigenes Urteilsvermögen einzusetzen.
Entscheidend ist, zu verstehen, wie sich die Arbeitsteilung zwischen Mensch und KI verändert. Welche Entscheidungen wurden von Menschen an KI übertragen? Welche Verantwortlichkeiten verbleiben bei den Menschen? Eine separate Betrachtung der Leistung von Mitarbeitern und KI kann die Veränderungen zwischen ihnen übersehen.
Das Regierungsproblem
Die Organisationsführung – die Definition von Rollen und Verantwortlichkeiten – steht ebenfalls unter dem Druck der KI.
Jemand kann formal weiterhin mit einem KI-System verbunden bleiben, auch wenn sich seine tatsächliche Rolle ändert. Die Definition von Mensch-KI-Rollen bei der Einführung eines Systems ist nur ein erster Schritt. Mit der Weiterentwicklung der KI und der zunehmenden Gewöhnung der Nutzer werden sich diese Rollen im Laufe der Zeit wahrscheinlich verändern. An dieser Veränderung ist grundsätzlich nichts auszusetzen.
Das Problem entsteht, wenn sich die Beziehung ändert, die zugrunde liegenden Annahmen aber nicht. Organisationen sollten sich daher regelmäßig fragen: Welche Beziehung zwischen Menschen und KI haben wir ursprünglich geplant, und welche Beziehung besteht heute tatsächlich?
Kurz gesagt, die Unternehmensführung muss dynamisch sein.
Aufrechterhaltung des menschlichen Rückhalts
Nicht alle menschlichen Fähigkeiten müssen erhalten bleiben. Wenn KI eine Aufgabe gut erledigen kann, gibt es kaum einen Grund, Menschen weiterhin dieselbe Arbeit verrichten zu lassen. Organisationen müssen entscheiden, welche Fähigkeiten sie weiterhin von Menschen erwarten, wenn menschliches Urteilsvermögen gefragt ist. Wenn Menschen möglicherweise weiterhin auf eine bestimmte Fähigkeit zurückgreifen müssen, sollte diese erhalten bleiben.
Die Steuerung von KI ist nicht gleichzusetzen mit der Ausübung eigenständiger Urteilsfähigkeit. Wenn Menschen nur selten selbst Entscheidungen treffen, kann das Unternehmen nicht davon ausgehen, dass sie im Bedarfsfall bereit sind. Eine Möglichkeit, dies zu testen, besteht darin, Mitarbeitende gelegentlich um eine Entscheidung zu bitten, ohne vorher die KI-Empfehlung einzusehen. Das Unternehmen muss sich darauf verlassen können, dass die menschliche Unterstützung, auf die es sich stützt, im Bedarfsfall auch tatsächlich funktioniert.
Da KI immer mehr Aufgaben übernimmt, werden einige menschliche Fähigkeiten zwangsläufig seltener benötigt. Manche werden an Bedeutung verlieren. Andere wiederum könnten auch dann noch unerlässlich sein, wenn die KI an ihre Grenzen stößt. Die Herausforderung besteht darin, den Unterschied zu erkennen und diese Entscheidung bewusst zu treffen.
Für mich ist die zentrale Frage: Auf welche menschlichen Fähigkeiten ist eine Organisation heute noch angewiesen, und werden diese im Bedarfsfall vorhanden sein?
Murugan Anandarajan, Professor für Entscheidungswissenschaften und Managementinformationssysteme an der Drexel University.
Dieser Artikel wurde mit freundlicher Genehmigung von The Conversation unter einer Creative-Commons-Lizenz erneut veröffentlicht. Lesen Sie den Originalartikel.
