Wharton School Professor Ethan Mollick: Lösung des AI-Halluzinationsproblems mit dem Denkansatz des Organisationsdesigns

KI-Halluzinationen (hallucination) sind bis heute immer noch eines der frustrierendsten Probleme für große Sprachmodelle (LLM), aber ein aufschlussreicher Standpunkt von Wharton-Professor Ethan Mollick auf X lautet: Menschen haben über Jahrhunderte hinweg bereits ausgereifte Mechanismen entwickelt, mit denen man aus unzuverlässigen Quellen verlässliche Ausgaben gewinnen kann – diese Mechanismen heißen „Organisationsstrukturen“ (organizational structures), und wir können ähnliche Ansätze problemlos auf KI anwenden. Dieser Tweet erhielt 329 Likes, 35 Retweets und 44 Antworten und löste eine tiefgehende Diskussion darüber aus, wie man AI-Halluzinationen pragmatisch angeht.

Was ist die Analogie zu „Organisationsstrukturen“?

Mollicks Kernargument trifft einen häufig übersehenen Punkt: Menschen sind niemals perfekte, verlässliche Quellen für Informationen. In der Geschichte spielt es keine Rolle, ob es um Buchhaltungsdaten, medizinische Diagnosen oder juristische Urteile geht – die Ausgaben von Menschen bergen stets ein Risiko für Fehler. Zivilisationen können jedoch funktionieren, weil wir eine ganze Reihe von „Organisationsstrukturen“ entwickelt haben, um diese Risiken zu steuern.

Diese Organisationsstrukturen sind im Grunde eine präzise „Fehler-Intercepting-Maschine“: Durch Arbeitsteilung, hierarchische Prüfungen, Abgleich durch Kreuzvalidierung und verankerte, institutionalisierte Prozesse wird die Unzuverlässigkeit einzelner Akteure in Systemzuverlässigkeit auf einer höheren Ebene umgewandelt. Mollick ist der Ansicht, dass es nicht darum geht, zwanghaft ein „KI zu schaffen, das nie Fehler macht“, sondern den Perspektivwechsel zu wagen – so wie wir mit menschlichen Mitarbeitern umgehen, können wir für KI ein organisiertes System zur Qualitätssicherung aufbauen.

Konkrete Anwendung: Prüfungen, Tests und Kreuzvalidierung

In den anschließenden Diskussionen, die der Tweet ausgelöst hat, haben Mollick und andere Beteiligte außerdem mehrere konkrete Methoden erörtert, die man direkt aus dem Organisationsmanagement übernehmen kann. Erstens gibt es „Prüfmechanismen“ (reviews): Ähnlich wie Vorgesetzte in Unternehmen Genehmigungen erteilen oder Peer-Reviews einholen, sorgt ein weiteres KI-Modell oder ein menschlicher Fachexperte dafür, dass die Ausgaben von LLMs systematisch geprüft werden.

Zweitens gibt es „Testmechanismen“ (tests): vergleichbar mit Unit-Tests und Qualitätssicherungsprozessen in der Softwareentwicklung, bei denen für jede einzelne Ausgabe der KI überprüfbare Standards festgelegt werden. Drittens gibt es „Kreuzvalidierungen“ (cross-checks): Mehrere unabhängige KI-Modelle oder Informationsquellen liefern zu derselben Frage Antworten, und man vergleicht dann die Übereinstimmung der Ergebnisse – so wie sich in Organisationen verschiedene Abteilungen gegenseitig ausbalancieren.

Die gemeinsame Logik dieser Ansätze lautet: Man verlässt sich nicht auf die Perfektion eines einzelnen Knotens, sondern senkt die gesamte Fehlerrate durch Systemdesign. Das passt nahtlos zur Idee des „Swiss Cheese Model“ in der modernen Qualitätsmanagementtheorie – jede Schutzschicht hat Lücken, aber wenn man mehrere Schichten überlagert, sinkt die Wahrscheinlichkeit, dass Fehler alle Ebenen durchdringen, deutlich.

Implikationen für die KI-Einführung in Unternehmen

Dieses Denkrahmen-Setup von Mollick ist besonders hilfreich für Unternehmen, die gerade KI einführen. Viele Firmen geraten bei Problemen mit KI-Halluzinationen oft in zwei Extreme: Entweder haben sie aus Angst vor Fehlern keine Scheu, KI gar nicht zu nutzen, oder sie vertrauen den KI-Ausgaben übermäßig und vernachlässigen die Verifizierung. Das Denken in Organisationsdesign bietet einen Mittelweg: Man erkennt an, dass KI Fehler macht, aber durch institutionelles Design werden Fehler in einen akzeptablen Rahmen kontrolliert.

Konkret können Unternehmen einen „KI-Qualitätsmanagementprozess“ etablieren: KI als einen „Mitarbeiter“ im Unternehmen betrachten, ihr Prüfmechanismen geben, klare Grenzen der Verantwortungsbereiche definieren, ein System zur Erkennung von Anomalien einrichten und in Schlüsselphasen der Entscheidungsfindung eine menschliche Überprüfung beibehalten. Dieser Ansatz ist nicht nur pragmatischer, sondern entspricht auch besser der Logik des Managements, die Unternehmen bereits kennen. Für die KI-Branche erinnert uns Mollicks Sichtweise daran: Die Antwort auf das Problem von KI-Halluzinationen liegt vielleicht nicht nur auf technischer Ebene, sondern darin, die organisatorische Architektur der Mensch-KI-Zusammenarbeit neu zu denken.

Dieser Artikel Wharton-Professor Ethan Mollick: Probleme mit KI-Halluzinationen mit Denkweisen aus dem „Organisationsdesign“ lösen erschien zuerst auf Chain News ABMedia.