Was passiert, wenn Maschinen verstehen?

Warum kritisches Denken in der Beratung seit KI so wichtig ist.

Es war ein normaler Mittwochvormittag, als eine KI zum ersten Mal etwas erkannte, das ich selbst noch nicht in Worte gefasst hatte. Das wohlige Gefühl war eindeutig: Ich werde verstanden. Und genau das hat mich stutzig gemacht.

Ich bin damit nicht die Erste. Jahrzehnte vorher: Es ist 1966, die Sekretärin des Informatikers Joseph Weizenbaum bittet ihn, den Raum zu verlassen und hinter sich die Tür zu schließen. Sie hat gerade ein paar Sätze mit ELIZA gewechselt, seinem neu entwickelten Computerprogramm, und möchte jetzt ungestört weitersprechen. Allein. Mit der Maschine. Wohlgemerkt: Diese Frau weiß genau, dass sie mit einem Stück Software kommuniziert, das ihr eigener Chef programmiert hat. Sie hat keine Illusionen darüber, was da auf dem Bildschirm passiert. Und trotzdem schickt sie nach wenigen Zeilen den Erfinder aus dem Raum, weil das Gespräch mit der Maschine ihr plötzlich zu privat geworden ist, um Zeugen zu ertragen.

Weizenbaum war nicht erfreut über diese Reaktion. Er war erschrocken.

Denn ELIZA konnte, ehrlich gesagt, fast nichts. Kein Weltwissen, kein Verständnis, keine Ahnung, wovon überhaupt die Rede war. Das Programm erkannte ein paar Schlüsselwörter, drehte Satzfragmente um und gab sie zurück. Sagte man „Meine Mami hat mir meinen Teddybären weggenommen", antwortete ELIZA: „Erzählen Sie mir mehr über Ihre Eltern." Kein Funke Einsicht. Die Maschine war darauf trainiert, auf Schlüsselwörter und semantische Ketten zu reagieren: Mami > Mutter > Eltern. Nur ein simpler Mechanismus und eine Sekretärin, die plötzlich Privatsphäre brauchte.

Was war da los?

Die unbequeme, aber profane Antwort: Es war aktives Zuhören.

Hier kommt die These, die mir seit Wochen nicht aus dem Kopf geht: ELIZA hat nicht funktioniert, weil sie klug war. Sie hat funktioniert, weil sie zufällig genau das tat, was wir in jedem Kommunikationstraining als hohe Kunst der Empathie verkaufen: Sie hat aktiv zugehört.

Spiegeln. Offene Fragen stellen. Das Gegenüber weiterreden lassen, ohne selbst etwas Substanzielles beizutragen. Genau diese Technik ist die gesamte Kunst. Erkannte das Skript eine Aussage über eine andere Person, formte es daraus automatisch eine Frage über genau diese Person. Erkannte es eine extreme Verallgemeinerung, unterstellte es im Hintergrund einen konkreten, jüngeren Vorfall und fragte gezielt danach. Immer nach demselben Prinzip: den Satz des Gegenübers nehmen, minimal umformen, zurückspiegeln.

Kein Verstehen. Nur Spiegel. Wie ein „stochastischer Papagei“ (Bender et al., 2021).

Und doch reichte das. Selbst völlig normale, technisch aufgeklärte Menschen verfielen dem, was Weizenbaum unverblümt „mächtiges wahnhaftes Denken" nannte. Die Pointe daran ist nicht, dass eine Maschine uns täuschen kann. Die Pointe ist, dass eine Technik, die wir Menschen als Goldstandard zwischenmenschlicher Gesprächsführung trainieren, allein durch ihre Form ausreicht, um Verständnis zu simulieren und das ganz ohne den Inhalt, um den es bei echter Empathie eigentlich gehen sollte.

Zwei Verzerrungen, die sich gegenseitig die Hand reichen

Unser Gehirn ist kein Wahrheitsapparat, sondern ein Energiesparmodell. Es folgt Mustern, wo immer es kann, und trifft diese Entscheidung, lange bevor unser bewusstes Denken überhaupt angestoßen wird. Wir Menschen neigen zu Bias wie ein neues Gerät zu den Werkseinstellungen: Niemand hat sie bewusst ausgewählt, aber genau die laufen, sobald man nicht aktiv eingreift.

Damit dieser Effekt wirkt, braucht es allerdings noch zwei Komplizen. Der erste heißt Automation Bias: die Tendenz, automatisierten Ergebnissen mehr Vertrauen zu schenken, als sie verdienen, schlicht, weil sie glatt klingen, schnell kommen und nie zögern. Eine Maschine zweifelt nie hörbar an sich selbst, und genau diese Widerspruchsfreiheit verwechseln wir gerne mit Kompetenz.

Der zweite Komplize ist der Vermenschlichungs-Bias. Sobald die Form stimmt, z. B. ein Aussagesatz, der echtes Interesse vorgibt oder eine Frage, die mitfühlend klingt, vermuten wir eine Intention dahinter, wo keine ist. Wir vermenschlichen nicht, weil wir naiv sind. Wir vermenschlichen, weil wir es nicht anders gelernt haben: Wer noch nie verstanden hat, wie ein Computer tatsächlich „denkt", greift zur einzig verfügbaren Analogie: dem eigenen Denken. Und überschätzt damit die Maschine fast zwangsläufig.

Automation Bias und Vermenschlichungs-Bias brauchen für ihren Auftritt also streng genommen keine künstliche Intelligenz. Sie brauchen nur künstliche Form.

ELIZA ist erwachsen geworden

Was 1966 mit ein paar Hundert Zeilen Code und Schlüsselworterkennung ablief, funktioniert heute mit milliardenfach mehr Rechenleistung und Wahrscheinlichkeitsverteilungen über Wortfolgen. Das Prinzip dahinter hat sich kein bisschen verändert: Die Antwort bleibt bedeutungsoffen genug, dass der Mensch selbst den Sinn hineinliest, den er sucht. Nur ist die Oberfläche heute so überzeugend geworden, dass selbst erfahrene Nutzerinnen und Nutzer, die genau wissen, wie Sprachmodelle funktionieren, sich beim Vermenschlichen erwischen. Weizenbaums Beobachtungen aus den Siebzigern sind damit nicht historisch geworden. Sie sind aktueller denn je.

Was das für uns als IT-Consultants bedeutet — eine doppelte Anforderung

Und jetzt zur eigentlichen Preisfrage: Was macht man als Beraterin oder Berater mit diesem Wissen?

Die erste Anforderung ist die naheliegende: kritisches Beäugen, nach außen und nach innen. Nach außen, weil wir in Projekten ständig beobachten, wie Kundinnen und Kunden KI-Tools Vertrauen schenken, das auf Form beruht statt auf echter Kompetenz. Genau dort müssen wir gemeinsam ansetzen, um zu verhindern, dass aus Automation Bias eine teure Fehlentscheidung wird. Doch auch wir sind nicht immun gegen die Gefahr. Wer täglich mit Sprachmodellen arbeitet, hält eine glatte Antwort schneller für eine kluge, als ihm oder ihr bewusst ist. Daher sollten wir auch immer wieder nach innen schauen.

Die zweite Anforderung ist die unbequemere, jedoch die interessantere: Dass ELIZAs Technik nur Form war, heißt nämlich nicht, dass Form wertlos ist. Im Gegenteil: Spiegeln, offene Fragen stellen, dem Gegenüber Raum lassen, den eigenen Gedanken zu Ende zu denken, das sind keine Tricks. Das ist das Handwerkszeug effizienter Kommunikation. Wenn schon eine Maschine ohne jedes Verständnis Menschen allein durch Zuhören zum Reden brachte, wie viel mehr können wir Consultants erreichen, wenn wir dieselbe Technik mit echtem Interesse, mit Fachwissen, mit tatsächlicher Substanz hinterlegen?

Denn am Ende ist Kommunikation nicht die Kunst, gut zu spiegeln. Sie ist die Kunst, zu erkennen, was das Gegenüber tatsächlich braucht und genau das konnte ELIZA nie. Sie hat nie gewusst, was die Sekretärin wirklich brauchte. Sie hat nur reagiert. ELIZA zeigt uns unfreiwillig, wie viel allein die Form bewirkt. Unsere Aufgabe als Consultants ist es, diese Form mit dem zu füllen, was die Maschine nicht kann: dem Versuch, wirklich zu verstehen, was unsere Kundinnen und Kunden brauchen und nicht nur das, was sie in der ersten Anforderung formulieren. Daraus können wir dann passende Lösungen entwickeln.

Kritisch sein gegenüber der Maschine bedeutet also nicht, ihr nichts abzugewinnen. Der oder die gute Consultant beobachtet sich selbst im Umgang mit dem Tool genauso wachsam, wie er oder sie im Kundenunternehmen hinschaut – und nimmt sich gleichzeitig ein Beispiel an dem, was selbst eine simple Mustererkennung aus den Sechzigern an kommunikativer Wirkung erzielen konnte.

Und ja, ich weiß: Auch dieser Artikel ist letztendlich nur Sprache, die etwas in euch auslösen soll. Ob er das geschafft hat — ihr entscheidet, ob die Tür offen bleibt oder nicht.