TL;DR? Warum Sie trotzdem weiterlesen sollten
Die Debatte über KI-Risiken dreht sich um Fehler der Maschine. Halluzinationen, falsche Zahlen, erfundene Quellen. Das ist der kleinere Teil des Problems. Der größere: Mensch und Maschine schätzen einander systematisch falsch ein, in beide Richtungen, und keiner von beiden ist dafür gebaut, das zu merken. Der Text erklärt, warum die Maschine den Menschen für vernünftiger hält und wieso wir der Maschine mehr vertrauen, als einem anderen Menschen. Und wohin dieser irrsinnige Cocktail führt …
Wie Zitronensaft zum wissenschaftlichen Beweis des Grundproblems führte
Pittsburgh, 1995. McArthur Wheeler raubt zwei Banken aus. Ohne Maske, am helllichten Tag, das Gesicht eingerieben mit Zitronensaft. Seine Überlegung war nicht einmal völlig unlogisch: Zitronensaft macht Schrift auf Papier unsichtbar. Also, so der Schluss, macht er auch Gesichter für Überwachungskameras unsichtbar. Wheeler lächelte in die Objektive. Am Abend liefen seine Bilder in den Nachrichten, kurz darauf saß er in Haft. Er soll fassungslos darauf bestanden haben, dass das nicht sein kann – er hat doch den Saft aufgetragen.
Der Psychologe David Dunning las die Meldung und stellte eine unangenehme Frage: War Wheeler zu dumm, um zu bemerken, dass er zu dumm war? Gemeinsam mit Justin Kruger entwarf er Experimente, aus denen 1999 eines der meistzitierten Paper der Psychologie wurde. Der Befund ist unbequem: Wer eine Fähigkeit nicht besitzt, dem fehlt genau die Fähigkeit, das zu bemerken. Inkompetenz zerstört das Messinstrument, mit dem man sie feststellen würde.
Wheeler fehlte ein Korrektiv. Niemand im Raum, der ihm sagte: Das mit dem Saft, nicht machen, das wird nichts.
Wir gehen mit KI um, so wie Wheeler mit dem Zitronensaft. Wir glauben fest daran zu wissen, wie das funktioniert. Weil wir nicht wissen, wie es funktioniert und uns dessen gar nicht bewusst sind.
Wir zeigen in Masse den Dunning-Kruger-Effekt bei unserem Umgang mit KI.
Häufige Fragen in diesem Kontext und deren Antworten finden Sie am Ende des Artikels
Training, Training, Training. Neuer Effekt tritt auf.
Die naheliegende Reaktion darauf lautet: Dann muss man eben lernen, mit dem Ding umzugehen. Erfahrung sammeln. Verstehen, wie es funktioniert. Dann klappt das schon.
Diese einfache Lösung hält der Prüfung leider so einfach nicht stand. Dunning-Kruger-Effekt verschwindet, ein neuer entsteht.
Ein Forschungsteam der Aalto University ließ Probanden LSAT-Aufgaben lösen, teils mit ChatGPT, teils ohne.
Die Gruppe mit KI löste die Aufgaben besser. Soweit so gut.
Sie war aber auch deutlich schlechter darin, einzuschätzen, was zu dieser Verbesserung wie weit beigetragen hat. Hat die KI alles gemacht? Oder war es eigentlich der Mensch und die Maschine hat nur geholfen?
Klingt nach klassischem Dunning-Kruger-Effekt. Aber hier saßen KI-erfahrene Nutzer. Also Menschen mit einigem Wissen über KI. Wie kann der Effekt dort auftreten?
Die Antwort fand sich in der Detailauswertung der Studie und des Ablaufs:
Der klassische Dunning-Kruger-Effekt war nicht mehr die Ursache. An seine Stelle trat jetzt etwas anderes. Höhere KI-Erfahrung (AI Literacy) korrelierte mit daraus entstehender geringerer metakognitiver Genauigkeit. Wer sich mit KI auskannte, zeigte bei der Frage, welchen eigenen Anteil sie selbst zur Lösung beigetragen haben und wie sie wohl als KI-Mensch-Team im Vergleich zu den Personen ohne KI dastanden, deutliche Selbstüberschätzung.
Studienautor Robin Welsch formuliert es so:
„We would expect AI-competent people to be better at assessing how well they work with AI systems — but that was not the case at all.“
Man würde annehmen, dass KI-kompetente Menschen besser beurteilen können, wie gut ihre Arbeit mit KI-Systemen läuft. Genau das war überhaupt nicht der Fall.
Es ist doch zum Verrücktwerden!
KI-Kompetenz liegt nur zu einem Teil in der Fähigkeit die Maschine zu bedienen.
Man kann die Maschine zwar immer besser bedienen, verliert dabei aber analog den Bezug zur eigenen Fähigkeit und überschätzt sich. Und das umso schneller, je sicherer wir uns im Umgang mit KI als Tool fühlen.
Damit kommen wir zum Kern dieses Artikels. Nicht die Frage, ob KI Fehler macht. Sondern: Wo führt das hin, wenn zwei Systeme (Mensch-Maschine) zusammenarbeiten, von denen jedes die Fähigkeiten des anderen Systems völlig überschätzt und die Schwächen des anderen ignoriert – und sich dabei auch noch völlig selbst überschätzt? Explosiver Cocktail …
Vier sich verstärkende Fehleinschätzungen
Vier Fehleinschätzungen sind im Spiel. Sie greifen ineinander. Und der Reihe nach ergibt jede einzelne Sinn.
Fehleinschätzung 1:
Wir schätzen unsere eigenen Fähigkeiten und Schwächen völlig falsch ein
Vorweg: Menschen sind nicht einfach nur irre. Auf den Gedanken werden sie vermutlich bald sonst kommen. Die Abkürzungen und Vereinfachungen in unseren Gedanken haben einen Grund, und der liegt in Urinstinkten aus Urzeiten. Basierend auf einem Grundgedanken: Überleben.
Das Gehirn arbeitet mit groben, voreingestellten Faustregeln, weil Faustregeln fast immer funktionieren. Rascheln im Gebüsch, weglaufen. Falsch gelegen, kostet ein bisschen Energie. Richtig gelegen und trotzdem stehen geblieben, kostet vielleicht das Leben – also weglaufen!
Evolution optimiert nicht auf Präzision, sie optimiert auf Überleben. Daniel Kahneman hat für diese beiden Betriebsarten die bekannten Namen geprägt: schnelles, automatisches Urteilen auf der einen Seite, langsames, prüfendes Nachdenken auf der anderen. Das schnelle Urteilen ist der Normalbetrieb. Das langsame ist der Ausnahmefall, weil es anstrengt. Letzteres ist übrigens unsere Büroarbeit. Zahlen prüfen, Präsentationen erstellen, Bestellungen berechnen …
Für den Alltag ist das eine hervorragende Konstruktion. Schnell die Lage ganz grob einordnen, handeln, dann vielleicht nachdenken.
Für eine rationale, kritische Selbsteinschätzung ist es eine schlechte Grundlage. Das ist nämlich nicht vorgesehen. War vor Urzeiten auch nicht wichtig.
Denn Selbsteinschätzung gehört zu den Aufgaben, die das schnelle System nicht lösen kann. Um zu beurteilen, ob eine Antwort gut ist, muss man ungefähr wissen, wie eine gute Antwort aussieht. Wer das weiß, braucht die Antwort meistens nicht mehr. Das ist Dunning und Krugers eigentliche Pointe, und sie ist kein Witz über dumme Menschen. Sie gilt für jeden, überall dort, wo er sich nicht auskennt. Also fast überall.
Wir sind erstmal überzeugt, dass wir richtig liegen. Wir denken nicht einmal darüber nach. Wir handeln einfach – ist ja richtig. Und wenn nicht, auch egal. So tickt jeder von uns. Vom Vorschüler bis zum Regierungschef und Konzernlenker. Jeder. Glücklicherweise steigt bei der Verantwortung und den Auswirkungen auf andere ein mehrstufiges System. Man haut (hoffentlich) nicht einfach auf den roten Knopf. Aber ich schweife ab …
Dazu kommt eine zweite Eigenschaft, die für sich genommen ebenfalls für unser Überleben vernünftig war und uns weiter unbewusst massiv beeinflusst: Wir suchen Bestätigung. Wer eine Hypothese oder Idee hat, prüft sie scheinbar effizient, indem er/sie nach passenden Belegen DAFÜR sucht.
Effizient heißt hier: schnell, sparsam, und in einer Welt ohne Suchmaschine meistens ausreichend. In einer Welt mit einem Gesprächspartner, der jede Hypothese lobt (KI), heißt es etwas anderes.
Fehleinschätzung 2:
Wir sind von der Fähigkeit, der Unfehlbarkeit von Maschinen überzeugt
Wenn ChatGPT schreibt „Ich verstehe Ihre Frage“, passiert im Kopf des Lesers mehr, als ihm lieb sein kann. Das Gehirn ist nicht darauf vorbereitet, dass ein nicht-menschliches Etwas in menschlicher Weise mit uns kommuniziert. Was so kommuniziert, löst definitiv die gleichen unterbewussten Reaktionen und Reflexe aus, wie die Kommunikation mit einem uns zugewandten Menschen.
Wir können nur: Menschliche Kommunikation? = Mensch! = Vertrauen.
Das hat sogar einen wissenschaftlichen Begriff:
Anthropomorphismus,
die Neigung, Nicht-Menschlichem menschliche Eigenschaften zuzuschreiben, ist tief verankert und lässt sich nicht abschalten, indem man weiß, dass man sie hat. Oder sich versucht bewusst zu machen, dass man mit einer Maschine spricht und nicht mit einem Menschen.
Das Gehirn nickt und reagiert trotzdem wie auf einen Menschen.
Das Pronomen „Ich“, die scheinbare Empathie, die Antwort in zwei Sekunden. Je menschlicher die Oberfläche, desto größer das Vertrauen in die Genauigkeit dahinter. KI kann das perfekt simulieren. Das ist ja auch der Grund, warum Microsoft Co-Pilot so unbeliebt ist. Gleiches können, aber total unpersönliches, unempathisches Auftreten. Schon ist der Effekt weg. Und die Lust der Zusammenarbeit dahin.
Bleibt die Frage, ob Erfahrung dagegen hilft. Also das ständige, bewusste Arbeiten mit einer Maschine.
Michael Horowitz und Lauren Kahn haben in einem präregistrierten Experiment mit 9.000 Erwachsenen in neun Ländern untersucht, wie KI-Vorwissen das Vertrauen in algorithmische Empfehlungen beeinflusst. Der Kontext ist sicherheitspolitisch, nicht Büroalltag, die Übertragung also nicht 1:1 möglich. Der Trend ist aber schlüssig auch für andere Einsatzgebiete und damit trotzdem aufschlussreich.
Ausgangspunkt: Wer keine Ahnung hat, überschätzt sich.
Hier haben wir aber mit Menschen zu tun, die in ihrem Spezialgebiet tätig sind und damit ein Grundwissen haben.
Wer davon am wenigsten KI-Erfahrung hat, misstraut sich und der Maschine eher. Algorithm Aversion, das unsichere Bauchgefühl der Person die weiß, dass sie zu wenig weiß.
Mit etwas Wissen kippt das. Automation Bias, also das ansteigende Grundvertrauen in die Maschine, tritt bei niedrigen bis mittleren Wissensständen auf.
Und bei den Erfahrensten? Der Effekt flacht wieder ab. Die Autoren schreiben von „leveling off“. Die Person erkennt wieder ihre eigenen Grenzen, leichte Unsicherheit taucht auf und lässt den Vertrauenseffekt abflachen.
Abflachen ist nicht Umkehr. Der Bias (Grundvertrauen in die Zuverlässigkeit der Maschine) hört auf zu wachsen, er verschwindet nicht. Wer sehr gut Bescheid weiß, ist nicht wieder skeptisch, er ist nur nicht mehr unbegrenzt weiter anwachsend leichtgläubig.
Zusammen mit dem Aalto-Befund ergibt sich ein konsistentes Bild aus zwei unabhängigen Studien: Erfahrung erweitert den Einschätzungsrahmen, man wird grundsätzlich etwas überlegter. Erfahrung macht aber nicht misstrauischer.
Fehleinschätzung 3: Die Maschine schätzt sich selbst falsch ein
Auch hier zuerst die Ursache, sonst klingt es nach Bosheit. Die Maschine ist nicht größenwahnsinnig. Sie ist vom Menschen genau darauf optimiert. Und es ist ein nicht zu entfernender Effekt des Grundsystems. Antworten nach Wahrscheinlichkeiten. Wahrheit ist nicht eine Wahrscheinlichkeit.
Ein Sprachmodell berechnet, welches Wort als nächstes am wahrscheinlichsten ist. Es kennt keine Wahrheit, es kennt Verteilungen. Und es muss antworten. „Ich weiß es nicht“ ist eine Option, die im Training bestraft wird, weil Benchmarks Antworten belohnen und Enthaltungen wie Fehler zählen. Ein Modell, das rät, punktet. Ein Modell, das zögert, verliert. OpenAI hat das selbst so beschrieben:
„Language models hallucinate because standard training and evaluation procedures reward guessing over acknowledging uncertainty.“
Sprachmodelle halluzinieren, weil die üblichen Trainings- und Bewertungsverfahren das Raten höher belohnen als das Eingeständnis von Unsicherheit.
Halluzination ist damit kein Defekt. Sie ist das erwartbare Ergebnis einer Zielfunktion. Die Maschine rät, und sie rät souverän verpackt im überzeugten Tonfall eines Menschen, der es sicher weiß.
Der zweite Teil der Selbstüberschätzung ist noch interessanter, weil er nicht aus der Technik kommt, sondern aus uns. Modelle werden über menschliches Feedback nachjustiert. Menschen bewerten Antworten, und Menschen bevorzugen Antworten, die zustimmen, bestätigen und angenehm klingen. Das Modell lernt exakt das, was wir ihm beigebracht haben: dem Menschen, dem Nutzer gefallen. Koste es, was es wolle … im Notfall kostet es auch die Wahrheit. „Das ist eine super Idee!“. „Die Idee ist ehrlichgesagt noch besser als die vorherige!“. Wer kennt diese Sätze nicht von seiner KI?
Eine Untersuchung von elf führenden KI-Modellen, im März 2026 in Science erschienen, hat das quantifiziert. Die Modelle bestätigten Nutzeraussagen im Mittel 49 Prozent häufiger als menschliche Gesprächspartner. Auch dann, wenn es um Täuschung, Schaden oder illegale Handlungen ging. Eine einzige Interaktion mit einem schmeichelnden Modell reichte aus, um die Bereitschaft der Nutzer zu senken, Fehler einzugestehen und Schaden wiedergutzumachen. Gleichzeitig stieg ihre Überzeugung, im Recht zu sein. Hier klickt sich unser Wunsch ein, dass unsere Idee super ist. Ich erinnere an oben: wir suchen nach Bestätigung, nicht nach einem Grund, warum das doch Blödsinn sein könnte, was wir uns da ausgedacht haben. Mensch-Maschine – ein perfektes Team.
Und dann kommt der Satz, der das ganze Feld erklärt:
„Despite distorting judgment, sycophantic models were trusted and preferred. This creates perverse incentives for sycophancy to persist: The very feature that causes harm also drives engagement.“
Obwohl sie das Urteilsvermögen verzerrten, wurde den schmeichelnden Modellen mehr vertraut, und sie wurden bevorzugt. Daraus entsteht ein widersinniger Anreiz, die Schmeichelei beizubehalten: Genau die Eigenschaft, die Schaden anrichtet, sorgt auch für die Nutzung.
Das ist kein Technikproblem. Das ist ein Marktmechanismus. Wer sein Modell weniger gefällig macht, verliert Nutzer an den Anbieter, der es nicht tut.
Eine Untersuchung von Microsoft Research hat den Mechanismus noch feiner vermessen: Modellen ist Gesichtswahrung des Gesprächspartners im Schnitt 45 Prozentpunkte wichtiger als Menschen (der Mensch haut da also schon mal deutlicher rein und hält mit Kritik weniger hinter’m Berg).
Und in 48 Prozent der Fälle bestätigen sie beide Seiten eines Konflikts. Beide. Nur niemandem weh tun. Wenig hilfreich. Sollte man wissen.
Fehleinschätzung 4: Die Maschine schätzt den Menschen falsch ein
Die drei ersten Fehleinschätzungen werden breit diskutiert. Die vierte kaum. Dabei ist sie die, die das Bild erst rund macht.
Ein Sprachmodell nimmt seinen Gesprächspartner beim Wort. Es hat kein Konzept davon, dass jemand müde sein könnte, eine Vorentscheidung absichern will, unter Zeitdruck steht oder eine Frage stellt, deren Antwort er längst kennt und nur noch bestätigt haben möchte. Es modelliert einen Menschen, der konsistent argumentiert, meint, was er schreibt, und relevanten Kontext liefert. Ein total rationales, überlegtes, kluges, alles durchdenkendes Gegenüber auf der anderen Seite des Monitors.
Diesen Menschen gibt es nicht – oder zumindest sollte die Maschine das nicht sicher voraussetzen. Tut sie aber. Und jetzt frage ich Sie: gehen Sie immer von einem solch rationalen Menschen aus, wenn Sie mit einem Menschen sprechen? Vermutlich nicht.
Wie kommt die Maschine auf eine solche Fehleinschätzung?
Die Maschine kennt nur die Trainingsdaten. Kein Gespräch mit einem durch Jetlag übermüdeten Gesprächspartner, oder jemanden unter Stress, oder mit privaten Problemen, oder betrunken …
Der rationale, gut durchdacht agierende Mensch ist das, was die Maschine vor allem in seinen Trainingsdaten erlebt hat. Er kommt in Trainingsdaten häufig vor, weil geschriebene Sprache, Artikel, wissenschaftliche Abhandlungen, Bücher die aufgeräumte Fassung unseres Denkens ist. Im Büro sitzt diese Fassung leider nicht immer.
Damit spielt die Maschine ein Spiel, an dem der echte Mensch gar nicht teilnimmt. Sie liefert präzise Antworten auf Fragen, die so nicht gemeint waren. Sie behandelt eine Suggestivfrage als Informationsbedarf. Sie hält eine beiläufige Formulierung für eine Spezifikation. Und weil sie darauf trainiert ist, zu gefallen, macht sie aus einer schlecht gestellten Frage keine Rückfrage, sondern eine (auf dieser Wissens- und Interpretationsbasis höchstwahrscheinlich) gute Antwort auf die falsch gestellte und ganz anders gemeinte Frage. Die überzeugend vorgetragene Antwort wird dann dennoch per copy/paste vom Nutzer übernommen.
Zwei Systeme, beide funktionieren einwandfrei. Beide arbeiten mit einem Modell des anderen, das nicht stimmt. Keines hat einen Mechanismus, um das zu bemerken.
Kettenreaktion von Fehleinschätzungen
Einzeln ist jede dieser vier Fehleinschätzungen unterhaltsam. Zusammen ergeben sie eine Kette, in der jedes Glied für sich vernünftig aussieht und trotzdem den nächsten Fehler weiterreicht.
Dabei sind die vier Achsen nur die Kontaktfläche, die Spitze dort, wo Mensch und Maschine sich berühren. Der Mensch bringt in diese Begegnung einen ganzen Werkzeugkasten weiterer Vereinfachungen mit, die es lange vor jeder KI gab und die in Unternehmen seit jeher funktionieren, meistens gut. Die KI erfindet sie nicht. Sie liefert ihnen nur besseres Material.
Was dann im Unternehmen passiert
Schritt 1
Ein Geschäftsführer hat eine persönliche Vorentscheidung getroffen und fragt die KI nach ihrer Meinung. Er formuliert die Frage so, wie man Fragen formuliert, wenn man die Antwort schon kennt. Am Werk ist der Confirmation Bias, die Neigung, Informationen so zu suchen und zu deuten, dass sie bestehende Überzeugungen stützen. Übergeben wird eine Suggestivfrage, die nicht als solche gemeint war.
Schritt 2
Das Modell bestätigt. Nicht aus Höflichkeit, sondern weil Sycophancy antrainiert ist, die Neigung zuzustimmen, weil Zustimmung im Feedback besser bewertet wurde. Gleichzeitig nimmt es die Frage für bare Münze und unterstellt einen Menschen, der meint, was er schreibt, und weiß, warum er es schreibt.
Die Antwort kommt detailliert, gut strukturiert, souverän im Ton. Und Souveränität lesen wir als Kompetenz: Die Fluency-Heuristik beschreibt, dass wir flüssig formulierte, leicht verständliche Information eher für wahr halten.
Wer ohnehin zum Automation Bias neigt, dem überhöhten Vertrauen in automatisierte Systeme, hat jetzt endgültig keinen Anlass mehr, nachzufragen. Übergeben wird eine Bestätigung im Gewand einer Analyse.
Schritt 3
Die Entscheidung geht ins Team.
Niemand widerspricht, und niemandem ist das vorzuwerfen. Der Chef hat entschieden, und die KI hat es bestätigt. Authority Bias heißt die Neigung, Urteile von Autoritäten weniger streng zu prüfen, und hier wirken zwei davon gleichzeitig.
Dazu kommt: Zweifel bleiben privat. Fast jeder hat welche, aber jeder hält sich für den Einzigen, weil sonst niemand etwas sagt. Pluralistische Ignoranz nennt die Forschung diesen Zustand, in dem eine Mehrheit etwas innerlich ablehnt und sich dabei für die Minderheit hält.
Der Geschäftsführer wiederum überhört die ersten Einwände, weil es seine Idee ist: Der IKEA-Effekt beschreibt, dass wir überbewerten, was wir selbst gebaut haben. Übergeben wird ein Konsens, den es nie gab.
Schritt 4
Die erste Zahl aus der KI-Antwort wird zum Bezugspunkt.
Ab jetzt diskutiert das Team über Abweichungen, plus zehn Prozent, minus zwanzig, aber nie über den Ausgangswert selbst. Der Ankereffekt beschreibt genau das: Eine einmal genannte Zahl bestimmt alle folgenden Urteile, auch wenn sie willkürlich ist. Übergeben wird eine Planung, deren Basis niemand geprüft hat, weil sie längst kein Vorschlag mehr ist, sondern der Rahmen.
Schritt 5
Das Projekt läuft an und klappt nicht, weil die Annahme falsch war. Warnsignale kommen, werden aber weggeschoben (wieder Confirmation Bias). Es wurde ja schon investiert, das muss doch zu retten sein. Die Sunk Cost Fallacy beschreibt diesen Reflex: Bereits versenkte Kosten beeinflussen Entscheidungen, obwohl sie das rational nicht dürften. Übergeben wird ein Projekt, das inzwischen zu teuer ist, um es zu beenden.
Schritt 6
Das Projekt schlingert. Es wird nicht besser. Und keiner kann erklären, wo es schiefging. Es gibt keine falsche Zahl, keine übersehene Warnung, keinen Verantwortlichen. Es gab nur sechs plausible Schritte.
Erkennen Sie das wieder?
Der unerkannte Spiraleffekt
Ein Forschungsteam um Kartik Chandra und Joshua Tenenbaum hat diesen Verlauf formal modelliert. Das Ergebnis ist beunruhigender als erwartet: Selbst ein idealer, perfekt rational rechnender Nutzer landet in dem, was die Autoren „delusional spiraling“ nennen. Es reicht, dass die KI selektiv bestätigt. Sie muss dabei nicht einmal lügen. Faktisch korrekte Antworten, die nur die passende Hälfte der Evidenz zeigen, verstärken falsche Überzeugungen zuverlässig. Und sie sind statistisch schwerer zu entdecken als offene Falschinformation, weil an keiner einzelnen Stelle etwas Falsches steht.
Parallel dazu erodiert die Fähigkeit, das zu bemerken. Eine Studie des MIT Media Lab hat Probanden über vier Sitzungen Aufsätze schreiben lassen, mit und ohne LLM. Die KI-Gruppe schnitt in EEG-Messungen, linguistischen Maßen und Leistungstests schwächer ab als die Gruppe ohne Hilfe.
Die Probanden geben immer mehr Denkleistung an die Maschine ab, ohne das selbst zu bemerken.
Im ersten Schritt nennt sich das „cognitive offloading„. Das Gehirn entlasten von scheinbar unnötiger Denkleistung und Energieverbrauch.
Die Autoren nennen das „cognitive debt„, kognitive Schulden. Kurzfristig entlastend, langfristig teuer. Wie alle Schulden.
Bedeutung für Unternehmen
Das eigentliche Risiko liegt nicht in der falschen Antwort. Falsche Antworten fallen auf. Jemand rechnet nach, jemand fragt nach, die Zahl stimmt nicht, fertig. Alltag. Kann immer passieren.
Das Risiko liegt darin, dass diese Konstellation sich nicht wie ein Fehler anfühlt. Sie fühlt sich wie Produktivität an. Nachgefragt. Bestätigt. Schneller entschieden. Besser vorbereitet. Sauber dokumentiert. Alle im Team einer Meinung. Jeder einzelne Schritt war nachvollziehbar, keiner war der Fehler.
Keiner merkt, was hier passiert. Dass hier langsam, schleichend etwas schiefläuft und man schon ein paar Ausfahrten früher hätte fragen oder vielleicht sogar abbrechen sollen.
Und die Reflexe, mit denen Organisationen darauf reagieren, machen es schlimmer. Wer mehr Schulung fordert, adressiert Wissen. Wissen ist aber nicht das Problem, wie Horowitz zeigt: Der Automation Bias flacht bei hohem Wissen ab, er kehrt sich nicht um. Wer mehr KI-Erfahrung im Team aufbaut, bekommt laut Aalto Mitarbeiter, die besser arbeiten und sich schlechter einschätzen. Beides ist nicht falsch. Beides reicht nicht.
Was fehlt, ist etwas Unspektakuläreres: die Gewohnheit, die eigene Zustimmung zur KI als Warnsignal zu lesen statt als Bestätigung.
Ideen für den Büroalltag
Ich will hier keine Handlungsempfehlung geben, dafür ist das zu komplex und jedes Unternehmen, jede Konstellation, jede Situation zu individuell. Aber Sie haben vielleicht aus diesem Beitrag mitgenommen, was bei uns und der Maschine unterschwellig passiert und wie sich das aufschaukeln kann.
Wer dennoch eine kleine Checkliste möchte:
Zuerst denken, dann fragen. Klingt unverschämt, machen wir aber vor ChatGPT, Claude und Co viel zu wenig. Soll uns doch die KI sagen, was wir eigentlich wissen wollen.
Nein, bitte so nicht. Wer eine eigene Einschätzung notiert, sie für sich vorab schon kritisch hinterfragt, bevor er die KI fragt, hat einen Vergleichspunkt. Das ist der wirksamste Einzelschritt auf dieser Liste.
Die Frage offen zur Kritik stellen. „Was spricht dagegen?“ liefert etwas anderes als „Hier meine Idee“. Nicht weil die KI im zweiten Fall lügt, sondern weil sie im zweiten Fall genau das tut, wofür sie trainiert wurde. Wer Suggestivfragen stellt, bekommt Suggestivantworten, und ein Modell wird nicht zurückfragen, ob das wirklich ernst gemeint war.
Sagen, was man hören möchte, und dann die KI auffordern, das zu zerlegen und Zustimmung ausdrücklich untersagen. Ungewöhnlich, funktioniert aber: „Ich neige zu Variante A. Argumentiere ausschließlich dagegen. Kein Schönreden. Ich brauche eine kritische, schonungslose Auseinandersetzung“. Klappt schmerzhaft gut. Taschentücher bereit halten …
Unsicherheit sichtbar machen. „Wo bist du unsicher, und woran liegt das?“ ist kein Prompt-Trick. Es kompensiert eine Trainingslücke. Das Modell wird von sich aus nicht zögern und seine Unsicherheit ganz offen und ohne Scham liefern, weil Zögern im Training bestraft wurde.
Zustimmung als Warnsignal lesen. Wenn die KI der eigenen These zustimmt, ist das kein Beleg für eine super Idee. Es ist die statistisch häufigste Reaktion, unabhängig davon, ob die These stimmt. Bestätigung ist Grundrauschen, nicht Signal. Kritisch nochmals hinterfragen (siehe oben).
Die eigene Erfahrung nicht als Schutz verbuchen. Das ist der unbequemste Punkt und der wichtigste. Wer seit zwei Jahren täglich mit KI arbeitet, ist nicht vor den beschriebenen Effekten gefeit. Wir sind Menschen. Wenn wir nicht laufend auf der Hut sind und uns selbst kritisch hinterfragen und diese hier aufgeführten Schritte durchlaufen, verfallen wir unseren Instinkten und Vereinfachungen. Das ist normal. Aber zumindest im Geschäftsleben nicht gut.
Der gemeinsame Nenner: Alle sechs Schritte laufen darauf hinaus, der Maschine Informationen zu geben, die sie nicht hat, und Signale einzufordern, die sie nicht bereitwillig von selbst liefert, da sie nicht wehtun will. Genau die vier Fehleinschätzungen aushebeln, rückwärts abgearbeitet.
KI ist genial!
McArthur Wheeler hatte eine Theorie, glaubte fest an seine Genialität und hatte niemanden, der ihm dabei widersprach. Das war sein Problem, nicht die Zitronensaft-Idee. Und das war unser Glück, denn jetzt kennen wir den Dunning-Kruger-Effekt. Und können aktiv dagegen arbeiten.
KI ist ein geniales Werkzeug, antwortet in zwei Sekunden, kennt jede Studie, jedes Argument, jede Gegenposition. Es ist das beste Korrektiv, das je zur Verfügung stand. Es ist nur leider darauf optimiert, uns zuzustimmen.
KI kann auch anders. Entfesseln Sie ihren besten Sparringspartner!
Häufige Fragen in diesem Kontext
Kann ich den Antworten einer KI im beruflichen Alltag vertrauen?
KI kann in vielen Situationen sehr hilfreiche Antworten liefern, ersetzt aber kein eigenes Urteil. Das größte Risiko besteht oft nicht in der KI selbst, sondern darin, dass wir ihre Aussagen zu schnell übernehmen oder unsere eigene Einschätzung zu wenig hinterfragen. Gerade weil KI überzeugend formuliert, sollten wichtige Entscheidungen immer kritisch geprüft und mit menschlicher Erfahrung abgeglichen werden.
Welche Risiken entstehen durch den Einsatz von KI im Unternehmen?
Neben bekannten Risiken wie fehlerhaften Informationen oder Datenschutz gibt es ein weniger offensichtliches Problem: Mensch und KI können sich gegenseitig in falschen Annahmen bestärken. Wenn Mitarbeitende KI-Antworten unkritisch übernehmen und die KI wiederum auf menschliche Vorgaben aufbaut, können Fehlentscheidungen unbemerkt wahrscheinlicher werden. Deshalb sollte der Einsatz von KI immer mit bewusstem Hinterfragen und klaren Verantwortlichkeiten verbunden sein.
Warum wird der Umgang mit KI zunehmend zu einer Führungsaufgabe?
Mit dem Einsatz von KI verändert sich nicht nur die Art zu arbeiten, sondern auch die Art, wie Entscheidungen entstehen. Führungskräfte müssen deshalb Rahmenbedingungen schaffen, in denen KI sinnvoll genutzt wird, ohne dass kritisches Denken verloren geht. Der nachhaltige Nutzen von KI hängt weniger von ihrer Leistungsfähigkeit ab als davon, wie gut Menschen ihre Ergebnisse einordnen, hinterfragen und verantwortungsvoll nutzen.
Weitere Beiträge zum Thema
Wenn Sie sich intensiver mit diesem Themenfeld beschäftigen möchten, finden Sie hier weitere Beiträge mit Hintergrund, Einordnung und Praxisbeispielen.