KI sollte doch Kosten senken. Warum das bislang fast nirgendwo klappt. Und wie man das ändern kann.

TL;DR? Warum Sie das trotzdem lesen sollten

Viele Unternehmen zahlen gerade zwei Mal: einmal für ihre Mitarbeitenden – und einmal für KI, die deren Arbeit ergänzen soll, aber noch nicht ersetzt. Das ist kein Fehler der Technologie. Es ist ein Planungsproblem. Dieser Artikel richtet sich an alle, die KI-Investitionen rechtfertigen müssen, verantworten oder einfach endlich verstehen wollen, warum die erhofften Einsparungen ausbleiben. Am Ende steht kein Alarmismus – sondern ein konkreter Werkzeugkasten. Lesedauer: ca. 9 Minuten.

In vielen mittelständischen Unternehmen läuft gerade ein Experiment. Es wurde nicht so geplant. Aber es passiert fast überall gleich.

Seit zwei bis drei Jahren investieren Firmen in KI-Tools, in Agenten, in API-Zugänge und Sprachmodelle. Gleichzeitig läuft das Tagesgeschäft weiter. Die Mitarbeitenden sind noch da. Die Prozesse auch. Die KI ist dazugekommen – aber nichts ist weggefallen. Irgendwie war das anders geplant. Naja, geplant. Sollte sich doch irgendwie selbst erfüllen. Tat es aber bisher nicht.

Das Ergebnis: zwei Kostenblöcke statt einem.

In Tech-Kreisen hat dieses Phänomen inzwischen einen eigenen Namen bekommen: die doppelte Gehaltsstruktur.

Häufige Fragen in diesem Kontext und deren Antworten finden sie am Ende des Artikels

Der Traum war simpel – und nicht falsch

Wer erinnert sich nicht an die Versprechen von 2023 und 2024? „KI ist die größte Effizienzrevolution seit der Dampfmaschine.“ Ein KI-Agent arbeitet 24/7, ohne Urlaub, Krankentage oder Gehaltsverhandlungen.

Das stimmt alles – in der Theorie.

OpenAI-Mitgründer und -Präsident Greg Brockman hat die neue Realität früh beschrieben: Token-Budgets müssen in die Personalplanung einberechnet werden.

Und NVIDIA-Chef Jensen Huang brachte es auf den Punkt: „I could see every single engineer in our company needing an annual token budget in the future. They make a few hundred thousand dollars a year as a base salary. On top of that, I’m probably going to give them half of that in tokens so that they can 10x their performance.“ („Ich könnte mir vorstellen, dass jeder einzelne Ingenieur in unserem Unternehmen in Zukunft ein jährliches Token-Budget benötigen wird. Sie verdienen ein paar Hunderttausend Dollar im Jahr als Grundgehalt. Darüber hinaus werde ich ihnen wahrscheinlich die Hälfte davon in Token geben, damit sie ihre Leistung verzehnfachen können.“)

Das klingt nach einer Erfolgsgeschichte. Für NVIDIA mag es das sein. Für die meisten Unternehmen – und besonders für den deutschen Mittelstand – ist das noch Zukunftsmusik. Gerade jetzt, 2026, stecken viele Firmen in einer unbequemen Zwischenwelt.

Was wirklich passiert: Kosten addieren sich, Stellen bleiben

Warum ist die Kostenlinie nicht gesunken, obwohl seit zwei Jahren in KI investiert wird?

Die Antwort ist unkomfortabel einfach: Weil KI und menschliche Arbeit in den meisten Unternehmen parallel laufen – nicht statt einander.

Laut einer MIT-Studie „The GenAI Divide: State of AI in Business 2025″ liefern 95% der generativen KI-Pilotprojekte keine messbare Kapitalrendite. Trotz 30 bis 40 Milliarden Dollar globaler Investitionen bleibt die überwältigende Mehrheit der Unternehmen in der Experimentierphase stecken. Nur 5% der individuell entwickelten KI-Werkzeuge erreichen überhaupt die Produktionsreife.

Das bedeutet konkret: Viele Unternehmen tragen gerade die vollen Kosten für zwei Ressourcentypen gleichzeitig:

Personalkosten – Gehalt, Lohnnebenkosten, Büro, Weiterbildung
KI-Betriebskosten – Token, API-Gebühren, SaaS-Abos, Agenten-Infrastruktur, Beratung, Integration, Wartung

Laut dem Bitkom KI-Barometer 2026 nutzt inzwischen jedes vierte deutsche KMU KI in irgendeiner Form – 2024 waren es noch 19%. Das klingt nach Fortschritt. Das Problem: 41% dieser KMU messen den ROI ihrer KI-Projekte gar nicht. Man gibt Geld aus, hofft auf Effizienz – und wundert sich am Jahresende über die Abrechnung.

Der 300-Dollar-Tag: Wenn ein Agent teurer wird als eine Mitarbeiterin

Der Tech-Investor Jason Calacanis hat in einer viel beachteten Folge des All-In Podcasts eine Zahl in die Welt gesetzt, die seitdem durch viele Unternehmensberatungen hallt: 300 Dollar pro Tag – das waren seine Kosten für einen einzelnen KI-Agenten auf Basis der Claude API in einer seiner Organisationen.

Hochgerechnet: 100.000 Dollar pro Jahr. Für einen Agenten, der laut Calacanis nur 10 bis 20% der Arbeit eines menschlichen Mitarbeitenden übernimmt.

Acht solcher Agenten, um die Tagesleistung einer einzigen Person zu matchen? 1.200 Dollar täglich – mehr als das Doppelte eines durchschnittlichen Mitarbeitergehalts.

KI-Experte Chamath Palihapitiya, Mitgastgeber im All-In Podcast, bringt es auf die Formel: KI-Agenten müssen mindestens doppelt so produktiv sein wie menschliche Mitarbeiter, damit sie sich rechnen. Ansonsten geht dem Unternehmen schlicht das Geld aus.

Aber – 300 Dollar pro Tag, ist das nicht ein Extremfall? Shahram Anver, Data Scientist bei Cleric, warnt vor einem Missverständnis: „Das passiert, wenn man einem Universal-Modell eine breite Aufgabe gibt und es einfach laufen lässt. Das ist, als würde man einen Auftragnehmer ohne klar definierten Scope engagieren und sich später über die Rechnung wundern.“

Mit anderen Worten: Die 300 Dollar entstehen nicht durch die Technologie. Sie entstehen durch fehlendes Management. Einfach mal loslegen… Und das passiert offenbar in allen Unternehmensgrößen.

Tokenmaxxing: Wenn der Zähler einfach weiterläuft

Es gibt noch eine weitere Ebene des Problems, die gerade in Führungsetagen für Kopfschmerzen sorgt: Tokenmaxxing.

Was klingt wie ein Sportgetränk für Informatiker, ist in Wirklichkeit ein ernst zu nehmendes Phänomen: Mitarbeitende – besonders in Tech-Konzernen – maximieren ihren KI-Token-Verbrauch, weil er zum internen Statusmerkmal geworden ist. Ein Engineer bei OpenAI verarbeitete zuletzt 210 Milliarden Token in einer Woche – das entspricht dem Befüllen der kompletten Wikipedia 33-mal. Bei Anthropic erzielte ein einzelner Claude Code-Nutzer Monatskosten von über 150.000 Dollar.

Amazon soll laut Capital sogar interne Leaderboards betreiben, auf denen Mitarbeitende ihren Token-Verbrauch vergleichen – was dazu geführt hat, dass manche das KI-Tool für unnötige Aufgaben nutzen, nur damit ihre Zahlen stimmen.

Man könnte sagen: Die nächste Ausgabenblase nach dem SaaS-Tool-Wildwuchs der 2010er Jahre heißt Token-Wildwuchs.

Steigen die IT-Budgets schneller als der Nutzen?

Laut Gartner werden die globalen IT-Ausgaben 2026 auf 6,31 Billionen Dollar steigen – ein Plus von 13,5% gegenüber 2025. Der Haupttreiber: KI-Infrastruktur, Software und Cloud.

Der IDC-Forecast beziffert die globalen Unternehmens-KI-Ausgaben allein für 2026 auf 407 Milliarden Dollar – ein Anstieg von 34,8% gegenüber 2025. Generative KI wächst mit 59% sogar noch schneller.

Die Deloitte KI-Studie 2026 zeigt: Nur 4% der deutschen Unternehmen nutzen KI umfassend für Entscheidungen. 66% sehen ihren aktuellen Nutzen hauptsächlich bei Effizienz – aber das bedeutet eben nicht automatisch Kostensenkung.

Und laut McKinsey 2025 gelten gerade mal 6% aller Unternehmen als KI-High-Performer – also als Firmen, die mehr als 5% ihres EBITs durch KI erzielen. Eine Zahl, die man sich merken sollte.

Was für den Mittelstand gilt – und warum das Thema jetzt entschieden wird

Hier wird es konkret.

Laut dem Deutschen Mittelstands-Bund (KI-Index Mittelstand 2025) setzen zwar rund ein Drittel der Unternehmen KI ein – aber nur 9% haben sie vollständig implementiert. 43% fehlt noch eine konkrete KI-Strategie.

Die Haupthindernisse laut Bitkom KI-Barometer 2026: fehlende interne Kompetenz (53%), Datenschutz-Unsicherheit (47%) und – besonders bezeichnend – unklarer ROI (41%).

Auf der anderen Seite warnt Bitkom: Wer im zweiten Halbjahr 2026 noch nicht angefangen hat, verliert den Anschluss an Mitbewerber, die bereits einen Lerngang hinter sich haben.

Der Mittelstand steckt also zwischen zwei Drohungen:

Zu früh und falsch einsteigen: doppelte Kosten, kein ROI
Zu spät einsteigen: Wettbewerbsnachteil

Das ist kein leichter Platz. Aber es ist ein sehr gut navigierbarer – wenn man die richtigen Fragen stellt.

Was KMU konkret tun können:

Nicht als großes Transformationsprojekt, sondern als schlanker, messbarer Einstieg:

1. Token-Budget wie Personalbudget planen Bevor ein KI-Agent live geht: das voraussichtliche Token-Volumen berechnen, mit den Modellkosten multiplizieren und dem Personalkosten-Äquivalent gegenüberstellen. Faustregel: Jedes Implementierungsangebot mit dem Faktor 2,5 bis 3,5 multiplizieren, um die 3-Jahres-Gesamtkosten zu schätzen. Eine 40.000-Euro-Implementierung kostet über drei Jahre 100.000 bis 140.000 Euro.

2. Harte Ausgabenlimits setzen – sofort Alle großen KI-Anbieter (OpenAI, Anthropic, Google) erlauben harte Spending Caps pro API-Key oder Organisation. Das kostet fünf Minuten und verhindert 300-Dollar-Tage.

3. In der „grünen Zone“ starten Rechnungsverarbeitung und Dokumentenautomatisierung liefern laut der Convios-Analyse zur KI-ROI-Landkarte Mittelstand im ersten Jahr 200 bis 400% Return. E-Mail-Klassifikation, Standard-Kundenanfragen im First-Level-Support und Vertriebsunterstützung gehören ebenfalls in diese Kategorie. Komplexe Coding-Agenten ohne definierten Scope oder vollautomatisierte Kundenkommunikation ohne Human-in-the-Loop sind kein guter Startpunkt.

4. Den „doppelten Gehaltstest“ anwenden Drei Fragen – schriftlich, vor jedem KI-Agenten-Projekt:

Was kostet der Prozess heute?
Was kostet der Agent über 3 Jahre?
Welche Arbeit fällt dadurch weg – und wer macht sie nicht mehr?

Nur wenn Frage 3 eine konkrete Antwort hat, ist ein Business Case vorhanden. „Effizienzgewinn“ ohne Beschreibung, welche Stunden konkret frei werden, ist kein Business Case. Das ist ein Wunsch.

5. ROI messen – immer, ohne Ausnahme 81% der deutschen KMU messen den ROI ihrer KI-Projekte nicht. Wer nicht misst, weiß nicht, ob er in die erste oder zweite Gehaltsstruktur investiert. Mindestens drei KPIs pro Projekt: eine operative Kennzahl (Bearbeitungszeit, Fehlerquote), eine finanzielle Kennzahl (Kosteneinsparung in Euro) und eine strategische Kennzahl (Kapazität für höherwertige Arbeit).

6. Modellkosten aktiv managen Nicht jede Aufgabe braucht das teuerste Modell. Die Kostenspreizung ist erheblich: Gemini Flash kostet 0,35 Dollar pro Million Token, GPT-4.5 kostet 75 Dollar – Faktor 214. Bei 1.000 Nutzern mit je 100 Anfragen im Monat: Gemini Flash = 1.000 Euro/Jahr. GPT-4.5 = 180.000 Euro/Jahr. Einfache Tasks (FAQs, Zusammenfassungen) mit günstigen Modellen, komplexe Analyse mit teuren – das spart bei typischen Unternehmensworkloads leicht 70 bis 80% der Token-Kosten.

Wann KI tatsächlich Kosten spart

Nicht alles ist Düsternis. Wo KI richtig eingesetzt wird, stimmt die Rechnung.

KI-gestützte Prognosemodelle verbessern laut der Convios-Analyse die Genauigkeit von Umsatz- und Supply-Chain-Forecasts um 40 bis 60%. Customer Service Automation liefert laut Enterprise AI Benchmarks typischerweise 3 bis 5× ROI innerhalb von zwölf Monaten. Der Break-even für KI-Projekte im Mittelstand liegt laut Dr. Lukas Kawerau von EmpiriAInsight bei 6 bis 18 Monaten, der 3-Jahres-ROI zwischen 85 und 210%.

Der entscheidende Unterschied zwischen denen, die rechnen, und denen, die draufzahlen? Die Gewinner substituieren Arbeitsanteile. Die Verlierer addieren KI.

Kateryna Babenko, Software-Analystin bei Katico, bringt es auf den Punkt: Agenten lohnen sich vor allem bei Aufgaben, die niemand gern manuell erledigt, klar begrenzt sind, überprüfbare Ergebnisse liefern und bei denen Menschen Fehler rechtzeitig erkennen können.

Fazit: Der Traum ist nicht geplatzt – er war nur unvollständig formuliert

Die ursprüngliche Prämisse – KI spart Kosten, weil Menschen teuer sind – war nicht falsch. Sie war unvollständig.

Richtig ist: KI kann die teuersten Arbeitsstunden ersetzen – aber nur, wenn man aktiv entscheidet, welche Arbeitsstunden das sein sollen, und dann auch die organisatorische Konsequenz zieht.

Der neue Rahmen lautet: KI ist ein variabler Produktionsfaktor – genauso wie Mitarbeitende, Energie oder Maschinen. Er will geplant, gemessen, optimiert und budgetiert sein. Wer das tut, wird den ROI sehen. Wer es nicht tut, zahlt zwei Gehälter – und wundert sich, warum das Konto nicht wächst.

Und die gute Nachricht für alle, die gerade in der Mitte stehen: Der Rückstand ist noch aufholbar. Wer jetzt anfängt – mit einer klaren Messgröße, einem fokussierten Use Case und einem ehrlichen Business Case – hat den Vorteil, von den Fehlern der frühen Experimente zu lernen. Ohne sie teuer selbst bezahlt zu haben.

Häufige Fragen in diesem Kontext

Müssen wir damit rechnen, dass unsere KI-Kosten in den nächsten Jahren deutlich steigen?

Ja. Die Phase stark subventionierter oder nahezu kostenloser KI-Angebote geht zu Ende. Mit wachsender Nutzung und leistungsfähigeren Modellen werden die tatsächlichen Kosten sichtbarer und müssen künftig deutlich stärker eingeplant und gesteuert werden.

Müssen wir KI-Nutzung künftig genauso steuern wie Personal- oder IT-Kosten?

Ja. KI wird zunehmend zu einer regulären Unternehmensressource mit messbaren Kosten. Deshalb sollten Nutzung, Budgets, Verantwortlichkeiten und wirtschaftlicher Nutzen genauso transparent gemacht werden wie bei anderen wichtigen Unternehmensausgaben.

Warum wird die wirtschaftliche Steuerung von KI jetzt zu einer Führungsaufgabe?

Weil der Erfolg von KI künftig nicht mehr allein vom Zugang zu den besten Werkzeugen abhängt. Entscheidend wird, ob Unternehmen Nutzung, Kosten und Geschäftsnutzen so steuern, dass daraus dauerhaft Produktivität und Wettbewerbsfähigkeit entstehen.