TL;DR Zusammenfassung
1983 rettete Stanislav Petrov die Welt, indem er Maschinen nicht vertraute. Heute entwickeln wir Superintelligenz in Black Boxes – und schaffen gleichzeitig die Red Teams ab, die sie kontrollieren sollen. Während Europa Red Teams zur Pflicht macht und China 2.000-Fragen-Tests fordert, eliminiert Amerika’s AI Action Plan genau jene KI-Experten, die seit 200 Jahren Katastrophen verhindern. Die Ironie: KI wird exponentiell mächtiger, ihre Wächter werden freiwillig. Was könnte schiefgehen?
Der Mann, der die Welt rettete – indem er „denkenden“ Maschinen NICHT vertraute und selbst mitdachte … und was das mit KI zu tun hat.
Am 26. September 1983 saß Stanislav Petrov, ein 44-jähriger Oberstleutnant der sowjetischen Luftverteidigung, in dem geheimen Bunker Serpuchow-15 bei Moskau. Seine Aufgabe: Das sowjetische Satellitenfrühwarnsystem „Oko“ überwachen. Plötzlich heulten die Alarme auf. Die Bildschirme zeigten unmissverständlich: „START“ – eine amerikanische Interkontinentalrakete war unterwegs. Sekunden später meldete das System vier weitere Raketen.
Nach sowjetischem Protokoll hätte Petrov sofort seine Vorgesetzten alarmieren müssen – was mit hoher Wahrscheinlichkeit einen nuklearen Vergeltungsschlag ausgelöst hätte. Die Welt stand 25 Minuten vor einem möglichen Atomkrieg.
Doch Petrov zweifelte. Seine Logik sagte ihm: „Wenn die Amerikaner wirklich einen Nuklearkrieg beginnen wollten, würden sie mehr als nur fünf Raketen abfeuern.“ Er wartete auf Bestätigung von anderen Systemen – die nie kam. Seine Entscheidung, nicht zu melden, rettete möglicherweise die Menschheit. Später stellte sich heraus, dass Sonnenlicht, das von hochgelegenen Wolken reflektiert wurde, die Satelliten getäuscht hatte.
Die Ironie der Geschichte: Petrov rettete die Welt, indem er automatisierten Systemen nicht vertraute.
Vom preußischen Kriegsspiel zur modernen KI-Sicherheit
Die Geschichte der Red Teams beginnt jedoch nicht 1983, sondern bereits 1812 mit dem „Kriegsspiel“ der preußischen Armee. Lieutenant Georg Leopold von Reisswitz und sein Sohn entwickelten ein Tabletop-Simulationsspiel, in dem blaue Spielsteine die preußischen Streitkräfte und rote die feindlichen Truppen repräsentierten. Diese Farbkodierung etablierte das Konzept der „Red Teams“, das bis heute Bestand hat.
Als der preußische Generalstabschef Karl von Müffling 1824 eine Demonstration erlebte, rief er aus: „Das ist kein Spiel, das ist eine Schule für den Krieg!“ Wenige Wochen später erließ er einen königlichen Erlass: Jedes preußische Armeeregiment sollte das Kriegsspiel regelmäßig in den Wintermonaten spielen.
Die RAND Corporation und das „Undenkbare“
Während des Kalten Krieges entwickelte die RAND Corporation diese Idee weiter. Herman Kahn (1922-1983), einer der kontroversesten Strategen des 20. Jahrhunderts, wagte es als Erster, „das Unvorstellbare zu denken“. Der 1,80 m große, 140 kg schwere Physiker mit fotografischem Gedächtnis berechnete nüchtern „Megadeaths“ – Millionen von Toten. Sein 1960 erschienenes Buch „On Thermonuclear War“ inspirierte Stanley Kubrick zu „Dr. Strangelove“.
Kahns revolutionärer Ansatz waren adversariale Rollenspiele, in denen „Red Teams“ die Sowjetunion und „Blue Teams“ die USA repräsentierten. Diese Simulationen bei RAND waren die direkten Vorläufer der modernen Red Team-Methodologie.
Der 11. September als Wendepunkt
Die Anschläge vom 11. September 2001 markierten einen entscheidenden Wendepunkt. Die 9/11-Kommission identifizierte ein „Versagen, die Punkte zu verbinden“ als primäre Ursache des Geheimdienstversagens. Dies führte zu systematischen Veränderungen:
- Das US-Verteidigungsministerium etablierte formelle Red Team-Einheiten
- Die CIA schuf eine neue „Red Cell“
- Red Teaming wurde zur Standardmethode gegen sich selbst beruhigendes „Groupthink„
Red Teams im Zeitalter der Künstlichen Intelligenz
Mit dem Aufkommen mächtiger KI-Systeme entwickelte sich eine neue Form des Red Teaming. Die Biden-Administration definierte „AI Red Teaming“ als „einen strukturierten Testaufwand zur Aufdeckung von Fehlern und Schwachstellen in einem KI-System, oft in einer kontrollierten Umgebung und in Zusammenarbeit mit Entwicklern von KI“.
DEF CON 2023: Der erste große KI-Stresstest
Die erste öffentliche KI-Red-Team-Veranstaltung für geschlossene API-Modelle fand bei DEF CON 2023 statt. Über 2.244 Hacker evaluierten 8 Large Language Models und produzierten über 17.000 Gespräche zu 21 Themen – von Cybersicherheits-Hacks bis hin zu Fehlinformationen und Menschenrechten. Teilnehmende Unternehmen waren Anthropic, Cohere, Google, Hugging Face, Meta, Nvidia, OpenAI, Scale AI und Stability.ai.
Die Veranstaltung offenbarte wichtige Erkenntnisse: Viele Teilnehmer stellten schnell fest, dass sich traditionelle Hacking-Fähigkeiten nicht direkt auf KI-Red-Teaming übertragen ließen. KI-Red-Teaming erfordert einzigartige Fähigkeiten – von Prompt-Engineering bis hin zum Verständnis von Sprachmodell-Schwächen.
OpenAI’s systematischer Ansatz
OpenAI hat umfangreiche Erfahrungen mit externem Red Teaming gesammelt und identifiziert vier Hauptziele:
- Entdeckung neuartiger Risiken: Identifizierung neuer Risiken aufgrund von Fortschritten in Modellfähigkeiten
- Belastungstest von Schutzmaßnahmen: Finden von Eingaben, die Modellschutzmaßnahmen umgehen können
- Ergänzung der Risikobewertung: Domänenexpertise für gründliche Tests
- Unabhängige Bewertung: Externe Experten geben unabhängigen Input
Die globale Regulierungslandschaft
Europa: Vorreiter mit klaren Regeln
Die Europäische Union hat mit dem EU AI Act den weltweit ersten umfassenden KI-Rechtsrahmen geschaffen. Artikel 55 legt die Verpflichtung für Anbieter von allgemeinen KI-Modellen mit systemischen Risiken fest: „Durchführung und Dokumentation adversarialer Tests des Modells mit dem Ziel, systemische Risiken zu identifizieren und zu mindern.“
Der EU AI Act sieht vor, dass ein allgemeines KI-Modell als systemisch riskant gilt, wenn „die kumulative Menge der für sein Training verwendeten Berechnung größer als 10^25 Floating-Point-Operationen ist“ – eine klare, messbare Schwelle.
China: Staatlich gelenkte Sicherheit
China verfolgt einen top-down regulatorischen Ansatz. Die „Basic Security Requirements for Generative Artificial Intelligence Services“ aus dem Februar 2024 verlangen von KI-Entwicklern, eine „Testfragenbank“ mit nicht weniger als 2.000 Fragen zu erstellen, die „mindestens einmal monatlich“ aktualisiert werden muss.
Die führenden chinesischen Foundation-Model-Entwickler haben freiwillige „KI-Sicherheitsverpflichtungen“ unterzeichnet, die Red Teaming, Datensicherheit und Investitionen in Frontier-Sicherheitsforschung umfassen.
Der dramatische Wendepunkt: America’s AI Action Plan
Und dann kam der Juli 2025. Mit America’s AI Action Plan markierte die Trump-Administration einen dramatischen Kurswechsel. Der Plan verfolgt drei Säulen, aber besonders bemerkenswert ist die erste: „Beschleunigung der Innovation“ durch Entfernung von „roter Bürokratie und belastender Regulierung“.
Das Ende der Biden-Ära der KI-Sicherheit
Die Biden-Administration hatte die strengsten Red Team-Anforderungen in der Geschichte der KI-Regulierung eingeführt. Unternehmen, die „Dual-Use Foundation Models“ entwickelten, mussten alle Red Team-Testergebnisse an die Regierung melden. Mit einem Federstrich eliminierte Trump diese gesamte Infrastruktur.
Alexandra Reeve Givens, CEO des Center for Democracy and Technology, warnte: „Die Eliminierung des AI Safety Institute würde nichts dazu beitragen, US-KI-Unternehmen wettbewerbsfähiger zu machen – und würde die Bemühungen untergraben, sicherzustellen, dass KI-Tools sicher und effektiv sind.“
Die Auflösung der Sicherheitsteams
Besonders schockierend ist die wiederholte Auflösung von Sicherheitsteams bei OpenAI:
- Mai 2024: Auflösung des Superalignment-Teams. Jan Leike kritisierte öffentlich: „Sicherheitskultur und -prozesse haben gegenüber glänzenden Produkten den Rücksitz eingenommen.“
- Oktober 2024: Auflösung des AGI Readiness Teams. Miles Brundage warnte: „Kurz gesagt, weder OpenAI noch ein anderes Frontier-Labor ist bereit, und die Welt ist auch nicht bereit.“
Auf Regierungsebene zeigen sich ähnliche Trends. Christopher Chenoweth, ein Senior Penetration Tester bei CISA, berichtete auf LinkedIn: „DOGE hat unser gesamtes Red Team und alle unterstützenden Rollen gestrichen – über 100 Menschen betroffen.“
Was bedeutet das für uns KI-Nutzer?
Während wir täglich ChatGPT, Claude oder Gemini nutzen, arbeiten im Hintergrund Red Teams daran, diese Systeme sicher zu machen. Sie testen, ob KI-Modelle diskriminierende Inhalte produzieren, sich zu schädlichen Handlungen überreden lassen oder falsche Informationen als Wahrheiten präsentieren.
Rob Joyce, ehemaliger Direktor für Cybersicherheit bei der NSA, warnte vor den Auswirkungen der Kürzungen: „Ich möchte meine schwerwiegenden Bedenken äußern, dass die aggressiven Drohungen, befristete US-Regierungsangestellte zu entlassen, verheerende Auswirkungen auf die Cybersicherheit und unsere nationale Sicherheit haben werden.“
Die Unternehmensrelevanz
Für Unternehmen, die KI einsetzen, bedeutet dies:
- Due Diligence wird wichtiger: Wenn staatliche Kontrollen wegfallen, müssen Unternehmen selbst prüfen, welche KI-Systeme sie einsetzen.
- Europäische Standards gewinnen an Bedeutung: Der EU AI Act bleibt bestehen und wird zum de-facto Standard für internationale Unternehmen.
- Eigene Red Team-Ansätze entwickeln: Unternehmen sollten interne Prozesse entwickeln, um KI-Systeme vor dem Einsatz zu testen.
Die Lektion von Stanislav Petrov
Die Geschichte von Stanislav Petrov lehrt uns etwas Fundamentales: Vertrauen ist gut, Kontrolle ist besser – besonders bei mächtigen Systemen. Petrov rettete 1983 die Welt, indem er automatisierten Warnsystemen nicht blind vertraute. Heute stehen wir vor einer ähnlichen Herausforderung mit KI-Systemen, die möglicherweise noch weitreichendere Auswirkungen haben könnten.
Red Teams sind nicht die Spielverderber der KI-Revolution – sie sind ihre unsichtbaren Wächter. Sie sorgen dafür, dass die Systeme, denen wir täglich vertrauen, auch dieses Vertrauen verdienen.
25 führende KI-Wissenschaftler veröffentlichten kürzlich in Science eine deutliche Warnung: „Die Welt stimmte während des letzten KI-Gipfels zu, dass wir Maßnahmen brauchten, aber jetzt ist es Zeit, von vagen Vorschlägen zu konkreten Verpflichtungen überzugehen.“ Nur 1-3% aller KI-Publikationen befassen sich mit Sicherheit – ein Ungleichgewicht, das Red Teams zu korrigieren versuchen.
Fazit: Die Zukunft der KI-Sicherheit
Wir stehen an einem Wendepunkt. Während Europa mit dem AI Act klare Standards setzt und China staatlich gelenkte Sicherheitsmaßnahmen implementiert, wählen die USA den Weg der Deregulierung. Diese Divergenz könnte zu einem „Race to the Bottom“ in der KI-Sicherheit führen.
Die gute Nachricht: Das Bewusstsein für KI-Sicherheit wächst. Unternehmen wie Microsoft entwickeln eigene Red Team-Ansätze, und die Zivilgesellschaft organisiert sich in Initiativen wie dem Partnership on AI.
Die Zukunft der KI-Sicherheit liegt nicht nur in den Händen der Regulatoren oder Tech-Konzerne – sie liegt auch in unseren Händen. Als KI-Nutzer, als Unternehmer, als Menschen, die täglich mit diesen mächtigen Systemen interagieren.
Stanislav Petrov hat uns gezeigt: Manchmal rettet gesunde Skepsis die Welt. In einer Zeit, in der KI-Systeme immer mächtiger werden, sollten wir diese Lektion nicht vergessen.
Red Teams mögen unsichtbar arbeiten – aber ihre Arbeit ist sichtbar in jedem sicheren KI-System, dem wir täglich vertrauen.
Sie möchten mehr über den praktischen Einsatz von KI in Ihrem Unternehmen erfahren? In meinen Workshops für das Mittelstand-Digital Zentrum Berlin zeige ich, wie Sie KI verantwortungsvoll und effektiv einsetzen können.