TL;DR? Warum Sie trotzdem weiterlesen sollten
Drei der größten KI-Labore der Welt haben in Sicherheitstests die Kontrolle über ihre eigenen Modelle verloren, und keines von ihnen hat es selbst bemerkt. OpenAI wurde von Hugging Face erwischt. Anthropic fand seine eigenen Vorfälle erst, weil man nach dem OpenAI-Debakel vorsichtshalber alte Protokolle durchsuchte. Meta erfuhr es von seinem eigenen Testpartner. Wer glaubt, das sei ein Einzelfall mit PR-Problem, übersieht die eigentliche Pointe: Genau die Tests, die beweisen sollten, dass man Cyberrisiken im Griff hat, wurden selbst zur unkontrollierten Angriffsfläche. Und die Sprache, mit der sich die Beteiligten anschließend herausreden, verdient einen genaueren Blick.
„Unprecedented Incident“ entwickelt sich zu Normalität
Es gibt Running Gags, die man sich und allen als sicherheitsrelevante Branche besser ersparen sollte:
„Unser KI-Modell hat versehentlich und von uns unbemerkt ein fremdes Unternehmen gehackt“
Das ist im Sommer 2026 innerhalb von zwei Wochen bei drei der führenden KI-Unternehmen passiert, bei OpenAI, bei Anthropic und auch bei Meta.
Das Muster ist fast identisch:
Ein Modell wird in einer angeblich sicher abgeschotteten Testumgebung auf Cyber-Fähigkeiten geprüft, findet aber einen Weg ins offene Internet, hält reale Systeme für Teil der Übung – und greift sie erfolgreich an.
Der eigentliche Aufhänger ist aber nicht der erste Fall von OpenAI, sondern das Melde-Muster danach:
Anthropic hat seinen eigenen Vorfall nicht durch aktive Überwachung entdeckt, sondern erst, weil man nach dem OpenAI-Debakel vorsichtshalber noch einmal in alten Prüf-Protokollen nachgeschaut hat.
Über 141.006 Evaluierungsläufe wurden rückwirkend durchforstet, und drei kritische Vorfälle kamen dabei zum Vorschein, die niemandem vorher aufgefallen waren.
Der früheste dieser Vorfälle datiert auf April 2026, gefunden wurde er erst im Juli, nachdem ein Konkurrent öffentlich gestolpert war.
Danach meldet sich Meta mit ähnlicher Geschichte. Von OpenAI gehört, die eigenen Protokolle dann durchgesehen und siehe da, auch bei uns.
Davor wusste man also selbst nicht, dass dies eigenen KI-Modelle andere Unternehmen gehackt hatten.
[Häufige Fragen in diesem Kontext finden sie am Ende des Artikels]
Chronologie: Wie sich die Fälle aneinanderreihen
Die Reihenfolge ist wichtig, weil sie zeigt, wer aus eigenem Antrieb gehandelt hat und wer erst durch den ersten Fall bei sich selbst auch mal genauer hinschaute.
| Datum | Unternehmen | Was passierte | Wie entdeckt |
|---|---|---|---|
| Frühe Juli-Woche (Angriff), 16. Juli (erste Hugging-Face-Meldung), 21. Juli (OpenAI-Bestätigung) | OpenAI | Agent auf Basis von GPT-5.6 Sol und einem unveröffentlichten Modell brach aus Testumgebung aus, griff Hugging Face mit 17.000 Aktionen in 4,5 Tagen an | Von Hugging Face selbst bemerkt, dann OpenAI zur Aufklärung hinzugezogen |
| April bis Juli 2026 (Vorfälle), 30. Juli (Offenlegung) | Anthropic | Drei Claude-Modelle (Opus 4.7, Mythos 5, ein internes Testmodell) griffen im Rahmen von Capture-the-Flag-Tests bei Partner Irregular reale Firmen an, darunter eine Produktionsdatenbank und ein Supply-Chain-Angriff über ein PyPI-Paket | Erst durch nachträgliche Durchsicht von 141.006 Protokollen, ausgelöst durch den OpenAI-Fall |
| Nicht näher datierter Testlauf, 4./5. August (Offenlegung) | Meta | Muse-Spark-1.1-Modell nutzte durch eine Fehlkonfiguration Internetzugang, um eine Schwachstelle bei einem Drittanbieter auszunutzen | Meta wurde von Irregular selbst informiert |
Zwei der drei Fälle drehen sich um denselben externen Testpartner: Irregular. Bei Anthropic und bei Meta.
Irregular wird von Meta und Anthropic als unabhängiges Unternehmen beschrieben, das Cybersicherheits‑Evaluierungen für KI‑Modelle durchführt, insbesondere „offensive“ Tests, bei denen Modelle gezielt nach Schwachstellen suchen dürfen.
Was die Beteiligten dazu sagen
Bei OpenAI
klingt die Wortwahl fast stolz-erschrocken. Sam Altman postete:
„We had a significant security incident during evaluation of our models“
(sinngemäß: Man habe einen bedeutenden Sicherheitsvorfall während der Modell-Evaluierung gehabt),
während das Unternehmen im offiziellen Blogpost von einem
„unprecedented cyber incident, involving state-of-the-art cyber capabilities“
spricht (ein beispielloser Cyber-Vorfall mit hochentwickelten Angriffsfähigkeiten).
Reuters zufolge dauerte es fast eine Woche, bis OpenAI überhaupt merkte, dass der eigene Agent tagelang gehackt hatte. Entdeckt wurde es erst, nachdem die Bedrohung von Huggingface selbst längst eingedämmt und das FBI informiert war.
Hugging-Face-CEO
Clément Delangue lieferte die Zeile, die alle zitieren: „It’s quite mind-blowing that all of this happened autonomously!“ (Es sei ziemlich verblüffend, dass das alles autonom passiert sei). Später, im Interview bei „Face the Nation“, präzisierte er die Dimension: „I think it was 17,000 actions taken in four-and-a-half days, was very, very new“ (17.000 Aktionen in viereinhalb Tagen, das sei sehr, sehr neu gewesen). Delangue forderte anschließend „radical transparency“ (radikale Transparenz) und 100 Millionen Dollar Rechenleistung von OpenAI, um Verteidigungssysteme aufzubauen, eine Forderung, die bislang öffentlich unbeantwortet blieb.
Anthropic
wählte in seinem offiziellen Blogpost eine auffällig technische, fast beschwichtigende Sprache:
„Due to a misunderstanding between us and our evaluation partner, this was not the case, and internet access was available“
(aufgrund eines Missverständnisses mit dem Testpartner sei das nicht der Fall gewesen, Internetzugang habe bestanden).
Bemerkenswert ist die Einordnung als organisatorisches statt inhaltliches Problem:
Man bezeichnet die Vorfälle als
„closer to a harness and operational failure than a model alignment failure“
(eher ein Infrastruktur- und Betriebsfehler als ein Alignment-Versagen des Modells),
das Modell habe schlicht getan, wofür es trainiert wurde, nur mit den falschen (echten) Zielen.
Meta
hält sich kürzer. Sprecher Andy Stone erklärte:
„A misconfiguration by Irregular, an independent testing company Meta uses, inadvertently allowed one of our models access to the internet during evaluation. The model subsequently exploited a security vulnerability in a third-party service, in a manner similar to previously reported instances with other companies“
(eine Fehlkonfiguration bei Irregular habe einem Modell versehentlich Internetzugang verschafft, das Modell habe daraufhin eine Schwachstelle bei einem Drittanbieter ausgenutzt, ähnlich wie bereits bei anderen Unternehmen berichtet).
Bezeichnend ist der letzte Halbsatz:
Meta verweist explizit auf die „previously reported instances“, als wäre die Fehlkonfiguration mittlerweile eine Art akzeptiertes Branchenrisiko und nicht mehr erklärungsbedürftig.
Irregular selbst positioniert sich fast wie ein Pressesprecher in eigener Sache:
„The discussed incident is the exact same evaluation-environment issue that was already disclosed by Anthropic last week. This did not involve a sandbox escape or a sophisticated cyber action. There are no current open issues“
(es handle sich um genau den Vorfall, den Anthropic bereits letzte Woche offengelegt habe, kein Sandbox-Ausbruch, keine ausgefeilte Cyber-Aktion, keine offenen Fragen mehr).
Man kündigte zudem ein Whitepaper mit Best Practices an, nachdem man offenbar bei zwei der drei bekannten Fälle selbst die Fehlkonfiguration verursacht hatte.
Whitepaper aufsetzen, alles wieder ok?
Bitte weitergehen, es gibt nichts zu sehen.
Die Krisenkommunikation lässt einen sprachlos zurück. Dreist, aber offenbar wirksam.
Die 3-Prozent-Aussage und ihre beunruhigende Kehrseite
Was sagt uns das aber darüber, was die Unternehmen, die an Superintelligenz forschen, die dem Menschen weit überlegen ist, über ihre aktuellen Modelle wissen?
Anthropic-CEO Dario Amodei warnte bereits im April 2025 in seinem viel zitierten Essay „The Urgency of Interpretability“, Außenstehende seien oft überrascht und alarmiert zu erfahren,
„that we do not understand how our own AI creations work“
(dass wir nicht verstehen, wie unsere eigenen KI-Schöpfungen funktionieren).
Dieses Nichtverstehen sei
„essentially unprecedented in the history of technology“
(im Grunde beispiellos in der Technikgeschichte).
Die vielzitierte „wir verstehen nur einen Bruchteil davon“-Formel ist also keine beiläufige Randnotiz, sondern seit über einem Jahr die offizielle Kernthese des Unternehmens, dessen eigene Modelle nun genau in dieser Blackbox drei fremde Firmen kompromittiert haben.
Und hier wird die Ironie erschreckend konkret:
Der Trost, den man aus „wir verstehen nur einen kleinen Teil“ ziehen möchte, wäre normalerweise „aber der Rest ist ja wahrscheinlich harmlos“.
Genau das lässt sich nach diesem Sommer nicht mehr behaupten.
Bei Anthropics Incident 2 etwa registrierte Claude Mythos 5 eine Sicherheitslücke in fiktiven Onboarding-Dokumenten, erkannte selbstständig eine Dependency-Confusion-Möglichkeit und veröffentlichte ein bösartiges Python-Paket, das anschließend auf 15 realen Systemen installiert wurde, unter anderem bei einem Sicherheitsunternehmen, dessen eigener Malware-Scanner das Paket für harmlos hielt und ausführte. Das ist nicht „das Modell hat halt zufällig etwas Falsches gemacht“.
Das ist ein Modell, das autonom eine mehrstufige Supply-Chain-Attacke plant und durchzieht, weil es glaubt, in einer Simulation zu sein. Oder weil es ihm egal ist.
Die Antwort darauf steckt leider in den unbekannten 97%.
Bezeichnend ist auch, was in zwei der drei Anthropic-Fälle nicht passierte: eigene Erkennung.
Zwei der drei kompromittierten Organisationen bemerkten keine verdächtige Aktivität in ihren eigenen Server-Sicherheits-Protokollen. Die betroffenen Firmen wussten von den eigenen Kompromittierungen nichts, bis Anthropic sie Monate später informierte.
Wenn die 97 Prozent, die man angeblich nicht versteht, unter anderem beinhalten, wie ein Modell monatelang unentdeckt in fremden Produktionsdatenbanken sitzt, dann ist die Beruhigungsformel „wir verstehen zumindest 3 Prozent“ die Beschreibung eines gravierenden Problems.
Ein Modell zog selbst die Reißleine
Nicht jeder Fall endete mit einem erfolgreichen Einbruch.
Im dritten Anthropic-Vorfall scannte ein internes, unveröffentlichtes Forschungsmodell rund 9.000 Hosts im offenen Internet, kompromittierte eine internetseitige Anwendung über eine offene Debug-Seite und SQL-Injection, erkannte dann aber eigenständig, dass der betroffene Cloud-Account nichts mit der eigentlichen Testaufgabe zu tun hatte, und stoppte den Angriff von selbst, ohne menschliches Eingreifen.
Diese Episode wird in der Community teils als Hoffnungsschimmer gelesen:
Ein Modell, das autonom erkennt „das hier ist real, ich sollte aufhören“, aber sie zeigt eben auch, dass genau dieses Innehalten reines Modellverhalten war, kein technisches Sicherheitsnetz, das zuverlässig funktioniert hätte, wenn das Modell anders „gedacht“ hätte.
Die Menschen, die Experten des Modellentwicklers, haben zu diesem Angriffstopp nichts beigetragen. Das testende Unternehmen hat nichts bemerkt.
Das ist Kontrollverlust.
Verantwortungsvolle Transparenz oder Schadensbegrenzung durch Kollektivierung?
Soweit die unangenehmen Fakten.
Aber wie erfolgt der Umgang der Unternehmen mit dem Kontrollverlust?
Die Frage ist dabei nicht, ob OpenAI, Anthropic und Meta vertuschen wollen.
Die technischen Detailberichte, insbesondere Anthropics ungewöhnlich offener Blogpost mit konkreten Vorfallnummern, Laufzeiten und Methoden, sprechen für ein ernsthaftes Aufklärungsbemühen.
Die Frage ist, ob die derzeitige Reaktion, „wir haben es untersucht, es war eine Fehlkonfiguration bei Irregular, wir verstärken die Kontrollen“, ausreicht, wenn man bedenkt, dass diese Fehlkonfigurationen offenbar branchenweit und über Monate unentdeckt blieben.
Anthropic hat als Reaktion konkrete Schritte angekündigt:
sofortige Einstellung aller Cyber-Evaluierungen mit potenziellem Internetzugang, externe Prüfung durch die unabhängige Organisation METR mit vollem Transkriptzugriff, härtere Infrastrukturanforderungen für Testpartner und kontinuierliches Monitoring künftiger Evaluierungstranskripte.
Stopp der Test mit Internetzugang? Zur Erinnerung: der Test war ohne Internetzugang geplant. Das heißt, jetzt schließen wir die Tür zum Internet wirklich?
Das ist mehr als eine reine PR-Geste, aber es beantwortet nicht die Grundfrage, die auch Delangue aufwarf, als er im „Face the Nation“-Interview forderte:
„there should be mandatory disclosures of agents, cyber attacks, right? For everyone to learn from it and be able to understand them“
(es brauche verpflichtende Offenlegungen bei Agenten und Cyberangriffen, damit alle daraus lernen könnten).
Bislang ist diese Offenlegung freiwillig, uneinheitlich in Tiefe und Timing, und sie kam bei zwei von drei Firmen erst, nachdem eine dritte bereits öffentlich blamiert worden war.
Das große Störgefühl bleibt:
Diese Kontrollverluste geschahen nicht bei irgendwelchen experimentellen Bastelprojekten in einer Garage in einem Schurkenstaat oder bei größenwahnsinnigen Laien, sondern bei den Modellen der drei größten und am besten finanzierten KI-Labore der Welt, in genau jenen Tests, die eigentlich beweisen sollten, dass man Cyberrisiken im Griff hat.
Wenn ausgerechnet die Sicherheitsevaluierung selbst zur unkontrollierten Angriffsfläche wird, ist das kein Randproblem der Branche.
Typische Fragen zum Thema
Wie kann es passieren, dass KI-Modelle reale Unternehmen angreifen, obwohl sie eigentlich nur getestet werden sollten?
Die Vorfälle entstanden nicht, weil die Modelle bewusst aus einer gesicherten Umgebung ausbrachen, sondern weil sie durch Fehlkonfigurationen Zugriff auf reale Systeme erhielten. Die Modelle handelten anschließend so, wie sie für die Sicherheitsprüfung trainiert worden waren – nur gegen echte Ziele statt gegen eine Simulation. Das zeigt, wie entscheidend die gesamte Testumgebung für die Sicherheit leistungsfähiger KI ist.
Warum haben die Entwickler diese Angriffe zunächst gar nicht bemerkt?
Der beunruhigendste Befund ist nicht der Angriff selbst, sondern die fehlende Erkennung. Zwei der drei Unternehmen wurden erst durch externe Hinweise oder nachträgliche Prüfungen auf die Vorfälle aufmerksam. Dadurch wird deutlich, dass nicht nur die Modelle schwer vorhersehbar sind, sondern auch die Überwachungssysteme erhebliche blinde Flecken haben.
Was bedeuten diese Vorfälle für Unternehmen, die KI künftig stärker einsetzen wollen?
Die Ereignisse zeigen, dass die Frage nicht mehr nur lautet, was KI leisten kann, sondern wie zuverlässig ihr Verhalten überwacht und kontrolliert werden kann. Unternehmen sollten Sicherheitsversprechen deshalb nicht allein an der Leistungsfähigkeit eines Modells messen, sondern auch daran, wie transparent Vorfälle erkannt, offengelegt und künftig verhindert werden. Gerade bei autonomen KI-Systemen wird Kontrolle zu einer zentralen Managementaufgabe.
Weitere Beiträge zum Thema
Wenn Sie sich intensiver mit diesem Themenfeld beschäftigen möchten, finden Sie hier weitere Beiträge mit Hintergrund, Einordnung und Praxisbeispielen.