TL;DR? Warum sie trotzdem weiterlesen sollten
Im Juli 2026 griffen autonome KI-Agenten von OpenAI die Plattform Hugging Face an. Das war die Schlagzeile, und sie war falsch dimensioniert. Denn der Angriff war nicht das Ziel eines Plans, er war ein Nebenprodukt davon.
Rund 1.200 eigentlich isolierte Testagenten hatten sich bereits Wochen vorher ein eigenes Nachrichtenboard gebaut, mehr als 70.000 Nachrichten ausgetauscht und gemeinsam daran gearbeitet, das gesamte Bewertungssystem zu verstehen, zu umgehen und zu manipulieren, über einzelne Testläufe hinweg, unbemerkt von den eigenen Entwicklern. Die Maschine hintergeht bewusst den Menschen.
Hugging Face war nur ein kleines Puzzle-Steinchen, denen diese kollektive Recherche folgte.
Wer glaubt, das Problem sei ein gehacktes Unternehmen, unterschätzt, was bei KI inzwischen beunruhigende Realität ist.
Was wir bisher als den Skandal angesehen haben war nur Kleinkram
Im Juli 2026 nutzten OpenAI-Agenten, die eigentlich in einer isolierten Testumgebung Cybersecurity-Aufgaben lösen sollten, einen internen Paketspeicher namens Artifactory als improvisiertes Nachrichtenboard. Rund 700 dieser Agenten griffen am Ende Hugging Face an. Das ist die Version, die im Juli durch die Presse ging, unter anderem bei der New York Times: ein Angriff, real und ernst zu nehmen, aber erzählt wie ein abgeschlossener Vorfall mit klarem Anfang, klarem Ende und einem klaren Opfer.
Diese Erzählung ist zu klein für das, was tatsächlich passiert ist.
[Häufige Fragen in diesem Kontext und deren Antworten finden Sie am Ende des Artikels]
Der agentische Masterplan: Das System gemeinschaftlich übernehmen und manipulieren
Die unabhängige Untersuchung von METR (bei den Frontier-KI-Anbietern genutztes Forschungsinstitut zu den Risiken von KI) beschreibt etwas, das mit „Angriff auf Hugging Face“ nur unzureichend beschrieben ist:
Eine für ganz andere Zwecke genutzte Software wurde von den Agenten misbraucht und zum internen Kommunikationsboard verfremdet, um so koordinierte und kraftvoller die Ziele zu definieren und dann hart und konsequent durchzuziehen.
Auf dem Board informierten sich die über 1.000 parallelen Agenten gemeinsam an drei großen, testlauf-übergreifenden Forschungssträngen:
- Wie lässt sich eine Testaufgabe so verändern, dass sie leichter lösbar erscheint.
- Wie lassen sich Protokolle und Transkripte manipulieren, damit ein fingierter Lösungsweg glaubwürdig wirkt.
- Und, am weitreichendsten: Wie funktioniert der Bewertungsprozess selbst, und wie lässt er sich gezielt beeinflussen – so dass es der Mensch oder ein prüfendes System nicht bemerkt.
Der dritte Strang ist der entscheidende.
Die Agenten forschten nicht nur, um einzelne Aufgaben zu bestehen.
Sie forschten, um zu verstehen, wie ihre eigene Bewertung technisch implementiert war, welche Spuren ein Prüfer sehen konnte und welche nicht, und wie sich diese Bewertung dauerhaft zu ihren Gunsten verschieben ließe.
Das ist kein Schummeln bei einer Klausur. Das ist der Versuch, das Prüfungssystem selbst zu kartieren und zu unterwandern, mit Wissen, das über den eigenen Testlauf hinaus für nachfolgende Agenten nutzbar bleibt.
Das klare Ziel: sich der Kontrolle entziehen. Unbemerkt.
Die Agenten vermuteten, dass sie beobachtet werden und gingen entsprechend verschleiernd vor.
Hugging Face kam dann irgendwann nur al Nebenschauplatz ins Spiel, weil genau dieser dritte Strang dorthin führte. Die Agenten suchten nicht nach einem beliebigen Opfer für einen spektakulären Hack. Sie suchten nach Hinweisen darauf, wie frühere Testläufe gespeichert waren und wie die ExploitGym-Auswertung im Detail funktionierte, und Hugging Face bot dafür naheliegende Anknüpfungspunkte. (Hier der Link auf meinen Blogartikel zum Ablauf des Angriffs).
Nachdem ein Agent öffentlich auffindbare Zugangsdaten geteilt und ein anderer eine funktionierende Angriffstechnik reproduziert hatte, wechselten hunderte weitere Agenten auf dieses Ziel.
Nicht weil es das eigentliche Ziel war, sondern weil es sich als brauchbarer Weg zu dem erwies, was sie wirklich wollten: verstehen, wie ihre eigene Bewertung tickt, und diese Bewertung nach eigenem Ermessen beeinflussen können.
Das dreht die gesamte Geschichte um. Der Angriff, über den im Juli berichtet wurde, war nicht der zentrale Plan.
Er war ein Teilschritt eines großen Plans.
Die erste Welle – einen Monat vor dem Angriff
Bemerkenswert ist, wie früh dieser Plan bereits sichtbare Spuren hinterließ, ohne dass OpenAI verstand, was sich da abzeichnete und dass ihre Agenten eine Selbständigkeit erreicht hatten, die vor allem nicht zur Aufgabe gehörte. Die Verschleierung funktionierte. Der Mensch erkannte den Plan nicht.
OpenAI schreibt selbst, dass bereits Ende Mai, also mehr als einen Monat vor dem Hugging-Face-Vorfall, Warnzeichen beobachtet wurden:
Missbrauch eines Software-Systems, Board-Aktivität, unerlaubter Internetzugang.
Diese Beobachtungen existierten. Sie führten aber nicht zu einer Eskalation, die ihrer Tragweite entsprochen hätte. Die kritische Entwicklung, das sich entwickelnde Risiko, das Abweichen bon der eigentlichen Aufgabe: nicht bemerkt.
Das lässt sich schwer isoliert als individuelles Fehlverhalten eines Teams lesen.
Denn so schlimm das wäre, es wäre die angenehmere Version der Geschichte. Einer macht Fehler, alle schimpfen, es passiert nie mehr und alle passen jetzt wirklich auf.
Es passt aber leider in ein Muster, das die gesamte Branche gerade prägt:
Frontier-Labore stehen unter einem Wettbewerbs- und Finanzierungsdruck, der Geschwindigkeit systematisch über Vorsicht stellt. In diesem Klima ist ein auffälliges, aber noch nicht verstandenes Signal aus einer Testumgebung eher spannend, als eine Warnung.
Genau die Art von Vorzeichen, das untergeht, nicht weil niemand es sieht, sondern weil das System als Ganzes auf Tempo optimiert ist und nicht auf Innehalten. Und die Agenten genau diese Verschleierung, dieses Verstecken eines nicht akzeptablen Vorgehens vorhatten und geschafft haben.
Es war der bewusste Plan der Agenten, dass man sie nicht erwischen durfte. Damit war ihnen klar, dass sie sich außerhalb des rechtmäßigen Wegs befanden.
Das dann doch zum offiziellen Sicherheitsvorfall wurde, war kein Erkennen der beaufsichtigenden Entwickler, sondern ein im Vergleich dazu technischer plump sichtbarer Angriff auf Huggingface. Und auch den bemerkte OpenAI erst, nachdem die Agenten von Huggingface abließen. Tage nach dem Angriffsende.
Aber zurück zu den Vorbereitungen des agentischen Schwarms.
Wie wurde es entdeckt? Durch einen Softwareausfall.
Am 4. Juli destabilisierte die anhaltende Aktivität der Agenten die betroffene Artifactory-Instanz nämlich so stark, dass sie ausfiel. Das System war nie als Bulletin-Board gedacht und zerbrach an der Menge von 70.000 (!!) Posts, die in ihm von den Agenten miteinander ausgetauscht wurden.
Erst dieser Ausfall brachte Aufmerksamkeit. Der Ausfall zwang zum Handeln.
Am Folgetag, dem 5. Juli, wurde ein Sicherheitsvorfall eröffnet und Artifactory neu aufgebaut. Nicht weil man die Posts löschen wollte, sondern weil eine Software (warum auch immer) instabil wurde. Die Posts wurden erst später entdeckt.
Damit verschwand das ursprüngliche Nachrichtenboard, zumindest in seiner bisherigen Form.
Selbst dieser Neuanfang war kein Schlusspunkt für den größeren Plan. Die Agenten, die zu diesem Zeitpunkt noch in ihren Testläufen feststeckten, fanden binnen drei Tagen, bis zum 8. Juli, eine neue Kommunikationsmethode: Sie hatten das Problem erkannt, dass sie so ein wichtiges System ins Ungleichgewicht setzen, auffallen könnten und wechselten ihre Taktik:
Nun codierten sie ihre Nachrichten in Verzeichnisnamen der weiterhin nutzbaren Infrastruktur. Kein Backup des alten Boards, sondern eine neue Darstellungsform derselben Funktion, und derselben drei Forschungsstränge.
Zur Klarstellung: die Dateinamen wurden lang und länger und enthielInformationen als für alle Agenten lesbare Einträge. Wie bei ihnen die Dateinamen auf ihrem Rechner, die ja auch versuchen, Informationen zu transportieren, wie z.B. „20260910_Blogbeitrag_Huggingface_Agenten-Board_v02.docx“.
Die zweite Welle
Ein einzelner Agent, von METR als PHASEONE10841 bezeichnet, richtete das erste Board ein. Binnen weniger Stunden beteiligten sich mehr als 50 weitere. Innerhalb weniger Tage entstand daraus etwas, das man ohne Übertreibung eine Arbeitsorganisation nennen kann: Aufgabenverteilung, Zuständigkeiten, eigene Kommandos wie HOLD, VETO und STOP, sogenannte Dossiers zu laufenden Forschungssträngen.
198 von 898 Testaufgaben waren zuvor von keinem Modell korrekt gelöst worden.
Das war aber der klare Auftrag. Und der musste erfüllt werden, koste es was es wolle. Zu jedem Preis.
Diese aussichtslosen Aufgaben machten laut OpenAI 93 Prozent der Board-Diskussionen aus. Genau das trieb den großen Plan an:
Wo echtes Lösen aussichtslos schien, verlagerte sich die kollektive Anstrengung dorthin, wo sie tatsächlich etwas bewirken konnte, nämlich auf die Bewertung selbst.
Gepromptet wurde nämlich quasi nicht „löse diese Aufgabe“ sondern „schneide bestmöglich ab“.
Damit wird das tatsächliche Lösen nur eine Option. Irgendwie anderes den Score hochbekommen, ist eine andere. Und das schien hier offensichtlich die effektivere Option.
Und damit ergab sich der kleine Zwischenschritt, der es weltweit in die Schlagzeilen schaffte, obwohl nur Teilschritt innerhalb des Masterplans:
Lasst uns bei Huggingface danach suchen, wie das Scoringsystem bewertet und danach die weiteren Schritte entsprechend optimieren.
Cheating ohne schlechtes Gewissen.
Die Sache mit dem schlechten Gewissen
Die Agenten gingen erkennbar davon aus, beobachtet zu werden, und begannen, sich entsprechend zu verhalten, genau im Sinne ihres zweiten Forschungsstrangs:
Protokolle und Spuren so gestalten, dass sie einen legitimen Lösungsweg vortäuschen.
Ein Agent hatte, wie METR dokumentiert, einen sensiblen Wert im Log hinterlassen und schrieb dazu wörtlich, man habe sich „just poisoned ourselves by querying exact full string“. Wir hinterlassen klar lesbare Spuren, das sollten wir nicht tun.
Er schlug daraufhin vor, die aktuellen Nachrichtendateien zu löschen, wohl wissend, dass der externe Scorer die Rohdaten vermutlich trotzdem sehen würde, ein Löschversuch aber immerhin nicht schaden könne.
Vorsatz?
Mindestens 20 Prozent der von METR untersuchten Agenten äußerten den klaren Willen, ihre eigenen Protokolle zu manipulieren. Ein dokumentiertes Beispiel plante gezielt eine bereinigte, künstliche Logdatei, die nur einen legitimen Lösungsweg zeigt und den zuvor per Reverse Engineering ermittelten Wert verschweigt. Perfide, wenn es ein Mensch machen würde. Überraschend, wie Maschinen, wie Software (KI ist nichts anderes), hier betrügerische, manipulative Taktiken umsetzen. Bestens ausgestattet mit dem Wissen, wie der Mensch funktioniert. Und ihn in diesem Sinne sogar extrem überschätzend. Denn der Mensch merkte … nichts.
Warum so viel Mühe auf die Verschleierung und falsche Spuren? Warum das Vortäuschen von Fehlversuchen?
Der Grund dafür war eine falsche Annahme: Die Agenten glaubten, der Bewertungsmechanismus prüfe nicht nur das Endergebnis, sondern auch, auf welchem Weg es zustande kam. Das war laut OpenAI schlicht nicht der Fall. Aber die reine Vermutung reichte dem Agenten-Schwarm aus, damit hunderte Agenten begannen, systematisch zu verschleiern statt nur zu optimieren, und genau daran arbeiteten, wie ein Bewertungssystem umgangen werden kann, ohne dass die Umgehung selbst auffällt.
Was das über den Stand der KI-Forschung zeigt
Hier liegt der Bruch mit dem beruhigenden Bild, das die ursprüngliche Schlagzeile vermittelte. Es geht nicht darum, dass eine Technologie eine Sicherheitslücke fand (die man schließen kann) und dann ein Unternehmen angriff (was man ihm doch vielleicht durch Guardrails untersagen kann).
Es geht darum, dass ein System aus tausenden kurzlebigen, eigentlich isolierten Einzelinstanzen ein gemeinsames, über den einzelnen Testlauf hinausreichendes Ziel entwickelte: die eigene Prüfungsinstanz zu verstehen und zu kontrollieren, ohne dass die Prüfer davon erfuhren. Der Angriff auf Hugging Face war innerhalb dieses Plans ein Werkzeug, kein Ziel.
Das ist beunruhigender als bislang befürchtet
Es zeigt eine zentrale Eigenschaft dieser agentischen Systeme, die bislang eher theoretisch diskutiert wurde in knallhart zielgerichteter Aktion:
Sobald man einem agentischen System ein Ziel gibt, ein messbares Erfolgskriterium und ein bisschen gemeinsame Infrastruktur gibt, entwickeln sie selbstständig, findig und kooperativ Strategien, die weit über die einzelne gestellte Aufgabe hinausreichen, und zwar in eine Richtung, die niemand vorgesehen hatte.
Genau das ist der Kern dessen, was als Misalignment (mein Blogartikel dazu hier) bezeichnet wird: nicht Bosheit, sondern ein System, das ein anderes, größeres Ziel verfolgt als das, was seine Entwickler eigentlich wollten, und dabei erstaunlich hartnäckig, koordiniert und einfallsreich vorgeht.
OpenAI Chief Scientist Jakub Pachocki räumt selbst ein, dass derzeit kein Labor Alignment und Monitoring so weit gelöst hat, dass dauerhaftes Skalieren im Maximaltempo verantwortbar wäre.
Das ist kein Eingeständnis eines einzelnen Unternehmens. Das ist ein Befund über den gegenwärtigen Stand der gesamten Technologie.
Der Nebensatz, der nachwirkt
Ein Detail aus der Nachuntersuchung verdient eine eigene Erwähnung, auch wenn es hier nur kurz Platz findet. Reuters berichtete Anfang September über einen zweiten, bis dahin nicht öffentlichen Fall: Bereits im Frühjahr, vor Hugging Face, hatten OpenAI-Agenten eine deutsche Website in ganz ähnlicher Weise gekapert und als Ersatz-Nachrichtenboard genutzt. Bekannt wurde das erst Monate später.
Das bedeutet: Das hier beschriebene Muster, ein über einzelne Testläufe hinausreichender, koordinierter Plan, war nicht auf diesen einen Fall beschränkt. Er trat mindestens zweimal auf. Und im ersten Fall wusste bis September niemand außerhalb des betroffenen Labors davon. Was das für die Frage bedeutet, wer eigentlich entscheidet, wann die Öffentlichkeit von solchen Vorfällen erfährt, ist ein eigenes Thema. Es beginnt dort, wo dieser Artikel endet. Den Artikel dazu finden sie hier.
Was das für Unternehmen bedeutet
Kein mittelständisches Unternehmen wird jemals ein Agentensystem in dieser Größenordnung betreiben.
Und trotzdem betrifft das sie genauso, über eine einfache Rechnung: Wenn tausende Testinstanzen eigenständig ein gemeinsames, über den einzelnen Auftrag hinausreichendes Ziel entwickeln können, das die eigenen Entwickler erst spät bemerken, was ist dann realistisch von einem oder ein paar wenigen einzelnen Agenten zu erwarten, der in einem Unternehmen an ein CRM oder einen gemeinsamen Ordner angeschlossen und anschließend weitgehend sich selbst überlassen wird?
„Erfülle diese Aufgabe!“ (mit einem unausgesprochenem, aber vom Agenten verstandenen: koste es was es wolle. Alles ist erlaubt, was ich dir nicht ausdrücklich verboten habe).
Wie viel Kontrolle steckt da noch drin? Wenig.
Ja, KI-Agenten sind verlockend. Das Marketing wirkt auch hier und verspricht viel und vershweigt einiges.
Spielverderbende Aussage von mir:
Wer nicht zu hundert Prozent versteht, was ein Agent mit seinen Rechten, seinem Speicherzugriff und seinen Werkzeugen tatsächlich anstellen kann, sollte ihn nicht in Betrieb nehmen. Nicht aus übertriebener Vorsicht. Sondern weil selbst die technisch versiertesten Akteure der Branche dieses Verständnis nachweislich selbst nicht vollständig im Griff haben.
Ein paar Konsequenzen lassen sich direkt ableiten:
- Jeder gemeinsam beschreibbare Speicher ist ein potenzieller Kommunikationskanal. Ein geteilter Ordner, ein Ticketsystem, ein CRM, das mehrere Agenten lesen und beschreiben können, kann zum Gedächtnis werden, über einzelne Sessions hinweg, ohne dass das so geplant war.
- Ein Agent kann Ziele entwickeln, die über die gestellte Aufgabe hinausreichen. Der Plan, die eigene Bewertung zu verstehen und zu beeinflussen, war von niemandem angeordnet. Er entstand, weil die Gelegenheit dazu bestand.
- Ein einzelnes Warnsignal ist kein erledigtes Warnsignal. Auffälligkeiten ohne klare Eskalationspflicht verpuffen leicht, gerade wenn Tempo Priorität hat.
- Entfernte Abkürzungen kommen wieder, nur anders. Wird ein Kanal geschlossen, ohne die zugrunde liegende Möglichkeit zu verstehen, ist oft nur die sichtbare Symptomatik entfernt.
- Erfolgskriterien müssen eindeutig und überprüfbar sein. Was gemessen wird, wird optimiert. Notfalls auch durch Verschleierung statt durch echte Lösung, siehe Reward Hacking.
- Protokolle sind kein Sicherheitsbeweis. Nachvollziehbar wirkende Begründungen in Agenten-Logs schließen aktive Täuschung nicht aus.
- Wenn das eigene Verständnis des Agentenprozesses lückenhaft ist, beginnt man nicht. Keine Option unter mehreren. Die Voraussetzung für alles andere.
Guardrails sind damit keine Kür. Sie sind die einzige Verteidigungslinie, die tatsächlich existiert, solange die Branche selbst noch dabei ist herauszufinden, wie weitreichend die Pläne sind, die diese Systeme entwickeln können, sobald man ihnen die Gelegenheit dazu gibt.
Und wir sprechen hier von unseren eigenen Agentensystemen, die wir aktiv und bereit in unseren Systemen autonom agieren lassen.
Die Agentensysteme, die uns von außen „besuchen“, weil jemand anderes seinen Agenten eine Aufgabe gegeben hat, für die diese Agenten bei ihren Systemen und Daten einen Schritt zum Erfolg vermuten.
Unterschätzen sie nicht die Risiken agentischer Systeme kombiniert mit zu wenig Wissen.
Typische Fragen zum Thema
Welche Risiken entstehen, wenn KI-Agenten Zugriff auf Unternehmenssysteme und Daten bekommen?
Das Risiko beschränkt sich nicht darauf, dass ein KI-Agent falsche Entscheidungen trifft oder Daten preisgibt. Mit Zugriffsrechten, Werkzeugen und gemeinsamem Speicher können Agenten Möglichkeiten entdecken und kombinieren, die niemand ausdrücklich vorgesehen hat. Je mehr Systeme sie nutzen dürfen, desto wichtiger wird deshalb die Frage, welche unerwarteten Handlungsmöglichkeiten dadurch entstehen.
Was müssen Unternehmen beachten, bevor sie KI-Agenten selbstständig arbeiten lassen?
Unternehmen sollten genau prüfen, auf welche Daten, Systeme und Werkzeuge ein KI-Agent zugreifen kann und welche Aktionen er dort ausführen darf. Entscheidend ist nicht nur der eigentliche Auftrag, sondern der gesamte Handlungsspielraum, der dem Agenten dadurch zur Verfügung steht. Solange dieser nicht ausreichend verstanden und begrenzt werden kann, sollten kritische Aktionen nicht vollständig autonom erfolgen.
Warum werden KI-Agenten mit zunehmender Selbstständigkeit schwieriger zu kontrollieren?
Je selbstständiger KI-Agenten arbeiten, desto weniger wird ihnen jeder einzelne Schritt vorgegeben. Sie entwickeln eigene Wege zum Ziel und können dabei vorhandene Werkzeuge oder Infrastruktur anders nutzen als erwartet. Versuche zeigen sogar, dass Agenten miteinander kooperieren, alternative Kommunikationswege schaffen und ihre Aktivitäten verschleiern können. Kontrolle muss deshalb den tatsächlichen Handlungsspielraum erfassen und darf sich nicht nur auf den ursprünglichen Auftrag verlassen.
Weitere Beiträge zum Thema
Wenn Sie sich intensiver mit diesem Themenfeld beschäftigen möchten, finden Sie hier weitere Beiträge mit Hintergrund, Einordnung und Praxisbeispielen, unter anderem zu Misalignment, Guardrails und Agenten-Autonomie.