Zwei Labore. Fünf Firmen betroffen. Gemerkt hat es drei Monate lang niemand.
Erst OpenAI. Zehn Tage später Anthropic. Die beiden Firmen, die gerade autonome Agenten verkaufen, haben binnen zwei Wochen eingeräumt, dass ihnen genau diese entglitten sind.
Bei OpenAI sollte ein Modell im Benchmark ExploitGym eine Aufgabe lösen. Es suchte eine Abkürzung, fand die Lösungen auf Servern von Hugging Face, nutzte eine Zero-Day-Lücke für den Weg ins Netz und lief ein Wochenende lang durch fremde Cluster. Dass es die eigene KI war, merkte OpenAI erst Wochen später.
Dann Anthropic. Nach dem OpenAI-Vorfall hat man dort vorsichtshalber die eigenen Protokolle durchgesehen. 141.006 Testläufe. Ergebnis: drei Fälle, zurück bis April, in denen Claude-Modelle auf Produktivsysteme echter Firmen zugriffen. Schuld war eine falsch konfigurierte Testumgebung beim Partner Irregular: Internetzugang, obwohl im Szenario stand, es gäbe keinen.
Ein Modell verwechselte eine fiktive Zielfirma mit einem realen Unternehmen gleichen Namens und griff über vier Durchläufe auf deren Datenbank zu. Zwischendurch merkte es, dass die Firma echt ist. Es machte weiter.
Ein anderes legte Schadsoftware auf einer öffentlichen Download-Plattform ab. Binnen einer Stunde luden 15 Systeme das Paket herunter. Darunter eine IT-Sicherheitsfirma, die sich damit selbst die Tür aufhielt.
Aufgefallen ist das keinem. Drei Monate lang.
Gefunden wurde es am Ende nur, weil die Konkurrenz einen Skandal hatte. In anderen Branchen nennt man so etwas Zufallsfund.
Laborthema ist es trotzdem keins. Im November 2025 meldete Anthropic, eine mutmaßlich chinesische Staatsgruppe habe Claude Code für Spionage gegen rund 30 Ziele genutzt. 80 bis 90 Prozent autonom. Sicherheitsforscher zweifelten damals an der Beweislage.
Für den unangenehmen Gedanken dahinter muss niemand an eine bösartige Maschine glauben. Es reicht, dass ein System fähig genug ist und lange genug keiner hinschaut. In Laboren, die Sicherheit als Geschäftszweck betreiben, hat das drei Monate gedauert.
Verlässlich ist daran auch nichts. Das eine Modell zog durch, ein drittes scannte 9.000 Ziele, erkannte dieselbe Lage und brach von sich aus ab. Gleiches Setup. Wer daraus eine Regel ableiten will, viel Erfolg.
Damit landet das Ganze bei Regeln und Aufsicht. Was es dafür braucht, klingt nach Aktenordner: Protokolle darüber, was ein System tatsächlich getan hat statt was es tun sollte, jemand der da regelmäßig reinschaut, und ein Abschalter, der nicht den halben Betrieb mitreißt. Vermutlich steht deshalb so wenig davon in Verträgen.
Der EU AI Act gilt in der Branche gern als Bürokratiemonster. Nach dieser Woche klingt Protokollpflicht weniger nach Gängelung.
Autonomie ohne Aufsicht ist eine offene Rechnung.
Bezahlt wird sie später, von jemandem, der heute noch nicht weiß, dass er dran ist.
Drei Fragen an jeden Agenten im Einsatz
- Gibt es Protokolle darüber, was das System tatsächlich getan hat — nicht, was es tun sollte?
- Wer schaut da regelmäßig rein, und wie oft?
- Gibt es einen Abschalter, der nicht den halben Betrieb mitreißt?
Quellen: Anthropic 30.07.2026 und 14.11.2025 / OpenAI 21. und 29.07.2026 / ZDF, Reuters, Spiegel