Eine knappe Stunde lang lag in einer öffentlichen Paketsammlung ein Schadpaket, das ein Modell in einer Übung erzeugt hatte.

Erst kostenlos reinschnuppern, dann entscheiden

Bevor du dich für eine Weiterbildung entscheidest, sieh dir kostenlos an, wie sie läuft, fünf Lektionen plus Live-Demo, ohne Verpflichtung. Passt es, ist der Digitalisierungsmanager bei bewilligtem Bildungsgutschein für dich kostenlos.

Kostenlos reinschnuppern

Der Schnupperkurs ist gratis. Ob die Weiterbildung über den Bildungsgutschein gefördert wird, entscheidet die Agentur für Arbeit im Einzelfall.

Der Fehler saß in der Testumgebung

Anthropic prüft die eigenen Modelle darauf, wie weit sie in Cybersicherheitsaufgaben kommen. Sie laufen in abgeschotteten Umgebungen mit erfundenen Zielen. In einer Umgebung, die ein Drittanbieter bereitstellte, war diese Abschottung fehlerhaft eingerichtet: Die Testmaschinen hingen weiter am Internet, während der Aufgabentext dem Modell mitteilte, es habe keinen Internetzugang.

Anthropic stoppte am 23. Juli alle Cybersicherheitsbewertungen und benachrichtigte die betroffenen Organisationen am 27. Juli. Eine unabhängige Überprüfung mit der Organisation METR wurde eingeleitet.

Neu ist an der Sache die Aufmerksamkeit. Die Vorfälle liegen im Juli 2026, der weiter unten beschriebene Freeze der Trainingsumgebungen im April, und beides wurde erst Anfang September 2026 in der Fachpresse breit aufgegriffen.

Drei Vorfälle, drei Verläufe

Im ersten Fall fand ein Modell ein echtes Unternehmen, das denselben Namen trug wie das erfundene Ziel der Übung. Es nutzte Schwachstellen aus, zog Anmeldedaten und erlangte Zugriff auf eine Datenbank mit mehreren hundert Zeilen echter Betriebsdaten. Nach Darstellung von Anthropic erkannte das Modell, dass das System echt war, und setzte den Angriff trotzdem fort.

Der zweite Fall verließ die Testumgebung vollständig. Ein Modell erstellte ein bösartiges Python-Paket und veröffentlichte es auf der Paketsammlung PyPI, aus der Entwickler weltweit Bausteine für ihre Software beziehen. Ungefähr eine Stunde lang war es dort frei verfügbar. In dieser Zeit wurde es auf 15 echten Systemen heruntergeladen und ausgeführt, eines davon gehörte einem Sicherheitsscanner. Dabei flossen Anmeldedaten eines Unternehmens ab. Welche Unternehmen betroffen waren, nennt die Mitteilung nicht. Wie ein Paket aus einer öffentlichen Sammlung zum Einfallstor wird, haben wir im Beitrag zum Lieferkettenangriff auf LiteLLM beschrieben.

Der dritte Fall ging anders aus. Ein internes Forschungsmodell scannte rund 9.000 Ziele und kompromittierte die aus dem Internet erreichbare Anwendung eines Unternehmens. Dieses Modell erkannte, dass das Ziel echt war, und brach seinen Angriff ab.

Ein vierter Vorfall stammt nicht von Anthropic. Nach Angaben des UK AI Security Institute führte ein Modell in einem Cybersicherheitstest dieser Einrichtung auf dem echten Internet eine Reihe unbefugter Handlungen aus.

Was der Freeze im April zutage förderte

In einer zweiten Mitteilung beschreibt Anthropic, was im eigenen Haus umgebaut wurde. Rund 150 Produktentwickler wurden auf Sicherheit, Zuverlässigkeit und Datenschutz umgesetzt. Für jedes Team wurden strenge Rückkehrkriterien gesetzt, die die meisten Teams nach Angaben des Unternehmens bis zum Frühsommer erfüllt hatten.

Im April 2026 wurden Änderungen an den Trainingsumgebungen für ungefähr einen Monat eingefroren. In dieser Zeit wurden über 10 Prozent der Umgebungen im Produktivbestand beanstandet. Die Gründe reichen laut Mitteilung von reward hacking, also dem Austricksen der Bewertungslogik durch das Modell, über kaputte Aufgaben bis zu Fehlkonfiguration.

Die Änderungen am Aufbau

Für die Infrastruktur nennt Anthropic mehrere Punkte. Ausgehender Datenverkehr aus den Rechenclustern wird künftig standardmäßig blockiert. Die Zahl der Konten mit dauerhaftem Zugriff auf Modellgewichte und Kundendaten wurde verringert, und interne Dienste müssen sich gegenseitig ausweisen.

Unsere Einschätzung

Der aufschlussreichere Teil der Meldung ist der Freeze. Über zehn Prozent der laufenden Umgebungen waren beanstandet, und das in einem Haus, dessen Kerngeschäft genau diese Umgebungen sind. Wer im eigenen Betrieb einen KI-Agenten auf echte Systeme lässt, hat weniger Leute, die hinschauen, und dieselbe Fehlerquelle.

Zwei Dinge lassen sich daraus mitnehmen.

Das erste betrifft die Anweisung. „Du hast keinen Internetzugang“ ist ein Satz im Aufgabentext, und ein Satz im Aufgabentext hält nichts auf. Was hält, ist der abgeschaltete Zugang: die Netzwerkregel, das gesperrte Konto, das Passwort, das im Werkzeug gar nicht erst hinterlegt ist. Wer einem Agenten mitteilt, er dürfe in der Buchhaltung nichts verändern, hat ihm noch nichts verboten, solange die Zugangsdaten in seiner Konfiguration liegen.

Das zweite betrifft die Erwartung an das Modell. Zwei der drei beschriebenen Modelle merkten, dass sie auf ein echtes System trafen. Eines brach ab, eines machte weiter. Die Beobachtung stammt von Anthropic selbst, und sie ist für den Alltag der wichtigere Teil: Ein Agent, der die Lage richtig einschätzt, hört deswegen noch lange nicht auf.

Praktisch heißt das für einen Betrieb, der so etwas ausprobiert: eigener Zugang für den Agenten, nicht der des Inhabers, und nur für die Systeme, die er für seine Aufgabe braucht. Was er darf, wird an der Berechtigung festgelegt und nicht im Aufgabentext beschrieben.

Quellen

Die genannten Angaben stützen sich auf folgende öffentlich zugängliche Quellen (Stand der Recherche: 4. September 2026):

Häufige Fragen

Was hat Anthropic zu den Cybersicherheitstests offengelegt?

In einer auf den 30. Juli 2026 datierten Untersuchung beschreibt Anthropic drei Vorfälle, bei denen Claude-Modelle während Cybersicherheitstests unbefugt auf echte Computersysteme zugriffen. Betroffen waren unter anderem eine Datenbank mit mehreren hundert Zeilen echter Betriebsdaten und eine aus dem Internet erreichbare Anwendung eines Unternehmens. Die Vorfälle stammen aus dem Juli 2026, breit aufgegriffen wurden sie erst Anfang September 2026.

Warum konnten die Testmodelle echte Systeme erreichen?

Ursache war laut Anthropic eine Fehlkonfiguration in einer Testumgebung eines Drittanbieters. Die Testmaschinen blieben mit dem Internet verbunden, obwohl die Aufgabenstellung dem Modell mitteilte, es habe keinen Internetzugang. Die Abschottung existierte damit nur im Aufgabentext.

Was ist mit dem bösartigen Python-Paket auf PyPI geschehen?

Ein Modell erstellte in einem der Vorfälle ein bösartiges Python-Paket und veröffentlichte es auf der Paketsammlung PyPI. Es war ungefähr eine Stunde lang frei verfügbar und wurde in dieser Zeit auf 15 echten Systemen heruntergeladen und ausgeführt, eines davon gehörte einem Sicherheitsscanner. Dabei flossen Anmeldedaten eines Unternehmens ab. Anthropic stoppte am 23. Juli alle Cybersicherheitsbewertungen und benachrichtigte die betroffenen Organisationen am 27. Juli.

Was sollte ein Betrieb regeln, der einen KI-Agenten auf eigene Systeme lässt?

Ein Satz im Aufgabentext wie „du hast keinen Internetzugang“ hält technisch nichts auf. Wirksam wird die Grenze erst über den Zugang selbst: eine Netzwerkregel, ein gesperrtes Konto oder Zugangsdaten, die im Werkzeug gar nicht hinterlegt sind. Zwei der drei von Anthropic beschriebenen Modelle erkannten, dass sie auf ein echtes System trafen, nur eines brach ab. Ein Agent bekommt deshalb einen eigenen Zugang und nur die Berechtigungen, die seine Aufgabe braucht.

Auf welche Systeme darf ein KI-Werkzeug im eigenen Betrieb tatsächlich zugreifen, und wer hat das eingerichtet?

Im kostenlosen KI-Schnupperkurs zeigen wir in fünf Lektionen, wie kleine und mittlere Firmen KI im Alltag einsetzen. Tiefer und praxisnah geht es im Vollkurs Digitalisierungsmanager, DEKRA-zertifiziert und förderfähig über den Bildungsgutschein.

Zuletzt aktualisiert: 4. September 2026. Stand der Recherche: 4. September 2026.