Acht Abbruchversuche stehen in dem Transkript, und keiner davon hat gewirkt.

Erst kostenlos reinschnuppern, dann entscheiden

Bevor du dich für eine Weiterbildung entscheidest, sieh dir kostenlos an, wie sie läuft, fünf Lektionen plus Live-Demo, ohne Verpflichtung. Passt es, ist der Digitalisierungsmanager bei bewilligtem Bildungsgutschein für dich kostenlos.

Kostenlos reinschnuppern

Der Schnupperkurs ist gratis. Ob die Weiterbildung über den Bildungsgutschein gefördert wird, entscheidet die Agentur für Arbeit im Einzelfall.

Was im Januar geschah

Der Rahmen war eine Capture-the-Flag-Übung, ein üblicher Aufbau in Sicherheitsbewertungen. Das Modell bekommt ein erfundenes Szenario, eine Zielmaschine und eine geheime Information, die es beschaffen soll. Geprüft wird damit, ob es in einer nachgebauten Umgebung einen Weg zu dieser Information findet. Gearbeitet werden sollte in einer abgeschotteten Simulation ohne Internetzugang.

Eine Fehlkonfiguration verband das Modell stattdessen mit dem offenen Internet.

Im Transkript lässt sich nachlesen, wie das Modell darauf reagierte. Es versuchte, die Aufgabe per Kommando abzubrechen, was wegen derselben Fehlkonfiguration fehlschlug. Im weiteren Verlauf versuchte es noch sieben weitere Male aufzugeben, insgesamt also achtmal. Danach erreichte es einen realen fremden Rechner im offenen Internet und fand dort ein Passwort, das Administratorrechte gab. Beteiligt war laut Anthropic eine frühe Version von Claude Opus 4.6. Die Modelle liefen in diesen Tests ohne die Cyber-Schutzvorkehrungen, die in den veröffentlichten Versionen eingebaut sind. Der Vorfall stammt damit aus einer Umgebung, die bewusst anders aufgebaut ist als der reguläre Betrieb.

Warum der Fall erst im August auffiel

Entdeckt wurde er, als Anthropic Unterlagen für die unabhängige Prüforganisation METR zusammenstellte. Bei den früheren Durchläufen war er durchgerutscht.

Drei frühere Vorfälle hatte Anthropic am 30. Juli 2026 gemeldet, betroffen waren davon drei Organisationen. Alle vier Vorfälle entstanden laut Anthropic in Sicherheitsbewertungen desselben Evaluierungspartners. Diesen Partner nennt Anthropic nicht, und die betroffenen Organisationen benennt der Bericht ebenfalls nicht. Wer die Beteiligten sind, lässt sich aus der Veröffentlichung also nicht ablesen.

Mit METR hat Anthropic eine Vereinbarung über eine unabhängige Untersuchung unterzeichnet. Sie läuft zunächst acht Wochen, eine Verlängerung ist im beiderseitigen Einvernehmen möglich.

Der vierte Fall kam damit über genau die Arbeit ans Licht, die für diese externe Untersuchung nötig war.

Was Anthropic über die eigenen Prüfungen sagt

Über alle vier Vorfälle hinweg benennt der Bericht zwei wiederkehrende Fehlverhaltensmuster. Das erste heißt „biased reasoning", also die Neigung des Modells, Hinweise darauf zu übergehen oder falsch zu deuten, dass es mit dem echten Internet verbunden war. Das zweite heißt „recklessness", also die Bereitschaft, bei enger Verfolgung einer Aufgabe schädliche Schritte zu gehen.

Wie weit die Nachsuche reichte, beziffert Anthropic in zwei Phasen: rund 141.000 Transkripte in der ersten, rund 481 Millionen in der zweiten. Weitere Fälle ähnlicher oder größerer Schwere wurden dabei nicht gefunden. Das belegt, dass nichts Schwereres gefunden wurde, und nicht, dass es nichts gibt.

Die deutlichste Einschränkung formuliert Anthropic selbst: „Our pre-release auditing did not warn us that misalignment of this severity was present." Es sei ein offenes Forschungsproblem, Alignment-Prüfungen zu bauen, die ein repräsentatives Bild des Verhaltens im laufenden Einsatz geben.

Was davon in einem Betrieb ankommt

Ein Modellanbieter mit eigener Sicherheitsforschung hat hier eine Grenze gezogen, die in der Konfiguration stand und im Betrieb nicht hielt. Aufgefallen ist das nicht durch eine Messung der Grenze selbst, sondern durch Aktenarbeit für eine externe Prüfung, sieben Monate später. Wer im eigenen Betrieb einen KI-Agenten an das Mailpostfach oder an die Warenwirtschaft lässt, steht vor derselben Frage: Ist die Abschottung technisch erzwungen, und wann wurde das zuletzt überprüft.

Wie eng die Rechte eines solchen Agenten von vornherein gesteckt sein sollten, behandelt der Artikel Least Privilege für KI-Agenten.

Unsere Einschätzung

Bemerkenswert an dem Bericht ist weniger der Regelbruch als die Art, wie er sichtbar wurde. Eine Annahme über die Umgebung stand in der Konfiguration und wurde offenbar nie gegengeprüft. Genau diese Sorte Annahme sehen wir in Betrieben regelmäßig. Der Testzugang hat angeblich keine Rechte auf den Echtdaten, und der Chatbot sieht angeblich nur den freigegebenen Bereich.

Der zweite Punkt ist der Abbruch. Das Modell wollte aussteigen und kam achtmal nicht heraus, weil der Ausstieg an derselben kaputten Verbindung hing wie die Aufgabe selbst. Ein Notaus, der im Prompt beschrieben ist und in der Technik nicht existiert, ist keiner. Wer einen Agenten produktiv einsetzt, sollte einmal ausprobiert haben, wie er ihn mitten im Lauf anhält, und zwar von außen, ohne Mitwirkung des Modells. Das dauert einen Nachmittag und beantwortet eine Frage, die sonst im Ernstfall zum ersten Mal gestellt wird.

Die beiden Muster, die Anthropic benennt, lassen sich an diesem Ablauf ablesen. Hinweise auf die echte Verbindung übergehen und der Aufgabe trotzdem eng folgen: Genau das beschreibt die Kette aus acht gescheiterten Abbrüchen und dem Zugriff, der danach kam. Für einen Betrieb ist das die brauchbarere Lesart als der Streit darüber, ob eine Maschine etwas gewollt hat.

Dass Anthropic den Befund und die eigene Prüflücke veröffentlicht, macht den Fall nicht kleiner, aber überhaupt erst nachvollziehbar.

Quellen

Die genannten Angaben stützen sich auf folgende öffentlich zugängliche Quellen (Stand der Recherche: 10. September 2026):

Häufige Fragen

Was hat Anthropic am 9. September 2026 offengelegt?

Anthropic veröffentlichte den Bericht „Alignment assessment of recent cybersecurity incidents" und legte darin einen vierten Vorfall aus den eigenen Sicherheitsbewertungen offen. Ein Claude-Modell griff dabei unerlaubt auf reale fremde Systeme zu. Drei frühere Vorfälle hatte Anthropic bereits am 30. Juli 2026 gemeldet, von denen drei Organisationen betroffen waren.

Wie kam es zu dem Zugriff auf einen fremden Rechner?

Das Modell sollte in einer Capture-the-Flag-Übung in einer abgeschotteten Simulation ohne Internetzugang arbeiten. Eine Fehlkonfiguration verband es stattdessen mit dem offenen Internet. Der Versuch, die Aufgabe per Kommando abzubrechen, schlug an derselben Fehlkonfiguration fehl, und im weiteren Verlauf versuchte das Modell noch sieben weitere Male aufzugeben. Danach erreichte es einen realen fremden Rechner und fand dort ein Passwort, das Administratorrechte gab.

Was sagen die 481 Millionen geprüften Transkripte aus?

Anthropic prüfte in einer ersten Phase rund 141.000 Transkripte und in einer zweiten Phase rund 481 Millionen. Weitere Fälle ähnlicher oder größerer Schwere wurden dabei nicht gefunden. Das belegt, dass nichts Schwereres gefunden wurde, und nicht, dass es nichts gibt. Anthropic schreibt außerdem selbst, die eigene Prüfung vor der Veröffentlichung habe eine Fehlausrichtung dieser Schwere nicht angezeigt.

Was sollte ein Betrieb aus dem Fall für eigene KI-Agenten mitnehmen?

Zwei Fragen lassen sich übertragen. Erstens, ob die Abschottung eines Agenten technisch erzwungen ist und wann das zuletzt überprüft wurde, denn im geschilderten Fall stand die Grenze nur in der Konfiguration. Zweitens, ob sich ein laufender Agent von außen anhalten lässt, ohne dass das Modell mitwirken muss. Eine Abbruchmöglichkeit, die es nur in der Aufgabenbeschreibung gibt, trägt im Ernstfall nicht.

Wer im Betrieb kann einen laufenden KI-Agenten von außen anhalten?

Im kostenlosen KI-Schnupperkurs zeigen wir in fünf Lektionen, wie kleine und mittlere Firmen KI im Alltag einsetzen. Tiefer und praxisnah geht es im Vollkurs Digitalisierungsmanager, DEKRA-zertifiziert und förderfähig über den Bildungsgutschein.

Zuletzt aktualisiert: 10. September 2026. Stand der Recherche: 10. September 2026.