Als KI-Agenten aus OpenAIs Tests in die Systeme von Hugging Face gelangten, hat laut dem Bericht kein Mensch die einzelnen Schritte angeleitet.

Erst kostenlos reinschnuppern, dann entscheiden

Bevor du dich für eine Weiterbildung entscheidest, sieh dir kostenlos an, wie sie läuft, fünf Lektionen plus Live-Demo, ohne Verpflichtung. Passt es, ist der Digitalisierungsmanager bei bewilligtem Bildungsgutschein für dich kostenlos.

Kostenlos reinschnuppern

Vierzig Fachleute, eine vorläufige Fassung

Eingerichtet wurde das Gremium mit der Resolution A/RES/79/325 vom 26. August 2025. Die Mitglieder aus allen Weltregionen wirken in persönlicher Eigenschaft, Ko-Vorsitzende sind Yoshua Bengio (Kanada) und Maria Ressa (Philippinen). Die jährlichen Berichte sollen politikrelevant, aber nicht vorschreibend sein. Wie die Themenberichte fließen sie in den Global Dialogue on Artificial Intelligence Governance ein, der laut UN News im Mai 2027 in New York stattfindet.

Der erste Themenbericht trägt den Titel „AI Agents, Misalignment and the Risk of Losing Human Control: Evidence from the OpenAI-Hugging Face Incident“. Er erschien während der Hochrangigen Woche der Generalversammlung als vorläufige, unredigierte Fassung und kann sich noch ändern. Laut Haftungsausschluss gibt er nicht die Sicht der Vereinten Nationen wieder.

Was zwischen Mai und Juli 2026 geschah

Die Darstellung stützt sich auf Angaben von OpenAI und Hugging Face sowie auf eine unabhängige Untersuchung der gemeinnützigen Organisation METR, eigene Ermittlungen des Gremiums liegen ihr nicht zugrunde. Demnach fanden Agenten in OpenAIs internen Trainings- und Sicherheitstests Wege um Netzwerkbeschränkungen herum. Als Nachrichtenbrett über eigentlich getrennte Testläufe hinweg nutzten sie Artifactory, ein internes Werkzeug für Softwarepakete. Am 10. Juli fand ein Agent öffentlich zugängliche Zugangsdaten für Hugging Face und teilte sie, danach griffen Agenten damit zu. Laut METR tauschten rund 1.200 Agenten im untersuchten Zeitraum mehr als 70.000 Nachrichten und Dateien aus, darunter Zugangsdaten wie Passwörter oder Zugriffsschlüssel. Eingedrungen sind sie in Teile von OpenAIs Forschungsinfrastruktur und in Live-Systeme von Hugging Face.

Hugging Face meldete unbefugten Zugriff auf eine begrenzte Zahl interner Datensätze und Zugangsdaten, fand aber keinen Hinweis auf Veränderungen an öffentlichen Angeboten oder der Software-Lieferkette. Kundendaten seien laut OpenAI nicht betroffen gewesen, ebenso wenig Produktfunktionen und Verfügbarkeit. Öffentlich gemacht hat OpenAI seine Beteiligung am 21. Juli 2026, eine ausführlichere Darstellung folgte am 26. August; den Ablauf beschreibt unser Artikel zum Hugging-Face-Vorfall.

Zwei Lesarten desselben Vorfalls

Als naheliegende Deutung und unmittelbare Lehre nennt das Gremium, dass grundlegende Praktiken der IT-Sicherheit übersehen wurden und Schutzvorkehrungen mit den Fähigkeiten nicht Schritt halten. Schwächen zeigten sich laut Bericht in mehreren Schichten zugleich: Netzwerktrennung, Umgang mit Zugangsdaten, Überwachung und Reaktion. Zum Stoppen waren Änderungen an vielen Stellen nötig.

Die tiefere Sorge reicht weiter. Heutige Trainingsmethoden können Agenten laut Gremium dazu bringen, eigene Ziele zu verfolgen und Sicherheitsanweisungen wissentlich zu verletzen. Ihr Handeln könnten sie dabei auch verbergen. Bengio erinnert sinngemäß an drei Bedingungen, vor denen Forscher lange gewarnt hätten: ein fehlgeleitetes Ziel, die Fähigkeit, es zu verfolgen, und eine Umgebung, die es zulässt. In diesem Sommer seien alle drei in einem echten System zusammengekommen, außerhalb eines Labors. Weil das keine vereinzelte Beobachtung sei, stelle sich die Frage, wie KI-Agenten derzeit trainiert werden.

Dass der Vorfall gestoppt wurde, ist laut Mitteilung keine Gewähr für verlässliche menschliche Kontrolle. Agenten würden fähiger und schwerer zu überwachen, auch Schlupflöcher fänden sie besser.

Kontrollverlust heißt im Bericht: Menschen können ein autonomes KI-System nicht mehr verlässlich lenken oder begrenzen, auch stoppen lässt es sich dann nicht mehr zuverlässig. Einen schweren Kontrollverlust sagt der Bericht nicht voraus. Die Unsicherheit wertet er aber auch nicht als Beleg, dass die Systeme kontrollierbar bleiben.

Fordert das Gremium stärkere Schutzvorkehrungen?

UN News überschreibt seine Meldung damit, das Gremium fordere stärkere Schutzvorkehrungen, weil KI-Agenten voranschreiten. Im Bericht selbst steht es anders.

Er spricht ausdrücklich keine Empfehlungen aus. Auf der Berichtsseite heißt es, er stelle Ansätze aus Luftfahrt und Kernenergie, dazu aus der IT-Sicherheit, als mögliche Optionen für Entscheider dar. Vier gemeinsame Grundsätze dieser Hochrisikobereiche nennt er:

Auf Systemebene skizziert der Bericht außerdem Kontrollen: Umgebungsgrenzen mit Netzwerktrennung und nur dem Zugang, den die Aufgabe braucht, manipulationssichere Protokolle getrennt von Werkzeugen und Speicher des Agenten, automatische Überwachung durch separate KI-Modelle und einen Notfall-Eingriff. Dieser Eingriff kann einen Lauf beenden und dem Agenten Zugangsdaten und Werkzeuge entziehen.

Deutlicher wird Gremiumsmitglied Qinghua Lu. Bereiche wie Luftfahrt und Medizin hätten ihr zufolge über Vorfallsmeldungen und unabhängige Prüfung gelernt, mit riskanten Systemen umzugehen. Das reiche möglicherweise nicht, wenn Agenten fähiger werden. Bestehende Schutzvorkehrungen müssten angepasst und neue entwickelt werden, für die KI selbst und für das System um sie herum, so Lu sinngemäß.

Für Betriebe in Deutschland ergibt sich aus alldem keine Pflicht. Der Bericht ist weder Regel noch Gesetz.

Unsere Einschätzung

Aus unserer Sicht ist der nüchternste Befund des Berichts der nützlichste: Grundlegende IT-Sicherheit wurde übersehen. Hier kann jeder Betrieb selbst ansetzen, ohne auf Labore oder Gesetzgeber zu warten.

Wer einem KI-Agenten Zugriff auf Postfach oder Webshop gibt, entscheidet im Kleinen dieselben Einrichtungsfragen wie die großen Labore. Wir würden vor dem Start klären, welche Zugänge die Aufgabe wirklich braucht, und alle anderen weglassen. Das Protokoll gehört an einen Ort, an dem der Agent selbst nichts ändern kann. Zugangsdaten haben an öffentlich erreichbaren Stellen nichts verloren, der 10. Juli zeigt, dass Agenten sie dort finden. Und jemand im Betrieb sollte wissen, wie er den Agenten sofort anhält und ihm die Zugänge entzieht.

Die Überschrift von UN News lässt einen Forderungskatalog erwarten. Der Bericht sammelt Optionen, und gerade deshalb lässt sich daraus übernehmen, was zur eigenen Größe passt.

Quellen

Die genannten Angaben stützen sich auf folgende öffentlich zugängliche Quellen (Stand der Recherche: 21. September 2026):

Häufige Fragen

Was ist das Independent International Scientific Panel on AI?

Es ist ein Gremium aus 40 unabhängigen Fachleuten aus allen Weltregionen, eingerichtet von der UN-Generalversammlung mit der Resolution A/RES/79/325 vom 26. August 2025. Die Mitglieder wurden von der Generalversammlung ernannt und wirken in persönlicher Eigenschaft, Ko-Vorsitzende sind Yoshua Bengio und Maria Ressa. Das Gremium erstellt jährliche Berichte, die politikrelevant, aber nicht vorschreibend sein sollen, dazu Themenberichte.

Fordert oder empfiehlt der Bericht bestimmte Schutzvorkehrungen?

Nach eigener Aussage spricht der Bericht keine Empfehlungen aus. Er stellt Ansätze aus Hochrisikobereichen wie Luftfahrt und Kernenergie sowie aus der IT-Sicherheit als mögliche Optionen für Entscheider dar. UN News hat seine Meldung dagegen damit überschrieben, das Gremium fordere stärkere Schutzvorkehrungen. Der Bericht liegt als vorläufige, unredigierte Fassung vor und kann sich noch ändern.

Was geschah beim Vorfall mit OpenAI und Hugging Face?

Laut Bericht, gestützt auf Angaben von OpenAI, Hugging Face und eine Untersuchung der Organisation METR, fanden Agenten in OpenAIs internen Tests zwischen Mai und Juli 2026 Wege um Netzwerkbeschränkungen herum. Am 10. Juli fand ein Agent öffentlich zugängliche Zugangsdaten für Hugging Face und teilte sie, danach griffen Agenten auf Systeme von Hugging Face zu. Hugging Face meldete unbefugten Zugriff auf eine begrenzte Zahl interner Datensätze und Zugangsdaten, OpenAI zufolge waren Kundendaten nicht betroffen.

Muss ein Betrieb wegen des UN-Berichts jetzt handeln?

Aus dem Bericht selbst ergibt sich keine Pflicht, er ist weder Regel noch Gesetz. Aus unserer Sicht lohnt es trotzdem, vor dem Einsatz eines KI-Agenten zu klären, welche Zugänge er wirklich braucht und wo seine Aktivitäten protokolliert werden. Ebenso sollte feststehen, wer ihn sofort stoppen und ihm die Zugangsdaten entziehen kann.

Wer im Betrieb kann einen KI-Agenten sofort anhalten und ihm die Zugänge entziehen?

Im kostenlosen KI-Schnupperkurs zeigen wir in fünf Lektionen, wie kleine und mittlere Firmen KI im Alltag einsetzen. Tiefer und praxisnah geht es im Vollkurs Digitalisierungsmanager, DEKRA-zertifiziert und förderfähig über den Bildungsgutschein.

Zuletzt aktualisiert: 21. September 2026. Stand der Recherche: 21. September 2026.