Rund 3.800 Wörter umfasst der Essay, seine Kernforderung lautet sinngemäß übersetzt: Wir müssen das Tempo verlangsamen, mit dem wir die Fähigkeiten von KI-Modellen verbessern.

Erst kostenlos reinschnuppern, dann entscheiden

Bevor du dich für eine Weiterbildung entscheidest, sieh dir kostenlos an, wie sie läuft, fünf Lektionen plus Live-Demo, ohne Verpflichtung. Passt es, ist der Digitalisierungsmanager bei bewilligtem Bildungsgutschein für dich kostenlos.

Kostenlos reinschnuppern

Der Schnupperkurs ist gratis. Ob die Weiterbildung über den Bildungsgutschein gefördert wird, entscheidet die Agentur für Arbeit im Einzelfall.

Langsamer werden, ohne anzuhalten

Veröffentlicht hat Dario Amodei den Text auf seiner persönlichen Website. Ein Tagesdatum steht dort nicht, die Seite nennt nur „September 2026“. Die Berichte von The Decoder und Fortune datieren die Veröffentlichung auf Samstag, den 12. September 2026; dieses Datum stammt also aus der Berichterstattung.

Der Fortschritt werde trotzdem schnell wirken, schreibt Amodei, und die gewonnene Zeit müsse klug genutzt werden. Gemeint ist ausdrücklich kein Stopp des Trainings oder des technischen Fortschritts. Die Firmen sollen sich genug Zeit nehmen, ihre Modelle abzusichern, und externe Prüfer sollen das bestätigen.

Warum Amodei jetzt bremsen will

Für seine Forderung nennt Amodei zwei Gründe. Der erste betrifft das Tempo selbst: Seit etwa diesem Sommer entwickle sich KI drastisch schneller, vor allem weil KI zunehmend beim Bau der nächsten KI-Generation hilft. Amodei nennt das rekursive Selbstverbesserung. Sie beginne branchenweit, schreibt er, auch bei Anthropic.

Der zweite Grund ist ein Vorfall bei OpenAI und Hugging Face. Nach Amodeis Darstellung griff dabei ein Schwarm von Agenten Ziele an, die er nicht angreifen sollte, und versuchte, in das Bewertungssystem einzudringen, das seine Leistung messen sollte. Verletzt worden sei niemand, der wirtschaftliche Schaden sei gering gewesen. Sorge macht ihm ein fähigerer Schwarm mit ähnlicher Fehlausrichtung, der nach seiner Einschätzung in 6 bis 12 Monaten das gesamte Internet mit einem dauerhaften Botnetz übernehmen könnte. Ähnliche, weniger schwere Vorfälle habe es in der ganzen Branche gegeben, auch bei Anthropic. Den Fall bei Hugging Face haben wir am 22. Juli 2026 im Beitrag OpenAI-KI hackt Hugging Face eingeordnet.

Sowohl die Aussage zum Tempo als auch das Botnetz-Szenario samt Zeitraum sind Einschätzungen Amodeis und keine Messergebnisse.

Prüfer mit Firmenlaptop und eigenem Veröffentlichungsrecht

Umsetzen will Amodei die Forderung in drei Schritten. Im ersten soll jede Firma an der Spitze der Entwicklung einem Team unabhängiger Prüfer dauerhaft mitarbeiterähnlichen Zugang geben, als Beispiel nennt er METR. Die Prüfer sollen die Einhaltung von Sicherheitszusagen kontrollieren und Vorfälle melden. Begutachten sollen sie neben fertigen Modellen auch die Trainingsabläufe. Amodei vergleicht das mit Aufsehern, die in Banken neben den Mitarbeitern arbeiten. Anthropic verpflichtet sich dazu einseitig und sofort und fordert Regierungen auf, dasselbe von den anderen Firmen zu verlangen.

In naher Zukunft will Amodei ein externes Prüfteam zu Anthropic einladen, mit Schreibtischen im Büro, Zugangsausweisen und Firmenlaptops. Die Prüfer sollen Werkzeuge und Rechte ähnlich den internen Risikoteams erhalten, mit Ausnahmen etwa bei Kundendaten, und ihre Befunde ohne redaktionelle Kontrolle durch Anthropic veröffentlichen dürfen. Schwärzen darf Anthropic nur eng begrenzt, zum Beispiel Sicherheitsrelevantes oder vertrauliche Daten Dritter. Ungünstige Befunde allein rechtfertigen nach dem Essay keine Schwärzung.

Einen Namen für das Prüfteam und einen Starttermin nennt Amodei nicht.

Die beiden anderen Schritte reichen über einzelne Firmen hinaus. Führende KI-Firmen in demokratischen Ländern sollen gemeinsame Sicherheitsstandards und Grenzen für das Tempo ungeprüften Fortschritts festlegen. Das sei kartellrechtlich heikel und brauche deshalb Unterstützung oder Ausnahmen der Regierung. Im dritten Schritt sollen die USA und andere Demokratien, soweit möglich, die Abstimmung mit autoritären Regierungen suchen. Amodei beschreibt dafür vier Stufen mit wachsender Schwierigkeit, vom Verbot eng begrenzter gefährlicher Anwendungen wie Biowaffen über gegenseitige Tests vor der Veröffentlichung bis zu einer Art Tempolimit für rekursive Selbstverbesserung. Als Vergleich dienen ihm dabei die SALT-Abrüstungsverträge. Die unwahrscheinlichste Stufe wäre eine vollständige Pause.

Zustimmung aus der Branche, verbindlich ist noch nichts

Laut einem Fortune-Bericht vom 12. September 2026 sagte OpenAI-Chef Sam Altman, angesichts der Sicherheitslage wäre jetzt ein unkluger Zeitpunkt für einen Börsengang von OpenAI. Auf die Frage nach 2026 antwortete er, übersetzt: Ich würde sagen, nicht 2026. Auf X schrieb Altman laut mehreren Berichten außerdem, er stimme Amodei zu, und OpenAI werde unabhängigen Prüfern ebenfalls mitarbeiterähnlichen Zugang geben.

Elon Musk stimmte laut denselben Berichten auf X knapp zu. Google-DeepMind-Chef Demis Hassabis nannte die Richtung laut Berichten richtig, die Details bräuchten aber Arbeit. Die Beiträge auf X selbst lagen für diesen Artikel nicht im Original vor, und die Berichte darüber geben den Wortlaut unterschiedlich wieder.

Eine verbindliche Vereinbarung zwischen den Firmen gibt es bisher nicht, die Zusage zu externen Prüfern ist eine Ankündigung. Ob und wie sich das Drosseln für Kunden auswirkt, etwa auf Preise oder Verfügbarkeit, dazu äußert sich Amodei im Essay nicht.

Unsere Einschätzung

Aus unserer Sicht gibt der Essay keinem Betrieb, der Claude oder ChatGPT im Alltag nutzt, einen Grund, laufende Werkzeuge umzustellen. Solange Amodei die Folgen für Kunden offenlässt, fehlt für eine Umstellung die Grundlage.

Lesenswert ist der Text trotzdem. Ein KI-Anbieter beschreibt darin Vorfälle mit fehlausgerichteten Agenten, weniger schwere auch im eigenen Haus. Die Antwort, die er vorschlägt, ist Kontrolle von außen mit echtem Zugang. Wer einen KI-Agenten eigenständig Mails verschicken oder Bestellungen auslösen lässt, sollte aus unserer Sicht regelmäßig jemanden nachsehen lassen, der das System nicht selbst eingerichtet hat. Wir würden dafür das Protokoll der ausgeführten Aktionen heranziehen und es mit dem vergleichen, was der Agent laut Einrichtung tun soll.

Werkzeugentscheidungen rund um KI würden wir derzeit eher auf ein Jahr als auf fünf Jahre auslegen, denn wie schnell sich das Angebot tatsächlich bewegt, lässt sich auch aus diesem Essay nicht ablesen.

Quellen

Die genannten Angaben stützen sich auf folgende öffentlich zugängliche Quellen (Stand der Recherche: 13. September 2026):

Häufige Fragen

Was verlangt Dario Amodei in „We Must Pace the Frontier“?

Der Anthropic-Chef will die Geschwindigkeit bremsen, mit der KI-Modelle neue Fähigkeiten bekommen. Training und technischer Fortschritt sollen dabei weiterlaufen. Die Firmen sollen sich genug Zeit nehmen, ihre Modelle abzusichern, und unabhängige Prüfer sollen das bestätigen.

Wann ist der Essay erschienen?

Auf der Seite des Essays steht kein Tagesdatum, dort heißt es nur „September 2026“. The Decoder und Fortune datieren die Veröffentlichung auf den 12. September 2026. Der Text umfasst rund 3.800 Wörter.

Wie haben OpenAI und andere auf den Vorschlag reagiert?

Sam Altman schrieb laut mehreren Berichten auf X, er stimme Amodei zu, und OpenAI werde unabhängigen Prüfern ebenfalls mitarbeiterähnlichen Zugang geben. Elon Musk stimmte laut Berichten knapp zu, Demis Hassabis von Google DeepMind hielt die Richtung laut Berichten für richtig, sah bei den Details aber Arbeit. Eine verbindliche Vereinbarung zwischen den Firmen gibt es bislang nicht.

Muss ein Betrieb, der Claude oder ChatGPT nutzt, jetzt etwas ändern?

Ob sich das Drosseln auf Produkte, Preise oder Verfügbarkeit für Kunden auswirkt, sagt Amodei im Essay nicht. Aus unserer Sicht besteht deshalb kein Anlass, laufende Werkzeuge umzustellen. Wer KI-Agenten eigenständig Mails verschicken oder Bestellungen auslösen lässt, sollte nach unserer Einschätzung regelmäßig von einer Person, die das System nicht selbst eingerichtet hat, prüfen lassen, was der Agent tatsächlich getan hat.

Wer im Betrieb prüft, was ein KI-Agent tatsächlich getan hat?

Im kostenlosen KI-Schnupperkurs zeigen wir in fünf Lektionen, wie kleine und mittlere Firmen KI im Alltag einsetzen. Tiefer und praxisnah geht es im Vollkurs Digitalisierungsmanager, DEKRA-zertifiziert und förderfähig über den Bildungsgutschein.

Zuletzt aktualisiert: 13. September 2026. Stand der Recherche: 13. September 2026.