Das deutsche Geld ist für eine KI eingeplant, die ausdrücklich keine eigenen Ziele verfolgen soll.

Erst kostenlos reinschnuppern, dann entscheiden

Bevor du dich für eine Weiterbildung entscheidest, sieh dir kostenlos an, wie sie läuft, fünf Lektionen plus Live-Demo, ohne Verpflichtung. Passt es, ist der Digitalisierungsmanager bei bewilligtem Bildungsgutschein für dich kostenlos.

Kostenlos reinschnuppern

Der Schnupperkurs ist gratis. Ob die Weiterbildung über den Bildungsgutschein gefördert wird, entscheidet die Agentur für Arbeit im Einzelfall.

Eine Ankündigung unter Vorbehalt

Die Ankündigung fiel am 16. September 2026 auf der Konferenz ALL IN in Montréal. Vorgestellt haben sie Evan Solomon, in Kanada Minister für Künstliche Intelligenz, und Bundesdigitalminister Karsten Wildberger. Kanada plant 150 Millionen kanadische Dollar ein, Deutschland 100 Millionen Euro. Die Globe and Mail beschreibt die Beiträge in ihrem Bericht als jeweils bis zu 150 Millionen kanadische Dollar, dieser Artikel folgt den Beträgen aus der Mitteilung der kanadischen Regierung.

Ausgezahlt ist davon nichts. Der deutsche Teil braucht zuerst die Notifizierung durch die Europäische Kommission.

Laut Mitteilung soll das deutsche Geld Forschung und Entwicklung am neuen deutschen Büro von LawZero unterstützen. Es soll außerdem dafür sorgen, dass europäische Normen und Regeln zur KI von Anfang an in die Arbeit einfließen. Wo das Büro entstehen soll, nennt die Mitteilung nicht. Kanadas Anteil läuft über den Strategic Response Fund. Er soll 360 Vollzeitstellen in Kanada schaffen und eine eigene Recheninfrastruktur mit den kanadischen Partnern Hypertec und 5C aufbauen.

Die Zusammenarbeit baut auf einer gemeinsamen Absichtserklärung zu KI und einer Allianz für technologische Souveränität auf, beide im Februar angekündigt. Auf derselben Konferenz war auch die Fusion von Cohere und Aleph Alpha Thema.

Scientist AI soll ohne eigene Ziele arbeiten

LawZero ist gemeinnützig und hat seinen Sitz in Montréal. Gegründet hat die Organisation der Turing-Preisträger Yoshua Bengio, der dort auch wissenschaftlicher Leiter ist. Laut Globe and Mail hat LawZero rund 50 Beschäftigte, die Gründung im vergangenen Jahr finanzierten laut Bericht Spenden von rund 30 Millionen US-Dollar. Der Ansatz heißt Scientist AI. Gemeint ist ein System, das transparent begründen und belegbare Ergebnisse liefern soll, ohne eigene Ziele zu verfolgen. Die Mitteilung grenzt das von heutigen Spitzensystemen ab, die darauf ausgelegt sind, eigenständig zu handeln oder Ziele zu verfolgen. Trainiert werden soll Scientist AI laut Globe and Mail ohne Reinforcement Learning. Gemeint ist das Belohnungsverfahren, mit dem heutige Spitzenmodelle üblicherweise trainiert werden.

Wildberger beschreibt den Ansatz in der englischsprachigen Mitteilung sinngemäß als mathematisch fundierten Weg zu einer KI, die von Grund auf sicher ist, und als Alternative zu potenziell unkontrollierbaren autonomen KI-Agenten. Das System arbeite auf Grundlage von Fakten wie ein objektiver Wissenschaftler und verfolge keine eigenen Ziele. Bengio sagt sinngemäß, Sicherheit sei selbst eine Kernfähigkeit, und wissenschaftliche Innovation und öffentliche Sicherheit müssten gemeinsam vorankommen.

Zuerst kommt die Aufsicht

Der Fahrplan setzt laut Mitteilung bei bestehenden KI-Systemen an. LawZero beginnt mit Werkzeugen, die solche Systeme bewerten und beaufsichtigen und wissenschaftliche Forschung unterstützen. Danach soll eine Methode für Spitzenmodelle folgen, die von Grund auf sicher sind. Die Globe and Mail beschreibt die erste Priorität greifbarer: eine Schutzschicht, die andere KI-Systeme überwacht und Agenten an Handlungen hindern soll, die Schaden anrichten könnten.

Ein Produkt gibt es noch nicht, die Aufsichtswerkzeuge sind angekündigt und nicht verfügbar.

Eine Lücke, die Betriebe kennen

Die ersten Arbeiten gelten keinem weiteren großen Sprachmodell, sondern Werkzeugen, die andere KI-Systeme beaufsichtigen. Damit zielt das Vorhaben auf eine Frage, die aus unserer Sicht jeder Betrieb kennt, der einen Agenten Mails sortieren, Termine eintragen oder Bestellungen anlegen lässt: Wer prüft, was der Agent getan hat? Solange die angekündigten Werkzeuge nicht verfügbar sind, bleibt diese Prüfung im Betrieb.

Die Schutzschicht, die die Globe and Mail beschreibt, säße zwischen dem Agenten und seiner Handlung. An genau diese Stelle gehört aus unserer Sicht auch im Betrieb eine Freigabe, bevor ein Agent etwas verschickt oder löscht. Wer sie heute einbaut, braucht dafür vor allem eine klare Regel, welche Schritte ohne Rückfrage laufen dürfen und welche nicht.

Unsere Einschätzung

Aus unserer Sicht ist die Reihenfolge der eigentlich interessante Teil der Nachricht. Zwei Regierungen planen Geld für ein Sicherheitsvorhaben ein, dessen erster Schritt die Aufsicht über bestehende Systeme ist. Wir lesen das als Hinweis darauf, wo die dringlichste Lücke gesehen wird: bei Agenten, die handeln dürfen, und bei der Frage, wer ihre Handlungen kontrolliert.

Dass die deutsche Förderung europäische Normen und Regeln zur KI von Anfang an einbinden soll, würden wir als Betrieb hierzulande im Auge behalten. Wie das konkret aussehen soll, geht aus den vorliegenden Angaben nicht hervor.

Bei einem Agenten, der nur liest, geht es vor allem darum, was er sehen darf. Einer, der Kundendaten ändert oder Bestellungen auslöst, braucht zusätzlich eine Person, die für seine Kontrolle zuständig ist.

Wir würden deshalb bei jedem Agenten, der mehr darf als lesen, schon heute schriftlich festhalten, wer seine Ergebnisse stichprobenartig prüft und in welchem Abstand. Auf ein Werkzeug zu warten, das angekündigt und nicht verfügbar ist, halten wir für den falschen Weg.

Einen Namen neben jeden Agenten zu schreiben, geht dagegen sofort.

Quellen

Die genannten Angaben stützen sich auf folgende öffentlich zugängliche Quellen (Stand der Recherche: 18. September 2026):

Häufige Fragen

Was ist LawZero?

LawZero ist eine gemeinnützige Organisation mit Sitz in Montréal, gegründet von Yoshua Bengio, der dort wissenschaftlicher Leiter ist. Sie entwickelt einen Ansatz namens Scientist AI, ein System, das transparent begründen und belegbare Ergebnisse liefern soll, ohne eigene Ziele zu verfolgen. Laut The Globe and Mail hat LawZero rund 50 Beschäftigte und wurde im vergangenen Jahr mit rund 30 Millionen US-Dollar aus Spenden gegründet.

Wie viel Geld planen Deutschland und Kanada für LawZero ein?

Laut Mitteilung der kanadischen Regierung vom 16. September 2026 planen Kanada und Deutschland, 150 Millionen kanadische Dollar beziehungsweise 100 Millionen Euro in LawZero zu investieren. Der deutsche Teil steht unter dem Vorbehalt der Notifizierung durch die Europäische Kommission, ausgezahlt ist noch nichts. The Globe and Mail beschreibt die Beiträge abweichend als jeweils bis zu 150 Millionen kanadische Dollar.

Wofür soll das deutsche Geld eingesetzt werden?

Die geplante deutsche Förderung soll Forschung und Entwicklung am neuen deutschen Büro von LawZero unterstützen und dafür sorgen, dass europäische Normen und Regeln zur KI von Anfang an einfließen. Einen Standort für das Büro nennt die Mitteilung nicht. Inhaltlich beginnt LawZero mit Werkzeugen, die bestehende KI-Systeme bewerten und beaufsichtigen.

Muss ein Betrieb wegen LawZero jetzt etwas regeln?

Ein Produkt von LawZero gibt es noch nicht, die Aufsichtswerkzeuge sind nur angekündigt. Die Prüfung dessen, was ein KI-Agent tut, bleibt deshalb vorerst im Betrieb. Aus unserer Sicht sollte für jeden Agenten, der mehr darf als lesen, schriftlich feststehen, wer seine Ergebnisse stichprobenartig prüft.

Welcher Agent im Betrieb darf mehr als lesen, und wer kontrolliert ihn?

Im kostenlosen KI-Schnupperkurs zeigen wir in fünf Lektionen, wie kleine und mittlere Firmen KI im Alltag einsetzen. Tiefer und praxisnah geht es im Vollkurs Digitalisierungsmanager, DEKRA-zertifiziert und förderfähig über den Bildungsgutschein.

Zuletzt aktualisiert: 18. September 2026. Stand der Recherche: 18. September 2026.