Auf einen Blick: Art. 17 KI-VO verpflichtet jeden Anbieter einer Hochrisiko-KI, ein schriftlich dokumentiertes Qualitätsmanagementsystem zu betreiben. Es umfasst Compliance-Strategie, Entwicklungs- und Testverfahren, Daten- und Risikomanagement, Beobachtung nach Inverkehrbringen und ein Verantwortlichkeitskonzept. Die Pflicht trifft Anbieter, nicht jeden KMU-Betreiber. ISO/IEC 42001 kann als Rahmen dienen, ist aber nicht zwingend.
Art. 17 KI-VO ist der Artikel, der aus einer Sammlung guter Vorsätze ein nachprüfbares System macht. Wo Art. 9 KI-VO das Risikomanagement und Art. 11 KI-VO die technische Dokumentation regelt, fasst Art. 17 das Ganze zu einer organisatorischen Pflicht zusammen: Ein Anbieter einer Hochrisiko-KI muss zeigen können, dass Compliance bei ihm kein Zufall ist, sondern ein eingebauter Prozess. Für die meisten Mittelständler bedeutet das erst einmal Entwarnung, weil sie Betreiber sind und nicht Anbieter. Wer aber ein eigenes KI-Modul baut und an Dritte abgibt, sitzt mitten in der Pflicht.
Was Art. 17 KI-VO konkret verlangt
Der Kern ist ein Qualitätsmanagementsystem, kurz QMS. Der Anbieter muss es einrichten, anwenden und so dokumentieren, dass die Einhaltung der KI-Verordnung systematisch sichergestellt wird. Das Wort systematisch ist entscheidend. Es reicht nicht, einmal alles richtig gemacht zu haben. Der Anbieter muss belegen können, dass er es bei jedem Modell, bei jedem Update, bei jeder Auslieferung wieder richtig macht, weil ein Verfahren dahintersteht.
Die Form ist vorgegeben. Das QMS besteht aus schriftlichen Regeln, Verfahren und Anweisungen. Mündliche Absprachen, gewachsene Praxis im Kopf des Entwicklers, das alles zählt nicht. Wer im Audit nichts vorlegen kann, hat kein QMS im Sinne von Art. 17 KI-VO, auch wenn intern alles bestens läuft.
Art. 17 steht nicht allein. Er ist eine von drei zentralen Anbieterpflichten. Erstens muss das Hochrisiko-System die inhaltlichen Anforderungen aus Kapitel III KI-VO erfüllen. Zweitens muss ein QMS nach Art. 17 bestehen. Drittens muss das System die Konformitätsbewertung nach Art. 43 KI-VO durchlaufen, mit Konformitätserklärung und CE-Kennzeichnung am Ende.
Das QMS ist dabei nicht das Beiwerk, sondern das Rückgrat. Bei der internen Kontrolle als Konformitätsbewertungs-Verfahren nach Anhang VI KI-VO ist gerade das funktionierende QMS einer der zentralen Belege, dass ein System konform ist. Ohne dokumentiertes Qualitätsmanagement steht die ganze Konformitätserklärung auf Sand.
Die Mindestbestandteile des QMS
Art. 17 Abs. 1 KI-VO zählt auf, was ein QMS abdecken muss. Die Liste ist lang und sie ist verbindlich. Das hier ist kein Vorschlag, sondern der Pflichtumfang.
| Bestandteil | Was dahintersteht | Verzahnung |
|---|---|---|
| Strategie zur Einhaltung der Vorschriften | Wie der Anbieter Konformitätsbewertung und Änderungsmanagement organisiert | Art. 43 KI-VO |
| Verfahren für Entwurf und Entwicklung | Design-Kontrolle, Versionierung, Qualitätssicherung im Entwicklungsprozess | Art. 11 KI-VO |
| Test- und Validierungsverfahren | Wie das System vor und nach Release geprüft wird | Art. 15 KI-VO |
| Technische Spezifikationen und Normen | Welche Standards angewendet werden, etwa harmonisierte Normen | Art. 40 KI-VO |
| Datenmanagement | Umgang mit Trainings-, Validierungs- und Testdaten | Art. 10 KI-VO |
| Risikomanagementsystem | Der laufende Prozess zur Risikobehandlung | Art. 9 KI-VO |
| Beobachtung nach dem Inverkehrbringen | Wie das System im Feld überwacht wird | Art. 72 KI-VO |
| Meldung schwerwiegender Vorfälle | Verfahren und Fristen für Meldungen an Behörden | Art. 73 KI-VO |
| Kommunikationsverfahren | Mit Behörden, notifizierten Stellen, Kunden, Lieferanten | Art. 26, Art. 21 KI-VO |
| Aufzeichnungen und Dokumentation | Wie und wie lange Unterlagen aufbewahrt werden | Art. 18 KI-VO |
| Ressourcenmanagement | Sicherstellung der nötigen Mittel inklusive Lieferanten | Art. 25 KI-VO |
| Rechenschafts- und Verantwortlichkeitskonzept | Wer im Unternehmen wofür verantwortlich ist | gesamte KI-VO |
Diese zwölf Bereiche sind keine zusätzlichen Projekte. Sie sind die organisatorische Klammer um Pflichten, die ein Hochrisiko-Anbieter ohnehin erfüllen muss. Das Risikomanagement aus Art. 9 KI-VO läuft sowieso. Die technische Dokumentation aus Art. 11 KI-VO entsteht ohnehin. Art. 17 sorgt nur dafür, dass es schriftlich geregelt ist, wer das macht, nach welchem Verfahren und mit welchem Nachweis.
Besonders im Blick zu behalten ist das Verantwortlichkeitskonzept. Es zwingt den Anbieter, klare Rollen zu benennen. Wer gibt ein Modell frei. Wer verantwortet die Bias-Bewertung. Wer meldet einen schwerwiegenden Vorfall. In kleinen Teams sitzen diese Rollen oft auf einer Person. Das ist erlaubt, muss aber dokumentiert sein.
Anbieter oder Betreiber: die entscheidende Vorfrage
Bevor ein KMU sich mit dem QMS-Aufbau befasst, steht eine andere Frage. Bin ich überhaupt Anbieter? Art. 17 KI-VO trifft ausschließlich den Anbieter, also denjenigen, der ein Hochrisiko-KI-System entwickelt und unter eigenem Namen oder eigener Marke in Verkehr bringt.
Die große Mehrheit der Mittelständler ist Betreiber. Wer ein KI-Tool einkauft und im eigenen Haus einsetzt, ist Deployer. Für ihn gilt Art. 17 nicht direkt. Seine Pflichten stehen in Art. 26 KI-VO, und ein eigenes QMS gehört nicht dazu.
Die Grenze verschiebt sich aber schneller, als viele denken. Art. 25 KI-VO regelt, wann ein Betreiber zum Anbieter wird. Drei Auslöser sind relevant. Erstens, wenn ein Betreiber eine Hochrisiko-KI unter seinem eigenen Namen oder seiner Marke auf den Markt bringt. Zweitens, wenn er ein bestehendes System wesentlich verändert, sodass es weiterhin als Hochrisiko gilt. Drittens, wenn er den Zweck eines bisher nicht hochrisikobehafteten Systems so ändert, dass es zur Hochrisiko-KI wird.
Wer also ein Hochrisiko-Modul einkauft, mit eigenem Branding versieht und an seine Kunden weiterverkauft, ist nicht mehr nur Betreiber. Er ist Anbieter geworden und braucht ein QMS nach Art. 17 KI-VO. Diese Konstellation trifft Software-Häuser, Systemintegratoren und alle, die White-Label-Lösungen vertreiben.
Eine Sonderregel gilt für Finanzinstitute. Wer als Anbieter zugleich ein Finanzinstitut ist und den Governance-Vorgaben nach Unionsrecht zum Finanzdienstleistungssektor unterliegt, erfüllt die QMS-Pflicht durch Einhaltung dieser bestehenden Vorgaben. Die KI-Verordnung verlangt von Banken und Versicherern also kein zweites, paralleles Managementsystem, wenn das bankaufsichtsrechtliche Governance-Gerüst die QMS-Anforderungen abdeckt.
ISO 42001 und ISO 9001 als Rahmen
Hier kommt eine pragmatische Nachricht. Art. 17 KI-VO schreibt keine bestimmte Norm vor. Es gibt keinen Zwang, sich nach einem konkreten Standard zertifizieren zu lassen. Aber es gibt zwei Normen, die das QMS-Gerüst praktisch fertig liefern.
ISO/IEC 42001:2023, im Dezember 2023 publiziert, ist die erste internationale Norm für KI-Managementsysteme. Sie ist exakt für diesen Zweck gebaut: ein Managementsystem, das den Lebenszyklus von KI-Systemen verantwortungsvoll steuert. Wer ein 42001-System aufsetzt, deckt einen Großteil der Art.-17-Bestandteile mit ab, weil die Norm Risikobewertung, Datenmanagement, Verantwortlichkeiten und kontinuierliche Verbesserung verlangt.
ISO/IEC 9001 ist die klassische Qualitätsmanagement-Norm. Viele Mittelständler haben sie ohnehin im Haus, oft aus Anforderungen ihrer Industriekunden. Ein bestehendes 9001-System ist ein guter Ausgangspunkt, deckt aber die KI-spezifischen Punkte wie Daten-Governance und Bias-Bewertung nicht von selbst ab. Es muss um die KI-Themen ergänzt werden.
Der Weg über eine etablierte Norm hat einen handfesten Vorteil im Audit. Eine notifizierte Stelle oder eine Marktüberwachungsbehörde erkennt ein 42001- oder 9001-Gerüst sofort und kann es einordnen. Wer sein QMS frei strukturiert, muss im Zweifel erst erklären, dass und warum sein Eigenbau die Art.-17-Anforderungen erfüllt. Pflicht ist die Norm nicht. Hilfreich ist sie sehr.
Praxis: TerraPlan Software in Augsburg
Ein Beispiel aus dem Beratungsalltag. TerraPlan Software ist ein Software-Haus mit 41 Mitarbeitern in Augsburg. Das Unternehmen entwickelt eine Branchenlösung für kommunale Bauämter und hat ein KI-Modul ergänzt, das eingehende Bauanträge vorsortiert und eine Vollständigkeitsprüfung samt Risiko-Einstufung vornimmt. Das Modul wird unter dem TerraPlan-Namen an die Kommunen lizenziert.
Damit ist TerraPlan Anbieter im Sinne der KI-Verordnung. Das Modul fällt unter Anhang III KI-VO, weil es in einem Verwaltungsverfahren über Bürgerrechte mitentscheidet. Der Geschäftsführer ging zunächst davon aus, das betreffe nur Konzerne. Die interne Prüfung im Frühjahr 2026 zeigte das Gegenteil: Art. 17 KI-VO gilt unabhängig von der Unternehmensgröße. Wer Hochrisiko-KI anbietet, braucht ein QMS, auch mit 41 Leuten.
TerraPlan entschied sich gegen einen Eigenbau und für ein ISO/IEC 42001-Gerüst, weil zwei der größten Kommunalkunden ohnehin Nachweise verlangten. Der Aufbau verlief in drei Phasen. Zunächst eine Bestandsaufnahme, was an Verfahren bereits gelebt wurde, denn die Entwickler hatten Versionierung, Code-Reviews und Testprotokolle längst etabliert, nur nicht als QMS dokumentiert. Dann die Lücken: ein dokumentiertes Datenmanagement nach Art. 10 KI-VO, ein Verfahren zur Beobachtung nach Inverkehrbringen nach Art. 72 KI-VO und ein klares Verantwortlichkeitskonzept mit benannten Rollen. Zuletzt die Verzahnung mit der technischen Dokumentation nach Art. 11 KI-VO.
Der Aufwand lag bei rund vier Monaten neben dem Tagesgeschäft, getragen von zwei Personen mit externer Begleitung. Das Ergebnis ist ein QMS, das nicht nur die Behörde überzeugt, sondern auch im Vertrieb hilft, weil TerraPlan den Kommunen ein dokumentiertes Compliance-Versprechen vorlegen kann, das Wettbewerber ohne QMS nicht haben.
Warum ein QMS auch für kleine Anbieter kein Bürokratie-Monster ist
In der Praxis sehen wir bei kleinen Software-Anbietern oft dieselbe Reaktion. Sie hören Qualitätsmanagementsystem und denken an Aktenordner, Stellenpläne und Beraterhonorare, die ein Mittelständler nicht stemmt. Diese Sorge ist nachvollziehbar, aber sie geht an Art. 17 KI-VO vorbei.
Das QMS muss der Größe und dem Risiko des Anbieters angemessen sein. Ein Vier-Personen-Team, das ein Hochrisiko-Modul baut, braucht kein 200-seitiges Handbuch und keine eigene Compliance-Abteilung. Es braucht schriftliche Antworten auf konkrete Fragen. Nach welchem Verfahren testen wir ein Modell vor Release. Wer gibt es frei. Wie melden wir einen schwerwiegenden Vorfall und in welcher Frist. Welche Daten nutzen wir und wie dokumentieren wir das. Wer in der Firma trägt wofür die Verantwortung. Wer diese Fragen sauber beantwortet und das Ergebnis aufschreibt, hat ein QMS.
Der eigentliche Wert liegt nicht im Audit. Er liegt darin, dass ein Team, das diese Fragen einmal durchdacht und festgehalten hat, robuster arbeitet. Ein dokumentierter Freigabe-Prozess verhindert, dass ein halbfertiges Modell beim Kunden landet. Ein klares Vorfall-Verfahren sorgt dafür, dass im Ernstfall niemand erst nachdenken muss, wer wen anruft. Das QMS ist die Versicherung gegen den Tag, an dem etwas schiefläuft, und gleichzeitig ein Verkaufsargument gegenüber jedem Kunden, der selbst unter Compliance-Druck steht.
Verschiebung durch das Omnibus-Paket vom 07.05.2026
Zur Zeitachse gehört eine Einordnung. Die Hochrisiko-Pflichten nach Anhang III KI-VO, und damit auch die QMS-Pflicht aus Art. 17 für diese Systeme, wurden im Trilog am 07.05.2026 verschoben. Statt zum ursprünglich vorgesehenen Termin greifen sie nun erst zum 02.12.2027. Anhang-I-Systeme verschieben sich auf den 02.08.2028.
Wer das als Aufschub liest, unterschätzt den Aufbau. Ein QMS nach Art. 17 KI-VO ist kein Dokument, das man am Stichtag aus der Schublade zieht. Das TerraPlan-Beispiel zeigt vier Monate Aufbau bei einem Team, das schon viel richtig gemacht hatte. Ein Anbieter, der erst im Q3 2027 anfängt, kommt nicht durch die Konformitätsbewertung, bevor seine Kunden den Nachweis verlangen.
Die KI-Kompetenzpflicht nach Art. 4 KI-VO ist von dieser Verschiebung ausdrücklich nicht betroffen. Sie gilt seit dem 02.02.2025 ohne Übergangsfrist und betrifft jeden Anbieter und jeden Betreiber. Das hat einen direkten Bezug zum QMS. Ein Qualitätsmanagementsystem ist nur so gut wie die Leute, die es ausfüllen. Wer Risikomanagement, Datenmanagement und Vorfall-Meldung verantwortet, muss verstehen, was er tut. Genau deshalb gehört die Schulung des QMS-Teams dokumentiert in das Verantwortlichkeitskonzept hinein.
Häufige Fragen
Brauche ich als reiner Betreiber einer KI auch ein QMS?
Nein. Art. 17 KI-VO verpflichtet ausschließlich den Anbieter einer Hochrisiko-KI. Wer ein KI-System nur einkauft und im eigenen Haus einsetzt, ist Betreiber und braucht kein eigenes QMS. Seine Pflichten stehen in Art. 26 KI-VO und betreffen vor allem die Verwendung nach Anbieter-Anweisung, die menschliche Aufsicht und das Aufbewahren von Logs. Du solltest aber prüfen, ob der Anbieter Deiner Hochrisiko-KI ein QMS nachweisen kann, denn das ist ein guter Indikator für seine Konformität.
Reicht eine bestehende ISO 9001-Zertifizierung für Art. 17 KI-VO?
Sie reicht als Ausgangspunkt, aber nicht von allein. ISO/IEC 9001 deckt klassisches Qualitätsmanagement ab, etwa Prozesssteuerung, Dokumentenlenkung und kontinuierliche Verbesserung. Die KI-spezifischen Pflichten aus Art. 17 KI-VO wie Daten-Governance nach Art. 10, Bias-Bewertung oder die Beobachtung nach Inverkehrbringen nach Art. 72 fehlen darin. Ein 9001-System muss um diese Punkte ergänzt werden. Die speziell für KI gebaute ISO/IEC 42001:2023 deckt deutlich mehr ab und ist als Rahmen die passendere Wahl.
Ab wann ist das QMS verpflichtend?
Für Hochrisiko-Systeme nach Anhang III KI-VO wurde die Pflicht durch das Omnibus-Paket am 07.05.2026 auf den 02.12.2027 verschoben. Für Anhang-I-Systeme gilt der 02.08.2028. Wer heute schon ein Hochrisiko-KI-System entwickelt oder unter eigenem Namen vertreibt, sollte das QMS aber jetzt aufbauen, weil der Aufbau mehrere Monate dauert und Kunden den Konformitätsnachweis oft früher verlangen als der Gesetzgeber.
Was kostet ein Verstoß gegen die QMS-Pflicht?
Ein Verstoß gegen die Pflichten für Hochrisiko-KI-Anbieter, zu denen Art. 17 KI-VO gehört, kann nach Art. 99 KI-VO mit einem Bußgeld bis zu 15 Millionen Euro oder 3 Prozent des weltweiten Jahresumsatzes geahndet werden, je nachdem, welcher Wert höher ist. Dazu kann die Marktüberwachungsbehörde nach Art. 79 KI-VO die Inbetriebnahme untersagen und einen Rückruf anordnen. Für ein KMU ist meist nicht das maximale Bußgeld das Problem, sondern der Marktausschluss, wenn das eigene Produkt nicht mehr in Verkehr gebracht werden darf.
Über den Autor
Dr. Jens Aichinger ist promovierter Wirtschaftspädagoge und Inhaber von SkillSprinters, einem DEKRA-zertifizierten Bildungsträger. Er entwickelt seit 2024 KI-gestützte Weiterbildungs- und Prozessautomatisierungslösungen für den Mittelstand. Über Skill-Sprinters läuft auch der Digitalisierungsmanager, eine 4-monatige geförderte Weiterbildung.
30 Minuten Klarheit kosten nichts. Wenn Du KI im Betrieb einsetzt oder überlegst einzusetzen, kommt es nicht auf das Tool an. Es kommt auf die Frage: wo entstehen Risiken, wo Hebel? In 30 Minuten gehen wir Deine konkrete Lage durch und Du weißt, wo Du anfangen solltest. Termin reservieren oder kostenlosen KI-Schnupperkurs starten.
Zuletzt geprüft am 28. Mai 2026.
Bereit für deinen nächsten Karriereschritt?
Lass dich kostenlos beraten. Wir finden die passende Weiterbildung und Förderung für dich.