Auf einen Blick: Art. 10 KI-VO verlangt für Hochrisiko-KI eine dokumentierte Daten-Governance: Trainings-, Validierungs- und Testdaten müssen relevant, repräsentativ, fehlerfrei und nachvollziehbar sein. Die Pflicht trifft Anbieter, aber KMU als Betreiber haften nach Art. 26 KI-VO mit, wenn sie eine Hochrisiko-KI ohne saubere Anbieter-Dokumentation einsetzen.

Die meisten KMU beschäftigen sich mit der KI-Verordnung erst, wenn der eigene Chatbot in der Diskussion steht. Art. 10 KI-VO sitzt eine Etage tiefer. Er regelt, was lange vor dem Einsatz passiert: wie die Daten beschaffen sein müssen, mit denen ein Hochrisiko-Modell trainiert wurde. Auf den ersten Blick eine Anbieter-Pflicht. Auf den zweiten ein Hebel, an dem auch der Betreiber hängt, weil ohne saubere Daten-Doku des Anbieters die eigene Konformitätsprüfung nach Art. 26 KI-VO ins Leere läuft.

Was Art. 10 KI-VO konkret verlangt

Der Artikel adressiert primär den Anbieter eines Hochrisiko-KI-Systems. Also denjenigen, der das System entwickelt, in Verkehr bringt oder unter eigenem Namen vertreibt. Was er liefern muss, geht über die Floskel "saubere Daten" weit hinaus.

Trainings-, Validierungs- und Testdaten müssen relevant sein für den vorgesehenen Einsatzzweck. Sie müssen repräsentativ sein, also die Vielfalt der Personen und Situationen abbilden, mit denen das System später in Berührung kommt. Sie müssen fehlerfrei sein, soweit das im Rahmen des Möglichen ist. Und sie müssen vollständig sein, was nicht heißt, dass jede Variable lückenlos vorliegen muss, sondern dass die für das Modell relevanten Merkmale dokumentiert und nachvollziehbar abgedeckt sind.

Dazu kommt eine statistische Eigenschaft. Die Daten müssen so beschaffen sein, dass sie die statistischen Charakteristika der Zielgruppe widerspiegeln. Wer ein Hochrisiko-System für die Bonitätsbewertung in Deutschland trainiert, kann seine Daten nicht ausschließlich aus US-Kreditkartennutzern ziehen. Das wäre kein repräsentatives Set.

Bias-Risiken müssen aktiv untersucht und dokumentiert werden. Das ist der politisch sensibelste Punkt im ganzen Artikel. Der Anbieter muss prüfen, ob die Daten systematische Verzerrungen enthalten, die zu Diskriminierung führen können. Wenn sie es tun, müssen Gegenmaßnahmen ergriffen und dokumentiert werden. Reines Verschweigen ist keine Option.

Schließlich verlangt der Artikel Nachvollziehbarkeit. Datenherkunft, Sammelmethoden, Annotations-Verfahren, Zusammensetzung der Sets. Alles muss aufgeschrieben sein. Das landet im technischen Dokumentations-Paket nach Annex IV KI-VO, das später der notifizierten Stelle vorgelegt wird.

Anbieter versus Betreiber: warum die Trennung wichtig ist

Der entscheidende Unterschied für jeden Mittelständler heißt: bin ich Anbieter oder Betreiber? Die Antwort entscheidet darüber, welche Pflichten unmittelbar greifen.

Anbieter ist, wer das KI-System entwickelt oder unter eigenem Namen in Verkehr bringt. Wer als Mittelständler ein eigenes KI-Modul in seine Software baut, wird zum Anbieter, sobald er das Modul Dritten anbietet. Das ist weniger selten als gedacht. Eine Steuerkanzlei-Software-Schmiede in Würzburg, die ein KI-gestütztes Belegerkennungs-Modul an andere Kanzleien lizenziert, ist Anbieter. Eine Personalvermittlung, die ein eigenes Scoring-Modell entwickelt und Kunden bereitstellt, ebenfalls.

Betreiber, in der Verordnung Deployer genannt, ist, wer eine KI in seinem Unternehmen einsetzt. Das trifft auf die große Mehrheit zu. Die Anwaltskanzlei, die ein Hochrisiko-Recruiting-Tool eines Drittanbieters nutzt. Die Bank, die ein KI-Modul für die Kreditprüfung von einem Software-Haus einkauft. Der Krankenhausbetreiber, der ein Diagnose-Unterstützungssystem in Betrieb nimmt.

Art. 10 trifft direkt den Anbieter. Aber der Betreiber kommt über die Hintertür rein. Art. 26 KI-VO verpflichtet ihn, das System nur entsprechend der Anbieter-Anweisungen zu verwenden und die Konformität zu prüfen. Wer eine Hochrisiko-KI einsetzt, ohne sich die Annex-IV-Dokumentation des Anbieters wirklich anzusehen, riskiert eigene Haftung, falls sich später herausstellt, dass die Trainingsdaten manipuliert oder schlicht ungeeignet waren.

Was im Annex IV steht und warum das den Betreiber interessieren muss

Annex IV KI-VO listet auf, was die technische Dokumentation eines Hochrisiko-Systems enthalten muss. Daten-Governance taucht dort an mehreren Stellen auf. Beschreibung der Trainings-, Validierungs- und Testdaten. Auswahlkriterien. Annotations-Methoden. Bias-Bewertungen und Gegenmaßnahmen. Datenherkunft inklusive der Frage, ob es sich um synthetische oder reale Daten handelt.

Für den Betreiber ist diese Dokumentation kein optionaler Anhang. Sie ist die Grundlage, auf der seine eigene Konformitätsprüfung steht. Wer ein Hochrisiko-KI-System einkauft und die Annex-IV-Doku nicht angefordert, gelesen und verstanden hat, hat seine Hausaufgaben nach Art. 26 KI-VO nicht gemacht.

In der Praxis bedeutet das: bei jeder Beschaffung eines Hochrisiko-KI-Systems gehört das Annex-IV-Dossier ins Lastenheft. Wer sich darauf verlässt, dass der Anbieter "schon irgendwie konform" sein wird, läuft offen ins Risiko.

Pflicht Wer ist primär verantwortlich Wo der Betreiber mitziehen muss
Daten-Auswahl und Sammelmethoden dokumentieren Anbieter (Art. 10) Dokumentation anfordern und archivieren
Bias-Untersuchung der Trainingsdaten Anbieter (Art. 10 Abs. 2) Plausibilität prüfen, eigene Use-Cases gegenrechnen
Repräsentativität für Zielgruppe Anbieter (Art. 10 Abs. 3) Eigene Zielgruppe abgleichen
Annex-IV technische Dokumentation Anbieter (Art. 11) Anfordern und vor Inbetriebnahme prüfen
Eigenes Risk-Assessment Betreiber (Art. 26) Pflicht, auf Anbieter-Doku aufbauend
Menschliche Aufsicht Betreiber (Art. 14) Anweisungen aus Anbieter-Doku umsetzen

Wie ein KMU als Deployer die Anbieter-Dokumentation prüfen sollte

Die Praxis sieht oft so aus, dass ein Geschäftsführer ein KI-Tool kauft, das Marketing-Material liest und die AGB unterschreibt. Bei Standard-KI wie Chatbots oder Office-Plugins reicht das in vielen Fällen. Bei Hochrisiko-KI nach Anhang III oder Anhang I KI-VO nicht.

Ein KMU-Betreiber sollte vor dem Einkauf vier Sachen klären. Erstens: Liegt das System überhaupt im Hochrisiko-Bereich? Anhang III nennt acht Felder, von biometrischer Identifizierung über Bildungsbewertung bis zur Strafverfolgungs-Unterstützung. Wer dort hineinfällt, gehört auf den dokumentierten Pfad.

Zweitens: Welche Annex-IV-Unterlagen liefert der Anbieter mit? Sauber arbeitende Anbieter haben das Dossier griffbereit. Wer sich windet oder verweist auf "geheime Trainingsdaten", liefert ein Warnsignal.

Drittens: Stimmt die Repräsentativitäts-Behauptung mit der eigenen Zielgruppe überein? Ein HR-Tool, das primär auf US-Daten trainiert wurde, mag in Deutschland trotzdem laufen, muss aber bei der Diskriminierungs-Bewertung gegen die deutsche Belegschaft durchdacht werden.

Viertens: Welche Bias-Tests hat der Anbieter durchgeführt, und welche Gegenmaßnahmen sind im System verbaut? Wenn die Antwort vage bleibt, lohnt es sich, einen externen Sachverständigen einzuschalten, bevor das System scharf geschaltet wird.

Diese Prüfung ist Aufwand. Aber sie ist nicht freiwillig, sondern Teil der Compliance-Pflicht des Betreibers nach Art. 26 KI-VO. Wer den Aufwand spart, kauft sich später teurer ein.

Was bei Annex-IV-Lücken passiert

Die KI-Verordnung kennt ein hartes Instrument. Ein Hochrisiko-KI-System, das die Anforderungen aus Art. 10 und Art. 11 KI-VO nicht erfüllt, darf nach Art. 16 KI-VO nicht in Verkehr gebracht werden. Das gilt sowohl für den Vertrieb als auch für die Inbetriebnahme im eigenen Haus.

Wird ein System trotzdem eingesetzt und kommt es bei einer Marktüberwachungsprüfung heraus, drohen drei Konsequenzen. Erstens kann die Marktüberwachungsbehörde nach Art. 79 KI-VO die Inbetriebnahme untersagen und den Rückruf anordnen. Zweitens fallen Bußgelder nach Art. 99 KI-VO an. Der Rahmen für Verstöße gegen Art. 10 liegt bei bis zu 15 Mio Euro oder 3 Prozent des weltweiten Jahresumsatzes, je nachdem, welcher Wert höher ist. Drittens kann zivilrechtlich Haftung folgen, wenn Geschädigte nachweisen, dass die schlechten Trainingsdaten ursächlich für einen Schaden waren.

In allen drei Konsequenzen sitzt der Betreiber mit am Tisch. Wer ein System einsetzt, das er hätte als nicht-konform erkennen können, kann sich nicht auf "der Anbieter hat versprochen" zurückziehen. Das gilt vor allem für Hochrisiko-Anwendungen in HR, Kreditvergabe oder Bildung, weil dort Grundrechte schnell betroffen sind.

Praxis: NordLicht Versorger in Bremen

Ein konkretes Beispiel aus dem Beratungsalltag. NordLicht Versorger ist ein regionaler Energieversorger mit 320 Mitarbeitern in Bremen. Das Unternehmen plant für 2026 den Einsatz eines KI-gestützten Lastenmanagement-Systems, das Verbrauchsprognosen erstellt und im Bedarfsfall automatisch Lastabwurfs-Befehle an Großkunden schickt.

Das System fällt unter Anhang I KI-VO als Sicherheitskomponente in einem Netzbetreiber-Prozess. Die Anhang-I-Pflichten wurden durch die Omnibus-Anpassung vom 07.05.2026 auf den 02.08.2028 verschoben, aber die Geschäftsführung will früher fertig sein, weil der Hauptkunde einen Konformitätsnachweis verlangt.

Der Anbieter ist ein süddeutsches Software-Haus mit Sitz in Karlsruhe. Auf Nachfrage liefert der Anbieter ein Annex-IV-Dossier von 84 Seiten. Drei Auffälligkeiten kommen bei der internen Prüfung von NordLicht hoch.

Erstens: die Trainingsdaten stammen zu 70 Prozent aus süd- und westdeutschen Netzen. Die Repräsentativität für den norddeutschen Küstennetzbereich mit anderen Lastprofilen, höherem Windanteil und anderen industriellen Großverbrauchern wird im Dossier nur kurz behandelt.

Zweitens: die Bias-Bewertung adressiert ausschließlich technische Bias-Risiken (Sensor-Drift, Modell-Halluzination). Soziale oder strukturelle Bias-Risiken bei der automatischen Lastabwurf-Priorisierung werden nicht diskutiert. Das ist ein Punkt, an dem NordLicht selbst nachfassen muss, weil ein systematischer Lastabwurf-Bias gegen bestimmte Stadtteile zur Grundrechtsfrage werden kann.

Drittens: die Annotations-Methodik der Schwellwert-Daten ist solide, aber der Anbieter weist offen aus, dass ein Teil der Daten synthetisch erzeugt wurde. Das ist nicht per se schlecht. Es muss aber im Risk-Assessment des Betreibers berücksichtigt werden.

NordLicht entscheidet im Juni 2026, das System einzukaufen, aber drei Maßnahmen aufzusetzen. Eine eigene Validierung mit zwölf Monaten Bremer Netzdaten vor Produktiveinsatz. Eine externe Bias-Bewertung der Lastabwurf-Logik durch ein unabhängiges Beratungshaus, Budget 18.000 Euro. Und eine vertragliche Klausel mit dem Anbieter, dass der Annex-IV-Dossier-Stand bei jeder Modell-Aktualisierung mitgeliefert wird.

Das ist der Aufwand, den die KI-Verordnung für Hochrisiko-Anwendungen voraussetzt. Wer ihn nicht treibt, läuft nach 2027 in die offene Flanke.

Schnittstelle zur KI-Kompetenz nach Art. 4 KI-VO

Daten-Governance ohne Kompetenz im Team bleibt Papier. Wer Annex-IV-Unterlagen lesen, plausibilisieren und in das eigene Risk-Assessment integrieren soll, braucht Mitarbeiter, die wissen, was repräsentative Datensätze sind, wie Bias-Bewertungen aufgebaut werden und welche statistischen Eigenschaften relevant sind.

Genau das fordert die KI-Kompetenzpflicht nach Art. 4 KI-VO, die seit 02.02.2025 in Kraft ist. Sie verlangt von jedem Anbieter und jedem Betreiber, dass die Personen, die mit KI-Systemen arbeiten, ausreichende KI-Kenntnisse haben. Das bedeutet konkret, dass bei jedem Hochrisiko-KI-Projekt nachweisbar ist, welche Personen welche Schulungen erhalten haben und wie diese Schulungen die Compliance-Aufgaben aus Art. 10 und Art. 26 KI-VO abdecken.

Wer hier sauber dokumentiert, gewinnt im späteren Marktüberwachungsverfahren Zeit und Glaubwürdigkeit. Wer keine Schulungs-Doku hat, läuft beim ersten kritischen Audit ins Leere.

Verschiebung durch das Omnibus-Paket vom 07.05.2026

Ein Wort zur Zeitachse. Die ursprünglichen Anwendungstermine der KI-Verordnung wurden im Trilog am 07.05.2026 verschoben. Anhang-III-Pflichten greifen statt zum 02.08.2026 nun erst zum 02.12.2027. Anhang-I-Pflichten verschieben sich auf den 02.08.2028.

Art. 10 KI-VO wird damit für die meisten Mittelständler erst Ende 2027 scharf. Wer das als Aufschub versteht, missversteht die Lage. Daten-Governance ist kein Knopf, den man am Stichtag drückt. Ein sauberes Daten-Inventar, eine Bias-Untersuchung, ein dokumentierter Annotations-Prozess. Das sind Projekte mit sechs bis zwölf Monaten Laufzeit. Wer im Q4 2027 anfängt, kommt zu spät.

Die Kompetenzpflicht nach Art. 4 KI-VO ist davon ausdrücklich nicht betroffen. Sie gilt seit 02.02.2025 ohne Übergangsfrist. Die Transparenzpflicht nach Art. 50 KI-VO ebenfalls, sie tritt zum 02.08.2026 in Kraft. Beide Termine bleiben unverändert.

In der Praxis sehen wir bei Mittelständlern oft, dass das Thema Daten-Governance unterschätzt wird, weil es technisch und langweilig wirkt. Wer das unterschätzt, fällt beim ersten ernsthaften Audit auf die Nase. Daten-Governance ist die unsichtbare Hälfte der KI-Compliance. Sie passiert lange bevor das Modell läuft und entscheidet, ob das Modell überhaupt rechtmäßig läuft.

Häufige Fragen

Trifft Art. 10 KI-VO unser KMU, wenn wir nur ChatGPT nutzen?

Nein, nicht direkt. Art. 10 betrifft Hochrisiko-KI-Systeme nach Anhang I oder Anhang III KI-VO. Wer ChatGPT für allgemeine Bürotätigkeiten einsetzt, fällt nicht darunter. Sobald das KI-System aber in HR-Scoring, Bildungsbewertung, Kreditvergabe oder ähnliche Felder einsteigt, greift die Regel auch beim KMU. Dann gilt sie über den Anbieter, und das KMU als Betreiber ist über Art. 26 KI-VO indirekt verpflichtet, die Anbieter-Dokumentation zu prüfen.

Wer haftet, wenn die Trainingsdaten des Anbieters mangelhaft sind?

Primär haftet der Anbieter nach Art. 10 KI-VO und kann mit Bußgeldern bis zu 15 Mio Euro oder 3 Prozent Welt-Umsatz belegt werden. Der Betreiber haftet aber mit, wenn er das System eingesetzt hat, ohne die Annex-IV-Dokumentation des Anbieters geprüft zu haben. Art. 26 KI-VO verpflichtet ihn ausdrücklich zu dieser Prüfung. In der zivilrechtlichen Haftung kann ein Betreiber ebenfalls in Anspruch genommen werden, wenn ein Geschädigter nachweist, dass die schlechten Trainingsdaten zu seinem Schaden geführt haben.

Wie lange muss die Daten-Dokumentation aufbewahrt werden?

Die KI-Verordnung selbst legt für die technische Dokumentation nach Annex IV in Art. 18 KI-VO eine Aufbewahrungspflicht von zehn Jahren nach Inverkehrbringen oder Inbetriebnahme fest. Das betrifft auch die Daten-Governance-Unterlagen nach Art. 10. Parallel können Aufbewahrungspflichten aus DSGVO, Handelsrecht oder branchenspezifischen Regelungen gelten. Im Zweifel orientiert man sich an der längsten anwendbaren Frist.

Greift Art. 10 KI-VO schon jetzt oder erst 2027?

Anhang-III-Pflichten und damit auch die Anwendung von Art. 10 auf Anhang-III-Systeme wurden durch das Omnibus-Paket am 07.05.2026 auf den 02.12.2027 verschoben. Anhang-I-Pflichten greifen ab 02.08.2028. Wer aber heute schon ein Hochrisiko-System einkauft oder entwickelt, sollte die Anforderungen aus Art. 10 jetzt einbauen, weil die Vorlaufzeiten für ein sauberes Daten-Governance-System bei sechs bis zwölf Monaten liegen.


Über den Autor

Dr. Jens Aichinger ist promovierter Wirtschaftspädagoge und Inhaber von SkillSprinters, einem DEKRA-zertifizierten Bildungsträger. Er entwickelt seit 2024 KI-gestützte Weiterbildungs- und Prozessautomatisierungslösungen für den Mittelstand. Über Skill-Sprinters läuft auch der Digitalisierungsmanager, eine 4-monatige geförderte Weiterbildung.

30 Minuten Klarheit kosten nichts. Wenn Du KI im Betrieb einsetzt oder überlegst einzusetzen, kommt es nicht auf das Tool an. Es kommt auf die Frage: wo entstehen Risiken, wo Hebel? In 30 Minuten gehen wir Deine konkrete Lage durch und Du weißt, wo Du anfangen solltest. Termin reservieren oder kostenlosen KI-Schnupperkurs starten.

Zuletzt geprüft am 26. Mai 2026.

Bereit für deinen nächsten Karriereschritt?

Lass dich kostenlos beraten. Wir finden die passende Weiterbildung und Förderung für dich.

Weiterbildung ansehen WhatsApp