Art. 15 KI-VO 2026: Genauigkeit, Robustheit und Cybersicherheit bei Hochrisiko-KI

Auf einen Blick: Art. 15 KI-VO fordert für Hochrisiko-KI ein angemessenes Maß an Genauigkeit, Robustheit und Cybersicherheit über den ganzen Lebenszyklus. Genauigkeit muss validiert und in der Anleitung angegeben sein, das System muss gegen Fehler und Angriffe widerstandsfähig sein, einschließlich KI-spezifischer Attacken wie Data Poisoning und Adversarial Examples.

Genauigkeit, Robustheit, Cybersicherheit. Drei Begriffe, die nach IT-Abteilung klingen und die viele Geschäftsführer deshalb gern delegieren. Art. 15 KI-VO macht daraus eine Compliance-Pflicht mit Bußgeld-Backing. Ein Hochrisiko-KI-System muss nicht nur funktionieren, es muss messbar genau sein, es muss Fehler aushalten und es muss Angriffe abwehren, die speziell auf KI zielen. Für Anbieter ist das eine Entwicklungsaufgabe. Für Mittelständler, die so ein System einsetzen, ist es eine Prüfaufgabe: Bevor das System scharf geht, muss klar sein, dass diese drei Säulen tatsächlich stehen.

Säule eins: Genauigkeit, validiert und ausgewiesen

Art. 15 KI-VO verlangt, dass ein Hochrisiko-KI-System ein angemessenes Maß an Genauigkeit erreicht und dieses Maß validiert ist. Angemessen heißt: passend zum Einsatzzweck. Ein medizinisches Diagnose-Unterstützungssystem braucht eine andere Genauigkeit als ein Sortier-Algorithmus in der Logistik.

Entscheidend ist der zweite Teil. Die Genauigkeitsmetriken müssen in der Bedienungsanleitung angegeben werden. Der Anbieter darf nicht einfach behaupten, sein System sei genau. Er muss konkret ausweisen, wie genau es ist, gemessen an nachvollziehbaren Metriken. Trefferquote, Falsch-Positiv-Rate, Falsch-Negativ-Rate, je nach Anwendung. Diese Angabe landet in der Anleitung, die der Betreiber bekommt.

Für den Betreiber ist das ein scharfes Prüfkriterium. Wer eine Bedienungsanleitung in die Hand bekommt, in der keine Genauigkeitsmetrik steht, hält ein System in der Hand, das die Anforderung aus Art. 15 KI-VO nicht erfüllt. Die Frage "Wie genau ist das System, und wie wurde das validiert?" ist deshalb keine technische Spielerei, sondern eine Compliance-Frage, die vor dem Kauf beantwortet sein muss.

Säule zwei: Robustheit gegen Fehler und Störungen

Die zweite Säule verlangt Widerstandsfähigkeit. Ein Hochrisiko-System muss robust gegen Fehler, Störungen und Inkonsistenzen sein, die innerhalb des Systems oder durch das Umfeld entstehen können. Übersetzt: Wenn etwas schiefgeht, darf das System nicht unkontrolliert kippen.

Die Verordnung nennt zwei Wege dahin. Technische Redundanz bedeutet, dass es Rückfallebenen gibt, etwa ein zweites System oder einen alternativen Pfad, wenn der Hauptpfad ausfällt. Fail-Safe-Pläne bedeuten, dass das System bei einer Störung in einen sicheren Zustand übergeht, statt eine möglicherweise falsche Entscheidung zu treffen. Ein medizinisches System, das bei einer Datenstörung lieber gar keine Empfehlung gibt, als eine falsche, ist robuster als eines, das einfach weiterrät.

Ein besonderer Fall sind Feedback-Schleifen. Manche KI-Systeme lernen aus ihrem eigenen Output weiter, sie nehmen die eigenen Ergebnisse als neue Trainingsdaten. Das ist gefährlich, weil sich Verzerrungen aufschaukeln können. Wenn ein System einmal eine bestimmte Gruppe systematisch schlechter bewertet und diese Bewertung dann als Lernsignal zurückfließt, verstärkt sich der Fehler mit jeder Runde. Art. 15 KI-VO verlangt deshalb, dass solche Feedback-Schleifen mit Schutzmaßnahmen gegen verzerrte Ergebnisse versehen werden.

Säule drei: Cybersicherheit und KI-spezifische Angriffe

Die dritte Säule ist die, die am meisten unterschätzt wird. Cybersicherheit nach Art. 15 KI-VO meint nicht nur die üblichen IT-Angriffe wie Ransomware oder Phishing. Sie meint auch Angriffe, die speziell auf die Funktionsweise von KI zielen. Diese KI-spezifischen Angriffe sind in vielen IT-Abteilungen noch unbekannt, gehören aber ausdrücklich zum Pflichtumfang.

Data Poisoning bedeutet, dass ein Angreifer manipulierte Daten in den Trainingsprozess einschleust. Wer die Trainingsdaten vergiftet, vergiftet das spätere Verhalten des Modells. Ein Beispiel: Werden in ein Spam-Filter-Training gezielt harmlos aussehende Spam-Mails als "kein Spam" eingespeist, lernt der Filter, genau diese Art Spam durchzulassen.

Model Poisoning zielt direkt auf das Modell, etwa über manipulierte Updates oder über kompromittierte Bausteine in der Lieferkette. Das Modell selbst wird verändert, ohne dass die Trainingsdaten angefasst werden müssen.

Adversarial Examples sind Eingaben, die für einen Menschen normal aussehen, das Modell aber gezielt täuschen. Ein klassisches Bild aus der Forschung: Ein Stoppschild mit ein paar gezielt platzierten Aufklebern wird von einem Bilderkennungssystem als Tempolimit gelesen, während ein Mensch weiterhin ein Stoppschild sieht. Die Manipulation ist minimal und für das menschliche Auge fast unsichtbar.

Model Evasion beschreibt das Umgehen der Schutzmechanismen eines Systems, indem die Eingabe so gestaltet wird, dass die Sicherheitsfilter nicht greifen. Wer ein Hochrisiko-System anbietet, muss gegen all diese Angriffsarten Vorkehrungen treffen und dies belegen können.

Schnittstelle zu NIS2 und ISO/IEC 27001

Cybersicherheit nach Art. 15 KI-VO steht nicht im luftleeren Raum. Sie überschneidet sich mit zwei großen Regelwerken, die viele Mittelständler ohnehin schon beschäftigen.

Das NIS2-Umsetzungsgesetz, in Kraft seit 06.12.2025, verpflichtet bestimmte Unternehmen zu einem Mindestniveau an Cybersicherheit, zu Risikomanagement und zur Absicherung der Lieferkette. Wer als wichtige oder besonders wichtige Einrichtung unter NIS2 fällt und gleichzeitig eine Hochrisiko-KI betreibt, kann viele der Maßnahmen aus Art. 15 KI-VO in das ohnehin nötige NIS2-Sicherheitsmanagement integrieren. Doppelte Strukturen lohnen sich nicht.

ISO/IEC 27001 ist die internationale Norm für Informationssicherheits-Managementsysteme. Sie liefert den methodischen Rahmen, um Cybersicherheit systematisch aufzubauen und nachzuweisen. Wer nach ISO/IEC 27001 zertifiziert ist, hat einen großen Teil der organisatorischen Cybersicherheits-Anforderungen aus Art. 15 KI-VO bereits abgedeckt. Die KI-spezifischen Angriffe muss man ergänzen, aber das Fundament steht.

Die Kommission und das AI Office sollen laut Verordnung die Entwicklung von Benchmarks und Messmethoden für Genauigkeit, Robustheit und Cybersicherheit fördern. Stand Mai 2026 sind diese Benchmarks noch im Aufbau. Wer heute ein System beschafft, orientiert sich deshalb an etablierten Standards wie ISO/IEC 27001 und an den Veröffentlichungen des AI Office, bis verbindliche KI-spezifische Benchmarks vorliegen.

Verhältnis zu Art. 9 und Art. 12 KI-VO

Art. 15 KI-VO ist eng mit zwei anderen technischen Anforderungen verzahnt. Es ergibt keinen Sinn, eine davon isoliert zu betrachten.

Das Risikomanagementsystem nach Art. 9 KI-VO ist der Ort, an dem die Risiken für Genauigkeit, Robustheit und Cybersicherheit überhaupt erst identifiziert werden. Wer im Risikomanagement das Risiko eines Adversarial-Example-Angriffs erkennt, mindert es über die Cybersicherheits-Maßnahmen aus Art. 15 KI-VO. Art. 9 plant, Art. 15 liefert das konkrete Mittel.

Die Aufzeichnungspflichten nach Art. 12 KI-VO wiederum liefern den Nachweis, dass die Maßnahmen aus Art. 15 KI-VO im laufenden Betrieb tatsächlich greifen. Über die Logs wird sichtbar, ob das System driftet, ob die Genauigkeit im Realeinsatz hält oder ob es Auffälligkeiten gibt, die auf einen Angriff hindeuten. Ohne Logging keine belastbare Beobachtung der Robustheit.

Genauigkeit ist die Messlatte, Robustheit ist die Stoßdämpfung, Cybersicherheit ist der Schutzschild. Alle drei werden vom Risikomanagement gesteuert und vom Logging überwacht. Das ist das technische Herz der KI-Verordnung für Hochrisiko-Systeme.

Praxis: MediScan Diagnostik in Münster

Ein Beispiel aus dem Beratungsalltag. MediScan Diagnostik ist ein medizintechnisches Unternehmen mit 60 Mitarbeitern in Münster. Es setzt für mehrere Kliniken ein KI-gestütztes Bildanalyse-System ein, das radiologische Aufnahmen vorbefundet und auffällige Regionen markiert. Medizinische Diagnose-Unterstützung fällt unter die Hochrisiko-Anwendungen, das System stammt von einem externen Anbieter. MediScan ist hier Betreiber.

Bevor das System in den Kliniken läuft, prüft MediScan die drei Säulen aus Art. 15 KI-VO. Bei der Genauigkeit liefert der Anbieter eine validierte Sensitivität und Spezifität in der Bedienungsanleitung, getrennt nach Aufnahmetyp. Das ist sauber. Bei der Robustheit zeigt sich eine Lücke: Das System gibt auch bei unscharfen oder fehlerhaften Aufnahmen eine Markierung aus, statt die Aufnahme als nicht auswertbar zurückzuweisen. MediScan fordert vom Anbieter einen Fail-Safe-Modus, der schlechte Aufnahmen erkennt und zur manuellen Befundung zurückreicht.

Bei der Cybersicherheit kommt die heikelste Frage hoch. Das System aktualisiert sein Modell über automatische Updates des Anbieters. MediScan verlangt eine Zusicherung, dass die Update-Kette gegen Model Poisoning gesichert ist, mit signierten Updates und einer Möglichkeit, ein Update zurückzurollen. Außerdem fragt MediScan nach Tests gegen Adversarial Examples, weil manipulierte Bilddaten in der Theorie eine Fehlmarkierung auslösen könnten.

Der Anbieter liefert nach, MediScan dokumentiert die Prüfung in der eigenen Betreiber-Akte. Das System geht erst scharf, als alle drei Säulen belegt sind. Genau diese Prüftiefe ist es, die Art. 15 KI-VO vom Betreiber einer Hochrisiko-KI erwartet, auch wenn die eigentliche Entwicklung beim Anbieter liegt.

Checkliste: was der Betreiber vor dem Einsatz prüfen muss

Für ein KMU, das eine Hochrisiko-KI nur einsetzt, lässt sich Art. 15 KI-VO auf eine überschaubare Prüfliste herunterbrechen. Adressat der Pflicht ist der Anbieter, aber nach Art. 26 KI-VO muss der Betreiber die in der Anleitung beschriebenen Bedingungen einhalten, und das setzt voraus, dass er sie kennt.

Wer diese acht Punkte vor dem Kauf klärt, hat eine belastbare Grundlage. Wer einen Punkt nach dem anderen offenlässt, kauft Risiko statt Sicherheit. Penetrationstests des Anbieters anzufragen und einen eigenen Backup-Plan zu definieren gehört in der Praxis ebenfalls dazu.

Damit ein KMU diese Fragen überhaupt stellen kann, braucht es Mitarbeiter, die wissen, was ein Adversarial Example ist und warum Feedback-Schleifen gefährlich sein können. Genau das fordert die KI-Kompetenzpflicht nach Art. 4 KI-VO, die seit 02.02.2025 ohne Übergangsfrist gilt. Cybersicherheit prüfen kann nur, wer die Angriffe versteht.

Was bei Verstoß droht und wann die Frist greift

Ein Verstoß gegen Art. 15 KI-VO kann Bußgelder nach Art. 99 KI-VO auslösen. Für Verletzungen der Hochrisiko-Pflichten liegt der Rahmen bei bis zu 15 Mio Euro oder 3 Prozent des weltweiten Jahresumsatzes, je nachdem, welcher Wert höher ist. Bei einem cybersicherheitsrelevanten Vorfall können zusätzlich NIS2-Pflichten und ihre Sanktionen greifen.

Die Hochrisiko-Pflichten nach Anhang III KI-VO wurden nach dem Trilog vom 07.05.2026 auf den 02.12.2027 verschoben. Wer diese Verschiebung als Pause versteht, übersieht, dass Cybersicherheit kein Stichtagsthema ist. Ein System gegen Data Poisoning und Adversarial Examples abzusichern ist Entwicklungsarbeit, die Monate dauert, und sie muss spätestens beim ersten produktiven Einsatz stehen, nicht erst zum gesetzlichen Termin.

Wir sehen in der Praxis regelmäßig, dass die KI-spezifischen Angriffe komplett unter den Tisch fallen, weil die klassische IT-Sicherheit als ausreichend gilt. Wer das unterschätzt, schützt seine Firewall und lässt die Tür zum Modell offen. Ein vergiftetes Trainingsset oder ein cleverer Adversarial-Example-Angriff umgeht jede klassische Firewall, weil er gar nicht auf der Netzwerkebene angreift, sondern auf der Logik des Modells. Die Kompetenzpflicht nach Art. 4 KI-VO bleibt davon unberührt und gilt seit 02.02.2025.

Häufige Fragen

Müssen wir als Betreiber die Genauigkeit selbst messen?

Nein, die Validierung der Genauigkeit ist Aufgabe des Anbieters nach Art. 15 KI-VO. Er muss die Genauigkeitsmetriken ermitteln und in der Bedienungsanleitung angeben. Eure Pflicht als Betreiber nach Art. 26 KI-VO ist, das System nur unter den in der Anleitung beschriebenen Bedingungen zu nutzen und im Betrieb zu überwachen, dass die Genauigkeit hält. Wenn in der Anleitung gar keine Genauigkeitsangabe steht, ist das ein Warnsignal, dass der Anbieter seine Pflicht nicht erfüllt hat.

Was ist der Unterschied zwischen Data Poisoning und Adversarial Examples?

Data Poisoning passiert beim Training: Ein Angreifer schleust manipulierte Daten in den Trainingsprozess ein, sodass das Modell von Anfang an falsch lernt. Adversarial Examples passieren im Betrieb: Eine einzelne Eingabe wird so manipuliert, dass sie für einen Menschen normal aussieht, das fertige Modell aber gezielt täuscht. Das erste vergiftet das Modell dauerhaft, das zweite täuscht es im Einzelfall. Beide gehören zum Cybersicherheits-Umfang von Art. 15 KI-VO.

Reicht unsere bestehende IT-Sicherheit nach ISO/IEC 27001 aus?

Sie ist ein starkes Fundament, aber sie deckt nicht alles ab. ISO/IEC 27001 liefert das Management von Informationssicherheit und damit den organisatorischen Rahmen, den Art. 15 KI-VO ebenfalls verlangt. Was ergänzt werden muss, sind die KI-spezifischen Angriffe wie Data Poisoning, Model Poisoning und Adversarial Examples sowie der Schutz von Feedback-Schleifen. Wer NIS2-pflichtig ist, kann beides in ein gemeinsames Sicherheitsmanagement integrieren statt parallele Strukturen zu führen.

Wann greift Art. 15 KI-VO für Hochrisiko-Systeme?

Die Hochrisiko-Pflichten nach Anhang III KI-VO wurden durch das Omnibus-Paket nach dem Trilog vom 07.05.2026 auf den 02.12.2027 verschoben, Anhang-I-Pflichten auf den 02.08.2028. Da die Absicherung gegen KI-spezifische Angriffe Monate dauert und spätestens beim produktiven Einsatz stehen muss, sollte man trotz Verschiebung früh beginnen. Die Kompetenzpflicht nach Art. 4 KI-VO gilt davon unberührt seit 02.02.2025 ohne Übergangsfrist.

Über den Autor

Dr. Jens Aichinger ist promovierter Wirtschaftspädagoge und Inhaber von SkillSprinters, einem DEKRA-zertifizierten Bildungsträger. Er entwickelt seit 2024 KI-gestützte Weiterbildungs- und Prozessautomatisierungslösungen für den Mittelstand. Über Skill-Sprinters läuft auch der Digitalisierungsmanager, eine 4-monatige geförderte Weiterbildung.

30 Minuten Klarheit kosten nichts. Wenn Du KI im Betrieb einsetzt oder überlegst einzusetzen, kommt es nicht auf das Tool an. Es kommt auf die Frage: wo entstehen Risiken, wo Hebel? In 30 Minuten gehen wir Deine konkrete Lage durch und Du weißt, wo Du anfangen solltest. Termin reservieren oder kostenlosen KI-Schnupperkurs starten.

Zuletzt geprüft am 27. Mai 2026.