KI Compliance Dokumentation: Was du vor dem Einsatz dokumentieren musst

KI Compliance Dokumentation ist für viele Unternehmen ein blinder Fleck. Sie nutzen ChatGPT, Copilot oder ein automatisiertes CRM seit Monaten. Die Produktivität steigt. Nur: Haben sie dokumentiert, welche Systeme sie einsetzen? Wissen sie, ob eine Datenschutz-Folgenabschätzung nötig ist? Haben sie den Betriebsrat informiert?

Die KI-Kompetenzpflicht nach Art. 4 der EU KI-Verordnung gilt seit dem 2. Februar 2025. Ab August 2026 kommen die Hochrisiko- und Transparenzpflichten hinzu. Wer jetzt keine Dokumentation hat, steht dann mit leeren Händen da.

Dieser Artikel liefert Ihnen eine vollständige Checkliste. Sie erfahren, welche Dokumentationspflichten beim KI-Einsatz gelten, woher sie kommen (EU AI Act, DSGVO, BetrVG) und wie Sie sie mit überschaubarem Aufwand erfüllen.

Die vier Rechtsquellen im Überblick

Die Dokumentationspflichten beim KI-Einsatz kommen nicht aus einer einzigen Verordnung. Sie verteilen sich auf vier Rechtsquellen, die sich ergänzen und teilweise überlappen.

1. EU AI Act (Verordnung (EU) 2024/1689). In Kraft seit 1. August 2024, gestaffelt anwendbar. Art. 4 (KI-Kompetenzpflicht) gilt seit 2. Februar 2025. Art. 26 (Hochrisiko-KI) und Art. 50 (Transparenzpflichten) werden ab August 2026 vollständig anwendbar. Betrifft alle Unternehmen, die KI-Systeme einsetzen, nicht nur Anbieter.

2. DSGVO (Verordnung (EU) 2016/679). Gilt seit 2018. Art. 30: Verarbeitungsverzeichnis. Art. 35: Datenschutz-Folgenabschätzung. Art. 22: Recht auf menschliche Entscheidung. Art. 13/14: Informationspflichten.

3. Betriebsverfassungsgesetz (BetrVG). § 87 Abs. 1 Nr. 6: Mitbestimmung bei technischen Einrichtungen, die zur Überwachung geeignet sind. § 90: Unterrichtung bei technischen Neuerungen. § 80 Abs. 3: Betriebsrat kann Sachverständige hinzuziehen.

4. Branchenspezifische Regulierung. Finanzdienstleistungen (MaRisk, BAIT), Gesundheitswesen (MDR), Versicherungen (VAIT). Diese gelten zusätzlich zu den drei erstgenannten.

EU AI Act Art. 4: KI-Kompetenz nachweisen

Art. 4 ist die Bestimmung, die JEDES Unternehmen betrifft. Nicht nur solche mit Hochrisiko-KI. Nicht nur solche mit mehr als 250 Mitarbeitern. Jedes Unternehmen, das KI-Systeme nutzt.

Der Wortlaut: "Anbieter und Betreiber von KI-Systemen ergreifen Maßnahmen, um nach besten Kräften sicherzustellen, dass ihr Personal und andere Personen, die in ihrem Auftrag mit dem Betrieb und der Nutzung von KI-Systemen befasst sind, über ein ausreichendes Maß an KI-Kompetenz verfügen."

Was heißt "ausreichendes Maß"? Die Verordnung konkretisiert: "unter Berücksichtigung ihrer technischen Kenntnisse, ihrer Erfahrung, ihrer Ausbildung und ihres Schulungsstandes sowie des Kontexts, in dem die KI-Systeme eingesetzt werden sollen."

Was Sie dokumentieren müssen: Welche KI-Systeme setzt Ihr Unternehmen ein (Liste mit Name, Anbieter, Einsatzzweck)? Welche Mitarbeiter arbeiten mit diesen Systemen? Welche Schulungen haben sie absolviert (Datum, Inhalt, Umfang)? Wie wird die KI-Kompetenz aktuell gehalten durch regelmäßige Auffrischungen und Lernmaterialien?

Kein bestimmtes Format ist vorgeschrieben. Eine Excel-Tabelle reicht. Entscheidend ist, dass Sie bei einer Prüfung nachweisen können, dass Sie Maßnahmen ergriffen haben.

Als Schulungsnachweis gelten eine mehrstündige Schulung, ein absolvierter Online-Kurs oder eine zertifizierte KI-Weiterbildung. Ein Flyer "So nutzen Sie ChatGPT" reicht nicht. Es muss erkennbar sein, dass der Mitarbeiter die Risiken, Grenzen und den korrekten Umgang mit KI versteht.

DSGVO Art. 30: Verarbeitungsverzeichnis für KI-Systeme

Wenn Ihr KI-System personenbezogene Daten verarbeitet, muss es ins Verarbeitungsverzeichnis. Das gilt für ChatGPT oder Claude, sobald Sie Kundendaten, Mitarbeiterdaten oder Bewerberdaten eingeben. Ebenso für CRM-Systeme mit KI-Funktionen (Lead-Scoring, Prognosen), automatisierte E-Mail-Systeme mit Personalisierung, Recruiting-Tools mit Matching-Score und Chatbots, die Kundendaten verarbeiten.

Was ins Verzeichnis muss (Art. 30 Abs. 1):

Aufwand: 30 bis 60 Minuten pro KI-System. Einmalig. Danach nur bei Änderungen aktualisieren.

DSGVO Art. 35: Datenschutz-Folgenabschätzung

Eine DSFA ist Pflicht, wenn die Verarbeitung "voraussichtlich ein hohes Risiko für die Rechte und Freiheiten natürlicher Personen zur Folge hat". Bei KI ist das regelmäßig der Fall, wenn Profiling stattfindet (Lead-Scoring, Bonitätsprüfung, Mitarbeiter-Performance-Analyse), automatisierte Einzelentscheidungen getroffen werden (Kreditvergabe, Bewerbervorauswahl, Preisdifferenzierung), umfangreiche Verarbeitung sensibler Daten erfolgt (Gesundheitsdaten, biometrische Daten) oder eine systematische Überwachung am Arbeitsplatz stattfindet.

Die DSK (Datenschutzkonferenz) hat eine Positivliste nach Art. 35 Abs. 4 veröffentlicht, die KI-gestütztes Scoring und Profiling explizit enthält.

Inhalt einer DSFA: Beschreibung der Verarbeitung (was, welches System, welcher Zweck), Notwendigkeit und Verhältnismäßigkeit (warum ist KI nötig, gibt es mildere Mittel), Risikobewertung (Diskriminierung, Profiling, Fehlentscheidungen), Schutzmaßnahmen (menschliche Prüfung, Transparenz, Widerspruchsrecht), Stellungnahme des Datenschutzbeauftragten.

Aufwand: 4 bis 8 Stunden pro System. Ein Template von der GDD (Gesellschaft für Datenschutz und Datensicherheit) oder der BayLDA reduziert den Aufwand auf 2 bis 4 Stunden.

Betriebsvereinbarung

Wenn Ihr Unternehmen einen Betriebsrat hat, ist eine Betriebsvereinbarung zum KI-Einsatz in den meisten Fällen Pflicht. Grundlage: BetrVG § 87 Abs. 1 Nr. 6 (Mitbestimmung bei technischen Einrichtungen, die zur Überwachung der Leistung oder des Verhaltens geeignet sind).

Fast jedes KI-System ist "zur Überwachung geeignet", selbst wenn es nicht dafür eingesetzt wird. Ein Chatbot, der Kundengespräche führt, erzeugt Logs. Ein KI-gestütztes CRM zeigt, wer wie viele Leads bearbeitet hat. Ein Coding-Assistent wie Copilot kann zeigen, wer wie viel Code produziert.

Mindestinhalt einer Betriebsvereinbarung: Geltungsbereich (welche Systeme), Einsatzzweck (wofür darf die KI genutzt werden, wofür nicht), Datenverarbeitung (welche Daten, wo gespeichert, wie lange), Leistungs- und Verhaltenskontrolle (expliziter Ausschluss der Nutzung von KI-Output zur Leistungsbewertung oder klare Regeln, wenn doch), Transparenz (Information und Schulung der Mitarbeiter), menschliche Kontrolle (keine automatisierten Entscheidungen ohne menschliche Prüfung), Evaluation (regelmäßige Überprüfung halbjährlich oder jährlich), Laufzeit und Kündigung.

Aufwand: 1 bis 3 Arbeitstage für den Entwurf, dann Verhandlung mit dem Betriebsrat (je nach Unternehmen 2 Wochen bis 3 Monate). Vorlagen gibt es bei der Hans-Böckler-Stiftung und der TBS NRW.

Checkliste: Was muss dokumentiert sein?

Diese Checkliste fasst alle Pflichten zusammen. Nicht jeder Punkt gilt für jedes Unternehmen.

Pflicht für ALLE Unternehmen (EU AI Act Art. 4)

• [ ] KI-Inventar: Liste aller eingesetzten KI-Systeme (Name, Anbieter, Zweck, Nutzerkreis)
• [ ] Risikoklassifizierung: Jedes System als minimal/begrenzt/hoch/inakzeptabel eingestuft
• [ ] Schulungsnachweise: Für jeden Mitarbeiter, der KI nutzt (Datum, Inhalt, Anbieter)
• [ ] Schulungsplan: Wie wird die KI-Kompetenz aktuell gehalten?

Pflicht bei Verarbeitung personenbezogener Daten (DSGVO)

• [ ] Eintrag im Verarbeitungsverzeichnis (Art. 30) für jedes KI-System
• [ ] Auftragsverarbeitungsvertrag (Art. 28) mit jedem KI-Anbieter (OpenAI, Anthropic, Microsoft etc.)
• [ ] Datenschutz-Folgenabschätzung (Art. 35) bei Profiling, Scoring, automatisierten Entscheidungen
• [ ] Informationspflichten erfüllt (Art. 13/14): Betroffene wissen, dass KI eingesetzt wird
• [ ] Widerspruchsrecht sichergestellt (Art. 22): Betroffene können eine menschliche Entscheidung verlangen
• [ ] Drittlandtransfer dokumentiert: USA (EU-US DPF), andere Länder (SCC)

Pflicht bei vorhandenem Betriebsrat (BetrVG)

• [ ] Betriebsrat informiert (§ 90 BetrVG)
• [ ] Betriebsvereinbarung verhandelt und abgeschlossen (§ 87 Abs. 1 Nr. 6)
• [ ] Leistungs- und Verhaltenskontrolle geregelt
• [ ] Evaluationstermin vereinbart

Pflicht bei Hochrisiko-KI (EU AI Act Anhang III)

• [ ] Risikomanagement dokumentiert (Art. 9)
• [ ] Datenqualität sichergestellt (Art. 10)
• [ ] Technische Dokumentation erstellt (Art. 11)
• [ ] Logging aktiviert (Art. 12)
• [ ] Menschliche Aufsicht geregelt (Art. 14)
• [ ] Registrierung in der EU-Datenbank (Art. 49)

Hochrisiko-Bereiche nach Anhang III: Biometrie, kritische Infrastruktur, Bildung und Berufsausbildung, Beschäftigung und Personalmanagement, Zugang zu öffentlichen Diensten, Strafverfolgung, Migration, Rechtspflege.

Welche KI-Einsätze sind KEIN Hochrisiko?

Für die meisten KMU-Anwendungen gelten nur die Basisanforderungen (Art. 4 plus DSGVO):

• E-Mail-Entwürfe generieren
• Texte zusammenfassen
• Brainstorming und Ideenfindung
• Datenanalyse (ohne personenbezogene Daten)
• Übersetzungen
• Interne Berichte erstellen
• Chatbots für allgemeine FAQ (ohne personenbezogene Daten)

Diese Anwendungen fallen unter minimales Risiko und brauchen keine Hochrisiko-Dokumentation. Art. 4 (Schulungsnachweis) und DSGVO (wenn personenbezogene Daten fließen) gelten trotzdem.

Zeitleiste

Stand April 2026 sind Sie bei Art. 4 bereits seit Februar 2025 in der Pflicht. Die Schulungsnachweise sollten längst existieren. Für die Hochrisiko-Dokumentation haben Sie noch bis August 2026 Zeit.

Unsere Einschätzung

In der Praxis sehen wir bei unseren Teilnehmern zwei typische Fehlmuster. Entweder Überdokumentation, bei der auch jeder ChatGPT-Prompt zur E-Mail-Korrektur als eigenes Compliance-Projekt behandelt wird, bis niemand mehr nachzieht. Oder Null-Dokumentation, weil die Geschäftsführung hofft, dass erst geprüft wird, wenn alle anderen schon geprüft wurden. Beide Varianten kosten am Ende mehr Zeit und Geld als der pragmatische Mittelweg. Ein KI-Inventar als Excel-Liste, ein einheitliches Schulungsformat für alle Mitarbeiter, ein DSFA-Template für die wirklich kritischen Einsätze (Scoring, Profiling, Bewerbersysteme). Mehr braucht es für ein KMU selten. Der Aufwand liegt bei 2 bis 5 Arbeitstagen einmalig, danach 2 bis 4 Stunden pro Quartal für die Pflege. Wer das ernsthaft macht, ist bei der nächsten Prüfung sauber aufgestellt.

Weiterführende Informationen zu den KI-Pflichten und zum EU AI Act finden Sie im Compliance-Bereich unseres Blogs. Wer Mitarbeiter in KI-Kompetenz schulen will, erfüllt mit einer Weiterbildung zum Digitalisierungsmanager die Anforderungen des Art. 4 nachweisbar.

Häufige Fragen

Muss ich als Kleinstunternehmen mit 3 Mitarbeitern wirklich KI-Schulungen dokumentieren?

Ja. Art. 4 des EU AI Act macht keine Ausnahme nach Unternehmensgröße. Die Anforderungen richten sich nach dem Kontext. Wenn Sie ChatGPT nur für E-Mail-Entwürfe nutzen, reicht ein kurzer Schulungsnachweis (zum Beispiel absolvierter Online-Kurs). Wenn Sie KI für Kundenbewertungen einsetzen, muss die Schulung umfassender sein. Der Aufwand für 3 Mitarbeiter: 1 bis 2 Stunden Dokumentation.

Was passiert, wenn ich keine Dokumentation habe?

Der EU AI Act sieht je nach Verstoß gestaffelte Bußgelder vor. Bis zu 35 Mio. EUR oder 7 Prozent des weltweiten Jahresumsatzes bei verbotenen KI-Praktiken, bis zu 15 Mio. EUR oder 3 Prozent bei sonstigen Verstößen (Art. 99). Die DSGVO sieht bis zu 20 Mio. EUR oder 4 Prozent vor. In der Praxis werden KMU selten mit Maximalstrafen belegt. Bei einer Beschwerde oder Prüfung durch die Aufsichtsbehörde müssen Sie aber nachweisen können, dass Sie Maßnahmen ergriffen haben. Ohne Dokumentation ist das unmöglich.

Brauche ich für ChatGPT einen Auftragsverarbeitungsvertrag?

Wenn Sie personenbezogene Daten eingeben (Kundennamen, E-Mail-Adressen, Bewerberdaten): Ja. OpenAI bietet einen DPA an, der automatisch mit dem Enterprise-Plan gilt. Bei der kostenlosen Version oder ChatGPT Plus werden Ihre Eingaben für Modelltraining genutzt. Das ist mit der DSGVO nicht vereinbar, wenn personenbezogene Daten enthalten sind. Lösung: Enterprise-Plan oder keine personenbezogenen Daten eingeben.

Wie weise ich die KI-Kompetenz meiner Mitarbeiter nach?

Drei Optionen. Externe Schulung mit Zertifikat (zum Beispiel Weiterbildung zum Digitalisierungsmanager, Microsoft AI-900, Google AI Essentials). Interne Schulung mit dokumentiertem Inhalt und Teilnehmerliste. Selbststudium mit dokumentiertem Lernpfad (welche Materialien, welcher Umfang, wann abgeschlossen). Die externe Schulung ist am einfachsten nachzuweisen, Selbststudium am günstigsten.

Muss ich eine DSFA für jeden KI-Einsatz machen?

Nein. Nur wenn die Verarbeitung voraussichtlich ein hohes Risiko darstellt. Kriterien: Profiling, automatisierte Entscheidungen, umfangreiche Verarbeitung sensibler Daten, systematische Überwachung. Ein ChatGPT-Prompt zur Zusammenfassung eines internen Berichts braucht keine DSFA. Ein KI-gestütztes Bewerbermanagementsystem mit Matching-Score: Ja.

Kann mein Datenschutzbeauftragter die Dokumentation übernehmen?

Teilweise. Der DSB kann das Verarbeitungsverzeichnis und die DSFA erstellen oder prüfen. Die Schulungsnachweise und das KI-Inventar muss die Fachabteilung liefern, weil nur sie weiß, welche Tools im Einsatz sind. Die Betriebsvereinbarung ist Sache der Geschäftsführung und des Betriebsrats. Am effizientesten: Ein halber Tag Workshop mit DSB, IT und Geschäftsführung, in dem alle Pflichten gemeinsam durchgegangen werden.