KI Compliance Dokumentation: Was du vor dem Einsatz dokumentieren musst

KI Compliance Dokumentation ist für viele Unternehmen ein blinder Fleck. Du nutzt ChatGPT, Copilot oder ein automatisiertes CRM seit Monaten. Die Produktivität steigt. Nur: Hast du dokumentiert, welche Systeme du einsetzt? Weißt du, ob eine Datenschutz-Folgenabschätzung nötig ist? Hast du den Betriebsrat informiert? Die KI-Kompetenzpflicht (Art. 4) gilt bereits seit Februar 2025, ab August 2026 kommen die Hochrisiko- und Transparenzpflichten hinzu. Wer jetzt keine Dokumentation hat, steht dann mit leeren Händen da.

Dieser Artikel gibt dir eine vollständige Checkliste. Du erfährst, welche Dokumentationspflichten beim KI-Einsatz gelten, woher sie kommen (EU AI Act, DSGVO, BetrVG) und wie du sie mit überschaubarem Aufwand erfüllst.

Das Wichtigste in Kürze

• Vier Rechtsquellen begründen Dokumentationspflichten beim KI-Einsatz: EU AI Act, DSGVO, Betriebsverfassungsgesetz und branchenspezifische Regulierung
• Art. 4 des EU AI Act verpflichtet seit Februar 2025 ALLE Unternehmen, die KI einsetzen, zur Sicherstellung einer ausreichenden KI-Kompetenz ihrer Mitarbeiter. Das muss nachweisbar dokumentiert sein.
• DSGVO Art. 30 verlangt ein Verarbeitungsverzeichnis für jeden KI-Einsatz, der personenbezogene Daten verarbeitet
• DSGVO Art. 35 verlangt eine Datenschutz-Folgenabschätzung (DSFA) bei "hohem Risiko", das ist bei KI-Einsatz mit Profiling, Scoring oder automatisierten Entscheidungen regelmäßig der Fall
• Eine Betriebsvereinbarung braucht jedes Unternehmen mit Betriebsrat, das KI-Tools einsetzt (BetrVG § 87 Abs. 1 Nr. 6)
• Die Dokumentation kostet 2 bis 5 Arbeitstage für den Erstaufwand, danach 2 bis 4 Stunden pro Quartal für die Pflege

Die vier Rechtsquellen im Überblick

Die Dokumentationspflichten beim KI-Einsatz kommen nicht aus einer einzigen Verordnung. Sie verteilen sich auf vier Rechtsquellen, die sich ergänzen und teilweise überlappen.

1. EU AI Act (Verordnung (EU) 2024/1689). In Kraft seit 1. August 2024, gestaffelt anwendbar. Art. 4 (KI-Kompetenzpflicht) gilt seit 2. Februar 2025. Art. 26 (Hochrisiko-KI) und Art. 50 (Transparenzpflichten) werden ab August 2026 vollständig anwendbar. Betrifft alle Unternehmen, die KI-Systeme einsetzen, nicht nur Anbieter.

2. DSGVO (Verordnung (EU) 2016/679). Gilt seit 2018. Art. 30: Verarbeitungsverzeichnis. Art. 35: Datenschutz-Folgenabschätzung. Art. 22: Recht auf menschliche Entscheidung. Art. 13/14: Informationspflichten.

3. Betriebsverfassungsgesetz (BetrVG). § 87 Abs. 1 Nr. 6: Mitbestimmung bei technischen Einrichtungen, die zur Überwachung geeignet sind. § 90: Unterrichtung bei technischen Neuerungen. § 80 Abs. 3: Betriebsrat kann Sachverständige hinzuziehen.

4. Branchenspezifische Regulierung. Finanzdienstleistungen (MaRisk, BAIT), Gesundheitswesen (MDR), Versicherungen (VAIT). Diese gelten zusätzlich zu den drei erstgenannten.

EU AI Act Art. 4: KI-Kompetenz nachweisen

Art. 4 ist die Bestimmung, die JEDES Unternehmen betrifft. Nicht nur die, die Hochrisiko-KI einsetzen. Nicht nur die mit mehr als 250 Mitarbeitern. Jedes Unternehmen, das KI-Systeme nutzt.

Der Wortlaut: "Anbieter und Betreiber von KI-Systemen ergreifen Maßnahmen, um nach besten Kräften sicherzustellen, dass ihr Personal und andere Personen, die in ihrem Auftrag mit dem Betrieb und der Nutzung von KI-Systemen befasst sind, über ein ausreichendes Maß an KI-Kompetenz verfügen."

Was heißt "ausreichendes Maß"? Die Verordnung konkretisiert: "unter Berücksichtigung ihrer technischen Kenntnisse, ihrer Erfahrung, ihrer Ausbildung und ihres Schulungsstandes sowie des Kontexts, in dem die KI-Systeme eingesetzt werden sollen."

Was du dokumentieren musst: - Welche KI-Systeme setzt dein Unternehmen ein? (Liste mit Name, Anbieter, Einsatzzweck) - Welche Mitarbeiter arbeiten mit diesen Systemen? - Welche Schulungen haben diese Mitarbeiter absolviert? (Datum, Inhalt, Umfang) - Wie wird die KI-Kompetenz aktuell gehalten? (Regelmäßige Auffrischungen, Lernmaterialien)

Format: Kein bestimmtes Format vorgeschrieben. Eine Excel-Tabelle reicht. Entscheidend ist, dass du bei einer Prüfung nachweisen kannst, dass du Maßnahmen ergriffen hast.

Schulungsnachweis: Eine mehrstündige Schulung, ein absolvierter Online-Kurs oder eine zertifizierte KI-Weiterbildung gelten als Nachweis. Ein Flyer "So nutzen Sie ChatGPT" reicht nicht. Es muss erkennbar sein, dass der Mitarbeiter die Risiken, Grenzen und den korrekten Umgang mit KI versteht.

DSGVO Art. 30: Verarbeitungsverzeichnis für KI-Systeme

Wenn dein KI-System personenbezogene Daten verarbeitet, muss es ins Verarbeitungsverzeichnis. Das gilt für:

• ChatGPT/Claude, wenn du Kundendaten, Mitarbeiterdaten oder Bewerberdaten eingibst
• CRM-Systeme mit KI-Funktionen (Lead-Scoring, Prognosen)
• Automatisierte E-Mail-Systeme, die Inhalte personalisieren
• Recruiting-Tools mit Matching-Score
• Chatbots, die Kundendaten verarbeiten

Was ins Verzeichnis muss (Art. 30 Abs. 1):

Aufwand: 30 bis 60 Minuten pro KI-System. Einmalig. Danach nur bei Änderungen aktualisieren.

DSGVO Art. 35: Datenschutz-Folgenabschätzung (DSFA)

Eine DSFA ist Pflicht, wenn die Verarbeitung "voraussichtlich ein hohes Risiko für die Rechte und Freiheiten natürlicher Personen zur Folge hat." Bei KI ist das regelmäßig der Fall, wenn:

• Profiling stattfindet: Lead-Scoring, Bonitätsprüfung, Mitarbeiter-Performance-Analyse
• Automatisierte Einzelentscheidungen getroffen werden: Kreditvergabe, Bewerbervorauswahl, Preisdifferenzierung
• Umfangreiche Verarbeitung sensibler Daten: Gesundheitsdaten, biometrische Daten
• Systematische Überwachung: Verhaltensanalyse am Arbeitsplatz

Die DSK (Datenschutzkonferenz) hat eine Liste veröffentlicht (Positivliste nach Art. 35 Abs. 4), die KI-gestütztes Scoring und Profiling explizit enthält.

Inhalt einer DSFA:

1. Beschreibung der Verarbeitung: Was wird verarbeitet, mit welchem System, zu welchem Zweck?
2. Notwendigkeit und Verhältnismäßigkeit: Warum ist KI nötig? Gibt es mildere Mittel?
3. Risikobewertung: Welche Risiken bestehen für betroffene Personen? (Diskriminierung, Profiling, Fehlentscheidungen)
4. Schutzmaßnahmen: Wie werden die Risiken minimiert? (Menschliche Prüfung, Transparenz, Widerspruchsrecht)
5. Stellungnahme des DSB: Der Datenschutzbeauftragte muss beteiligt werden.

Aufwand: 4 bis 8 Stunden pro System. Ein Template von der GDD (Gesellschaft für Datenschutz und Datensicherheit) oder der BayLDA (Bayerisches Landesamt für Datenschutzaufsicht) reduziert den Aufwand auf 2 bis 4 Stunden.

Betriebsvereinbarung: Was muss drin stehen?

Wenn dein Unternehmen einen Betriebsrat hat, ist eine Betriebsvereinbarung zum KI-Einsatz in den meisten Fällen Pflicht. Grundlage: BetrVG § 87 Abs. 1 Nr. 6 (Mitbestimmung bei technischen Einrichtungen, die zur Überwachung der Leistung oder des Verhaltens geeignet sind).

Fast jedes KI-System ist "zur Überwachung geeignet", selbst wenn es nicht dafür eingesetzt wird. Ein Chatbot, der Kundengespräche führt, erzeugt Logs. Ein KI-gestütztes CRM zeigt, wer wie viele Leads bearbeitet hat. Ein Coding-Assistent wie Copilot kann zeigen, wer wie viel Code produziert.

Mindestinhalt einer Betriebsvereinbarung:

• Geltungsbereich: Welche KI-Systeme sind erfasst?
• Einsatzzweck: Wofür darf die KI genutzt werden? Wofür nicht?
• Datenverarbeitung: Welche Daten werden verarbeitet? Wo gespeichert? Wie lange?
• Leistungs- und Verhaltenskontrolle: Expliziter Ausschluss der Nutzung von KI-Output zur Leistungsbewertung (oder klare Regeln, wenn doch)
• Transparenz: Mitarbeiter werden über den KI-Einsatz informiert. Schulungen werden angeboten.
• Menschliche Kontrolle: Keine automatisierten Entscheidungen ohne menschliche Prüfung.
• Evaluation: Regelmäßige Überprüfung (halbjährlich/jährlich), ob die Vereinbarung noch passt.
• Laufzeit und Kündigung: Befristet oder unbefristet, Kündigungsfrist.

Aufwand: 1 bis 3 Arbeitstage für den Entwurf, dann Verhandlung mit dem Betriebsrat (je nach Unternehmen 2 Wochen bis 3 Monate). Vorlagen gibt es bei der Hans-Böckler-Stiftung und der TBS NRW.

Checkliste: Was muss dokumentiert sein bevor du KI produktiv einsetzt?

Diese Checkliste fasst alle Pflichten zusammen. Nicht jeder Punkt gilt für jedes Unternehmen. Prüfe, welche auf deinen Einsatzfall zutreffen.

Pflicht für ALLE Unternehmen (EU AI Act Art. 4)

• [ ] KI-Inventar: Liste aller eingesetzten KI-Systeme (Name, Anbieter, Zweck, Nutzerkreis)
• [ ] Risikoklassifizierung: Jedes System als minimal/begrenzt/hoch/inakzeptabel eingestuft
• [ ] Schulungsnachweise: Für jeden Mitarbeiter, der KI nutzt (Datum, Inhalt, Anbieter)
• [ ] Schulungsplan: Wie wird die KI-Kompetenz aktuell gehalten?

Pflicht bei Verarbeitung personenbezogener Daten (DSGVO)

• [ ] Eintrag im Verarbeitungsverzeichnis (Art. 30) für jedes KI-System
• [ ] Auftragsverarbeitungsvertrag (Art. 28) mit jedem KI-Anbieter (OpenAI, Anthropic, Microsoft etc.)
• [ ] Datenschutz-Folgenabschätzung (Art. 35) bei Profiling, Scoring, automatisierten Entscheidungen
• [ ] Informationspflichten erfüllt (Art. 13/14): Betroffene wissen, dass KI eingesetzt wird
• [ ] Widerspruchsrecht sichergestellt (Art. 22): Betroffene können eine menschliche Entscheidung verlangen
• [ ] Drittlandtransfer dokumentiert: USA (EU-US DPF), andere Länder (SCC)

Pflicht bei vorhandenem Betriebsrat (BetrVG)

• [ ] Betriebsrat informiert (§ 90 BetrVG)
• [ ] Betriebsvereinbarung verhandelt und abgeschlossen (§ 87 Abs. 1 Nr. 6)
• [ ] Leistungs- und Verhaltenskontrolle geregelt
• [ ] Evaluationstermin vereinbart

Pflicht bei Hochrisiko-KI (EU AI Act Anhang III)

• [ ] Risikomanagement dokumentiert (Art. 9)
• [ ] Datenqualität sichergestellt (Art. 10)
• [ ] Technische Dokumentation erstellt (Art. 11)
• [ ] Logging aktiviert (Art. 12)
• [ ] Menschliche Aufsicht geregelt (Art. 14)
• [ ] Registrierung in der EU-Datenbank (Art. 49)

Hochrisiko-Bereiche (Anhang III): Biometrie, kritische Infrastruktur, Bildung/Berufsausbildung, Beschäftigung/Personalmanagement, Zugang zu öffentlichen Diensten, Strafverfolgung, Migration, Rechtspflege.

Welche KI-Einsätze sind KEIN Hochrisiko?

Nicht jeder ChatGPT-Einsatz ist Hochrisiko. Für die meisten KMU-Anwendungen gelten nur die Basisanforderungen (Art. 4 + DSGVO):

• E-Mail-Entwürfe generieren
• Texte zusammenfassen
• Brainstorming und Ideenfindung
• Datenanalyse (ohne personenbezogene Daten)
• Übersetzungen
• Interne Berichte erstellen
• Chatbots für allgemeine FAQ (ohne personenbezogene Daten)

Diese Anwendungen fallen unter "minimales Risiko" und brauchen keine Hochrisiko-Dokumentation. Aber: Art. 4 (Schulungsnachweis) und DSGVO (wenn personenbezogene Daten fließen) gelten trotzdem.

Zeitleiste: Wann gelten welche Pflichten?

Stand April 2026 bist du bei Art. 4 bereits seit Februar 2025 in der Pflicht. Die Schulungsnachweise sollten längst existieren. Die Hochrisiko-Dokumentation hast du noch bis August 2026 Zeit.

Weiterführende Informationen zu den KI-Pflichten und zum EU AI Act findest du im Compliance-Bereich unseres Blogs. Und wenn du deine Mitarbeiter in KI-Kompetenz schulen willst, erfüllt eine Weiterbildung zum Digitalisierungsmanager die Anforderungen des Art. 4 nachweisbar.

Häufige Fragen

Muss ich als Kleinstunternehmen mit 3 Mitarbeitern wirklich KI-Schulungen dokumentieren?

Ja. Art. 4 des EU AI Act macht keine Ausnahme nach Unternehmensgröße. Die Anforderungen richten sich nach dem Kontext: Wenn du ChatGPT nur für E-Mail-Entwürfe nutzt, reicht ein kurzer Schulungsnachweis (z. B. absolvierter Online-Kurs). Wenn du KI für Kundenbewertungen einsetzt, muss die Schulung umfassender sein. Der Aufwand für 3 Mitarbeiter: 1 bis 2 Stunden Dokumentation.

Was passiert, wenn ich keine Dokumentation habe?

Der EU AI Act sieht je nach Verstoß gestaffelte Bußgelder vor: bis zu 35 Mio. EUR oder 7 % des weltweiten Jahresumsatzes bei verbotenen KI-Praktiken, bis zu 15 Mio. EUR oder 3 % bei sonstigen Verstößen (Art. 99). Die DSGVO sieht bis zu 20 Mio. EUR oder 4 % vor. In der Praxis werden KMU selten mit Maximalstrafen belegt. Aber: Bei einer Beschwerde oder Prüfung durch die Aufsichtsbehörde musst du nachweisen können, dass du Maßnahmen ergriffen hast. Ohne Dokumentation ist das unmöglich.

Brauche ich für ChatGPT einen Auftragsverarbeitungsvertrag?

Wenn du personenbezogene Daten eingibst (Kundennamen, E-Mail-Adressen, Bewerberdaten): Ja. OpenAI bietet einen DPA (Data Processing Addendum) an, der automatisch mit dem Enterprise-Plan gilt. Bei der kostenlosen Version oder ChatGPT Plus werden deine Eingaben für Modelltraining genutzt. Das ist mit der DSGVO nicht vereinbar, wenn personenbezogene Daten enthalten sind. Lösung: Enterprise-Plan oder keine personenbezogenen Daten eingeben.

Wie weise ich die KI-Kompetenz meiner Mitarbeiter nach?

Drei Optionen: (1) Externe Schulung mit Zertifikat (z. B. Weiterbildung zum Digitalisierungsmanager, Microsoft AI-900, Google AI Essentials). (2) Interne Schulung mit dokumentiertem Inhalt und Teilnehmerliste. (3) Selbststudium mit dokumentiertem Lernpfad (welche Materialien, welcher Umfang, wann abgeschlossen). Option 1 ist am einfachsten nachzuweisen, Option 3 am günstigsten.

Muss ich eine DSFA für jeden KI-Einsatz machen?

Nein. Nur wenn die Verarbeitung "voraussichtlich ein hohes Risiko" darstellt. Kriterien: Profiling, automatisierte Entscheidungen, umfangreiche Verarbeitung sensibler Daten, systematische Überwachung. Ein ChatGPT-Prompt zur Zusammenfassung eines internen Berichts braucht keine DSFA. Ein KI-gestütztes Bewerbermanagementsystem mit Matching-Score: Ja.

Kann mein Datenschutzbeauftragter die Dokumentation übernehmen?

Teilweise. Der DSB kann das Verarbeitungsverzeichnis und die DSFA erstellen oder prüfen. Die Schulungsnachweise und das KI-Inventar muss die Fachabteilung liefern, weil nur sie weiß, welche Tools im Einsatz sind. Die Betriebsvereinbarung ist Sache der Geschäftsführung und des Betriebsrats. Am effizientesten: Ein Workshop mit DSB, IT und Geschäftsführung (halber Tag), in dem alle Pflichten gemeinsam durchgegangen werden.

Fazit

KI Compliance Dokumentation klingt nach Bürokratie. In der Praxis sind es 2 bis 5 Arbeitstage für den Erstaufwand und dann ein paar Stunden pro Quartal. Der Großteil der Arbeit steckt im KI-Inventar (Was nutzen wir?), in den Schulungsnachweisen (Können unsere Leute damit umgehen?) und im Verarbeitungsverzeichnis (Welche Daten fließen wohin?).

Die Pflichten kommen aus vier Richtungen: EU AI Act, DSGVO, Betriebsverfassungsgesetz und ggf. Branchenregulierung. Art. 4 des EU AI Act gilt schon jetzt und betrifft jedes Unternehmen, das KI einsetzt. Die Hochrisiko-Pflichten folgen im August 2026.

Der pragmatischste erste Schritt: Erstelle ein KI-Inventar. Liste alle KI-Tools auf, die in deinem Unternehmen genutzt werden. Von dort aus leiten sich alle weiteren Dokumentationspflichten ab.