KI-Governance aufbauen: Framework für den Mittelstand

Update April 2026: Das EU-Parlament hat am 27.03.2026 die Verschiebung der Hochrisiko-KI-Pflichten beschlossen (Digital Omnibus, 569:45 Stimmen). Annex III tritt jetzt am 02.12.2027 in Kraft, Annex I am 02.08.2028. Der zweite Trilog ist für den 28.04.2026 angesetzt. Die AI Literacy Pflicht nach Artikel 4 KI-VO gilt seit dem 2. Februar 2025. Die Bußgeldvorschriften der KI-Verordnung greifen ab August 2026. Schulungsnachweise sind also weiterhin Pflicht.

36 Prozent der deutschen Unternehmen setzen 2026 KI ein (Bitkom 2025). Die Mehrheit davon hat kein Governance-Framework. KI-Tools werden abteilungsweise eingeführt, Richtlinien existieren nicht, und niemand weiß, wer für Fehler haftet. Das ist bereits ein Compliance-Problem, weil der EU AI Act seit Februar 2025 dokumentierte KI-Kompetenz verlangt und ab August 2026 weitere Pflichten wie Risikomanagement und Transparenz greifen.

KI-Governance klingt nach Konzernbürokratie. Ist es nicht.

Für den Mittelstand geht es um etwas sehr Pragmatisches: Wer darf welches Tool nutzen, wer prüft die Ergebnisse, wie weist du nach, dass dein Unternehmen verantwortungsvoll mit KI umgeht. Dieser Text zeigt dir in fünf Säulen, wie du das aufbaust, ohne einen eigenen Governance-Stab zu beschäftigen.

Was KI-Governance regelt

KI-Governance ist das Regelwerk, das festlegt, wie dein Unternehmen KI einsetzt, überwacht und verantwortet. Es beantwortet drei Kernfragen: Wer entscheidet über neue KI-Tools? Welche Regeln gelten im Alltag (Daten, Qualitätsprüfung, Dokumentation)? Wer haftet, wenn etwas schiefgeht?

Ohne Governance passiert in der Praxis Folgendes. Marketing nutzt ChatGPT mit Kundendaten. Der Vertrieb trainiert ein Lead-Scoring-Modell mit verzerrten historischen Daten. Die Buchhaltung verlässt sich blind auf KI-kategorisierte Belege. Niemand dokumentiert etwas. Und wenn die Datenschutzaufsicht fragt, zeigt jeder auf den anderen. Governance ist die Struktur, die das verhindert, ohne KI zu verbieten.

Die fünf Säulen der KI-Governance

Säule 1: KI-Strategie

Bevor du Regeln aufstellst, brauchst du eine Richtung. Die KI-Strategie beantwortet:

• Wo setzen wir KI ein? (Prozesse, Abteilungen, Use Cases)
• Wo setzen wir KI bewusst nicht ein? (z.B. autonome Personalentscheidungen)
• Welchen Nutzen erwarten wir? (Zeitersparnis, Qualität, Kosten)
• Welches Budget steht zur Verfügung?

Die Strategie muss kein 50-Seiten-Dokument sein. Ein zweiseitiges Papier, das von der Geschäftsleitung unterschrieben und im Unternehmen kommuniziert wurde, reicht. Entscheidend ist, dass es existiert.

Wenn du unsicher bist, wo du anfangen sollst, hilft eine KI-Readiness-Analyse. Sie zeigt, wo dein Unternehmen steht und welche Use Cases realistisch sind.

Säule 2: Richtlinien und Policies

Richtlinien machen die Strategie konkret. Sie regeln den Alltag. Mindestens diese drei Dokumente brauchst du.

KI-Nutzungsrichtlinie (für alle Mitarbeiter): - Welche KI-Tools sind freigegeben? - Welche Daten dürfen in KI-Tools eingegeben werden? (Personendaten, Geschäftsgeheimnisse, Kundendaten: nein.) - Müssen KI-Ergebnisse geprüft werden, bevor sie weiterverwendet werden? (Ja, immer.) - Wie werden KI-generierte Inhalte gekennzeichnet?

KI-Beschaffungsrichtlinie (für IT und Führungskräfte): - Welche Kriterien muss ein KI-Tool erfüllen, bevor es eingeführt wird? (Datenschutz, Hosting, Risikobewertung) - Wer genehmigt die Einführung? - Gibt es eine Testphase?

KI-Risikobewertung (für den KI-Beauftragten): - Risikokategorisierung nach EU AI Act (minimal, begrenzt, hoch, inakzeptabel) - Bewertung der eingesetzten Systeme - Maßnahmen je nach Risikoklasse

Bei hochriskanten KI-Anwendungen kommt zusätzlich eine Datenschutzfolgenabschätzung (DSFA) dazu.

Säule 3: Rollen und Verantwortlichkeiten

Governance funktioniert nur, wenn klar ist, wer was macht.

Der KI-Beauftragte ist die zentrale Figur. Mehr dazu weiter unten.

Säule 4: Monitoring und Qualitätssicherung

KI-Systeme verändern ihr Verhalten über die Zeit. Ein Modell, das im Januar gut funktioniert hat, kann im Juli schlechte Ergebnisse liefern, weil sich die Eingabedaten verändert haben. Deshalb brauchst du laufendes Monitoring:

• Output-Qualität messen: Stichprobenprüfung der KI-Ergebnisse (z.B. 10 Prozent aller automatisch kategorisierten Belege manuell prüfen)
• Bias-Checks: Besonders bei Personalentscheidungen, Kreditvergabe oder Kundensegmentierung regelmäßig prüfen, ob bestimmte Gruppen systematisch benachteiligt werden
• Performance-KPIs definieren: Antwortqualität bei Chatbots, Trefferquote bei Dokumentenklassifikation, Fehlerrate bei automatisierten Prozessen
• Incident-Tracking: Wenn ein KI-System falsche Ergebnisse liefert, wird das dokumentiert und analysiert

Monitoring-Rhythmus für den Mittelstand:

Säule 5: Compliance und Regulatorik

Der EU AI Act ist seit Februar 2025 in Kraft. Die Bußgeldrahmen der KI-Verordnung beginnen im August 2026. Das Governance-Framework muss diese Anforderungen abdecken.

Artikel 4 (gilt seit Februar 2025) verlangt, dass alle Unternehmen, die KI nutzen, sicherstellen, dass ihre Mitarbeiter über ausreichende KI-Kompetenz verfügen. Das heißt: dokumentierte Schulungen, angepasst an Rolle und Risiko. Wer das unterschätzt, hat später ein Problem, sobald jemand einen Schulungsnachweis sehen will.

Artikel 6 und Anhang III (ab Dezember 2027) regeln Hochrisiko-KI-Systeme (u.a. Personalentscheidungen, Kreditwürdigkeitsprüfung, Zugang zu Bildung). Dort kommen verschärfte Pflichten dazu: Risikomanagement-System, dokumentierte Datensätze, technische Dokumentation, menschliche Aufsicht, Logging.

Artikel 50 (ab August 2026) bringt die Transparenzpflichten. KI-generierte Inhalte müssen als solche gekennzeichnet werden. Chatbots müssen sich als KI identifizieren.

Artikel 52 regelt die Bußgelder: bis zu 35 Millionen EUR oder 7 Prozent des weltweiten Jahresumsatzes. Auch für KMU relevant, weil die Aufsichtsbehörden verhältnismäßige, aber abschreckende Sanktionen verhängen dürfen. Das Governance-Framework dokumentiert, wie dein Unternehmen diese Anforderungen erfüllt. Ohne Framework fehlt der Nachweis.

Die Rolle des KI-Beauftragten

Der KI-Beauftragte ist keine Vollzeitstelle. Im Mittelstand ist es eine zusätzliche Verantwortung für eine Person mit technischem Verständnis und Überblick über die Geschäftsprozesse.

Aufgaben im Detail:

• KI-Inventar pflegen (welche Systeme sind im Einsatz?)
• Neue Tool-Anfragen bewerten (Risiko, Datenschutz, Nutzen)
• Richtlinien aktualisieren
• Schulungsbedarf identifizieren und Schulungen organisieren
• Monitoring-Ergebnisse auswerten
• Quartals-Report an die Geschäftsleitung erstellen
• Ansprechpartner für Datenschutzbeauftragten und externe Prüfer sein

Qualifikation. Der KI-Beauftragte braucht kein Informatikstudium. Er braucht ein Verständnis für KI-Grundlagen, Datenschutz, Risikomanagement und die Geschäftsprozesse des Unternehmens. Genau das vermittelt eine Weiterbildung zum Digitalisierungsmanager: 4 Monate, komplett online, DEKRA-zertifiziert, 100 Prozent über Bildungsgutschein förderbar.

Explainable AI: Warum Nachvollziehbarkeit Pflicht ist

Explainable AI (XAI) bedeutet, dass du erklären kannst, warum ein KI-System eine bestimmte Entscheidung getroffen hat. Das ist keine theoretische Anforderung. In drei Szenarien wird sie praktisch relevant.

Bei Personalentscheidungen musst du erklären können, nach welchen Kriterien ein KI-Ranking Bewerbungen sortiert. Sonst riskierst du eine AGG-Klage. In der Kundenkommunikation musst du nachvollziehen können, wie ein Chatbot zu einer falschen Auskunft gekommen ist, wenn der Kunde dadurch einen Schaden erleidet. Und die Aufsichtsbehörde kann verlangen, dass du die Funktionsweise deines KI-Systems erklärst. "Das macht die KI halt so" ist dann keine akzeptable Antwort.

Praktisch bedeutet das: Dokumentiere für jedes KI-System die Eingabedaten und die Entscheidungslogik. Bevorzuge Tools, die Erklärungen mitliefern ("Diese E-Mail wurde als Spam klassifiziert wegen: Absender unbekannt, 3 verdächtige Links, Betreffzeile enthält typische Spam-Muster"). Verzichte auf Black-Box-Modelle bei hochriskanten Entscheidungen. Protokolliere KI-basierte Entscheidungen zusammen mit den relevanten Eingabedaten.

Governance-Reifegradmodell: Wo steht dein Unternehmen?

Nicht jedes Unternehmen braucht sofort ein vollständiges Governance-Framework. Das Reifegradmodell zeigt, wo du stehst und was der nächste Schritt ist.

Die Mehrheit der deutschen Mittelständler steht 2026 bei Stufe 1. Manche haben erste Richtlinien (Stufe 2). Stufe 3 und 4 sind selten. Wer jetzt handelt, hat einen echten Vorsprung: regulatorisch, aber auch im Vertrauen von Kunden, Partnern und Bewerbern.

Wir sehen bei Unternehmen, die wir in den Digitalisierungsmanager-Kursen begleiten, regelmäßig, dass der Sprung von Stufe 1 auf Stufe 2 weniger am fehlenden Wissen scheitert, sondern am fehlenden Mandat. Ohne klare Rückendeckung der Geschäftsleitung schreibt der technikaffine Kollege vielleicht eine Richtlinie, aber niemand liest sie. Deshalb gehört Governance immer zuerst auf den GF-Tisch.

In 90 Tagen von Stufe 1 zu Stufe 2

Der Sprung von Ad-hoc zu Definiert ist der wichtigste. Danach hast du ein funktionierendes Grundgerüst.

Woche 1-2: Bestandsaufnahme - KI-Inventar erstellen: Welche Tools werden genutzt, von wem, mit welchen Daten? - KI-Beauftragten benennen (muss nicht der IT-Leiter sein, kann auch ein technikaffiner Abteilungsleiter sein)

Woche 3-4: Richtlinien schreiben - KI-Nutzungsrichtlinie (1-2 Seiten, für alle Mitarbeiter verständlich) - Freigabeliste: Welche Tools sind erlaubt? Welche sind verboten? Welche werden noch geprüft?

Woche 5-8: Kommunikation und Schulung - Richtlinie an alle Mitarbeiter kommunizieren (Team-Meeting, nicht nur per E-Mail) - Basisschulung KI-Kompetenz durchführen (Art. 4 EU AI Act Pflicht) - Schulung dokumentieren (Teilnehmerliste, Inhalt, Datum)

Woche 9-12: Erste Risikobewertung - Jedes KI-System nach EU AI Act klassifizieren (minimal, begrenzt, hoch, inakzeptabel) - Für hochriskante Systeme: Maßnahmenplan erstellen - Ergebnisse dokumentieren und an Geschäftsleitung berichten

Nach 90 Tagen hast du ein KI-Inventar, einen KI-Beauftragten, eine Nutzungsrichtlinie, dokumentierte Schulungen und eine erste Risikobewertung. Das entspricht Stufe 2 und deckt die Kernpflichten des EU AI Act ab.

Häufige Fehler beim Governance-Aufbau

Governance scheitert meistens an den gleichen Dingen, und sie haben wenig mit Technik zu tun.

Alles auf einmal wollen. Governance ist ein Prozess, kein Projekt. Starte mit den Grundlagen (Stufe 2) und baue schrittweise aus.

Richtlinien schreiben, aber nicht kommunizieren. Eine Richtlinie, die niemand kennt, existiert nicht. Team-Meetings, Onboarding-Prozess und regelmäßige Erinnerungen gehören dazu.

Nur die IT einbeziehen. KI-Governance betrifft alle Abteilungen. Marketing nutzt KI für Texte, HR für Bewerbermanagement, Vertrieb für Lead-Scoring. Ohne Fachabteilungen am Tisch bleibt das Regelwerk abstrakt.

Governance als Innovationsbremse framen. In der Praxis trauen sich Mitarbeiter mehr, wenn sie wissen, was erlaubt ist. Klare Regeln entlasten, sie hindern nicht.

Den EU AI Act ignorieren. "Betrifft uns nicht" ist fast nie richtig. Wer ChatGPT, Copilot oder irgendein CRM mit KI-Funktionen nutzt, ist betroffen.

Wenn du beim Aufbau merkst, dass intern das Know-how fehlt, ist der schnellste Hebel eine Weiterbildung. Der Digitalisierungsmanager in Bayreuth ist genau dafür aufgebaut und über Bildungsgutschein förderbar.

FAQ

Braucht jedes Unternehmen KI-Governance? Ja, sobald KI-Tools im Einsatz sind. Das schließt ChatGPT, Microsoft Copilot, automatische Lead-Bewertung im CRM und KI-gestützte Belegerfassung ein. Die Tiefe der Governance hängt von der Unternehmensgröße und dem Risiko der eingesetzten Systeme ab.

Wie viel kostet der Aufbau eines Governance-Frameworks? Für ein mittelständisches Unternehmen mit 50-200 Mitarbeitern: 4-8 Stunden pro Woche für den KI-Beauftragten, dazu einmalig 2-4 Tage für die Ersteinrichtung (Richtlinien, Inventar, Risikobewertung). Externe Beratung ist möglich, aber nicht zwingend nötig.

Reicht eine interne Lösung oder brauche ich externe Berater? Für Stufe 1 bis 2 reicht eine interne Lösung. Ab Stufe 3 kann ein externer Governance-Audit sinnvoll sein, um blinde Flecken aufzudecken. Voraussetzung ist, dass intern jemand die nötige Kompetenz hat.

Was passiert, wenn ich keine KI-Governance habe? Kurzfristig ist nichts Sichtbares. Mittelfristig: unkontrollierte KI-Nutzung, Datenschutzverstöße, Haftungsrisiken. Ab August 2026 mögliche Bußgelder nach EU AI Act. Langfristig: Vertrauensverlust bei Kunden und Partnern.

Kann ich KI-Governance an einen Dienstleister auslagern? Teilweise. Die operative Umsetzung (Tool-Bewertung, Monitoring) kann extern unterstützt werden. Die strategischen Entscheidungen (Wo setzen wir KI ein? Welches Risiko akzeptieren wir?) muss die Geschäftsleitung selbst treffen.

Was hat Explainable AI mit Governance zu tun? Explainable AI ist ein Baustein der Governance. Governance legt fest, dass KI-Entscheidungen nachvollziehbar sein müssen. Explainable AI liefert die technischen Mittel dafür. Ohne XAI bleibt die Governance-Anforderung ein leeres Versprechen.