KI-Roadmap für KMU 2026: In 5 Schritten zur eigenen KI-Strategie

Eine KI-Roadmap für KMU ist 2026 kein Luxusprojekt mehr, sondern der Rahmen, in dem du als Geschäftsführer entscheidest, welche Tools im Haus laufen dürfen, wo Daten hingehen und wer dafür haftet. Wer ohne Plan startet, sammelt nach sechs Monaten zwölf ChatGPT-Accounts in fünf Abteilungen ein und weiß nicht, ob davon irgendetwas die Compliance-Pflicht aus Artikel 4 der KI-Verordnung erfüllt. Mit Plan sieht das anders aus.

Auf einen Blick: Eine KI-Roadmap für den Mittelstand lässt sich in fünf Schritten anlegen. Schritt 1 ist die Bestandsaufnahme: was im Betrieb läuft, welche Daten existieren, wo Compliance-Pflichten greifen. Schritt 2 ist die Identifikation von 3 bis 5 Use Cases mit kurzem ROI-Check. Schritt 3 ist die Datenstrategie und der DSGVO-Check. Schritt 4 ist ein Pilot mit klarem Erfolgskriterium über 3 bis 6 Monate. Schritt 5 ist die Skalierung mit Governance, KI-Beauftragter und Nutzungsrichtlinie. Zeitrahmen insgesamt rund 12 Monate vom Start bis zur produktiven Skalierung.

Warum eine Roadmap besser ist als Trial and Error

Trial and Error funktioniert bei sehr kleinen Risiken oder sehr großem Budget. Beides trifft auf den typischen Mittelständler nicht zu.

Was ohne Roadmap passiert: Vertrieb nutzt ChatGPT für Angebote, Buchhaltung lädt Rechnungen in einen Online-Service, Personal testet KI für Bewerber-Vorauswahl. Drei Schatten-Instanzen, drei Anbieter, drei Datenflüsse ins Ausland. Keine AVV, keine Schulungsnachweise, keine Dokumentation. Wenn die Aufsichtsbehörde anruft, stehst du ohne Verteidigungslinie da.

Eine Roadmap dreht das um. Erst festlegen, was du wissen willst, dann gezielt sammeln, dann strukturiert entscheiden.

Schritt 1 - Bestandsaufnahme

Der erste Schritt klingt unspektakulär. Er ist trotzdem der wichtigste, weil alle folgenden Entscheidungen darauf aufbauen.

Vier Bereiche gehören rein. Erstens das KI-Inventar: Welche KI-Tools laufen aktuell? Frag nicht nur die IT, sondern jede Abteilung einzeln. ChatGPT-Privataccounts auf Diensthandys, Copilot-Lizenzen über Microsoft 365, Bilderkennung in der QS, Übersetzung im Vertrieb. Alles dokumentieren, auch das, was du sofort abschalten würdest.

Zweitens die Datenkarte. CRM-Datensätze, Buchhaltungsbelege, Personalakten, Maschinendaten, Lieferantenkommunikation, Wartungsprotokolle. Nicht im Detail, sondern als Übersicht: Datenarten, Mengen, Speicherort, Aktualität. Diese Karte brauchst du in Schritt 2 für die Use-Case-Bewertung und in Schritt 3 für die Datenstrategie.

Drittens die Compliance-Liste. DSGVO ist seit 2018 da, aber selten konsequent umgesetzt. Artikel 4 der KI-Verordnung verlangt seit dem 02.02.2025 ausreichende KI-Kompetenz aller Mitarbeiter, die mit KI-Systemen arbeiten. Das gilt auch für den 30-Mann-Betrieb. Details im Artikel zur KI-Kompetenzpflicht aus Artikel 4. Mit jedem Anbieter, der personenbezogene Daten verarbeitet, brauchst du einen AVV nach Artikel 28 DSGVO.

Viertens das Skill-Mapping. Wer kann was? Wer hat schon Erfahrung, wer hat Berührungsängste, wer könnte später KI-Beauftragter werden? Ehrliche Einschätzung, keine formale Bewertung.

Output: KI-Inventar, Datenkarte, Compliance-Liste, Skill-Übersicht. Zeitrahmen: 1 bis 2 Monate.

Schritt 2 - Use-Case-Identifikation

Jetzt entscheidest du, wo KI wirklich helfen würde. Schritt 1 zeigt, was es gibt. Schritt 2 fragt: Was wäre sinnvoll?

Die Methode ist ein moderierter Workshop von vier bis sechs Stunden mit fünf bis zehn Personen aus verschiedenen Abteilungen. Geschäftsführung, IT, Vertrieb, Produktion oder Service, Buchhaltung, Personal. Leute, die wissen, wo es täglich hakt.

Im ersten Teil sammelt ihr Schmerzen. Welche Tätigkeiten kosten zu viel Zeit? Welche Fehler passieren wiederholt? Welche Daten liegen ungenutzt? Pro Schmerz eine Karte. Erfahrungsgemäß kommen 40 bis 80 Karten zusammen.

Im zweiten Teil bewertet ihr jede Karte: Lässt sich das mit KI besser machen? Effekt in Stunden oder Euro pro Monat? Umsetzungsaufwand? Datensensibilität? Daraus filterst du drei bis fünf Use Cases.

Die ROI-Schätzung muss keine zwei Stellen hinterm Komma haben, aber eine Größenordnung liefern. Spart der Use Case zehn Stunden pro Monat oder zehn pro Tag? Reduziert Fehler um 5 oder 50 Prozent? 2.000 Euro pro Monat oder 20.000? Die Größenordnung entscheidet, was als Pilot startet.

Output: 3 bis 5 priorisierte Use Cases mit Pain-Beschreibung, ROI-Schätzung, Risikoeinschätzung. Zeitrahmen: 1 bis 2 Monate.

Schritt 3 - Datenstrategie und DSGVO-Check

Bevor du irgendetwas pilotierst, prüfst du die Datenseite. Sonst landet der Pilot in einer Sackgasse aus rechtlichen Gründen oder produziert Müll, weil die Daten zu schlecht sind.

Drei Themen gehören hierher. Erstens die Datenqualität. Aus der Datenkarte aus Schritt 1 weißt du, welche Daten du für die priorisierten Use Cases brauchst. Jetzt schaust du genau hin. Sind die Daten vollständig? Aktuell? In einheitlichem Format? Vorhandene Lücken kannst du nicht mit KI auffüllen, sie pflanzen sich nur fort.

Zweitens die Datenschutz-Folgenabschätzung. Artikel 35 DSGVO verlangt eine DSFA, wenn die Verarbeitung voraussichtlich ein hohes Risiko für die Rechte und Freiheiten natürlicher Personen birgt. Bei KI-Systemen, die personenbezogene Daten verarbeiten, ist die Schwelle schnell erreicht. Bewerberauswahl, Performance-Auswertung von Mitarbeitern, Bonitätsprüfung von Kunden, Gesundheitsdaten. Sobald einer deiner Use Cases dort hineinläuft, ist die DSFA Pflicht, nicht Option.

Drittens die Anbieterauswahl mit AVV. Für jeden Anbieter, der personenbezogene Daten in deinem Auftrag verarbeitet, brauchst du einen Auftragsverarbeitungsvertrag. Bei den großen Anbietern wie OpenAI, Anthropic oder Microsoft sind Muster-AVVs verfügbar. Bei kleineren Anbietern verhandelst du oder du wählst sie nicht. Achte auf den Drittlandtransfer. Daten in die USA brauchen entweder den Angemessenheitsbeschluss EU-US Data Privacy Framework, Standardvertragsklauseln oder beides.

Wenn ein Use Case Hochrisiko-KI nach Anhang III der KI-Verordnung berührt, etwa im Personalbereich oder bei kritischer Infrastruktur, kommen ab dem 02.12.2027 zusätzliche Pflichten aus der KI-Verordnung dazu. Die Schwelle solltest du jetzt einschätzen, nicht erst kurz vor Inkrafttreten.

Output: AVV-Verträge mit allen relevanten Anbietern, DSFA für die priorisierten Use Cases wo erforderlich, Datenkatalog mit Qualitätsbewertung. Zeitrahmen: 1 bis 2 Monate.

Schritt 4 - Pilot mit klarem Erfolgskriterium

Jetzt startest du genau einen Use Case als Pilot. Nicht drei parallel, sondern einen. Du brauchst Fokus, klare Verantwortung und ehrliche Messung.

Der Pilot läuft drei bis sechs Monate, je nach Komplexität. Drei Monate reichen für ein klassisches Tool wie einen KI-Schreibassistenten im Marketing. Sechs Monate brauchst du für etwas komplexeres wie eine Maschinen-Störungsdiagnose, die erst Daten sammeln und dann Muster erkennen muss.

Vor dem Start legst du das Erfolgskriterium fest. Nicht als Wunsch, sondern als messbare Größe. Beispiel Rechnungs-Klassifikation: Genauigkeit mindestens 92 Prozent bei einer Stichprobe von 500 Rechnungen. Beispiel Servicechat: Erstreaktionszeit unter 30 Sekunden, Lösungsquote im Erstkontakt über 60 Prozent. Beispiel Wartungsplanung: Reduktion der ungeplanten Ausfälle um 25 Prozent im Vergleich zum Vorjahres-Quartal.

Wenn du das Kriterium nicht in einem Satz aufschreiben kannst, hast du noch keines. Dann zurück zum Reißbrett.

Im Pilot misst du. Wöchentlich oder zweiwöchentlich. Du dokumentierst, was funktioniert und was nicht. Du holst Feedback von den Anwendern. Du beobachtest, ob die KI-Ausgabe nachgelagert geprüft werden muss oder ob sie alleine steht.

Output am Ende des Piloten: ein Report mit den gemessenen Werten, der Empfehlung Skalieren-Ja-Nein und einer Begründung. Wenn das Erfolgskriterium nicht erreicht wurde, ist das ein Ergebnis und keine Niederlage. Du hast für überschaubare Kosten gelernt, dass dieser Weg nicht trägt. Zeitrahmen: 3 bis 6 Monate.

Schritt 5 - Skalierung mit Governance

Wenn der Pilot erfolgreich war, kommt die Skalierung. Wenn er nicht erfolgreich war, beginnt der nächste Pilot mit dem zweiten Use Case aus der Liste. Skalierung heißt nicht einfach mehr Lizenzen kaufen.

Vier Bausteine gehören in diesen Schritt. Erstens ein KI-Beauftragter. Eine Person, die intern Ansprechpartner für alle KI-Themen ist. Das muss kein neuer Vollzeit-Job sein. In einem 80-Mann-Betrieb kann das ein bestehender Mitarbeiter mit 20 bis 30 Prozent Zeitanteil sein. Wichtig ist, dass jemand verantwortlich ist, wenn Fragen kommen. Welche Tools sind freigegeben? Welche Daten dürfen rein? Wo melde ich einen Vorfall?

Zweitens eine KI-Nutzungsrichtlinie. Ein schriftliches Dokument, das jeder Mitarbeiter erhält und unterschreibt. Was darfst du mit Firmen-Daten in KI-Tools eingeben? Welche Tools sind freigegeben, welche verboten? Wie kennzeichnest du KI-generierte Texte gegenüber Kunden? Wie meldest du einen Fehler oder eine Auffälligkeit? Die Richtlinie ist kein Roman, sondern ein zwei- bis dreiseitiges Dokument mit klaren Regeln.

Drittens die Schulung der Mitarbeiter. Artikel 4 der KI-Verordnung verlangt ausreichende KI-Kompetenz bei allen, die mit KI-Systemen arbeiten. Was ausreichend ist, hängt vom Einsatzbereich ab. Wer nur den Schreibassistenten nutzt, braucht ein anderes Niveau als wer ein Hochrisiko-System bedient. Die Schulung muss dokumentiert sein, denn im Streitfall musst du sie nachweisen können. Das gilt seit dem 02.02.2025, nicht erst ab einer Frist in der Zukunft.

Viertens das Monitoring. Du brauchst Kennzahlen, die laufend gemessen werden. Wie viele KI-Anfragen pro Monat? Welche Fehlerquote? Welche Nutzerzufriedenheit? Welche Kosten? Wenn die Kennzahlen aus dem Ruder laufen, willst du das nicht ein Jahr später beim Jahresabschluss merken. Für Betreiber-Pflichten nach Artikel 26 der KI-Verordnung findest du Details im Artikel zu den Betreiber-Pflichten aus Artikel 26.

Output: KI-Nutzungsrichtlinie, benannter KI-Beauftragter, geschulte Mitarbeiter mit Schulungsnachweisen, produktive KI-Lösung mit Monitoring. Zeitrahmen: 3 bis 4 Monate für die Skalierung des ersten Piloten, parallel laufen weitere Piloten an.

Zeitrahmen-Übersicht

Verzahnung mit EU AI Act und DSGVO

Die Roadmap und der Rechtsrahmen greifen ineinander. Wenn du beides getrennt behandelst, doppelst du Arbeit und übersiehst Lücken.

Artikel 4 der KI-Verordnung gilt seit dem 02.02.2025. Sobald du in Schritt 1 dein KI-Inventar erstellst, musst du parallel die KI-Kompetenz nachweisen. In der Praxis heißt das: Schulungsplan für die nächsten Monate erstellen und dokumentieren. Wer ist geschult, mit welchem Inhalt, durch wen? Ohne diesen Nachweis bist du im Verzug, auch wenn keine Bußgeldfrist aus diesem Artikel direkt droht. Im Schadensfall haftest du wegen verletzter Sorgfaltspflicht.

DSGVO greift überall dort, wo personenbezogene Daten verarbeitet werden. In Schritt 3 ist sie der Hauptfilter für die Use-Case-Auswahl. Use Cases ohne klare Datenschutz-Lösung dürfen nicht in den Piloten.

Wenn deine Use Cases Hochrisiko nach Anhang III der KI-Verordnung berühren, etwa im Personalbereich oder bei Zugang zu wesentlichen Diensten, kommen ab dem 02.12.2027 weitere Pflichten dazu. Das verschiebt die Roadmap nicht, aber es schärft die Auswahl in Schritt 2. Lieber einen niedrig-risiko Pilot, der schnell läuft, als ein Hochrisiko-Projekt, das sich in den nächsten 18 Monaten in Compliance-Aufwand verheddert.

Praxis-Beispiel: Maschinenbauer mit 80 MA, 12-Monats-Plan

Ein konkretes Bild. Ein Mittelständler im Maschinenbau mit 80 Mitarbeitern, davon 50 in Produktion und Service. Die Geschäftsführung beschließt im Januar 2026 die Einführung einer KI-Roadmap.

Januar und Februar laufen Schritt 1 und 2 parallel. Die IT-Leitung sammelt das KI-Inventar, die Geschäftsführung organisiert einen Workshop mit acht Personen aus allen Abteilungen. Aus 60 Karten kristallisieren sich vier Use Cases: KI-gestützte Maschinen-Störungsdiagnose im Service, Angebotsschreiben im Vertrieb, Rechnungs-Vorerfassung in der Buchhaltung, Bewerber-Vorauswahl im Personalbereich. Die Bewerber-Vorauswahl wird sofort gestrichen, weil sie als Hochrisiko nach Anhang III einstufbar wäre und der Aufwand für den 12-Monats-Zeitraum nicht stemmbar ist.

März und April laufen Schritt 3. Datenkatalog für die drei verbleibenden Use Cases, AVV mit zwei Cloud-Anbietern, DSFA für die Rechnungs-Vorerfassung wegen Lieferantendaten und teilweise personenbezogenen Belegen. Parallel startet die Erstschulung aller Mitarbeiter zu KI-Kompetenz nach Artikel 4, je nach Rolle mit unterschiedlichem Tiefgang.

Mai bis Oktober läuft der Pilot zur Maschinen-Störungsdiagnose. Das Erfolgskriterium ist die Reduktion der durchschnittlichen Diagnosezeit von 45 Minuten auf unter 25 Minuten in einem definierten Anlagentyp. Im September zeigen die Messdaten, dass die KI-Lösung zwar gute Vorschläge liefert, aber die Servicetechniker sie nur in 40 Prozent der Fälle akzeptieren. Eine Nachbesserung mit Trainingsdaten aus den abgelehnten Fällen verbessert die Akzeptanz im Oktober auf 78 Prozent. Erfolgskriterium erreicht.

November und Dezember laufen Skalierung und Governance. Ein langjähriger Servicetechniker übernimmt die Rolle des KI-Beauftragten mit 30 Prozent Zeitanteil. Die KI-Nutzungsrichtlinie wird verabschiedet, alle Mitarbeiter erhalten und unterschreiben sie. Das Monitoring läuft mit drei Kennzahlen. Im Januar 2027 ist die KI produktiv. Die nächsten zwei Use Cases werden parallel begonnen.

Häufige Fragen

Brauche ich einen externen Berater für die Roadmap? Für Schritt 1 und 2 in der Regel nicht. Du hast intern genug Wissen, um Bestandsaufnahme und Workshop zu stemmen. Für Schritt 3 ist juristische Unterstützung oft sinnvoll, besonders bei DSFA und Hochrisiko-Bewertung. Für den Piloten in Schritt 4 hängt es vom Use Case ab. Bei technisch anspruchsvollen Lösungen wie Maschinen-Diagnose ist ein erfahrener Implementierer Gold wert.

Wie viel Zeit muss die Geschäftsführung selbst investieren? Für die Bestandsaufnahme rechne mit 8 bis 12 Stunden GF-Zeit über zwei Monate. Für den Workshop ein halber Tag. Während des Piloten zwei bis vier Stunden im Monat für die Lenkung. Bei der Skalierung wieder höher, weil Richtlinie und Beauftragter durch die GF mitgetragen werden müssen. Wer das nicht selbst tut, hat keine ernsthafte Roadmap, sondern ein Delegationsprojekt.

Was kostet die Roadmap? Sehr variabel. Die Eigenleistung in Mitarbeiterstunden ist der größte Posten. Externe Beratung in Schritt 3 liegt typischerweise im niedrigen fünfstelligen Bereich. Der Pilot selbst kann zwischen wenigen tausend Euro für ein Standardtool und hohen fünfstelligen Beträgen für eine maßgeschneiderte Lösung liegen. Schulungen pro Mitarbeiter zwischen 200 und 1.500 Euro, je nach Tiefe.

Wer wird KI-Beauftragter im Mittelstand? Idealerweise jemand, der sowohl im Betrieb verwurzelt ist als auch technisches Interesse mitbringt. Oft sind das Mitarbeiter aus IT, Service oder Qualitätsmanagement. Nicht zwingend ein Akademiker, eher jemand mit gutem Verständnis für Prozesse und Risiken. Die Rolle braucht klare Verantwortung und Zeit, oft 10 bis 30 Prozent der Arbeitszeit, je nach KI-Reife.

Müssen wir den Betriebsrat einbeziehen? In Betrieben mit Betriebsrat ja. KI-Einsatz fällt unter das Mitbestimmungsrecht des Paragraf 87 Absatz 1 Nummer 6 Betriebsverfassungsgesetz, sobald die Tools zur Verhaltens- oder Leistungskontrolle geeignet sind. Das ist bei vielen KI-Anwendungen der Fall. Frühzeitige Einbindung in Schritt 2 oder spätestens Schritt 3 verhindert Konflikte vor dem Piloten und ist auch sachlich sinnvoll, weil der Betriebsrat nah an den Mitarbeitern ist und Akzeptanzfragen früh aufzeigt.

Eine KI-Roadmap nimmt dir das Risiko nicht ab, aber sie sortiert es. Du weißt nach 12 Monaten, was du hast, was du dokumentiert hast und was als nächstes ansteht. Die SkillSprinters-Weiterbildung zum Digitalisierungsmanager vermittelt genau diese strukturierte Herangehensweise. Wer den Rechtsrahmen vertiefen will, findet den Einstieg über die KI-Kompetenzpflicht aus Artikel 4.