KI-Strategie für den Mittelstand: In 5 Schritten vom Experiment zur Umsetzung

83 Prozent der mittelständischen Unternehmen in Deutschland haben keine KI-Strategie. Das zeigt eine aktuelle Studie der Hochschule Karlsruhe. Gleichzeitig hat sich die KI-Nutzung im Mittelstand laut KfW Research innerhalb von sechs Jahren verfünffacht. Der Widerspruch ist offensichtlich: Viele probieren KI aus, aber fast niemand setzt es systematisch ein.

Dieser Artikel ist kein theoretisches Framework. Er zeigt fünf konkrete Schritte, die ein mittelständisches Unternehmen mit 10 bis 250 Mitarbeitern in den nächsten 90 Tagen umsetzen kann. Ohne Berater. Ohne sechsstelliges Budget.

Warum Mittelständler bei KI steckenbleiben

Die DIHK-Digitalisierungsumfrage 2026 zeigt die drei häufigsten Hürden:

• Zeitmangel (63 %): Geschäftsführer und Fachkräfte sind im Tagesgeschäft gebunden. Für KI-Projekte fehlt die freie Kapazität.
• Fehlende interne Expertise (53 %): Es gibt keinen Mitarbeiter, der KI-Tools bewerten und einführen kann.
• Unklare Kompetenzbedarfe: Unternehmen wissen nicht, welche Fähigkeiten ihre Mitarbeiter für den KI-Einsatz brauchen.

Die meisten Unternehmen scheitern nicht an der Technik. Sie scheitern daran, dass niemand die Verantwortung für das Thema übernimmt und es keine klare Reihenfolge gibt. Genau das lösen die folgenden fünf Schritte.

Schritt 1: Prozesse identifizieren statt Technologie kaufen

Der häufigste Fehler: Ein Unternehmen kauft ein KI-Tool und sucht anschließend einen Einsatzzweck dafür. Richtig ist es umgekehrt.

So finden Sie die richtigen Prozesse

Listen Sie alle Tätigkeiten auf, die in Ihrem Unternehmen regelmäßig anfallen und einen hohen manuellen Anteil haben. Bewerten Sie jede Tätigkeit anhand von drei Kriterien:

Typische Prozesse mit hohem KI-Potenzial im Mittelstand:

• Angebotserstellung: Texte zusammenstellen, Preise kalkulieren, Dokumente formatieren
• E-Mail-Bearbeitung: Kundenanfragen sortieren, Standardantworten formulieren, Weiterleitung an die richtige Abteilung
• Rechnungsverarbeitung: Eingangsrechnungen erfassen, Kontierung vorbereiten, Freigaben einholen
• Terminplanung und Disponierung: Einsätze koordinieren, Ressourcen planen
• Dokumentation und Berichte: Protokolle erstellen, Berichte zusammenfassen, Kennzahlen aufbereiten

Wählen Sie einen einzigen Prozess aus, der mindestens 5 Stunden pro Woche kostet und einen hohen Wiederholungsgrad hat. Das ist Ihr Pilotprojekt.

Schritt 2: Einen internen KI-Verantwortlichen benennen

KI scheitert im Mittelstand nicht an der Technik. Sie scheitert, wenn das Thema "irgendwie bei allen" liegt. Benennen Sie einen konkreten Mitarbeiter als KI-Verantwortlichen.

Anforderungen an die Person:

• Interesse an digitalen Werkzeugen
• Bereitschaft, sich einzuarbeiten (keine Vorkenntnisse nötig)
• Einfluss auf den gewählten Pilotprozess (idealerweise arbeitet sie selbst damit)
• Freiraum: Mindestens 4 Stunden pro Woche für das Thema

Diese Person muss kein IT-Experte sein. Sie muss den Prozess verstehen und bereit sein, neue Werkzeuge auszuprobieren. In der Praxis sind es oft Mitarbeiter aus der Verwaltung, dem Vertrieb oder dem Projektmanagement.

Schritt 3: Ein Pilotprojekt in 4 Wochen umsetzen

Kein Konzeptpapier, keine Roadmap, keine Evaluation. Starten Sie direkt mit dem ausgewählten Prozess und einem passenden Werkzeug.

Woche 1: Werkzeug auswählen und einrichten

Für den Anfang reichen Standardwerkzeuge, die keine IT-Abteilung erfordern:

Woche 2-3: Werkzeug im Pilotprozess einsetzen

Der KI-Verantwortliche nutzt das gewählte Werkzeug im gewählten Prozess. Jeden Tag. Ohne Perfektionsanspruch. Dokumentieren Sie:

• Welche Aufgaben funktionieren gut mit KI?
• Welche funktionieren schlecht oder gar nicht?
• Wie viel Zeit spart der Einsatz pro Tag?

Woche 4: Ergebnisse messen und entscheiden

Vergleichen Sie den Zeitaufwand vor und nach dem Pilotprojekt. Wenn der Prozess mindestens 30 Prozent schneller abläuft, lohnt sich die Skalierung. Wenn nicht, wählen Sie einen anderen Prozess.

Schritt 4: Mitarbeiter schulen und Richtlinien festlegen

Nach dem erfolgreichen Pilotprojekt rollen Sie das Werkzeug auf weitere Mitarbeiter aus. Dafür brauchen Sie zwei Dinge: eine kurze Schulung und klare Spielregeln.

Schulung (2 Stunden reichen)

• Was kann das Werkzeug? (Live-Demo am eigenen Prozess)
• Was darf eingegeben werden, was nicht? (DSGVO-Grenzen)
• Wie formuliert man gute Eingaben? (3-5 bewährte Prompts)
• Was tun, wenn das Ergebnis falsch ist? (Kontrolle, Korrektur)

KI-Nutzungsrichtlinie (1 Seite)

• Welche Werkzeuge sind zugelassen
• Welche Daten dürfen nicht eingegeben werden (personenbezogene Daten, Geschäftsgeheimnisse)
• Wer ist Ansprechpartner bei Fragen
• Wie werden Ergebnisse geprüft

Seit dem 2. Februar 2025 verpflichtet Art. 4 der EU-KI-Verordnung Unternehmen, für eine ausreichende KI-Kompetenz ihrer Mitarbeiter zu sorgen. Eine dokumentierte Schulung erfüllt diese Anforderung.

Schritt 5: Skalieren und zweites Projekt starten

Wenn der erste Prozess läuft, starten Sie den zweiten. Die Reihenfolge bleibt gleich: Prozess identifizieren, Werkzeug auswählen, 4 Wochen testen, ausrollen.

Typischer 90-Tage-Plan

Nach 90 Tagen haben Sie zwei Prozesse mit KI-Unterstützung laufen, einen geschulten KI-Verantwortlichen und eine dokumentierte Nutzungsrichtlinie. Das ist mehr als 83 Prozent des Mittelstands.

Förderung: So zahlt der Staat Ihre KI-Strategie

Die Qualifizierung Ihres KI-Verantwortlichen kann über das Qualifizierungschancengesetz (QCG) gefördert werden:

Voraussetzung: Die Weiterbildung muss bei einem AZAV-zertifizierten Bildungsträger stattfinden und mindestens 121 Unterrichtsstunden umfassen. Der Antrag wird beim Arbeitgeber-Service der Agentur für Arbeit gestellt (kostenlose Hotline: 0800 4 5555 20).

Kosten und ROI: Was KI im ersten Jahr kostet und bringt

Eine der häufigsten Fragen von Geschäftsführern: Was kostet das alles? Hier eine realistische Aufstellung für ein Unternehmen mit 20 bis 50 Mitarbeitern.

Direkte Kosten im ersten Jahr

Typische Einsparungen im ersten Jahr

Die Rechnung ist konservativ (40 EUR/Stunde Personalkosten). Bei höheren Stundensätzen oder mehr automatisierten Prozessen steigt der ROI entsprechend.

Was eine KI-Strategie nicht braucht

Zum Schluss drei Dinge, die oft empfohlen werden, aber im Mittelstand keinen Mehrwert bringen:

Kein KI-Strategie-Dokument: Ein 30-Seiten-Papier, das in der Schublade liegt, bringt nichts. Starten Sie stattdessen ein Pilotprojekt.

Keinen externen KI-Berater für den Anfang: Die ersten zwei Pilotprojekte schaffen Sie intern. Externe Berater sind sinnvoll, wenn Sie KI in Kernprozesse integrieren wollen (z. B. Produktion, ERP), aber nicht für den Einstieg.

Keine eigene KI-Infrastruktur: Im Mittelstand reichen Cloud-basierte Standardwerkzeuge. Eigene Server, eigene Modelle und eigene Entwicklerteams sind erst relevant, wenn Sie branchenspezifische KI-Lösungen bauen.

Rechtliche Pflichten: Was Sie ab 2026 beachten müssen

Zwei regulatorische Anforderungen betreffen jedes Unternehmen, das KI einsetzt:

EU-KI-Verordnung, Art. 4 (seit 2. Februar 2025): Unternehmen müssen sicherstellen, dass ihre Mitarbeiter über ausreichende KI-Kompetenz verfügen. Es gibt kein direktes Bußgeld für Art. 4, aber ein Haftungsrisiko bei Sorgfaltspflichtverletzungen. Die Durchsetzung durch die Aufsichtsbehörden beginnt am 2. August 2026. Eine dokumentierte KI-Schulung und eine interne Nutzungsrichtlinie erfüllen diese Anforderung.

DSGVO: Wenn KI-Tools personenbezogene Daten verarbeiten (Kundennamen, Mitarbeiterdaten), gelten die üblichen DSGVO-Anforderungen: Auftragsverarbeitungsvertrag mit dem Anbieter, Eintrag im Verarbeitungsverzeichnis, gegebenenfalls Datenschutz-Folgenabschätzung. Bei Cloud-KI-Tools aus den USA ist der EU-US Data Privacy Framework die aktuelle Rechtsgrundlage für den Datentransfer.

Beide Anforderungen klingen aufwendig, sind aber mit dem richtigen Vorgehen in wenigen Stunden umgesetzt.

Häufige Fragen

Sie wollen KI im Unternehmen einführen und suchen den richtigen Einstieg? Testen Sie unseren kostenlosen KI-Assistenten und sehen Sie in 15 Minuten, was KI in Ihrem Arbeitsalltag leisten kann. Jetzt KI-Assistenten testen

Oder buchen Sie direkt 10 Minuten mit Dr. Jens Aichinger, um über die Möglichkeiten für Ihren Betrieb zu sprechen. Termin buchen