KI-Abteilung aufbauen: Rollen, Budget und erste Schritte für den Mittelstand

Update April 2026: Das EU-Parlament hat am 27.03.2026 die Verschiebung der Hochrisiko-KI-Pflichten beschlossen (Digital Omnibus, 569:45 Stimmen). Annex III tritt jetzt am 02.12.2027 in Kraft, Annex I am 02.08.2028. Der zweite Trilog ist für den 28.04.2026 angesetzt. WICHTIG: Die AI Literacy Pflicht nach Artikel 4 KI-VO gilt seit dem 2. Februar 2025. Die behördliche Durchsetzung beginnt ab August 2026. Schulungsnachweise sind also bereits jetzt Pflicht.

Dein Unternehmen setzt bereits einzelne KI-Tools ein. ChatGPT hier, ein Automatisierungstool dort. Aber wer koordiniert das Ganze? Wer entscheidet, welche Prozesse als nächstes dran sind? Wer sorgt dafür, dass die KI-Lösung aus der Pilotphase auch wirklich im Tagesgeschäft ankommt?

Genau hier scheitern die meisten Mittelständler. Nicht an der Technologie, sondern an der Organisation. Laut Bitkom erkennen 86 Prozent der KMU die Relevanz von KI, aber nur 23 Prozent haben tatsächlich implementiert. Die fehlende Zutat ist fast nie ein besseres Tool. Es ist eine klare Zuständigkeit mit den richtigen Leuten, einem realistischen Budget und einem Fahrplan, der in Quartalen denkt statt in Jahren.

Dieser Artikel zeigt dir, welche Rollen du wirklich brauchst, wie du die Organisationsstruktur wählst, was es kostet und wie du in vier Phasen eine funktionsfähige KI-Einheit aufbaust. Ohne aufgeblähte Abteilung, ohne sechsstelliges Budget zum Start.

Das Wichtigste in Kürze

• Nicht jedes Unternehmen braucht eine eigene KI-Abteilung. Ab 50 Mitarbeitern lohnt sich eine zentrale Koordination, darunter reicht oft ein KI-Beauftragter mit klarem Mandat.
• Fünf Kernrollen decken alle Aufgaben ab: KI-Projektleiter, Prompt Engineer, Data Analyst, Change Manager und KI-Beauftragter. Viele davon können intern besetzt werden.
• Drei Organisationsmodelle stehen zur Wahl: eigene Abteilung, Center of Excellence oder dezentrale Verankerung. Die Wahl hängt von Unternehmensgröße und KI-Reifegrad ab.
• Realistische Budgets im ersten Jahr liegen zwischen 30.000 und 150.000 Euro, je nach Modell und Eigenleistung.
• Das Qualifizierungschancengesetz (QCG) übernimmt bis zu 100 Prozent der Weiterbildungskosten für bestehende Mitarbeiter. Die Weiterbildung zum Digitalisierungsmanager qualifiziert dein Team in vier Monaten, DEKRA-zertifiziert und 100 Prozent förderfähig über den Bildungsgutschein.

Braucht jedes Unternehmen eine KI-Abteilung?

Die kurze Antwort: Nein. Die differenzierte Antwort hängt von drei Faktoren ab.

Faktor 1: Unternehmensgröße. Ein Handwerksbetrieb mit 15 Mitarbeitern braucht keine KI-Abteilung. Er braucht einen Mitarbeiter, der KI-Tools beherrscht und weiß, welche Prozesse sich lohnen. Ab etwa 50 Mitarbeitern wird eine zentrale Koordination sinnvoll, weil die Zahl der betroffenen Prozesse und Abteilungen wächst.

Faktor 2: KI-Reifegrad. Wenn dein Unternehmen noch in der Experimentierphase steckt, ist eine Abteilung verfrüht. Erst wenn mindestens drei KI-Anwendungen produktiv laufen und weitere geplant sind, lohnt sich eine permanente Struktur.

Faktor 3: Branche und Wettbewerbsdruck. In datenintensiven Branchen wie Versicherungen, Logistik oder Finanzdienstleistungen ist eine KI-Einheit fast Pflicht. In projektbasierten Branchen wie Bau oder Handwerk reicht oft eine schlanke Lösung.

Die häufigste Fehlentscheidung: zu früh zu groß aufbauen. Ein Center of Excellence mit zwei bis drei Leuten, die wissen was sie tun, schlägt eine Zehn-Personen-Abteilung, die sich selbst verwaltet.

Die 5 Kernrollen einer KI-Einheit

Du brauchst keine Data Scientists mit Doktortitel. Du brauchst Leute, die Geschäftsprozesse verstehen und KI-Tools gezielt einsetzen können. Fünf Rollen decken die wesentlichen Aufgaben ab.

1. KI-Projektleiter

Der KI-Projektleiter koordiniert KI-Initiativen, priorisiert Use Cases und steuert die Umsetzung. Er ist die Brücke zwischen Fachabteilungen und Technik. Er muss keine neuronalen Netze programmieren, aber verstehen, was machbar ist und was nicht.

Typisches Profil: Erfahrener Projektleiter mit Digitalaffinität, idealerweise mit Erfahrung in IT-Projekten oder Prozessoptimierung.

2. Prompt Engineer

Der Prompt Engineer entwickelt und optimiert KI-Anweisungen für Sprachmodelle, Chatbots und Automatisierungen. Er testet systematisch, dokumentiert Best Practices und schult Kollegen.

Typisches Profil: Analytischer Kopf mit starkem Sprachgefühl. Kann aus der Fachabteilung kommen. Keine Programmierkenntnisse nötig, aber strukturiertes Denken ist Pflicht.

3. Data Analyst

Der Data Analyst sorgt dafür, dass Daten sauber, zugänglich und auswertbar sind. Ohne verlässliche Daten liefert jede KI Müll. Er baut Dashboards, identifiziert Datenquellen und definiert Qualitätsstandards.

Typisches Profil: Controller, Business Analyst oder Excel-Experte mit Interesse an BI-Tools wie Metabase, Power BI oder Tableau.

4. Change Manager

Der Change Manager sorgt dafür, dass KI-Lösungen tatsächlich genutzt werden. Er begleitet Fachabteilungen bei der Einführung, räumt Widerstände aus und organisiert Schulungen. Ohne Change Management landet selbst die beste KI-Lösung in der Schublade.

Typisches Profil: HR-Background, interne Kommunikation oder Organisationsentwicklung. Empathie und Durchsetzungsvermögen in gleichen Teilen.

5. KI-Beauftragter (Compliance und Governance)

Der KI-Beauftragte stellt sicher, dass KI-Anwendungen rechtskonform sind. Die KI-Kompetenzpflicht nach Art. 4 EU AI Act gilt bereits seit Februar 2025, die behördliche Durchsetzung beginnt ab August 2026. Er dokumentiert eingesetzte Systeme, bewertet Risikoklassen und sorgt für Transparenz.

Typisches Profil: Datenschutzbeauftragter, Compliance-Officer oder Qualitätsmanager mit KI-Schulung.

Rollenübersicht mit Gehaltsrahmen

Wichtig: In kleinen Unternehmen übernimmt eine Person oft zwei bis drei Rollen. Ein KI-Projektleiter kann gleichzeitig Prompt Engineer sein. Ein Datenschutzbeauftragter kann die Governance-Rolle mit abdecken. Entscheidend ist nicht die Stellenanzahl, sondern dass jede Aufgabe einen Verantwortlichen hat.

Drei Organisationsmodelle: Welches passt zu dir?

Modell A: Eigene KI-Abteilung

Eine dedizierte Abteilung mit eigenem Budget, eigenem Leiter und direkter Berichtslinie an die Geschäftsführung. Typisch für Unternehmen ab 250 Mitarbeitern mit hohem KI-Reifegrad.

Vorteile: Klare Verantwortung, eigenes Budget, strategische Schlagkraft, Karrierepfade für KI-Fachkräfte.

Nachteile: Hohe Fixkosten, Gefahr der Elfenbeinturm-Bildung, Abteilung kann sich vom Tagesgeschäft entkoppeln.

Modell B: Center of Excellence (CoE)

Eine kleine, zentrale Einheit (zwei bis vier Personen), die als interner Dienstleister für alle Fachabteilungen arbeitet. Das CoE definiert Standards, bewertet Tools und begleitet Pilotprojekte. Die Umsetzung bleibt in den Fachabteilungen.

Vorteile: Schlank, flexibel, nah am Tagesgeschäft. Wissen wird zentral gebündelt und dezentral angewendet.

Nachteile: Funktioniert nur mit starkem Mandat der Geschäftsführung. Ohne das kippt das CoE in eine Beratungsrolle ohne Durchsetzungskraft.

Modell C: Dezentrale KI-Champions

Kein zentrales Team, sondern geschulte KI-Ansprechpartner in jeder Abteilung. Koordination über regelmäßige Austauschformate (monatliches KI-Board, gemeinsame Tool-Standards).

Vorteile: Geringste Kosten, schnellste Umsetzung, jede Abteilung hat einen kompetenten Ansprechpartner.

Nachteile: Kein strategischer Blick aufs Ganze. Hohe Abhängigkeit von der Motivation einzelner Personen. Gefahr von Insellösungen.

Empfehlung für die meisten Mittelständler: Starte mit Modell C (KI-Champions), wechsle nach sechs bis zwölf Monaten auf Modell B (CoE), wenn die ersten produktiven Anwendungen laufen. Modell A ist erst sinnvoll, wenn KI ein messbarer Teil der Wertschöpfung ist.

Budget-Planung: Was kostet der Aufbau wirklich?

Die häufigste Frage und die am häufigsten falsch beantwortete. Viele Berater verkaufen sechsstellige Transformationsprojekte. Für den Mittelstand ist das weder nötig noch sinnvoll.

Drei Kostenblöcke:

1. Personal (50 bis 60 Prozent des Budgets) Die größte Position. Im CoE-Modell rechnest du mit zwei bis drei Teilzeitstellen, also 80.000 bis 150.000 Euro pro Jahr. Wenn du intern besetzt und über das Qualifizierungschancengesetz fördern lässt, sinken die Kosten erheblich.

2. Tools und Lizenzen (20 bis 30 Prozent) KI-Tools kosten weniger als die meisten denken. ChatGPT Team kostet 25 Dollar pro Nutzer und Monat. n8n (Automatisierungsplattform) ist Open Source. Metabase (Datenvisualisierung) ist kostenlos. Rechne mit 500 bis 2.000 Euro pro Monat für das gesamte Team, abhängig von den eingesetzten Plattformen.

3. Schulung und Qualifizierung (15 bis 25 Prozent) Der am meisten unterschätzte Posten. Ohne geschulte Mitarbeiter bleibt jede KI-Lösung eine Spielerei. Hier greift das Qualifizierungschancengesetz: Für bestehende Mitarbeiter übernimmt die Agentur für Arbeit bis zu 100 Prozent der Weiterbildungskosten, abhängig von der Unternehmensgröße.

Budget-Hack: Starte mit zwei internen Mitarbeitern, die du über das QCG zum Digitalisierungsmanager weiterbilden lässt. Die Weiterbildung kostet 9.700 Euro pro Person, davon übernimmt die Agentur für Arbeit bis zu 100 Prozent. Du bekommst in vier Monaten zwei KI-qualifizierte Mitarbeiter, ohne einen Cent für deren Ausbildung zu zahlen.

Aufbau in 4 Phasen: Vom ersten Schritt zur funktionsfähigen KI-Einheit

Phase 1: Fundament legen (Monat 1 bis 3)

• KI-Beauftragten benennen (Teilzeit, ab sofort)
• Bestandsaufnahme: Welche KI-Tools werden bereits genutzt? Wo liegen die größten Automatisierungspotenziale?
• Drei Quick-Win-Use-Cases identifizieren (siehe KI-Strategie für den Mittelstand)
• Erste Mitarbeiter für KI-Schulung anmelden. Das QCG beantragen, bevor die ersten Projekte starten
• Budget für die nächsten 12 Monate freigeben lassen

Phase 2: Erste Erfolge liefern (Monat 3 bis 6)

• Ersten Quick Win produktiv nehmen (z. B. KI-gestützte E-Mail-Klassifikation oder Rechnungsverarbeitung)
• Zweiten Mitarbeiter schulen oder einstellen
• KI-Governance aufsetzen: Welche Tools sind erlaubt? Wo dürfen keine vertraulichen Daten eingegeben werden?
• ROI des ersten Quick Wins messen und intern kommunizieren
• Entscheidung treffen: Reichen Champions oder brauchen wir ein CoE?

Phase 3: Struktur aufbauen (Monat 6 bis 12)

• CoE formalisieren (wenn die Entscheidung in Phase 2 dafür gefallen ist)
• KI-Projektleiter benennen oder einstellen
• Zweites und drittes Pilotprojekt in verschiedenen Abteilungen starten
• Standardprozesse für KI-Projekte definieren (Antrag, Bewertung, Umsetzung, Review)
• Change-Management-Maßnahmen für betroffene Teams starten

Phase 4: Skalieren (ab Monat 12)

• KI-Einheit an strategische Ziele der Geschäftsführung koppeln (OKRs oder KPIs)
• KI-Champions in jeder Abteilung etablieren (auch bei CoE-Modell)
• Erfahrungen aus Pilotprojekten auf weitere Abteilungen übertragen
• Budget für Jahr 2 auf Basis der gemessenen Ergebnisse anpassen
• EU AI Act Compliance prüfen und dokumentieren

KI outsourcen oder intern aufbauen? Die Entscheidungsmatrix

Die Frage ist nicht "entweder oder". Es geht darum, welche Aufgaben du intern erledigst und welche du extern vergibst. Drei Kriterien helfen bei der Entscheidung.

Kriterium 1: Strategische Relevanz. Alles, was deinen Wettbewerbsvorteil ausmacht, gehört intern. Standardaufgaben wie Tool-Evaluation oder Infrastruktur-Setup kannst du auslagern.

Kriterium 2: Datensensibilität. Wenn vertrauliche Kunden-, Finanz- oder Personaldaten im Spiel sind, brauchst du interne Kontrolle. Externe Dienstleister mit AV-Vertrag sind möglich, erhöhen aber die Komplexität.

Kriterium 3: Wiederholbarkeit. Einmalige Projekte (Migration, Tool-Einführung) lohnen sich extern. Wiederkehrende Aufgaben (Prompt-Optimierung, Datenqualitätssicherung, Schulung) sollten intern liegen.

Faustregel: Im ersten Jahr 30 bis 40 Prozent extern, ab Jahr zwei unter 20 Prozent. Das Ziel ist immer Unabhängigkeit. Jeder Euro, den du in interne Kompetenz investierst, zahlt sich langfristig stärker aus als externe Beratungstage.

Qualifizierungschancengesetz: So finanzierst du den Kompetenzaufbau

Das QCG ist der am meisten unterschätzte Hebel für den Aufbau einer KI-Einheit. Statt neue Leute auf dem umkämpften Arbeitsmarkt zu suchen, qualifizierst du deine bestehenden Mitarbeiter und lässt dir die Kosten erstatten.

Förderhöhe nach Unternehmensgröße:

Rechenbeispiel für ein Unternehmen mit 80 Mitarbeitern: Du schickst zwei Mitarbeiter in die Weiterbildung zum Digitalisierungsmanager (9.700 Euro pro Person). Die Agentur für Arbeit übernimmt 50 Prozent der Lehrgangskosten (9.700 Euro Ersparnis) und zahlt einen Lohnzuschuss von 50 Prozent während der viermonatigen Schulung. Nach vier Monaten hast du zwei qualifizierte Mitarbeiter, die KI-Projekte steuern, Automatisierungen bauen und Kollegen schulen können.

Mehr Details zum Antragsprozess findest du im Artikel Reskilling und Upskilling für Unternehmen.

FAQ: Häufige Fragen zum Aufbau einer KI-Abteilung

Ab welcher Unternehmensgröße lohnt sich eine eigene KI-Abteilung? Eine eigene Abteilung mit fünf oder mehr Vollzeitkräften lohnt sich typischerweise ab 250 Mitarbeitern. Für Unternehmen zwischen 50 und 250 Mitarbeitern ist ein Center of Excellence mit zwei bis vier Personen die bessere Wahl. Unter 50 Mitarbeitern reicht ein geschulter KI-Beauftragter in Teilzeit.

Muss ich Data Scientists einstellen? In den meisten Fällen nicht. Der Mittelstand braucht Leute, die fertige KI-Tools einsetzen und in Geschäftsprozesse einbetten. Das sind Digitalisierungsmanager, Prompt Engineers und Projektleiter, keine Forscher. Data Scientists werden erst relevant, wenn du eigene KI-Modelle trainieren willst, was für 95 Prozent der Mittelständler nicht nötig ist.

Wie lange dauert der Aufbau? Im Champions-Modell: ein bis drei Monate bis zur ersten produktiven Anwendung. Im CoE-Modell: drei bis sechs Monate. Eine vollständige KI-Abteilung aufzubauen dauert sechs bis zwölf Monate. Der häufigste Fehler ist nicht zu langsam, sondern zu komplex zu starten.

Was ist der größte Fehler beim Aufbau? Technologie vor Geschäftsproblem stellen. Unternehmen kaufen Tools und suchen dann nach Anwendungsfällen. Richtig ist es umgekehrt: Zuerst den teuersten oder zeitintensivsten Prozess identifizieren, dann das passende Tool auswählen.

Können bestehende Mitarbeiter die Rollen übernehmen? Ja, das ist sogar der empfohlene Weg. Ein Controller kann Data Analyst werden, ein Projektleiter kann KI-Projekte steuern, ein Datenschutzbeauftragter kann die KI-Governance mit übernehmen. Die fehlende Kompetenz lässt sich gezielt über geförderte Weiterbildungen aufbauen.

Nächster Schritt: Dein Team für KI qualifizieren

Der schnellste Weg zur funktionsfähigen KI-Einheit führt über die Qualifizierung deiner bestehenden Mitarbeiter. SkillSprinters in Bayreuth bildet als DEKRA-zertifizierter Bildungsträger dein Team in vier Monaten zum Digitalisierungsmanager aus. Komplett online, 100 Prozent förderfähig über Bildungsgutschein oder Qualifizierungschancengesetz.

Deine Mitarbeiter lernen, KI-Tools zu bewerten, Automatisierungen zu bauen und KI-Projekte im Unternehmen zu steuern. Genau die Kompetenzen, die eine KI-Einheit braucht.

Jetzt Beratungstermin buchen und erfahren, wie du dein Team mit bis zu 100 % Förderung qualifizierst.