Open Source KI im Unternehmen: Llama, Qwen und DeepSeek DSGVO-konform nutzen

Open Source KI im Unternehmen ist 2026 eine echte Alternative zu ChatGPT und Co. Modelle wie Llama 4, Qwen 3.5 oder Mistral 3 liefern Leistung auf dem Niveau kommerzieller Anbieter. Der entscheidende Unterschied: Sie laufen auf eigenen Servern. Keine Daten verlassen das Unternehmen. Keine Abhängigkeit von US-amerikanischen oder chinesischen Cloud-Anbietern. Dieser Artikel zeigt, welche Open-Source-Modelle sich für den Unternehmenseinsatz eignen, was Self-Hosting wirklich kostet und wann Cloud-KI trotzdem die bessere Wahl ist.

Das Wichtigste in Kürze

• Open Source KI wie Llama 4, Qwen 3.5 und Mistral 3 erreicht 2026 kommerzielles Leistungsniveau und läuft auf eigener Hardware.
• DSGVO-Vorteil: Beim Self-Hosting verlassen keine Daten das Unternehmen. Kein Auftragsverarbeitungsvertrag mit Drittanbietern nötig.
• DeepSeek ist trotz starker Modelle für europäische Unternehmen problematisch: Datenspeicherung in China, kein AVV, Ermittlungen deutscher Datenschutzbehörden.
• RAG-Systeme (Retrieval Augmented Generation) sind der wichtigste Use Case: Unternehmens-Chatbots, die auf interne Dokumente zugreifen, ohne Daten nach außen zu geben.
• Hardware-Anforderungen: Für 7B-Modelle reicht eine GPU mit 8 GB VRAM. Für 70B-Modelle brauchen Sie 24 GB+ VRAM oder Cloud-GPU-Instanzen.
• Wer Open-Source-KI professionell einsetzen will, braucht Mitarbeiter mit dem richtigen Know-how. Der KI-Schnupperkurs zeigt in 90 Minuten, was möglich ist.

Warum Open Source KI für Unternehmen interessant ist

Drei Gründe treiben den Trend:

1. Datensouveränität. Bei ChatGPT, Google Gemini oder Claude gehen Ihre Prompts an Server in den USA. Selbst mit Auftragsverarbeitungsvertrag bleibt ein Restrisiko, insbesondere bei sensiblen Geschäftsdaten. Open-Source-Modelle auf eigener Infrastruktur lösen dieses Problem vollständig. Die Daten bleiben im Unternehmen, im eigenen Rechenzentrum oder bei einem europäischen Hosting-Anbieter.

2. Kosten bei Skalierung. ChatGPT Team kostet 25 USD pro Nutzer und Monat. Bei 50 Mitarbeitern sind das 1.250 USD monatlich. Ein selbst gehostetes Modell verursacht nach der Erstinvestition deutlich geringere laufende Kosten, besonders wenn viele Mitarbeiter es gleichzeitig nutzen.

3. Anpassbarkeit. Open-Source-Modelle lassen sich auf eigene Daten feintunen. Ein Maschinenbauer kann das Modell mit seinen technischen Dokumentationen trainieren. Ein Kanzlei kann es mit juristischen Texten spezialisieren. Das geht mit geschlossenen Modellen nicht oder nur eingeschränkt.

Die wichtigsten Open-Source-Modelle im Vergleich

Stand März 2026 sind vier Modellfamilien für den Unternehmenseinsatz relevant:

Wichtig: Das DSGVO-Risiko bezieht sich auf die Nutzung der Cloud-APIs dieser Anbieter. Beim Self-Hosting auf eigenen Servern ist das Risiko bei allen Modellen gleich gering, weil keine Daten das Unternehmen verlassen.

DeepSeek: Starkes Modell, kritischer Datenschutz

DeepSeek verdient eine gesonderte Betrachtung. Die Modelle sind technisch hervorragend und unter MIT-Lizenz frei verfügbar. Trotzdem warnen deutsche Datenschutzbehörden ausdrücklich vor der Nutzung der DeepSeek-Cloud-Dienste.

Die Fakten:

• DeepSeek speichert alle Nutzerdaten auf Servern in der Volksrepublik China.
• Unter dem chinesischen Cybersecurity Law und National Intelligence Law können chinesische Behörden jederzeit Zugriff auf diese Daten verlangen.
• Sieben deutsche Landesdatenschutzbehörden haben Ermittlungsverfahren gegen DeepSeek eingeleitet.
• Italiens Datenschutzbehörde hat die Verarbeitung italienischer Nutzerdaten eingeschränkt.
• Es gibt keinen Auftragsverarbeitungsvertrag (AVV) nach europäischem Standard.

Die Empfehlung: DeepSeek-Modelle nur self-hosted nutzen. Heruntergeladen und auf eigener Hardware betrieben, gelten die gleichen DSGVO-Vorteile wie bei jedem anderen Open-Source-Modell. Die Cloud-API von DeepSeek ist für europäische Unternehmen mit personenbezogenen oder vertraulichen Daten nicht geeignet.

Self-Hosting: Was brauchen Sie wirklich?

Viele Unternehmen überschätzen die Anforderungen. Für kleinere Modelle reicht bereits vorhandene Hardware.

Hardware-Anforderungen nach Modellgröße

Praxis-Tipp: Mit Tools wie Ollama, vLLM oder LM Studio lassen sich Modelle in wenigen Minuten installieren und starten. 4-Bit-Quantisierung reduziert den VRAM-Bedarf um 50 bis 75 Prozent bei nur geringem Qualitätsverlust.

Kosten-Vergleich: Self-Hosting vs. Cloud-KI

Ab etwa 10 bis 15 Nutzern wird Self-Hosting günstiger. Bei 50 Nutzern ist der Kostenvorteil erheblich. Allerdings brauchen Sie intern jemanden, der die Infrastruktur betreuen kann.

RAG-Systeme: Der Killer-Use-Case für Open-Source-KI

Retrieval Augmented Generation (RAG) ist der wichtigste Anwendungsfall für Open-Source-KI im Unternehmen. Das Prinzip: Ein Sprachmodell wird nicht mit Ihren Daten trainiert, sondern greift bei jeder Anfrage auf eine Wissensdatenbank zu. So beantwortet es Fragen zu internen Prozessen, Produkten oder Verträgen, ohne dass diese Daten jemals den Server verlassen.

Typische RAG-Anwendungen

• Internes Wissensmanagement: Mitarbeiter stellen Fragen zu Prozessen, Richtlinien oder Produkten. Das System durchsucht alle internen Dokumente und liefert eine präzise Antwort mit Quellenangabe.
• Kundenservice-Chatbot: Ein Chatbot auf der Website beantwortet Kundenfragen anhand Ihrer Produktdokumentation, FAQ und Preislisten.
• Vertragsanalyse: Juristen lassen Verträge zusammenfassen und auf kritische Klauseln prüfen, basierend auf internen Vorlagen und Richtlinien.
• Technische Dokumentation: Servicetechniker finden schnell die richtige Anleitung, ohne 500 Seiten Handbuch zu durchsuchen.

Warum RAG + Open Source zusammengehören

Bei einem RAG-System werden Ihre internen Dokumente in eine Vektordatenbank geladen. Bei jeder Nutzeranfrage werden die relevantesten Passagen herausgesucht und zusammen mit der Frage an das Sprachmodell gegeben. Wenn dieses Sprachmodell auf einem externen Server läuft, verlassen Ihre internen Dokumente trotzdem das Unternehmen, und zwar bei jeder einzelnen Anfrage.

Mit einem selbst gehosteten Modell bleibt alles intern. Dokumente, Anfragen und Antworten. Das ist für Unternehmen mit vertraulichen Daten, Geschäftsgeheimnissen oder personenbezogenen Informationen ein entscheidender Vorteil.

Wann Cloud-KI trotzdem besser ist

Self-Hosting ist nicht für jeden die richtige Lösung. Cloud-KI wie ChatGPT Team oder Claude ist besser, wenn:

• Ihr Team weniger als 10 Personen hat. Die Einmalkosten für Self-Hosting amortisieren sich erst ab einer gewissen Nutzerzahl.
• Sie kein technisches Personal haben. Self-Hosting erfordert jemanden, der Server betreuen, Modelle aktualisieren und Probleme lösen kann.
• Sie maximale Modellqualität brauchen. Die besten geschlossenen Modelle (GPT-4o, Claude Opus) sind bei komplexen Reasoning-Aufgaben noch etwas stärker als Open-Source-Alternativen.
• Sie schnell starten wollen. ChatGPT Team ist in 10 Minuten eingerichtet. Ein Self-Hosting-Setup braucht Tage bis Wochen.

Die ehrliche Empfehlung: Starten Sie mit Cloud-KI und einer klaren KI-Richtlinie. Sobald der Bedarf wächst oder sensible Daten ins Spiel kommen, evaluieren Sie den Umstieg auf Self-Hosting.

EU AI Act und Art. 4: Was Unternehmen wissen müssen

Der EU AI Act ist seit August 2024 in Kraft. Ab August 2026 gelten die meisten Verpflichtungen für Hochrisiko-KI-Systeme. Für den Einsatz von Open-Source-KI im Unternehmen ist besonders Art. 4 relevant: Er verlangt seit dem 2. Februar 2025, dass alle Mitarbeiter, die KI-Systeme bedienen oder deren Ergebnisse nutzen, über ein ausreichendes Maß an KI-Kompetenz verfügen. Diese Pflicht ist bereits in Kraft.

Das bedeutet konkret: Unternehmen müssen sicherstellen, dass ihre Mitarbeiter verstehen, wie KI funktioniert, wo die Grenzen liegen und welche Risiken bestehen. Art. 4 sieht keine Bußgelder vor, schafft aber eine Sorgfaltspflicht. Wer einen KI-Vorfall hat und keine Schulungsmaßnahmen nachweisen kann, steht im Haftungsfall schlechter da.

Das [Qualifizierungschancengesetz](PH0 ermöglicht es, Mitarbeiter mit bis zu 100 Prozent Kostenübernahme durch die Agentur für Arbeit weiterzubilden. Bei Unternehmen mit weniger als 10 Mitarbeitern werden die Lehrgangskosten vollständig übernommen.

So starten Sie mit Open-Source-KI

1. Bedarf klären: Welche Daten sind zu sensibel für Cloud-KI? Welche Use Cases haben Sie? RAG für internes Wissen? Textgenerierung? Code-Assistenz?
2. Modell wählen: Für die meisten Anwendungen reicht ein 14B-Modell (Qwen 3.5 oder Mistral Small). Für komplexe Aufgaben Llama 4 Scout.
3. Infrastruktur aufsetzen: Ollama auf einem Linux-Server installieren, Modell herunterladen, API-Endpunkt einrichten. Das dauert eine Stunde.
4. RAG-Pipeline bauen: Dokumente in eine Vektordatenbank laden (z.B. ChromaDB). Anfragen über ein Frontend (z.B. Open WebUI) an das Modell senden.
5. Mitarbeiter schulen: KI-Kompetenz gemäß Art. 4 EU AI Act aufbauen. Prompt Engineering, Ergebnisbewertung, Datenschutzregeln.

Häufige Fragen

Ist Open-Source-KI wirklich kostenlos?

Die Modelle selbst sind kostenlos. Sie brauchen aber Hardware (eigene GPU oder Cloud-GPU-Instanz) und jemanden, der das System einrichtet und betreut. Ab 10 bis 15 Nutzern ist Self-Hosting günstiger als kommerzielle Cloud-KI.

Kann ich DeepSeek DSGVO-konform nutzen?

Ja, aber nur self-hosted. Das Modell herunterladen und auf eigenen Servern betreiben ist datenschutzrechtlich unbedenklich. Die Cloud-API von DeepSeek (Server in China) ist für personenbezogene oder vertrauliche Daten nicht geeignet. Sieben deutsche Landesdatenschutzbehörden ermitteln gegen DeepSeek.

Welches Open-Source-Modell ist am besten für deutsche Texte?

Qwen 3.5 und Llama 4 liefern beide sehr gute Ergebnisse auf Deutsch. Mistral 3 hat als europäisches Modell ebenfalls starke mehrsprachige Fähigkeiten. Für reine Textaufgaben in deutscher Sprache empfehlen wir einen Test mit allen drei Modellen auf Ihren konkreten Anwendungsfällen.

Brauche ich Programmierkenntnisse für Self-Hosting?

Grundlegende Linux-Kenntnisse reichen aus. Tools wie Ollama oder LM Studio haben die Einstiegshürde massiv gesenkt. Installation und Start eines Modells gelingen in unter einer Stunde. Für eine produktive RAG-Pipeline brauchen Sie allerdings tieferes technisches Verständnis.

Was ist besser: Open Source oder Cloud-KI?

Es kommt auf den Use Case an. Für schnellen Einstieg und kleine Teams ist Cloud-KI pragmatischer. Für Datensouveränität, Skalierung und sensible Daten ist Open Source die bessere Wahl. Viele Unternehmen nutzen beides parallel: Cloud-KI für allgemeine Aufgaben, Self-Hosted für vertrauliche Daten.