Open-Source-LLM-Stack im Mittelstand 2026: Llama, Mistral, Gemma

Cloud-KI ist bequem, aber sie hat drei Haken: laufende API-Kosten, Datenschutz-Diskussionen mit deinem Datenschutzbeauftragten und Abhängigkeit vom Anbieter. Offene Modelle wie Meta Llama, Mistral (Open-Weight) und Google Gemma adressieren alle drei Punkte, wenn du sie selbst hostest. Die ehrliche Frage lautet: Lohnt sich das für deinen Mittelstand? Wir schauen uns die Modelle, die Hardware, die Kosten und die Schmerzen an, ohne dir ein Idealbild zu verkaufen.

Transparenzhinweis: Dieser Artikel ist auf der Website von SkillSprinters veröffentlicht. SkillSprinters ist selbst Anbieter einer KI-Weiterbildung (DigiMan-Weiterbildung) und steht damit in einem Wettbewerbsverhältnis zu den hier beschriebenen Anbietern. Wir bemühen uns um eine faire Darstellung anhand öffentlich zugänglicher Informationen (Stand April 2026), sind aber nicht neutral. Angaben ohne Gewähr.

Warum Selbsthosting für manche Mittelständler interessant wird

Drei Gründe treiben das Thema Open-Source-LLM aktuell in Mittelständler-Gespräche:

1. Datensouveränität: Die Daten verlassen nie dein Unternehmen. Kein CLOUD Act, keine US-Cloud-Diskussion, kein grenzüberschreitender Datentransfer. Für bestimmte Branchen (Verteidigung, Pharma-Forschung, Kanzleien mit sehr sensiblen Mandanten) ist das ein harter Anforderungsgrund.
2. Keine laufenden API-Kosten: Ab einem gewissen Nutzungsvolumen rechnen sich eigene Server, weil API-Aufrufe pro Million Tokens schnell mehrere tausend Euro pro Monat auffressen.
3. Fine-Tuning auf eigene Daten: Du kannst das Modell auf deine Branchen-Terminologie, dein Produktwissen, deinen Schreibstil trainieren. Cloud-Anbieter bieten das nur eingeschränkt oder teuer an.

Gleichzeitig gibt es gute Gründe, es nicht zu tun. Die schauen wir uns weiter unten an.

Die drei Modell-Familien im Überblick

Meta Llama

Meta veröffentlicht Llama-Modelle unter einer eigenen Community License. Die Lizenz erlaubt kommerzielle Nutzung mit einigen Einschränkungen (z.B. die bekannte 700-Mio-monatliche-aktive-Nutzer-Klausel, die aber für Mittelständler nie greift). Stand April 2026 ist die Llama-4-Familie laut eigenen Angaben verfügbar, mit Varianten von kleinen Modellen für Edge-Devices bis zu großen Modellen, die mit kommerziellen Spitzenmodellen konkurrieren.

Die genaue Lizenz solltest du vor produktivem Einsatz prüfen. Meta ändert die Bedingungen gelegentlich, und für bestimmte Branchen gibt es zusätzliche Use-Case-Restriktionen.

Mistral (Open-Weight)

Mistral AI aus Paris veröffentlicht einen Teil seiner Modelle als Open-Weight unter permissiven Lizenzen (Apache 2.0 oder ähnlich). Die Spitzenmodelle (Mistral Large) sind proprietär, aber die mittelgroßen Modelle (Mistral Small, Mistral Nemo, Mixtral) sind für viele Enterprise-Use-Cases ausreichend. Vorteil gegenüber Llama: Klar dokumentierte permissive Lizenz, keine Nutzerzahl-Klauseln.

Google Gemma

Google bietet Gemma als offene Modell-Familie an, laut eigenen Angaben mit Fokus auf Effizienz und kleinere Hardware. Die Modelle sind kleiner als die Top-Llama- oder Mistral-Varianten, aber dafür auch auf weniger leistungsfähigen GPUs lauffähig. Für Einstiegs-Szenarien oder spezialisierte Use-Cases eine gute Wahl.

Hardware-Bedarf realistisch einschätzen

Das ist der Punkt, an dem viele Projekte scheitern. Open-Source-LLMs brauchen GPU-Speicher (VRAM), und der ist teuer. Hier realistische Werte für Inference (nicht Training):

Quantisierung (z.B. 4-bit) reduziert den VRAM-Bedarf deutlich, kostet aber etwas Qualität. Für die meisten KMU-Use-Cases ist die mittlere Klasse (ca. 24-48 GB VRAM) ein guter Kompromiss aus Qualität und Hardware-Kosten.

Inference-Frameworks

Die Software-Seite ist laut eigenen Angaben inzwischen gut entwickelt. Drei Frameworks dominieren Stand April 2026:

• Ollama: Einfach zu installieren, gute Wahl für Einstieg und Test-Szenarien. Funktioniert auch auf kleineren Servern. Eignet sich für einzelne Entwickler oder kleine Teams.
• vLLM: Produktions-Framework mit hohem Durchsatz. Optimiert für Multi-User-Szenarien, unterstützt verschiedene Modelle, bietet OpenAI-kompatible API. Erste Wahl für Enterprise-Deployment.
• llama.cpp: Leichtgewichtige C++-Implementierung, läuft auch auf CPUs und kleiner Hardware. Gut für Edge-Szenarien oder Tests ohne GPU.

Alle drei Frameworks sind Open Source und kostenlos. Der Betrieb ist technisch kein Hexenwerk, erfordert aber Linux- und GPU-Know-how.

Kosten-Rechnung: Eigen-Infrastruktur vs Cloud-API

Ein typisches Beispiel: Ein Mittelständler verarbeitet 200 Millionen Tokens pro Monat (das entspricht grob einer Firma mit 50-100 aktiven KI-Nutzern, gemischte Use-Cases).

Ab einem bestimmten Volumen rechnet sich Eigen-Infrastruktur ab Jahr 2. Bei kleineren Volumina (weniger als 50M Tokens pro Monat) bleibt Cloud-API wirtschaftlicher, weil die Fix-Kosten der Hardware zu hoch sind. Die Zahlen sind illustrativ und hängen stark von deinen tatsächlichen Nutzungsmustern ab.

Sicherheit, Patching und Updates

Selbsthosting heißt auch: Du bist selbst für Sicherheit verantwortlich. Das klingt trivial, wird aber oft unterschätzt. Konkret:

• Modell-Updates: Neue Versionen von Llama, Mistral oder Gemma erscheinen alle paar Monate. Wer spielt die ein? Wer testet, ob die Qualität in euren Use-Cases gleich bleibt?
• Inference-Stack Patches: vLLM, Ollama und Co. bekommen regelmäßig Security-Updates. Wer patched den Stack?
• GPU-Treiber und OS: Kernel-Updates, NVIDIA-Treiber, CUDA-Versionen. Alles muss aktuell gehalten werden, ohne dass die Modelle Schaden nehmen.
• Monitoring: Wer bemerkt, wenn das Modell durch einen Update langsamer oder schlechter wird?
• Backup und Disaster Recovery: Modell-Dateien, Embeddings, Fine-Tuning-Checkpoints müssen gesichert werden.

Das bedeutet: Mindestens eine halbe Personalstelle für Betrieb und Weiterentwicklung. Für Firmen ohne dediziertes MLOps-Team wird das ein wunder Punkt.

Wann sich Selbsthosting wirklich lohnt

Drei Szenarien, in denen die Rechnung aufgeht:

1. API-Kosten über 50.000 EUR pro Jahr: Ab dieser Schwelle wird die Hardware-Investition wirtschaftlich vertretbar, auch mit laufenden Betriebskosten.
2. Strikte Datensouveränitäts-Anforderungen: Wenn deine Branche (Rüstung, Gesundheit mit sehr sensiblen Daten, Behörden) explizit vorgibt, dass Daten das Unternehmen nicht verlassen dürfen, ist Selbsthosting oft die einzige saubere Lösung.
3. Fine-Tuning-Bedarf: Wenn du das Modell wirklich auf deine Branchenterminologie oder deinen Schreibstil trainieren willst und dabei die Trainingsdaten nicht einer Cloud anvertrauen möchtest.

Wann Selbsthosting nicht lohnt

• Weniger als 10 Leute im Tech-Team: Ohne Kapazität für MLOps wird das Projekt zur Dauerbaustelle.
• Kein dedizierter Admin: Server, Netzwerk, GPU-Cluster brauchen jemanden, der sich kümmert. Nebenher läuft das nicht stabil.
• Keine klaren Use-Cases: Wenn ihr noch nicht wisst, wofür ihr KI genau einsetzt, ist Cloud-API der bessere Erprobungsweg. Selbsthosting macht erst Sinn, wenn die Use-Cases stehen.
• Wunsch nach Top-Qualität: Die absoluten Top-Modelle (GPT, Claude Opus, Gemini Ultra) sind weiterhin nur in der Cloud verfügbar. Wer das stärkste Modell will, kann nicht selbst hosten.

Hybrid-Ansatz als pragmatischer Mittelweg

Viele Mittelständler fahren eine Hybrid-Strategie. Sensitive Daten laufen über ein selbstgehostetes Modell (z.B. Mistral Small oder Llama 70B auf eigenen GPUs), weniger sensitive oder besonders anspruchsvolle Use-Cases laufen über Cloud-API. So hast du Datensouveränität für die sensiblen Daten und die Qualität der Top-Modelle für den Rest.

Die technische Umsetzung ist laut eigenen Angaben mit modernen Inference-Frameworks gut machbar. vLLM etwa bietet eine OpenAI-kompatible API, so dass deine Anwendungen mit minimalem Aufwand zwischen "internem Modell" und "Cloud-Modell" wechseln können.

Praktisches Beispiel: Kanzlei mit sensiblen Mandaten (illustrativ)

Eine mittelständische Wirtschaftskanzlei mit 80 Mitarbeitern hat einige Mandate mit sehr strengen Vertraulichkeits-Anforderungen. Vertragsanalysen dürfen die Kanzlei nicht verlassen. Gleichzeitig wollen die Anwälte für Recherche und normale Korrespondenz die Stärke moderner Cloud-Modelle nutzen.

• Interner Stack: 2x A100 80GB, Mistral Small oder Mixtral für Vertragsanalyse und Mandats-relevante Dokumentenverarbeitung.
• Cloud: Claude Enterprise oder ChatGPT Enterprise für Recherche, Brief-Entwürfe, Meeting-Protokolle bei weniger sensiblen Mandaten.
• Routing: Ein internes Gateway entscheidet anhand des Mandats-Kennzeichens, welches Modell genutzt wird.
• Ergebnis (illustrativ): Datensouveränität für kritische Mandate, Cloud-Performance für den Rest, Kostenvorteile durch Selbsthosting bei hohem Volumen.

Entscheidungshilfe

Fünf Fragen, die du ehrlich beantworten solltest, bevor du Open-Source-LLM-Stack baust:

1. Gibt es dedizierte Tech-Personalstellen (mindestens eine halbe MLOps-Stelle), die sich um den Betrieb kümmern können?
2. Habt ihr klare Use-Cases mit ausreichendem Volumen (mehr als 50 Millionen Tokens pro Monat)?
3. Gibt es harte Anforderungen an Datensouveränität, die Cloud nicht erfüllen kann?
4. Seid ihr bereit, Modell- und Stack-Updates kontinuierlich einzuspielen und zu testen?
5. Gibt es intern Kompetenz für Prompt-Engineering, RAG-Aufbau und Fine-Tuning?

Zwei Mal oder weniger "Ja"? Bleib bei Cloud-API. Drei Mal oder mehr "Ja"? Selbsthosting ist einen ernsthaften Business-Case wert.

Was diese Woche tun

• Ermittle euren aktuellen Token-Verbrauch (oder schätze ihn anhand der Anzahl aktiver KI-Nutzer x durchschnittliche Anfragen x Token pro Anfrage).
• Spiele mit Ollama auf einem Test-Server (auch ohne dedizierte GPU laufen kleine Modelle). So bekommst du ein Gefühl für die Qualitätsstufen.
• Hole Angebote für GPU-Hardware oder EU-Hosting-Anbieter (z.B. Hetzner, OVH, Scaleway). Der Markt ist stark in Bewegung.
• Sprich mit eurem Datenschutzbeauftragten über die Frage, ob eine Hybrid-Strategie für euch sinnvoll ist.
• Denk an Kompetenzaufbau. Ohne eigene Leute, die Prompt-Engineering, RAG und Modell-Betrieb beherrschen, wird jedes Selbsthosting-Projekt zur externen Dauer-Beratungsrechnung.