Google hat am 23. Mai 2026 Gemma 4 veröffentlicht, eine neue Generation offener Modelle mit frei herunterladbaren Gewichten. Du kannst sie selbst betreiben. Der eigentliche Hebel für den Mittelstand ist nicht Geschwindigkeit, sondern Datensouveränität.
Am 23. Mai 2026 hat Google Gemma 4 vorgestellt, darunter eine 12B-Variante. Es ist eine neue Generation offener Modelle, deren Gewichte frei verfügbar sind. Gemma 4 ist außerdem die Architektur-Basis für das experimentelle Modell DiffusionGemma. Für ein Schlagzeilen-Rennen taugt das kaum. Für eine Frage, die deutsche KMU seit zwei Jahren umtreibt, dafür umso mehr: Wo landen meine Daten, wenn ich Künstliche Intelligenz einsetze?
Was offene Gewichte konkret heißen
Der Begriff klingt technisch, ist aber praktisch. Bei einem geschlossenen Modell wie den großen US-Diensten schickst du jeden Prompt an die Server des Anbieters. Du mietest Zugang. Du siehst das Modell nie.
Bei einem offenen Modell ist das anders. Google stellt die Gewichte, also die trainierten Parameter, zum Download bereit. Ein Unternehmen lädt sie herunter und betreibt das Modell selbst, entweder auf eigenen Servern im Haus oder in der eigenen Cloud-Umgebung. Anpassen geht ebenfalls.
Wichtig ist die juristische Genauigkeit. Gemma 4 läuft unter den Google-Gemma-Nutzungsbedingungen, nicht unter einer klassischen Open-Source-Lizenz. Das sind zwei verschiedene Dinge. Offene Gewichte bedeuten, dass du das Modell herunterladen und selbst betreiben darfst. Sie bedeuten nicht, dass jede Nutzung uneingeschränkt erlaubt ist. Wer das Modell produktiv einsetzen will, sollte die Nutzungsbedingungen lesen, statt pauschal von Open Source auszugehen.
Gemma 4 ist außerdem mehr als ein einzelnes Modell. Google nutzt die Architektur als Basis für DiffusionGemma, ein experimentelles System, das Text auf eine andere Art erzeugt als übliche Sprachmodelle. Das zeigt, dass Gemma 4 kein einmaliges Experiment ist, sondern ein Fundament, auf dem Google weiterbaut. Für ein Unternehmen, das auf eine offene Modellfamilie setzt, ist diese Perspektive nicht unwichtig. Du willst nicht auf ein Modell setzen, das in sechs Monaten verwaist ist.
Warum Datensouveränität der eigentliche Punkt ist
Hier liegt der Grund, warum diese Meldung für eine Steuerkanzlei interessanter ist als für einen Tech-Konzern.
Stell dir den Alltag in einer Arztpraxis vor. Patientenberichte, Diagnosen, Befunde. In einer Personalabteilung sind es Bewerbungen, Gehaltsdaten, Krankmeldungen. In einer Steuerkanzlei Mandantenunterlagen mit jeder Menge sensibler Zahlen. Sobald du diese Daten in den Prompt eines externen KI-Dienstes tippst, verlassen sie das Haus. Sie gehen in der Regel an Rechenzentren außerhalb Europas, meist in den USA.
Bei einem selbst gehosteten offenen Modell passiert genau das nicht. Das Modell läuft auf deiner Hardware. Der Prompt geht an deinen eigenen Server, die Antwort kommt von deinem eigenen Server zurück. Kein Datenpaket verlässt das Unternehmen. Für regulierte Branchen ist das der Unterschied zwischen "geht gar nicht" und "können wir verantworten".
Genau an diesem Punkt scheiterten bisher viele KI-Projekte im Mittelstand. Der Geschäftsführer ist begeistert, die Abteilung will loslegen, und dann fragt der Datenschutzbeauftragte, wohin die Daten fließen. Bei einem externen Dienst ist die ehrliche Antwort: in ein fremdes Rechenzentrum, meist außerhalb Europas. Bei einem lokal betriebenen Modell lautet die Antwort schlicht: nirgendwo hin, es bleibt im Haus. Das ist ein Satz, der in einer Datenschutzprüfung Türen öffnet.
Das ist kein abstraktes Compliance-Argument. Wir sehen in unseren DigiMan-Kursen regelmäßig, dass Teilnehmer aus Kanzleien, Praxen und Personalabteilungen genau an dieser Stelle blockieren. Sie wollen KI nutzen, aber sie dürfen ihre Daten nicht aus der Hand geben. Ein offenes Modell zum Selbsthosten ist für diese Fälle oft die erste Variante, die überhaupt durch die interne Datenschutzprüfung kommt.
Der Realismus, den niemand auf die Folie schreibt
Selbsthosting ist kein Knopfdruck. Das gehört in jeden ehrlichen Artikel zu diesem Thema.
Du brauchst Hardware. Ein vernünftig nutzbares Sprachmodell will eine ordentliche Grafikkarte, eine GPU, mit genug Speicher. Du brauchst Know-how, um das Modell einzurichten, zu betreiben und auf dem aktuellen Stand zu halten. Für ein Drei-Personen-Büro ohne IT-Affinität ist das eine Hürde, die man nicht wegreden sollte.
Dazu kommt die Qualitätsfrage. Offene Modelle sind in der Regel etwas schwächer als die besten geschlossenen Systeme. Wer bisher mit einem teuren US-Spitzenmodell gearbeitet hat und dieselbe Leistung von einem selbst gehosteten Modell erwartet, wird in manchen Aufgaben einen Unterschied bemerken. Das heißt nicht, dass das offene Modell schlecht wäre. Es heißt, dass du eine Abwägung triffst: etwas weniger Spitzenleistung gegen volle Datenkontrolle.
Für viele KMU-Anwendungen reicht ein offenes Modell locker. Mails entwerfen, Texte zusammenfassen, Standardfragen beantworten, interne Dokumente durchsuchen. Das sind genau die Fälle, in denen die letzten Prozentpunkte Modellqualität kaum auffallen, der Datenschutz aber alles entscheidet.
Praktisch lohnt sich oft ein Mischbetrieb. Sensible Aufgaben mit Mandanten- oder Patientendaten laufen lokal auf dem offenen Modell. Unkritische Recherche oder Brainstorming, bei dem keine Geheimnisse im Spiel sind, läuft weiter über einen bequemen externen Dienst. Wer das sauber trennt, bekommt das Beste aus beiden Welten, ohne sich beim Datenschutz angreifbar zu machen. Diese Trennung muss aber von Anfang an klar geregelt sein, sonst tippt irgendwann doch jemand Patientendaten in das falsche Fenster.
Warum offene Modelle gerade jetzt strategisch werden
Es gibt einen zweiten Grund, der über Datenschutz hinausgeht. Verfügbarkeit.
Wenige Tage bevor dieser Text entstand, hat sich gezeigt, wie schnell der Zugang zu einem US-Spitzenmodell wegbrechen kann. Auf eine Exportkontroll-Anordnung der US-Regierung hin nahm Anthropic seine neuesten Modelle weltweit vom Netz. Kunden außerhalb wie innerhalb der USA standen über Nacht ohne Zugang da, ohne eigenes Verschulden.
Daraus folgt eine simple Lehre für den Mittelstand. Wer einen kritischen Prozess komplett auf ein einzelnes US-Frontier-Modell stützt, trägt ein Klumpenrisiko. Ein offenes Modell, das du selbst auf deinem Server liegen hast, kann dir niemand per Anordnung abschalten. Die Gewichte sind heruntergeladen, das Modell läuft, fertig. Das ist eine Form von Absicherung, die mit dem reinen Datenschutz-Argument nichts zu tun hat, aber genauso real ist.
Du musst dafür nicht alles selbst hosten. Es reicht oft, ein Fallback einzuplanen. Wenn dein Hauptanbieter ausfällt oder den Zugang kappt, brauchst du eine zweite Quelle, die einspringen kann. Das kann eine europäische Alternative wie Mistral sein oder eben ein offenes Modell wie Gemma 4 auf eigener Hardware. Wer seine KI-Anbindung von Anfang an so baut, dass sich der Anbieter mit überschaubarem Aufwand tauschen lässt, ist gegen genau diese Art von Überraschung gewappnet.
Was das für KMU bedeutet
Gemma 4 ist kein Werkzeug, das du am Montag installierst und am Dienstag im Tagesgeschäft hast. Es ist eine Option, die du kennen solltest, bevor du eine KI-Entscheidung triffst, die schwer rückgängig zu machen ist.
Die nüchterne Einordnung lautet so: Wenn du mit sensiblen Daten arbeitest, gehört "offenes Modell zum Selbsthosten" auf deine Liste der ernst zu prüfenden Varianten. Nicht als Standardlösung, sondern als die Variante, die deine Daten im Haus hält und dich unabhängiger von einem einzelnen Anbieter macht. Für reine Standardaufgaben ohne Datenschutzbrisanz kann ein gehosteter Dienst weiterhin bequemer sein.
Der größte Fehler, den wir in der Praxis sehen, ist die Schwarz-Weiß-Denke. Entweder alles in die US-Cloud oder gar keine KI. Beides ist falsch. Die richtige Frage ist nicht "Cloud oder lokal", sondern "Welche Daten dürfen raus und welche nicht". Sobald du das pro Anwendungsfall sauber trennst, wird klar, wo ein offenes Modell wie Gemma 4 seinen Platz hat und wo nicht. Wer diese Trennung früh dokumentiert, spart sich später eine Menge Diskussionen mit dem eigenen Datenschutzbeauftragten und schafft eine Linie, die auch unter der KI-Kompetenzpflicht des EU AI Act trägt.
Häufige Fragen
Was ist Gemma 4 und was bedeutet offene Gewichte?
Google veröffentlichte am 23. Mai 2026 Gemma 4, darunter eine 12B-Variante, als neue Generation offener Modelle mit frei herunterladbaren Gewichten. Offene Gewichte heißt: Ein Unternehmen lädt die trainierten Parameter herunter und betreibt das Modell selbst, auf eigenen Servern oder in der eigenen Cloud, und kann es anpassen. Gemma 4 ist auch die Architektur-Basis für DiffusionGemma.
Ist Gemma 4 Open Source?
Nicht ganz. Gemma 4 läuft unter den Google-Gemma-Nutzungsbedingungen, nicht unter einer klassischen Open-Source-Lizenz. Offene Gewichte bedeuten, dass du das Modell herunterladen und selbst betreiben darfst, sie bedeuten nicht, dass jede Nutzung uneingeschränkt erlaubt ist. Wer das Modell produktiv einsetzen will, sollte die Nutzungsbedingungen lesen statt pauschal von Open Source auszugehen.
Warum ist Selbsthosten gut für die Datensouveränität?
Bei einem selbst gehosteten offenen Modell läuft das Modell auf deiner Hardware. Der Prompt geht an deinen eigenen Server, die Antwort kommt von deinem eigenen Server zurück. Kein Datenpaket verlässt das Unternehmen. Für eine Steuerkanzlei, Arztpraxis oder Personalabteilung mit sensiblen Daten ist das der Unterschied zwischen geht gar nicht und können wir verantworten.
Was sind die Nachteile von selbst gehosteten Modellen?
Selbsthosting ist kein Knopfdruck. Du brauchst Hardware, eine ordentliche GPU mit genug Speicher, und Know-how zum Einrichten und Betreiben. Offene Modelle sind zudem oft etwas schwächer als die besten geschlossenen Systeme. Für viele KMU-Aufgaben wie Mails entwerfen oder Texte zusammenfassen reicht das aber locker, dort entscheidet der Datenschutz mehr als die letzten Prozentpunkte Qualität.
Mehr über KI im Mittelstand lernen?
Im kostenlosen KI-Schnupperkurs zeigen wir in fünf Lektionen, wie kleine und mittlere Firmen KI praktisch einsetzen. Vollkurs Digitalisierungsmanager mit Bildungsgutschein. Förderwege: Bildungsgutschein, QCG und AFBG im Vergleich.
Für Geschäftsführer und HR: KI-Compliance-Pflichten für KMU als kostenloser Step-by-Step-Guide.
Zuletzt aktualisiert: 14.06.2026. Stand der Recherche: 14.06.2026.