Gemma 4 auf Raspberry Pi: Offline-KI für unter 100 Euro

Gemma 4 auf dem Raspberry Pi ist das spannendste KI-Projekt für KMU im Frühjahr 2026. Google hat im April sein neues Open-Source-Modell unter Apache-2.0-Lizenz veröffentlicht, und die kleinen Varianten (E2B und E4B) laufen tatsächlich auf einem Raspberry Pi 5 mit 8 GB RAM. Das heißt: Du kannst für rund 130 Euro Hardware (Pi 5, Kühlung, Netzteil, microSD) und mit zwei Stunden Setup-Zeit eine lokale KI aufbauen, die keine Daten ins Internet schickt und keine laufenden Kosten verursacht.

Dieser Artikel zeigt dir Schritt für Schritt, wie du das Projekt umsetzt, welche Hardware du brauchst, welche Use Cases sich lohnen und wo die Grenzen liegen. Ohne Bullshit, mit Preisen vom April 2026.

Das Wichtigste in Kürze

• Gemma 4 von Google, Release April 2026, Apache-2.0-Lizenz, kommerziell frei nutzbar.
• Varianten E2B und E4B laufen auf Raspberry Pi 5 mit 8 GB RAM, größere Modelle brauchen stärkere Hardware.
• Hardware-Kosten: rund 130 Euro für Pi 5, Kühlgehäuse, Netzteil und SD-Karte.
• Setup-Zeit: rund zwei Stunden für ein funktionsfähiges System mit Ollama als Runtime.
• Use Cases KMU: lokaler Dokumenten-Chat (RAG), Offline-Übersetzungen, E-Mail-Entwürfe, Meeting-Protokolle.
• DSGVO: Perfekt, weil keine Daten das Haus verlassen. Keine AVV-Debatte, kein Drittland-Transfer.

Warum Gemma 4 auf dem Pi so interessant ist

Bis vor einem Jahr galt lokale KI für den Mittelstand als zu komplex und zu teuer. Du brauchtest entweder einen GPU-Server für mehrere tausend Euro oder du mussten Kompromisse bei der Qualität eingehen, die die KI praktisch unbrauchbar machten. Mit Gemma 4 und dem Raspberry Pi 5 hat sich das geändert.

Die Kombination liefert drei Dinge, die für KMU wichtig sind.

Erstens: DSGVO-Perfektion. Die Daten verlassen nie das Haus. Keine Diskussion über Auftragsverarbeitungsverträge, keine Sorge um Trainingsdaten, keine Unsicherheit bei Drittland-Transfers. Für Branchen mit besonders sensiblen Daten (Gesundheit, Recht, Finanzen) ist das der einzige Weg, KI rechtssicher einzusetzen.

Zweitens: Kostenstabilität. Nach dem einmaligen Hardware-Kauf zahlst du nichts mehr. Keine monatlichen Abos, keine API-Gebühren, keine Preiserhöhungen. Für einen Betrieb, der KI intensiv nutzt, ist das eine andere Kostenstruktur als Cloud-Modelle.

Drittens: Kontinuität. Wenn OpenAI morgen seine Regeln ändert oder ein Anbieter vom Markt verschwindet, läuft dein Gemma-Setup weiter. Das Modell gehört dir, die Hardware steht bei dir, niemand kann dir etwas wegnehmen.

Die Grenze: Gemma 4 E2B oder E4B schlägt keinen GPT-4 und keinen Claude Opus. Für anspruchsvolle Aufgaben brauchst du weiterhin größere Modelle. Aber für den 80-Prozent-Fall im Büro reicht die Qualität.

Die Hardware-Liste

Für ein funktionsfähiges Setup brauchst du folgende Komponenten. Preise in Euro, Stand April 2026.

Für ein minimales Setup landest du bei etwa 130 Euro. Mit SSD bei rund 170 Euro. Wenn du den Pi ohnehin schon hast, reduzieren sich die Kosten entsprechend.

Alternativ: Ein gebrauchter Mini-PC (Intel NUC, Lenovo ThinkCentre Tiny, Dell OptiPlex Micro) mit 16 GB RAM und SSD kostet auf eBay Kleinanzeigen meist zwischen 120 und 250 Euro und ist für Gemma 4 deutlich performanter. Wer nicht auf den Bastel-Charme des Pi steht, fährt mit einem Mini-PC oft besser.

Schritt 1: Raspberry Pi OS installieren

Lade dir den Raspberry Pi Imager von raspberrypi.com herunter, steck die microSD-Karte in deinen Rechner und starte den Imager. Wähle "Raspberry Pi OS (64-bit)" als Betriebssystem. Die 64-Bit-Variante ist Pflicht, die 32-Bit-Version kann Gemma nicht ausführen.

In den erweiterten Einstellungen trägst du einen Hostnamen ein (etwa "ki-server"), aktivierst SSH mit Passwort-Login und legst Benutzername und Passwort fest. Klick auf "Schreiben" und warte, bis der Imager fertig ist.

Steck die Karte in den Pi, schließ Netzteil und Netzwerkkabel an und warte zwei Minuten. Dann verbindest du dich per SSH vom Arbeitsplatz aus. Der Pi ist jetzt einsatzbereit für das eigentliche Setup.

Schritt 2: Ollama installieren

Ollama ist die einfachste Runtime für lokale Sprachmodelle. Es lädt Modelle automatisch, verwaltet Versionen und stellt eine HTTP-API bereit. Für Gemma 4 auf dem Pi ist Ollama der Standardweg.

Installation mit einem einzigen Befehl:

curl -fsSL __PH0__ | sh

Ollama läuft nach der Installation als Dienst. Du kannst mit dem Befehl "ollama list" prüfen, ob alles funktioniert. Zu Beginn ist die Liste leer, weil noch kein Modell installiert ist.

Schritt 3: Gemma 4 herunterladen

Jetzt kommt der spannende Teil. Mit einem einzigen Befehl lädst du das Modell herunter und machst es einsatzbereit:

ollama pull gemma4:e2b

Für ein größeres, präziseres Modell nimmst du "gemma4:e4b". Die E2B-Variante (rund 7,2 GB Download) läuft flüssig auf dem Pi 5, die E4B-Variante (rund 9,6 GB) ist langsamer, aber qualitativ besser. Für den ersten Test empfehle ich E2B, danach kannst du E4B ausprobieren und vergleichen.

Der Download dauert je nach Internetverbindung zehn bis zwanzig Minuten. Danach ist das Modell lokal gespeichert und bereit.

Schritt 4: Erster Test

Starte das Modell im interaktiven Modus:

ollama run gemma4:e2b

Du siehst einen Prompt und kannst deine erste Frage stellen. Zum Beispiel: "Fasse in drei Sätzen zusammen, was das Qualifizierungschancengesetz ist." Gemma 4 antwortet auf Deutsch, einigermaßen flüssig und mit Faktenwissen, das etwa auf Stand 2025 ist.

Wenn die Antwort zu langsam kommt (länger als 15 Sekunden für kurze Antworten), ist entweder deine SD-Karte zu langsam oder die CPU überhitzt. Prüf mit dem Befehl "vcgencmd measure_temp", ob die Temperatur unter 80 Grad bleibt. Wenn nicht, braucht der Pi besseres Kühlen.

Konkrete Use Cases für den KMU-Alltag

Ein Raspberry Pi mit Gemma 4 ist kein Ersatz für einen Cloud-Dienst, aber für eine Reihe von Aufgaben ist er die sauberste Lösung.

Use Case 1: Lokaler Dokumenten-Chat (RAG). Du speicherst alle internen Dokumente (PDFs, Word-Dateien, Handbücher) in einem Ordner auf dem Pi und kombinierst Gemma 4 mit einer Vektordatenbank wie Chroma oder SQLite-VSS. Deine Mitarbeiter können dann Fragen stellen wie "Was steht in der Preisliste zu Produkt X?" und bekommen Antworten aus den echten Firmendokumenten. Die Dokumente verlassen nie das Haus. Umsetzungszeit: ein Wochenende mit einem Python-Grundlagen-Skript.

Use Case 2: Offline-Übersetzungen. Für interne Dokumente, die nicht bei DeepL landen sollen, ist Gemma 4 eine brauchbare Übersetzungsmaschine. Die Qualität ist nicht auf DeepL-Niveau, aber für Entwürfe und interne Notizen reicht sie.

Use Case 3: E-Mail-Entwürfe. Du füttern den Pi mit einem Prompt wie "Schreibe eine höfliche Absage für eine Bewerbung, die nicht zum Profil passt" und bekommst einen Entwurf. Die Mitarbeiterin prüft, passt an, sendet. Der Prompt und die Kundendaten bleiben auf dem Pi.

Use Case 4: Meeting-Protokolle. In Kombination mit Whisper.cpp (ebenfalls lokal) kannst du Meeting-Aufnahmen transkribieren und von Gemma zusammenfassen lassen. Ein komplettes Offline-Workflow für DSGVO-sensible Meetings.

Use Case 5: Interne Kurzfragen. Mitarbeiter schicken eine HTTP-Anfrage an den Pi und bekommen eine Antwort. Vergleichbar mit ChatGPT, aber ohne externe Abhängigkeit. Die Antwortzeit liegt bei einfachen Fragen unter zehn Sekunden.

Was der Pi nicht kann

Sei realistisch. Ein Raspberry Pi mit Gemma 4 E2B oder E4B ist nicht dein Ersatz für GPT-4. Diese Dinge schafft er nicht oder nur schlecht.

• Komplexe Reasoning-Aufgaben mit mehreren logischen Schritten.
• Code-Generierung in professioneller Qualität.
• Lange Texte über mehrere Tausend Tokens hinweg.
• Hochpräzise Faktenantworten bei Nischen-Themen.
• Hohe Parallelität: Der Pi kann nicht zehn Mitarbeiter gleichzeitig bedienen.

Für diese Aufgaben brauchst du weiterhin Cloud-Modelle oder einen richtigen GPU-Server. Der Pi ist für den einfachen bis mittleren Gebrauch und für Datenschutz-kritische Fälle die richtige Lösung. Eine vollständige Anbieter-Übersicht findest du im Artikel [DSGVO-Alternativen zu OpenAI](PH1

Der Upgrade-Pfad für wachsende Anforderungen

Wenn dein Betrieb mit dem Pi anfängt und die Grenzen merkt, gibt es einen sauberen Upgrade-Pfad.

Stufe 1: Mini-PC mit 16 oder 32 GB RAM. Kosten zwischen 150 und 400 Euro. Läuft Gemma 4 E4B oder sogar die 8B-Variante flüssig. Ausreichend für 2 bis 5 Mitarbeiter parallel.

Stufe 2: GPU-Workstation. Ein gebrauchter Workstation-PC mit NVIDIA RTX 3060 oder besser kostet zwischen 500 und 1.200 Euro. Läuft Gemma 4 in der 12B-Variante und andere Modelle wie Llama 4 oder GLM-5.1 (self-hosted). Ausreichend für kleine Abteilungen.

Stufe 3: Dedizierter KI-Server. Wenn du ernsthaft Produktionsworkloads auf lokaler KI laufen lassen willst, landest du bei einem Server mit zwei oder mehr GPUs. Kosten ab 3.000 Euro aufwärts. Nur sinnvoll, wenn der ROI aus ersparter Cloud-Nutzung stimmt.

Für die meisten KMU ist Stufe 1 oder 2 der Sweet Spot. Die Investition amortisiert sich in sechs bis zwölf Monaten gegenüber Cloud-Abos und bringt gleichzeitig die DSGVO-Sicherheit.

Wer im Betrieb das Projekt umsetzt

Ein Pi mit Ollama einzurichten ist keine Raketenwissenschaft, aber es braucht jemanden, der sich mit Linux-Grundlagen auskennt. In kleinen Betrieben ist das oft der IT-affine Bürokollege, der schon mal einen Heimserver aufgesetzt hat. In größeren Betrieben der Admin.

Wenn niemand im Team das kann, hilft eine strukturierte Weiterbildung. Der [Digitalisierungsmanager-Kurs](PH2 deckt genau die Kompetenzen ab, die du für solche Projekte brauchst: Prozessverständnis, KI-Grundlagen, Setup von lokalen Workflows, Datenschutz. Vier Monate, online, förderfähig über Bildungsgutschein.

Häufige Fragen

Reicht der Raspberry Pi 5 wirklich für produktive KI?

Für bestimmte Use Cases ja, für andere nein. Für einzelne Mitarbeiter, einfache Fragen, Dokumenten-Chat auf internen Wissensdatenbanken und Offline-Übersetzungen reicht die Leistung. Für parallele Nutzung durch viele Mitarbeiter oder für komplexe Reasoning-Aufgaben ist der Pi zu schwach. Die Entscheidung hängt vom Use Case ab, nicht vom Prinzip.

Gibt es vorgefertigte Images, damit ich das Setup nicht selbst machen muss?

Ja, mehrere Projekte auf GitHub bieten fertige Pi-Images mit Ollama und Gemma 4 vorinstalliert. Suche auf GitHub nach "raspberry pi ollama image" oder "gemma pi setup". Qualität und Aktualität variieren, also prüf die Lizenzen und die letzten Commits, bevor du ein Image einspielst.

Wie vergleicht sich die Antwortqualität zu ChatGPT?

Für einfache Aufgaben (kurze Texte, E-Mail-Entwürfe, Zusammenfassungen) liegt Gemma 4 E4B etwa auf dem Niveau von ChatGPT-3.5. Für anspruchsvolle Aufgaben (Reasoning, lange Texte, Code) ist der Unterschied zu GPT-4 deutlich. Die Faustregel: Wenn du früher mit GPT-3.5 zufrieden warst, wirst du mit Gemma 4 E4B zufrieden sein. Wenn du GPT-4 gebraucht hast, brauchst du ein größeres Modell auf stärkerer Hardware.

Kann ich den Pi in meinem bestehenden Firmennetzwerk betreiben?

Ja, und das ist der empfohlene Weg. Der Pi bekommt eine feste IP im LAN und ist nur aus dem internen Netz erreichbar. Deine Mitarbeiter greifen über eine simple Web-Oberfläche oder eine Browser-Extension auf das Modell zu. Nach außen ist der Pi unsichtbar. Für zusätzliche Sicherheit kannst du den Zugriff auf bestimmte IP-Adressen oder Zeiten beschränken.

Was passiert, wenn der Pi ausfällt?

Das ist das eigentliche Risiko bei Einplatinen-Computern. Eine defekte SD-Karte oder ein kaputtes Netzteil legt den Dienst lahm. Lösungen: Regelmäßige Backups der SD-Karte, ein zweiter Pi als Reserve, oder der Upgrade auf einen Mini-PC mit SSD. Für produktive Nutzung würde ich einen Mini-PC empfehlen, der Pi ist eher für den Prototyp und Test-Szenarien.

Wie fügt sich das in einen Plan B gegen OpenAI-Abhängigkeit ein?

Sehr gut. Der Pi mit Gemma 4 ist der lokale Baustein in einer hybriden Strategie: Cloud-Modelle für Standard-Aufgaben, lokaler Pi für sensible Daten und Offline-Workflows. Details dazu im Cornerstone-Artikel DSGVO-Alternativen zu OpenAI Plan B.

Fazit

Der Raspberry Pi 5 mit Gemma 4 ist das beste Einsteigerprojekt für lokale KI, das 2026 verfügbar ist. Für unter 100 Euro Hardware und zwei Stunden Setup hast du eine Offline-KI, die keine Daten ins Internet schickt und keine monatlichen Kosten verursacht. Die Grenzen sind klar, aber für den 80-Prozent-Fall im Büro reicht die Leistung. Wer ernsthaft KI in sensiblen Bereichen einsetzen will, sollte dieses Setup mindestens einmal aufgebaut und ausprobiert haben.

Wenn du die Kompetenz für solche Projekte im Team aufbauen willst, ohne selbst alle Details zu lernen, schau dir den Digitalisierungsmanager-Kurs an. Vier Monate, online, über Bildungsgutschein oder Qualifizierungschancengesetz förderfähig.