Ihr Unternehmen hat jahrelang Wissen aufgebaut: Prozessdokumentationen, Produkthandbücher, Kundenanfragen, interne Richtlinien. Das Problem: Niemand findet etwas, wenn er es braucht. Die Suche im Dateiserver dauert Minuten, E-Mails werden dreimal weitergeleitet, und neues Personal fragt dieselben Fragen, die schon hundertmal beantwortet wurden.
Ein RAG-System (Retrieval Augmented Generation) löst dieses Problem. Es verbindet ein KI-Sprachmodell mit Ihren Firmendaten. Sie stellen eine Frage in natürlicher Sprache und bekommen eine Antwort, die auf Ihrem eigenen Wissen basiert.
Das Wichtigste in Kürze
- RAG verbindet KI mit Ihren Daten. Die KI antwortet nicht aus Allgemeinwissen, sondern aus Ihren Dokumenten.
- Keine Programmierung nötig für den Einstieg. Tools wie Chatbase oder CustomGPT.ai ermöglichen RAG per Drag-and-Drop.
- Typischer ROI: 2 bis 5 Stunden pro Mitarbeiter und Woche, die bisher für Suche und Rückfragen draufgehen.
- Datenschutz ist lösbar: Self-Hosted-Optionen und EU-Hosting verfügbar.
- Einstiegskosten: 0 bis 200 Euro pro Monat für KMU-taugliche Lösungen.
Was ist ein RAG-System? (Einfach erklärt)
RAG steht für Retrieval Augmented Generation. Das klingt kompliziert, ist aber ein einfaches Prinzip:
- Retrieval (Suchen): Das System durchsucht Ihre Dokumente nach relevanten Informationen zu einer Frage.
- Augmented (Anreichern): Die gefundenen Textpassagen werden dem KI-Modell als Kontext mitgegeben.
- Generation (Antworten): Die KI formuliert eine Antwort basierend auf den gefundenen Informationen.
Der Unterschied zu normalem ChatGPT: Ohne RAG antwortet ChatGPT aus seinem allgemeinen Trainingswissen. Es kennt Ihre Produkte nicht, Ihre Preise nicht, Ihre internen Prozesse nicht. Mit RAG antwortet die KI auf Basis Ihrer Dokumente und kann dabei Quellen angeben.
Analogie: Stellen Sie sich einen neuen Mitarbeiter vor, der am ersten Tag alle Ihre Handbücher, Prozessbeschreibungen und FAQ liest und danach jede Frage beantworten kann. Genau das ist ein RAG-System.
Schritt 1: Dokumente sammeln und aufbereiten
Ein RAG-System ist nur so gut wie seine Datengrundlage. Sammeln Sie:
| Dokumenttyp | Beispiele | Priorität |
|---|---|---|
| Prozessdokumentationen | Bestellablauf, Reklamationsprozess, Onboarding | Hoch |
| Produktinformationen | Datenblätter, Preislisten, Handbücher | Hoch |
| FAQ und Kundenanfragen | Häufige Fragen, E-Mail-Vorlagen | Hoch |
| Interne Richtlinien | IT-Policy, Reisekostenregelung, Homeoffice | Mittel |
| Schulungsmaterial | Präsentationen, Lernunterlagen | Mittel |
Aufbereitung:
- Veraltete Dokumente entfernen oder aktualisieren. Ein RAG-System, das falsche Preise nennt, schadet mehr als es hilft.
- Gescannte PDFs per OCR in durchsuchbaren Text umwandeln.
- Sensible Daten (Passwörter, persönliche Gehaltsdaten) aus den Dokumenten entfernen.
Schritt 2: Plattform auswählen
| Plattform | Typ | Kosten | Stärke |
|---|---|---|---|
| Chatbase | Cloud (No-Code) | Ab 19 USD/Monat | Schnellster Einstieg, PDF-Upload |
| CustomGPT.ai | Cloud (No-Code) | Ab 49 USD/Monat | Erweiterte Anpassung, API |
| Botpress + Knowledge Base | Cloud/Self-Hosted | Kostenlos bis 100 EUR | Chatbot + RAG kombiniert |
| Open WebUI + Ollama | Self-Hosted | Kostenlos (Hardware) | Volle Datenkontrolle |
| n8n + Pinecone + OpenAI | Self-Hosted (Low-Code) | Ab 20 EUR/Monat | Maximale Flexibilität |
Empfehlung für den Einstieg: Chatbase oder Botpress. Dokumente hochladen, testen, optimieren. Wenn das Konzept funktioniert, können Sie auf eine Self-Hosted-Lösung umsteigen.
Schritt 3: System einrichten
Am Beispiel von Chatbase:
- Account erstellen auf chatbase.co. Kostenlosen Plan wählen (bis 400 Nachrichten/Monat).
- Chatbot anlegen und einen Namen vergeben (z.B. "Firmen-Assistent").
- Dokumente hochladen. PDFs, Word-Dateien, Webseiten-URLs. Chatbase zerlegt die Dokumente automatisch in durchsuchbare Abschnitte.
- System-Prompt definieren:
Beispiel für einen internen Firmen-Assistenten:
System-Prompt: "Du bist der interne Wissensassistent der Firma [Name]. Beantworte Fragen ausschließlich auf Basis der hochgeladenen Dokumente. Wenn du keine passende Information findest, sage ehrlich: 'Dazu habe ich keine Information in der Wissensbasis.' Nenne nach jeder Antwort die Quelle (Dokumentname). Antworte auf Deutsch, professionell und präzise."
- Testen. Stellen Sie 10 typische Fragen aus dem Arbeitsalltag. Prüfen Sie, ob die Antworten korrekt sind und die richtigen Quellen referenziert werden.
Schritt 4: Qualität optimieren
Die ersten Testergebnisse zeigen Ihnen, wo nachgebessert werden muss:
- Falsche Antworten: Meist fehlen Informationen in der Wissensbasis oder das Dokument ist veraltet.
- "Ich weiss nicht"-Antworten: Die Information existiert, aber das System findet den richtigen Textabschnitt nicht. Lösung: Dokument in kleinere, thematisch klare Abschnitte aufteilen.
- Zu allgemeine Antworten: Der System-Prompt braucht mehr Kontext. Geben Sie dem System Informationen über Ihr Unternehmen, Ihre Branche und Ihre typischen Nutzer.
Schritt 5: Intern ausrollen
- Pilotgruppe: Starten Sie mit 3 bis 5 Mitarbeitern, die das System 2 Wochen im Alltag testen.
- Feedback sammeln: Welche Fragen funktionieren gut? Wo versagt das System?
- Wissensbasis erweitern: Fügen Sie fehlende Dokumente hinzu basierend auf dem Feedback.
- Rollout: Schalten Sie den Assistenten für alle Mitarbeiter frei. Integration per Chat-Widget im Intranet, Slack-Bot oder als eigenständige Webseite.
Typische Einsatzszenarien
| Szenario | Beispielfrage | Zeitersparnis |
|---|---|---|
| Onboarding neuer Mitarbeiter | "Wie beantrage ich Urlaub?" | 80 % weniger Rückfragen |
| Kundenservice intern | "Welche Garantie gilt für Produkt X?" | 3 bis 5 Min pro Anfrage |
| Technischer Support | "Wie resette ich den Router Modell Y?" | 5 bis 10 Min pro Fall |
| Vertrieb | "Welche Referenzprojekte haben wir in der Logistik?" | 15 bis 30 Min Recherche |
| Qualitätsmanagement | "Was steht in der Arbeitsanweisung AA-2024-15?" | Sofortzugriff statt Suche |
Datenschutz und Sicherheit
- Cloud-Lösungen: Prüfen Sie, ob der Anbieter Daten für Modelltraining verwendet (bei Chatbase: nein). Schließen Sie einen Auftragsverarbeitungsvertrag (AVV) ab.
- Self-Hosted: Alle Daten bleiben auf Ihrem Server. Open WebUI + Ollama läuft komplett lokal, braucht aber einen leistungsfähigen Rechner (min. 16 GB RAM, besser mit GPU).
- EU AI Act: Ein internes RAG-System für Mitarbeiter gilt als minimales Risiko. Transparenzpflicht: Informieren Sie die Nutzer, dass sie mit einem KI-System interagieren.
Kosten und ROI
Rechenbeispiel für ein Unternehmen mit 30 Mitarbeitern:
- Tool-Kosten: 49 USD/Monat (CustomGPT.ai Professional)
- Zeitersparnis: 2 Stunden pro Mitarbeiter pro Woche (konservativ)
- Gesamtersparnis: 60 Stunden/Woche x 35 EUR Stundensatz = 2.100 EUR/Woche
- ROI: 45 EUR Kosten vs. 8.400 EUR Ersparnis pro Monat
Häufige Fragen
Was ist ein RAG-System?
RAG steht für Retrieval Augmented Generation. Ein RAG-System verbindet ein KI-Sprachmodell mit Ihren eigenen Firmendaten. Die KI sucht erst in Ihren Dokumenten nach relevanten Informationen und formuliert daraus eine Antwort. So antwortet sie auf Basis Ihres Wissens, nicht auf Basis von Allgemeinwissen.
Brauche ich Programmierkenntnisse für ein RAG-System?
Für einfache RAG-Lösungen nicht. Tools wie Chatbase, Botpress oder CustomGPT.ai erlauben es, Dokumente per Drag-and-Drop hochzuladen und sofort eine KI-Suche zu nutzen. Für individuelle Lösungen mit API-Anbindung an interne Systeme (CRM, ERP) sind Grundkenntnisse hilfreich oder eine Automatisierungsplattform wie n8n.
Welche Dokumente eignen sich für ein RAG-System?
PDFs, Word-Dateien, Webseiten, Markdown-Dateien, Excel-Tabellen und Textdateien. Grundsätzlich alles, was maschinenlesbar ist. Gescannte Dokumente müssen vorher per OCR (optische Zeichenerkennung) in durchsuchbaren Text umgewandelt werden.
Wie sicher sind meine Firmendaten in einem RAG-System?
Das hängt vom Anbieter ab. Bei Self-Hosted-Lösungen (Open WebUI, n8n) bleiben alle Daten auf Ihrem Server. Bei Cloud-Diensten prüfen Sie: Werden Daten für Modelltraining verwendet? Gibt es einen Auftragsverarbeitungsvertrag? Wo stehen die Server? Botpress und CustomGPT.ai bieten EU-Hosting-Optionen.
RAG-Systeme professionell aufbauen lernen
In der Weiterbildung zum Digitalisierungsmanager lernen Sie, wie Sie KI-Systeme für Ihr Unternehmen planen und umsetzen. 100 % förderbar.