Das Problem: KI kennt dein Unternehmen nicht
Sprachmodelle wie ChatGPT wurden mit riesigen Textmengen aus dem Internet trainiert. Deine Preisliste, dein Mitarbeiterhandbuch oder die Garantiebedingungen deiner Produkte waren nicht dabei. Fragt man das Modell trotzdem danach, rät es, und das klingt oft überzeugend falsch. Außerdem endet sein Wissen an einem Stichtag.
Die Lösung: erst nachschlagen, dann antworten
RAG funktioniert wie ein guter Mitarbeiter, der bei einer Kundenfrage zuerst im Handbuch nachschaut. Technisch läuft das in vier Schritten ab:
- Einlesen: Deine Dokumente werden in kurze Textstücke zerlegt und als Vektoren (Embeddings) in einer Vektordatenbank gespeichert.
- Suchen: Kommt eine Frage, wird auch sie in einen Vektor umgewandelt. Die Datenbank findet die inhaltlich ähnlichsten Textstücke.
- Ergänzen: Die Frage und die gefundenen Textstücke gehen gemeinsam an das Sprachmodell, mit der Anweisung, nur daraus zu antworten.
- Antworten: Die KI formuliert eine verständliche Antwort und nennt die Quelle.
Ein Beispiel aus dem Alltag
Ein neuer Mitarbeiter fragt in Teams: „Wie viele Urlaubstage habe ich im ersten Jahr?“ Der RAG-Assistent findet im Mitarbeiterhandbuch die Stelle zur Urlaubsregelung und antwortet: „Du hast 25 Urlaubstage pro Jahr, im ersten Jahr anteilig ab Eintritt. Quelle: Mitarbeiterhandbuch, Seite 12.“ Die Personalabteilung muss diese Frage nie wieder beantworten.
Vorteile für KMU
- Richtige Antworten aus deinen eigenen Unterlagen statt aus dem Internet.
- Immer aktuell: Neue Dokumente werden nachgeladen, ohne die KI neu zu trainieren.
- Nachvollziehbar: Jede Antwort zeigt ihre Quelle.
- Kostengünstig: Deutlich günstiger als ein eigenes KI-Modell zu trainieren.
- Kontrollierbar: Du bestimmst, welche Dokumente der Assistent sehen darf.
Worauf es bei der Umsetzung ankommt
Ein einfaches RAG-System ist schnell gebaut. Ein gutes braucht mehr: sinnvoll zerlegte Dokumente, Metadaten für Aktualität und Zuständigkeit, mehrere Suchvarianten pro Frage, Reranking der Treffer, Guardrails gegen unpassende Antworten und eine Evaluation mit Testfragen vor dem Start. Genau diese Bausteine setzt flowkraft bei jedem RAG-Wissensassistenten ein.
Wann lohnt sich RAG?
RAG lohnt sich, wenn in deinem Betrieb immer wieder dieselben Fragen gestellt werden und die Antworten irgendwo dokumentiert sind: im Kundenservice, im internen Helpdesk, im Vertrieb oder beim Onboarding. Ob es sich in deinem Fall rechnet, klären wir im kostenlosen Erstgespräch.
Autor: Daniel Kraßnitzer · flowkraft, Kärnten · aktualisiert 2026-11-20