RAG einfach erklärt: So bauen Sie einen Chatbot, der aus Ihren eigenen Dokumenten antwortet
Ein verständlicher Leitfaden zu Retrieval-Augmented Generation: wie es funktioniert, wann Sie es brauchen, was die Entwicklung kostet und welche Fehler KI-Assistenten falsch antworten lassen.

Fragen Sie ein allgemeines KI-Modell nach der Rückgaberegelung Ihres Unternehmens, und es wird entweder ablehnen oder – schlimmer – eine plausible Antwort erfinden. Es hat Ihre Dokumente schlicht nie gesehen. Retrieval-Augmented Generation (RAG) löst das: Vor der Antwort sucht das System die passenden Stellen in Ihren eigenen Inhalten und gibt sie dem Modell als Kontext mit.
So funktioniert RAG
- Vorbereitung (einmalig, danach bei jeder Aktualisierung): Dokumente werden in Fragmente (Chunks) zerlegt, und jedes Fragment wird in einen Zahlenvektor (Embedding) umgewandelt, der seine Bedeutung abbildet. Die Vektoren landen in einer Vektordatenbank.
- Suche: Auch die Nutzerfrage wird in einen Vektor umgewandelt, und die Datenbank liefert die inhaltlich nächsten Fragmente – oft kombiniert mit klassischer Stichwortsuche.
- Generierung: Das Modell erhält die Frage, die gefundenen Fragmente und Anweisungen wie „antworte nur aus dem Kontext, nenne Quellen, sag, wenn du es nicht weißt“.
Wann Sie RAG brauchen – und wann nicht
| Situation | Passt? |
|---|---|
| Support-Bot, der aus Hilfeartikeln und Richtlinien antwortet | Ja |
| Interner Assistent für Wikis, Verträge, technische Doku | Ja |
| Vertriebsassistent mit Antworten aus Katalogen und Preislisten | Ja, mit aktueller Datensynchronisation |
| Berechnungen, Bestellstatus, Kontodaten | Besser über direkte API-Aufrufe (Tools), nicht RAG |
| Kreative Texte ohne Unternehmensfakten | Nicht nötig |
Wovon die Antwortqualität abhängt
- Qualität der Quellen: Veraltete oder widersprüchliche Dokumente erzeugen veraltete oder widersprüchliche Antworten. Die Wissensbasis aufzuräumen ist oft die halbe Projektarbeit.
- Zerlegung: Zu kleine Fragmente verlieren Kontext, zu große verwässern die Suche. Eine Aufteilung nach Überschriften und Abschnitten funktioniert meist besser als nach fester Länge.
- Suche: Hybride Suche (Bedeutung + Stichworte) und ein Re-Ranking der Ergebnisse verbessern die Relevanz spürbar, besonders bei Artikelnummern und Namen.
- Anweisungen: Das Modell muss wissen, dass es beim Kontext bleiben und Nichtwissen zugeben soll.
- Zugriffsrechte: Nutzer dürfen nur Antworten aus Dokumenten erhalten, die sie sehen dürfen.
Typischer Technologie-Stack
| Ebene | Optionen |
|---|---|
| Modelle | OpenAI GPT, Anthropic Claude, Google Gemini oder Open-Source-Modelle wie Llama oder Mistral |
| Embeddings und Vektorspeicher | pgvector in PostgreSQL, Qdrant, Pinecone, Weaviate |
| Orchestrierung | LangChain, LlamaIndex oder ein schlanker eigener Service |
| Oberfläche | Website-Widget, Telegram- oder Slack-Bot, internes Portal |
| Qualität | Evaluationsset, Logging, Feedback-Buttons, Monitoring |
So bauen wir einen RAG-Assistenten
- Analyse: Welche Fragen soll er beantworten, aus welchen Quellen, für wen?
- Wissens-Audit: Duplikate und veraltete Dokumente entfernen, Aktualisierungsregeln festlegen.
- Prototyp in 1–2 Wochen mit echten Dokumenten und echten Fragen.
- Evaluation: 50–150 Testfragen mit erwarteten Antworten; wir messen Genauigkeit, Quellentreue und das „Ich weiß es nicht“-Verhalten.
- Integration und Start: Widget oder Bot, Zugriffsrechte, Analytics.
- Verbesserungsschleife: Jede schlechte Antwort aus dem Betrieb wird zu einem neuen Testfall.
Kosten und Datenschutz
Die laufenden Kosten hängen vor allem von der Anzahl der Fragen und dem gewählten Modell ab; für die meisten kleinen und mittleren Unternehmen sind sie im Vergleich zur Arbeitszeit im Support gering. Dürfen Daten Ihre Infrastruktur nicht verlassen, läuft der gesamte Stack mit Open-Source-Modellen auf Ihren Servern.


