← Alle Artikel
KI · 10 Min. Lesezeit

RAG einfach erklärt: So bauen Sie einen Chatbot, der aus Ihren eigenen Dokumenten antwortet

Ein verständlicher Leitfaden zu Retrieval-Augmented Generation: wie es funktioniert, wann Sie es brauchen, was die Entwicklung kostet und welche Fehler KI-Assistenten falsch antworten lassen.

Fragen Sie ein allgemeines KI-Modell nach der Rückgaberegelung Ihres Unternehmens, und es wird entweder ablehnen oder – schlimmer – eine plausible Antwort erfinden. Es hat Ihre Dokumente schlicht nie gesehen. Retrieval-Augmented Generation (RAG) löst das: Vor der Antwort sucht das System die passenden Stellen in Ihren eigenen Inhalten und gibt sie dem Modell als Kontext mit.

So funktioniert RAG

FrageSucheFragmentePromptLLM-AntwortQuellen
Eine RAG-Anfrage: zuerst die passenden Fragmente finden, dann das Modell nur auf deren Basis antworten lassen.
  1. Vorbereitung (einmalig, danach bei jeder Aktualisierung): Dokumente werden in Fragmente (Chunks) zerlegt, und jedes Fragment wird in einen Zahlenvektor (Embedding) umgewandelt, der seine Bedeutung abbildet. Die Vektoren landen in einer Vektordatenbank.
  2. Suche: Auch die Nutzerfrage wird in einen Vektor umgewandelt, und die Datenbank liefert die inhaltlich nächsten Fragmente – oft kombiniert mit klassischer Stichwortsuche.
  3. Generierung: Das Modell erhält die Frage, die gefundenen Fragmente und Anweisungen wie „antworte nur aus dem Kontext, nenne Quellen, sag, wenn du es nicht weißt“.

Wann Sie RAG brauchen – und wann nicht

SituationPasst?
Support-Bot, der aus Hilfeartikeln und Richtlinien antwortetJa
Interner Assistent für Wikis, Verträge, technische DokuJa
Vertriebsassistent mit Antworten aus Katalogen und PreislistenJa, mit aktueller Datensynchronisation
Berechnungen, Bestellstatus, KontodatenBesser über direkte API-Aufrufe (Tools), nicht RAG
Kreative Texte ohne UnternehmensfaktenNicht nötig

Wovon die Antwortqualität abhängt

  • Qualität der Quellen: Veraltete oder widersprüchliche Dokumente erzeugen veraltete oder widersprüchliche Antworten. Die Wissensbasis aufzuräumen ist oft die halbe Projektarbeit.
  • Zerlegung: Zu kleine Fragmente verlieren Kontext, zu große verwässern die Suche. Eine Aufteilung nach Überschriften und Abschnitten funktioniert meist besser als nach fester Länge.
  • Suche: Hybride Suche (Bedeutung + Stichworte) und ein Re-Ranking der Ergebnisse verbessern die Relevanz spürbar, besonders bei Artikelnummern und Namen.
  • Anweisungen: Das Modell muss wissen, dass es beim Kontext bleiben und Nichtwissen zugeben soll.
  • Zugriffsrechte: Nutzer dürfen nur Antworten aus Dokumenten erhalten, die sie sehen dürfen.
Meist versagt nicht das Modell, sondern die Suche. Wird das richtige Fragment nicht gefunden, kann auch das beste Modell nicht richtig antworten.

Typischer Technologie-Stack

EbeneOptionen
ModelleOpenAI GPT, Anthropic Claude, Google Gemini oder Open-Source-Modelle wie Llama oder Mistral
Embeddings und Vektorspeicherpgvector in PostgreSQL, Qdrant, Pinecone, Weaviate
OrchestrierungLangChain, LlamaIndex oder ein schlanker eigener Service
OberflächeWebsite-Widget, Telegram- oder Slack-Bot, internes Portal
QualitätEvaluationsset, Logging, Feedback-Buttons, Monitoring

So bauen wir einen RAG-Assistenten

  1. Analyse: Welche Fragen soll er beantworten, aus welchen Quellen, für wen?
  2. Wissens-Audit: Duplikate und veraltete Dokumente entfernen, Aktualisierungsregeln festlegen.
  3. Prototyp in 1–2 Wochen mit echten Dokumenten und echten Fragen.
  4. Evaluation: 50–150 Testfragen mit erwarteten Antworten; wir messen Genauigkeit, Quellentreue und das „Ich weiß es nicht“-Verhalten.
  5. Integration und Start: Widget oder Bot, Zugriffsrechte, Analytics.
  6. Verbesserungsschleife: Jede schlechte Antwort aus dem Betrieb wird zu einem neuen Testfall.

Kosten und Datenschutz

Die laufenden Kosten hängen vor allem von der Anzahl der Fragen und dem gewählten Modell ab; für die meisten kleinen und mittleren Unternehmen sind sie im Vergleich zur Arbeitszeit im Support gering. Dürfen Daten Ihre Infrastruktur nicht verlassen, läuft der gesamte Stack mit Open-Source-Modellen auf Ihren Servern.

RAG macht aus einer allgemeinen KI Ihren Experten: Sie antwortet mit Ihren Fakten, zeigt deren Herkunft und gibt zu, wenn sie etwas nicht weiß. Das ist der Unterschied zwischen einer Demo und einem Werkzeug, dem Kunden vertrauen.