RAG (Retrieval-Augmented Generation)

Sie fragen Ihren Firmenchatbot nach der aktuellen Retourenrichtlinie. Er antwortet überzeugend und erfindet eine Frist, die es nicht gibt. Das ist das Halluzinationsproblem. RAG (Retrieval-Augmented Generation) löst es.

So funktioniert die Architektur

Dokumente werden in kleinere Abschnitte (Chunks) zerlegt und als Vektoren gespeichert, in Pinecone, Weaviate oder pgvector. Bei einer Anfrage wird der Suchtext vektorisiert, die relevantesten Chunks per Ähnlichkeitssuche abgerufen und als Kontext in den LLM-Prompt eingespeist. Das Modell antwortet auf Basis echter Quellen, nicht aus dem Gedächtnis.

Halluzinationen um bis zu 96 % reduzieren

RAG senkt Halluzinationsraten um 42-68 %. Eine Stanford-Studie erreichte mit zusätzlichen Guardrails 96 % Reduktion. Hybride Suche (Vektor + Keyword) mit Reranking verbessert die Retrieval-Präzision um 15-30 %.

RAG vs. Fine-Tuning: wann was?

RAG, wenn aktuelle Daten entscheidend sind und Quellen zitierbar sein müssen. Fine-Tuning, wenn konsistentes Domänenwissen ins Modell eingebrannt werden soll. In der Praxis: beides zusammen. Fine-Tuning bestimmt, wie das Modell denkt. RAG bestimmt, womit.

RAG ist der schnellste Weg zum Firmenchatbot. Dokumentation, Produktkataloge, interne Richtlinien. Alles wird durchsuchbar, ohne ein Modell trainieren zu müssen.