Retrieval-Augmented Generation (RAG) erklärt: Pipeline, Varianten, Grenzen

01

Was ist Retrieval-Augmented Generation, und woher kommt der Begriff?

Retrieval-Augmented Generation bezeichnet Systeme, die vor dem Formulieren einer Antwort passende Textstellen aus einem Index abrufen. Der Begriff geht auf Lewis et al. (NeurIPS, 2020) zurück. Heute steht er allgemein für jede Architektur, in der Suche und Sprachmodell getrennte, einzeln prüfbare Bausteine sind.

Ein großes Sprachmodell (LLM) erzeugt Text, indem es die wahrscheinlichste Fortsetzung berechnet. Was es über die Welt weiß, steckt in seinen Gewichten, eingefroren zum Zeitpunkt des Trainings. Über Ihre Handbücher, Verträge oder Tickets weiß es nichts, und es kann nicht angeben, woher eine Aussage stammt. Retrieval-Augmented Generation, auf Deutsch etwa abrufgestützte Generierung, trennt deshalb zwei Aufgaben: Ein Suchschritt (Retrieval) findet Belegstellen, erst danach formuliert das Modell.

Das Paper von Lewis et al. (NeurIPS, 2020) koppelte ein Generierungsmodell mit einem dichten Vektorindex und trainierte beide gemeinsam. In der Praxis bleiben Suche und Modell heute meist getrennte Komponenten, verbunden über den Prompt und damit einzeln austauschbar und messbar. Einen Einstieg bietet Was ist RAG?, die Einordnung ins Ganze Wissensmanagement mit KI.

02

Welches Problem löst RAG, das ein Sprachmodell allein nicht löst?

Ein Sprachmodell allein kennt keine internen Dokumente, veraltet mit seinem Trainingsstand und kann Aussagen nicht belegen. RAG liefert zur Laufzeit aktuelle Belegstellen, macht jede Antwort auf ihre Quelle rückführbar und erlaubt, Zugriffsrechte am Index durchzusetzen. Neues Wissen erfordert nur einen Einlesevorgang, kein erneutes Training.

Gegen RAG werden meist drei Alternativen abgewogen: das Modell ohne eigene Daten, ein sehr langes Kontextfenster und Fine-Tuning, das Nachtrainieren auf eigenen Beispielen. Die Entscheidung gegen Fine-Tuning vertieft RAG oder Fine-Tuning.

Der Eintrag zu langen Kontexten beruht auf Lost in the Middle (Liu et al., 2023): Informationen in der Mitte langer Eingaben werden deutlich schlechter genutzt als am Anfang oder Ende.

03

Wie funktioniert eine RAG-Pipeline Schritt für Schritt?

Eine RAG-Pipeline hat zwei Phasen. Zur Indexzeit werden Dokumente aufgenommen, in Abschnitte zerlegt, als Vektoren eingebettet und in einen Index geschrieben. Zur Anfragezeit wird die Frage ebenso eingebettet, passende Abschnitte werden abgerufen, neu geordnet und mit der Frage an das Modell übergeben, das antwortet und die Quellen nennt.

Die ersten vier Stufen laufen bei Änderungen am Bestand, die letzten drei bei jeder Frage. Fehler der Indexzeit, etwa eine zerrissene Tabelle, lassen sich zur Anfragezeit nicht mehr reparieren.

Was bei der Aufnahme passiert

1. Text und Struktur lesen

   Text mit Überschriften, Listen und Tabellen extrahieren. Scans brauchen Texterkennung oder visuellen Abruf, siehe Dokumente mit KI verstehen.

2. Metadaten mitführen

   Titel, Quelle, Version und Gültigkeit an jeden Abschnitt vererben, sonst lässt sich weder filtern noch sauber zitieren.

3. Berechtigungen übernehmen

   Leserechte aus dem Quellsystem am Abschnitt speichern, siehe Berechtigungen in KI-Wissenssystemen.

4. Änderungen erkennen

   Neue, geänderte und gelöschte Dokumente nachziehen, damit keine überholte Fassung zitiert wird.

04

Wie zerlegt man Dokumente für RAG richtig (Chunking)?

Gute Zerlegung folgt der Struktur des Dokuments: Abschnitte an Überschriften, Absätzen und Tabellengrenzen, groß genug für einen vollständigen Gedanken, klein genug für einen präzisen Treffer. Feste Zeichenlängen sind der einfachste Start, zerreißen aber Tabellen und Aufzählungen. Kontextanreicherung und Eltern-Kind-Abschnitte helfen, wenn einzelne Abschnitte ohne Umfeld unverständlich sind.

Chunking entscheidet, welche Einheiten gefunden werden können. Zu kleine Abschnitte verlieren den Zusammenhang: Die Frist beträgt vier Wochen ist ohne Überschrift wertlos. Zu große verwässern den Vektor und füllen den Prompt mit Text, der die Frage nicht betrifft.

05

Was passiert bei Einbettung und Indexierung?

Ein Einbettungsmodell übersetzt jeden Abschnitt in einen Zahlenvektor, dessen Nähe zu anderen Vektoren inhaltliche Ähnlichkeit abbildet. Diese Vektoren liegen in einem Index, der nächste Nachbarn näherungsweise schnell findet. Parallel empfiehlt sich ein klassischer Stichwortindex, weil Vektoren exakte Bezeichnungen wie Artikelnummern schlecht treffen.

Ein Embedding ist nur mit Vektoren desselben Modells vergleichbar. Frage und Abschnitte müssen deshalb mit demselben Modell eingebettet werden. Gespeichert werden die Vektoren in einer Vektordatenbank oder einer Datenbankerweiterung, die meist mit Näherungsverfahren wie HNSW-Graphen (Malkov und Yashunin, 2016) arbeitet: Sie finden sehr wahrscheinlich, aber nicht zwingend exakt die nächsten Nachbarn.

Vektor- und Volltextsuche, deutsche Besonderheiten und Relevanzmessung vertieft Semantische Suche im Unternehmen.

06

Warum reicht reine Vektorsuche für RAG meist nicht aus?

Vektorsuche findet Bedeutung, verfehlt aber exakte Begriffe wie Normbezeichnungen, Artikelnummern und Eigennamen. Hybride Suche kombiniert sie deshalb mit einer Stichwortsuche nach BM25 und verschmilzt beide Ranglisten. Ein nachgeschaltetes Reranking bewertet die besten Kandidaten genauer, sodass weniger irrelevanter Text im Prompt landet und das Modell präziser antwortet.

Karpukhin et al. (EMNLP, 2020) maßen für dichte Vektorsuche eine um 9 bis 19 Prozentpunkte höhere Top-20-Trefferquote als ein starkes BM25-System. Das gilt für die dort genutzten Daten. Bei Kürzeln, Typenbezeichnungen und seltenen Fachbegriffen ist die Stichwortsuche oft gleichwertig oder besser.

Die hybride Suche führt beide Verfahren parallel aus und verschmilzt die Ranglisten, meist per Reciprocal Rank Fusion (Cormack et al., SIGIR 2009). Danach bewertet ein Reranking-Modell Frage und Kandidat gemeinsam, genauer als zwei getrennt berechnete Vektoren.

Die 67 Prozent stammen aus Anthropics Messung zu Contextual Retrieval (2024): Der Anteil relevanter Abschnitte außerhalb der Top 20 sank von 5,7 auf 1,9 Prozent. Übertragbar ist die Größenordnung, nicht der genaue Wert.

07

Wie antwortet das Modell nur aus den Quellen und zitiert sie?

Das Modell erhält die abgerufenen Abschnitte nummeriert und mit Herkunft, dazu die Anweisung, nur daraus zu antworten, jede Aussage mit der Nummer zu belegen und offen zu sagen, wenn die Abschnitte keine Antwort enthalten. Das System prüft anschließend, ob die zitierten Nummern existieren, und verlinkt die Fundstellen.

Drei Entscheidungen prägen die Generierung. Die Menge: Wenige gut geordnete Abschnitte schlagen viele mittelmäßige. Die Reihenfolge: Nach Liu et al. (2023) gehören die stärksten Treffer an den Anfang, nicht in die Mitte. Die Belegpflicht: Eine Aussage ohne Nummer gilt im System als Fehler.

Beantworte die Frage ausschließlich mit den folgenden Auszügen.
Belege jede Aussage mit der Nummer des Auszugs in eckigen Klammern, etwa [2].
Enthalten die Auszüge keine Antwort, sage das und nenne, welche Information fehlt.

[1] Quelle: Wartungshandbuch, Abschnitt 4.2, Fassung 2026-03
<Text des Auszugs>

[2] Quelle: Arbeitsanweisung Prüfstand, Abschnitt 1
<Text des Auszugs>

Frage: <Frage der Nutzerin oder des Nutzers>

08

Woran scheitern RAG-Systeme in der Praxis?

RAG-Systeme scheitern meist an wenigen wiederkehrenden Stellen: Der richtige Abschnitt wird nicht gefunden, er wird gefunden, aber nicht genutzt, veraltete Fassungen konkurrieren mit gültigen, Fragen verbinden mehrere Quellen, oder Rechte werden falsch abgebildet. Jedes Fehlerbild hat einen eigenen Prüfschritt, und die meisten Ursachen liegen vor dem Sprachmodell.

09

Welche RAG-Varianten gibt es, und wann braucht man sie?

Gao et al. (2023) unterscheiden naive, fortgeschrittene und modulare RAG-Systeme. Daneben gibt es Varianten für bestimmte Fehlerbilder: Anfragezerlegung für Fragen über mehrere Quellen, Graphansätze für Zusammenhänge und Überblicksfragen, agentischer Abruf für mehrstufige Recherchen und visueller Abruf für layoutreiche Dokumente. Jede Variante kostet zusätzliche Rechenschritte und sollte ein gemessenes Problem lösen.

Naives RAG ist die einfache Kette aus Index, Abruf und Generierung, fortgeschrittenes RAG ergänzt Schritte wie Umschreiben der Anfrage und Reranking, modulares RAG verschaltet austauschbare Bausteine je nach Anfrage. Praktisch zählt, welches beobachtete Versagen eine Erweiterung behebt.

• Anfragezerlegung (Query Decomposition) teilt eine zusammengesetzte Frage in Teilfragen. Messwerte und Kosten beschreibt Query-Zerlegung und der Advanced-RAG-Werkzeugkasten.
• RAG-Fusion stellt mehrere Umformulierungen einer Frage und verschmilzt die Ranglisten, siehe F-RAG (RAG-Fusion).
• Graphbasiertes RAG baut aus dem Bestand einen Wissensgraphen. Edge et al. (Microsoft Research, 2024) zeigen, dass einfaches RAG globale Fragen über einen ganzen Bestand nicht beantworten kann. Wann sich das lohnt: Wissensgraphen und GraphRAG.
• Agentischer Abruf lässt ein Modell selbst entscheiden, ob, wo und wie oft es sucht. Schleife, Werkzeuge und Freigabepunkte erklärt KI-Agenten in der Wissensarbeit.
• Visueller Abruf bettet Dokumentseiten als Bild ein, wie ColPali (Faysse et al., 2024). Wann das Texterkennung schlägt: Dokumente mit KI verstehen.

10

Wann ist RAG die richtige Wahl, und wann nicht?

RAG passt, wenn Antworten in schriftlichen Dokumenten stehen, sich diese ändern, Belege gebraucht werden und Zugriffsrechte gelten. Es passt schlecht für exakte Berechnungen aus Datenbanken, für Wissen, das nirgends aufgeschrieben ist, und für widersprüchliche Bestände ohne Zuständigkeit. Dann helfen eine Datenbankabfrage, eine Wissenserhebung oder zuerst die Pflege des Bestands.

Steckt das Wissen nur in Köpfen, beginnt die Arbeit vor dem Index: Wissen sichern, bevor es in Rente geht. Für den Betrieb im eigenen Netz: Lokale Sprachmodelle. Selbsttest: RAG-Readiness-Check, Umsetzung: RAG-Implementierung.