RAG · IMPLEMENTIERUNG

RAG-Implementierung: wo ein Projekt gewinnt oder verliert

Ein Sprachmodell in einem RAG-System formuliert nur, was ihm die Suche vorher vorlegt. Ob ein solches Projekt im Alltag trägt, entscheidet sich deshalb an vier Stellen: wie Dokumente zerlegt werden, wie gut die Suche trifft, wie die Antworten geprüft werden und wer welche Antwort überhaupt sehen darf.

RAG-Projekt besprechen Zur KI-Beratung RAG-Readiness prüfen

Oder: 20-Minuten-Erstgespräch anfragen

AKTUALISIERT: 13. September 2026
LESEZEIT: 6 Min.
THEMA: RAG-Implementierung

Größter Hebel: Die Wahl der Zerlegungsmethode veränderte die Trefferquote in einem Vergleichstest um bis zu 9 Prozentpunkte (Chroma, 2024).
Eigenes Risiko: OWASP führt Schwächen von Vektor-Datenbanken und Einbettungen als LLM08 der Top 10 für LLM-Anwendungen 2025.
Bewertung ohne Musterantworten: Das Verfahren RAGAS misst Quellentreue und Antwortrelevanz, ohne dass Menschen vorab Musterantworten schreiben müssen (Es u. a., 2023).
Rechtevorlage: Der BSI-Baustein ORP.4 beschreibt Anforderungen an ein Identitäts- und Berechtigungsmanagement, unabhängig vom eingesetzten System.

Warum liegt die Qualität eines RAG-Systems selten am Sprachmodell?

Ein Sprachmodell formuliert nur, was es an Textstellen vorgelegt bekommt. Ob diese Stellen richtig geschnitten, richtig gefunden, geprüft und für die fragende Person überhaupt freigegeben sind, entscheidet sich vorher, bei Zerlegung, Suche, Bewertung und Zugriffsrechten. Ein größeres Modell repariert eine schlechte Suche nicht, es formuliert die falsche Antwort nur flüssiger.

Ein Unternehmen, das nach einer enttäuschenden ersten Antwortrunde zu einem größeren oder teureren Modell wechselt, behandelt meist ein Symptom. Die eigentliche Fehlersuche beginnt bei den Textabschnitten, die dem Modell tatsächlich vorlagen, nicht beim Modell selbst.

Was genau macht ein Dokument für die Suche überhaupt auffindbar?

Ein Dokument wird erst durch Zerlegung in Abschnitte, sogenanntes Chunking, für die Suche greifbar. Jeder Abschnitt muss für sich verständlich sein und trotzdem zu einer Frage passen können. Zu kleine Abschnitte verlieren den Zusammenhang, zu große verwässern den Treffer, und beides zeigt sich erst im Test, nicht in der Theorie.

Die genaue Zerlegungsmethode entscheidet mehr, als der Name vermuten lässt. Feste Zeichenlängen sind der einfachste Einstieg, folgen aber nicht der Struktur eines Dokuments. Neuere Verfahren betten deshalb zuerst das ganze Dokument ein und teilen erst danach (Günther u. a., 2024), was im Einzelfall eine technische Abwägung bleibt.

Wie erkennt ein Unternehmen, ob die Suche wirklich gute Treffer liefert?

Über die Trefferqualität entscheidet ein Prüfsatz aus echten, wiederkehrenden Fragen mit vorher festgelegter richtiger Antwort, nicht der Eindruck aus ein paar Beispielen. Verfahren wie RAGAS messen dabei getrennt, ob die gefundenen Abschnitte zur Frage passen und ob die Antwort tatsächlich aus ihnen stammt, statt nur plausibel zu klingen.

Ohne einen solchen Prüfsatz bleibt jede Aussage über Qualität ein Eindruck. Sobald er vorliegt, lässt sich jede Änderung an Zerlegung oder Suche daran messen, statt sie zu vermuten.

Wer darf im fertigen System welche Antwort überhaupt zu sehen bekommen?

Ein RAG-System kann Leserechte aus dem Ursprungssystem übernehmen und bei jeder Suche nur die Abschnitte zulassen, auf die die fragende Person ohnehin Zugriff hätte. Das gehört in die Suche selbst, nicht in eine nachträgliche Prüfung der fertigen Antwort, weil sonst unberechtigte Inhalte kurz sichtbar sein können.

Ohne diese Anbindung kennt der Index zwar Inhalte, aber keine Berechtigungen, und jede fragende Person sieht am Ende dasselbe. Mehr zur technischen Umsetzung steht bei Berechtigungen in KI-Wissenssystemen.

Was sollte vor dem ersten Prototyp geklärt sein?

Bevor ein Prototyp entsteht, lohnt sich Klarheit über vier Punkte: welche Dokumente überhaupt in Frage kommen, wer für sie zuständig ist, welche echten Fragen beantwortet werden sollen und wer im Haus die Rechtefrage kennt. Ohne diese Klärung entsteht ein technisch funktionierendes System, das niemand vertrauensvoll nutzt.

Von der Idee zum geprüften Prototyp

01Dokumente sichtenWelche Quellen enthalten wirklich Antworten
02Zuständige benennenWer entscheidet, was gilt
03Prüffragen sammelnEchte, wiederkehrende Fragen mit bekannter Antwort
04Prototyp prüfenGegen den Prüfsatz, nicht nach Eindruck
05Rechte festlegenWer welche Abschnitte sehen darf

Diese Reihenfolge verhindert das häufigste Muster: ein technisch fertiges System, dessen lückenhafte Dokumentenlage erst nach dem Start auffällt.

Welche Annahmen über RAG halten sich in der Praxis nicht?

Woran zeigt sich, ob ein RAG-System im Alltag wirklich trägt?

Ob ein RAG-System trägt, zeigt sich nicht an einer beeindruckenden Vorführung, sondern an einem Prüfsatz aus echten Fragen mit festgelegter richtiger Antwort. Verfahren wie RAGAS bewerten dabei getrennt, ob die Suche die passenden Abschnitte findet und ob die Antwort sich tatsächlich auf sie stützt.

bis zu 9 ProzentpunkteUnterschied im Recall zwischen Zerlegungsverfahren in einem VergleichstestChroma Technical Report, 2024

3 Kennzahlenprüft RAGAS ohne von Menschen erstellte Musterantworten: Quellentreue, Antwortrelevanz, KontextrelevanzEs u. a., arXiv, 2023

Beide Kennzahlen ersetzen keinen Menschen, der die Antwort am Ende liest. Sie zeigen aber früh, ob ein Problem in der Suche oder in der Formulierung liegt, bevor ein System für alle im Haus freigegeben wird.

Was gehört auf die Checkliste vor dem produktiven Rollout?

Checkliste

Vor der Freigabe für alle im Haus

0 von5

Diese Punkte lassen sich vor dem Rollout Stück für Stück abhaken.

Prüfsatz liegt vorEchte, wiederkehrende Fragen mit festgelegter richtiger Antwort.
Zerlegung geprüftStichprobenhaft gelesen: Ist ein Abschnitt für sich verständlich?
Rechte angebundenDie Suche filtert nach den Leserechten der fragenden Person.
Zuständigkeit benanntJemand entscheidet, welche Quelle noch gilt und welche nicht.
Rückmeldeweg eingerichtetEine falsche Antwort landet bei einer Person, die die Quelle korrigieren kann.

Kein Punkt auf dieser Liste ist rein technisch. Jeder hängt an einer Entscheidung, die im Fachbereich liegt, nicht in der Technik allein.

VERTRAUT VON TEAMS, DIE KI ERNST NEHMEN

Häufige Fragen

Reicht ein größeres oder teureres Sprachmodell, wenn Antworten ungenau sind?

Selten. Ein Sprachmodell formuliert nur aus dem, was ihm die Suche vorlegt. Liegt das Problem bei falschen oder unvollständigen Abschnitten, bekommt jedes Modell dieselbe lückenhafte Grundlage und formuliert die falsche Antwort lediglich flüssiger. Die Fehlersuche beginnt deshalb bei Zerlegung und Suche, nicht beim Modell.

Müssen unsere Dokumente vorher aufwändig aufbereitet werden?

Nicht zwingend. Eine grobe Struktur mit Überschriften und Absätzen hilft der Zerlegung erheblich, ist aber kein Projektblocker. Ein kurzer Test an einer Stichprobe zeigt schnell, ob die vorhandene Struktur für verständliche Abschnitte ausreicht oder ob vorher aufgeräumt werden sollte.

Wie viele Prüffragen braucht eine erste Bewertung der Suche?

Eine Handvoll echter, häufig gestellter Fragen mit bekannter richtiger Antwort reicht für den Anfang, um grobe Schwächen in Zerlegung oder Suche sichtbar zu machen. Der Prüfsatz wächst danach mit jeder Frage, die im Betrieb tatsächlich auftaucht.

Kann jede fragende Person im System alles sehen?

Nein, nicht wenn das System an die Leserechte des Ursprungssystems angebunden ist. Die Suche lässt dann nur die Abschnitte zu, auf die die fragende Person ohnehin Zugriff hätte. Ohne diese Anbindung sieht dagegen jede Person denselben ungefilterten Index.

Was unterscheidet RAG von einer klassischen Volltextsuche im Intranet?

Eine Volltextsuche liefert eine Liste von Fundstellen, die jemand selbst lesen und zusammenfassen muss. Ein RAG-System formuliert daraus direkt eine Antwort und nennt die Fundstelle mit, sodass sich die Aussage prüfen lässt, ohne mehrere Dokumente einzeln zu öffnen.

Woran erkennt man, dass die Zerlegung der Dokumente das eigentliche Problem ist?

Wenn dieselbe Frage je nach Formulierung völlig unterschiedliche Antworten erhält oder wenn zitierte Abschnitte für sich allein keinen Sinn ergeben, liegt das Problem meist an der Zerlegung, nicht am Sprachmodell. Ein Blick in einzelne Abschnitte des Index zeigt das schnell.