AI
·
4 MIN
Was ist RAG? Retrieval-Augmented Generation für den Mittelstand erklärt
RAG koppelt ein Sprachmodell an Ihre eigenen Dokumente, damit Antworten belegbar und aktuell bleiben.
LOCATION
Rheinland-Pfalz
SERIES
RAG Architectures
AUTHOR
Aashwin Shrivastava
PUBLISHED
Retrieval-Augmented Generation, kurz RAG, verbindet ein Sprachmodell mit einer durchsuchbaren Sammlung Ihrer eigenen Dokumente. Statt die Antwort allein aus dem Trainingswissen zu erzeugen, sucht das System zuerst die passenden Stellen in Ihren Daten und formuliert die Antwort daraus. Für den Mittelstand ist das der praktischste Weg, ein Sprachmodell auf das eigene Wissen anzuwenden, ohne ein Modell neu zu trainieren und ohne dass interne Unterlagen die eigene Infrastruktur verlassen.
Dieser Beitrag erklärt, was RAG ist, wie eine Pipeline aufgebaut ist, warum der Retriever meist wichtiger ist als die Modellgröße und wann sich der Aufwand lohnt.
01.
Das Problem, das RAG löst
Ein allgemeines Sprachmodell kennt Ihre internen Dokumente nicht. Es wurde auf öffentlichen Daten trainiert und endet mit einem Stichtag. Fragt ein Mitarbeiter nach der aktuellen Liefervereinbarung mit einem bestimmten Zulieferer, hat das Modell zwei Möglichkeiten: Es sagt, dass es die Antwort nicht kennt, oder es erfindet eine plausibel klingende. Die zweite Möglichkeit ist die gefährliche.
RAG schließt diese Lücke. Vor jeder Antwort durchsucht das System Ihre eigenen Quellen, etwa Verträge, Handbücher, Tickets oder ein Wiki, und übergibt die relevanten Abschnitte an das Modell. Das Modell formuliert dann eine Antwort, die auf diesen konkreten Stellen beruht und sie zitieren kann. Aus einem Modell, das raten muss, wird ein System, das nachschlägt. Den weiteren geschäftlichen Nutzen haben wir in Discover the Potential of AI in Business beschrieben.
02.
Wie eine RAG-Pipeline funktioniert
Eine RAG-Pipeline besteht aus fünf Schritten, die sich sauber voneinander trennen lassen.
Indexierung. Ihre Dokumente werden in kleine Abschnitte zerlegt und in numerische Vektoren übersetzt, die ihre Bedeutung abbilden. Diese Vektoren liegen in einer Vektor-Datenbank.
Retrieval. Zu einer Frage berechnet das System den passenden Vektor und holt die ähnlichsten Abschnitte aus der Datenbank. Hier entscheidet sich die Qualität der späteren Antwort.
Augmentierung. Die gefundenen Abschnitte werden zusammen mit der Frage in den Prompt des Modells gelegt.
Generierung. Das Modell formuliert die Antwort aus dem mitgelieferten Kontext, nicht aus seinem Gedächtnis.
Quellenangabe. Das System nennt die Dokumente, aus denen die Antwort stammt, sodass ein Mensch sie prüfen kann.
Wichtig ist der dritte Punkt der Trennung: Sie können das Modell austauschen, ohne Ihre Daten neu aufzubereiten, und Sie können Ihre Daten aktualisieren, ohne das Modell anzufassen.
03.
Warum der Retriever oft wichtiger ist als die Modellgröße
Die meiste Energie fließt in der Praxis in die Wahl des Modells. Nach unserer Erfahrung liegt der Hebel öfter beim Retrieval. Wir haben dieselbe fachliche Frage gegen ein großes gehostetes Modell und gegen ein kleineres lokales Modell mit sorgfältig abgestimmtem Retriever gestellt. Bei eindeutigen Fragen lagen beide gleichauf. Bei den mehrdeutigen Fällen, also der Minderheit, die wirklich zählt, entschied die Retrieval-Qualität über die brauchbare Antwort, nicht die Modellgröße.
Der Grund ist einfach: Ein größeres Modell formuliert eine falsche Antwort nur eloquenter, wenn ihm der richtige Abschnitt fehlt. Ein gut abgestimmter Retriever liefert dagegen die passende Stelle, und dann genügt ein kleineres Modell. Dieselbe Beobachtung haben wir schon in unserem früheren Beitrag zu Retrieval-Augmented Generation ausführlicher beschrieben.
04.
RAG, Datenschutz und der On-Premise-Fall
RAG passt gut zu einer datenschutzbewussten Architektur, weil sich alle Bausteine im eigenen Haus betreiben lassen. Retriever, Vektor-Datenbank und Modell können on-prem laufen, sodass weder die Frage noch die gefundenen Dokumente an einen externen Dienst gehen. Für Unternehmen, die mit Personendaten, Verträgen oder Konstruktionsunterlagen arbeiten, ist das oft die Voraussetzung dafür, dass ein Projekt überhaupt startet.
Welches Modell sich für den lokalen Betrieb eignet und mit welcher Hardware, behandeln wir in Lokales LLM im Unternehmen: Hardware, Kosten, Realität. Die grundsätzliche Abwägung zwischen lokalem Betrieb und Cloud steht in On-Premise vs. Cloud-LLM: Wann lokale KI die richtige Wahl ist.
05.
Wann sich RAG lohnt und wann nicht
RAG lohnt sich, wenn Ihr Wissen in Dokumenten steckt, sich regelmäßig ändert und von vielen Menschen abgefragt wird. Typische Fälle sind interne Wissensdatenbanken, Support, Angebotsprüfung und die Suche in technischer Dokumentation.
RAG lohnt sich weniger, wenn die Antwort eine exakte Berechnung aus einer Datenbank ist, denn dafür ist eine klassische Abfrage präziser. Es ersetzt auch keine saubere Datenpflege: Sind die Quelldokumente widersprüchlich oder veraltet, liefert auch ein gutes Retrieval widersprüchliche Antworten. Der erste Schritt eines RAG-Projekts ist deshalb meist die ehrliche Sichtung des vorhandenen Wissens, nicht die Wahl des Modells.
