Der Unterschied in einem Satz
Fine-Tuning verändert das Modell. Retrieval-Augmented Generation lässt das Modell unverändert und legt ihm zur Laufzeit die passenden Stellen aus Ihren Dokumenten vor.
Daraus folgt fast alles Weitere. Ein feinjustiertes Modell trägt sein Wissen in den Gewichten und kann nicht sagen, woher eine Aussage stammt. Ein Retrieval-System trägt sein Wissen in einem Index und liefert zu jeder Aussage die Fundstelle mit.
Wann RAG die richtige Wahl ist
Wenn sich Ihr Wissen ändert. Neue Handbücher, Verträge, Preislisten oder Tickets sind mit dem Einlesen verfügbar, ohne dass irgendetwas nachtrainiert wird.
Wenn eine Antwort belegt sein muss. Alles, was in Angebote, Auskünfte oder Gutachten einfließt, braucht eine Fundstelle, und die kann nur ein Retrieval-System liefern.
Wenn Rechte gelten sollen. Ein Index kennt Ordner und Rollen, also lässt sich abbilden, dass Vertrieb und Personalabteilung auf dieselbe Frage unterschiedliche Antworten bekommen. In den Gewichten eines Modells ist diese Trennung nicht mehr rekonstruierbar.
Wann Fine-Tuning etwas beiträgt
Bei Form statt Inhalt. Ein bestimmtes Ausgabeformat, ein Hausstil, ein festes Antwortschema oder eine enge Klassifikationsaufgabe mit vielen Beispielen sind genau das, was Fine-Tuning gut kann.
Bei Fachsprache, die im Vortraining kaum vorkommt. Ein Modell, das Ihre Bauteilbezeichnungen und Abkürzungen nie gesehen hat, lernt sie über Beispiele zuverlässiger als über Kontext.
Bei sehr hohem Volumen. Wo derselbe eng umrissene Schritt millionenfach läuft, spart ein kleineres feinjustiertes Modell Inferenzkosten gegenüber einem großen Modell mit langem Prompt.
Die Kosten stehen an verschiedenen Stellen
Bei RAG liegt der Aufwand vorne im Datenweg: Quellen erschließen, sinnvoll zerlegen, indexieren, Retrieval messen. Danach ist der Betrieb überschaubar, und jede Wissensänderung ist ein Einlesevorgang.
Bei Fine-Tuning liegt der Aufwand im Datensatz und wiederholt sich. Beispiele kuratieren, trainieren, gegen einen Testsatz prüfen, und das erneut bei jeder relevanten Änderung. Der erste Lauf ist selten das Problem, der fünfte ist es.
In der Praxis ist es meistens beides, in dieser Reihenfolge
Der übliche Weg beginnt mit Retrieval, weil sich damit schneller zeigt, ob die Datenlage überhaupt trägt. Erst wenn die Antworten inhaltlich stimmen und nur noch Form, Ton oder ein enger Sonderfall stören, lohnt Fine-Tuning obendrauf.
Umgekehrt geht es fast nie gut aus. Ein feinjustiertes Modell auf einer schlechten Wissensbasis liefert dieselben Lücken, nur flüssiger formuliert.
Wie wir die Entscheidung treffen
Wir bauen zuerst einen Testsatz aus echten Fragen Ihres Hauses mit geprüft richtigen Antworten. Ohne ihn ist jeder Vergleich zwischen den beiden Wegen Geschmackssache.
Dann messen wir ein einfaches Retrieval-System dagegen. In den meisten Fällen im Mittelstand steht danach fest, dass die verbleibende Lücke keine Trainingsfrage ist, sondern eine Frage von Chunking, Suche und Berechtigungen.
