Semantische Suche im Unternehmen erklärt: Volltext, Vektoren, hybrid

01

Volltextsuche und semantische Suche suchen nach verschiedenen Dingen

Volltextsuche findet Dokumente, die die Wörter der Anfrage enthalten, und gewichtet seltene Wörter höher. Semantische Suche vergleicht stattdessen Bedeutungen: Anfrage und Dokument werden als Vektoren dargestellt, nahe Vektoren gelten als verwandt. Sie findet deshalb auch Text, der dieselbe Sache mit anderen Worten beschreibt.

Eine Volltextsuche ist im Kern ein Abgleich von Zeichenketten mit Gewichtung. Sie zählt, ob und wie oft ein Wort aus der Anfrage im Dokument steht, und wertet seltene Wörter höher als häufige. Das Wort selbst muss aber vorkommen. Eine semantische Suche geht anders vor: Sie übersetzt Anfrage und Dokument in Vektoren und misst deren Abstand. Zwei Sätze mit fast keinem gemeinsamen Wort können so als eng verwandt gelten, wenn sie dasselbe meinen.

Der umgekehrte Fall zeigt die Grenze. Ein Servicetechniker sucht nach der Fehlermeldung E-4711 oder der Norm DIN EN 60204-1. Hier zählt die wörtliche Übereinstimmung, und ein Vektor, der nur die ungefähre Bedeutung einer Zeichenkette kennt, liefert eher ähnliche Fehlercodes als den einen richtigen. Beide Verfahren ergänzen sich, sie ersetzen sich nicht. Wie diese Suche in ein System eingebettet wird, das aus den Treffern eine Antwort formuliert, beschreibt Retrieval-Augmented Generation; wo sie im gesamten Lebenszyklus von Unternehmenswissen steht, zeigt Wissensmanagement mit KI.

In unseren Projekten tritt genau dieses Muster regelmäßig auf: Ein Team ersetzt die alte Stichwortsuche vollständig durch ein Einbettungsmodell und wundert sich wenig später, warum Artikelnummern und Fehlercodes nicht mehr zuverlässig auftauchen. Der Fehler liegt selten im Modell, meist im Verzicht auf die andere Hälfte.

02

BM25 zählt Wörter, gewichtet Seltenheit, straft Länge

BM25 bewertet ein Dokument danach, wie oft die Suchbegriffe vorkommen, wie selten sie im Bestand insgesamt sind und wie lang das Dokument ist. Wiederholungen zählen mit abnehmendem Gewicht, lange Dokumente werden abgewertet. Das Verfahren ist schnell, nachvollziehbar, braucht kein Training.

Grundlage ist ein invertierter Index: Für jedes Wort speichert er, in welchen Dokumenten es vorkommt. BM25, beschrieben in der Übersicht von Robertson und Zaragoza (2009), berechnet daraus für jedes Dokument einen Punktwert aus drei Bestandteilen.

1. Seltenheit des Begriffs (inverse Dokumenthäufigkeit): Ein Wort, das in fast jedem Dokument steht, trägt wenig zur Unterscheidung bei, ein seltenes Fachwort viel.
2. Häufigkeit im Dokument mit Sättigung: Mehr Vorkommen erhöhen den Wert, aber mit abnehmendem Zuwachs. Der Parameter k1 steuert, wie schnell diese Sättigung eintritt.
3. Normalisierung der Länge: Ein langes Dokument enthält zufällig mehr Wörter. Der Parameter b bestimmt, wie stark die Länge ausgeglichen wird.

In verbreiteten Suchmaschinen ist BM25 die Voreinstellung, in Elasticsearch etwa mit k1 = 1,2 und b = 0,75 laut Dokumentation. Die Stärken: Tempo, Nachvollziehbarkeit (man sieht, welches Wort den Treffer ausgelöst hat), Präzision bei exakten Begriffen. Die Schwäche ist das Wortproblem. Synonyme, Umschreibungen und andere Wortformen findet BM25 nur, wenn die Textanalyse sie vorher angleicht. Für deutsche Texte ist genau diese Analyse der Punkt, an dem sich Treffer von Fehlanzeigen trennen, siehe unten.

03

Wie funktioniert Vektorsuche mit Einbettungen?

Ein Einbettungsmodell übersetzt jeden Textabschnitt in einen Vektor, eine lange Zahlenreihe. Die Anfrage wird mit demselben Modell übersetzt, ein Index sucht dann die nächstgelegenen Vektoren, meist über Kosinus-Ähnlichkeit. Weil Dokumentvektoren vorab berechnet werden, bleibt die Suche auch bei großen Beständen schnell.

Der Kniff, der den Unterschied macht, ist die Trennung von Anfrage und Dokument. Ein Modell, das beide gemeinsam liest, bewertet die Passung sehr genau, muss aber für jede Anfrage jedes Dokument neu lesen. Reimers und Gurevych (EMNLP, 2019) rechneten vor: Das Finden des ähnlichsten Paares unter 10.000 Sätzen dauert so rund 65 Stunden, mit vorab berechneten Satzvektoren (Sentence-BERT) etwa 5 Sekunden. Diese Modelle heißen Bi-Encoder, die gemeinsam lesenden Cross-Encoder, letztere kommen im Reranking zum Einsatz.

Um nicht jeden Vektor mit jedem vergleichen zu müssen, nutzen Indizes Näherungsverfahren. Verbreitet sind HNSW-Graphen (Malkov und Yashunin, 2016), in denen die Suche über mehrere Ebenen von groben zu feinen Nachbarschaften springt. Dafür gilt ein einstellbarer Kompromiss: Mehr Suchaufwand erhöht die Wahrscheinlichkeit, die tatsächlich nächsten Nachbarn zu finden, kostet aber mehr Latenz und Speicher. Mehr zum Embedding steht im Glossar.

04

Keins der beiden Verfahren gewinnt immer

Volltextsuche gewinnt bei exakten Begriffen, Kennungen und seltenen Fachwörtern, Vektorsuche bei Umschreibungen, Synonymen und Alltagssprache. Unabhängige Benchmarks zeigen: Dichte Modelle sind außerhalb ihrer Trainingsdaten nicht verlässlich besser als BM25. Hybride Suche nimmt beide Stärken mit und ist für Unternehmensbestände deshalb der übliche Ausgangspunkt.

Die beiden Benchmarks erklären, warum Pauschalurteile in beide Richtungen scheitern. BEIR (Thakur et al., 2021) testete Suchmodelle auf Datensätzen, für die sie nicht trainiert wurden: Reranking- und Late-Interaction-Modelle erreichten im Schnitt die besten Werte, dichte Modelle verallgemeinerten dagegen oft schlechter als BM25. MTEB (Muennighoff et al., 2022) fand über viele Aufgaben und Sprachen keine Einbettungsmethode, die überall führt. Wir haben in Projekten wiederholt gesehen, dass ein Modell mit Spitzenwert auf einer öffentlichen Rangliste im eigenen Bestand nur mittelmäßig abschneidet, während ein einfacheres Modell mit guter deutscher Textanalyse vorn liegt. Eine Messung mit eigenen Anfragen sagt mehr als jede Rangliste.

05

Reciprocal Rank Fusion verschmilzt Ränge, nicht Punktwerte

Hybride Suche führt Stichwortsuche und Vektorsuche parallel aus und verschmilzt beide Ranglisten. Reciprocal Rank Fusion addiert für jedes Dokument je Liste den Wert 1 geteilt durch 60 plus Rang. Dokumente, die in beiden Listen weit vorn stehen, gewinnen, ohne dass die Punktwerte beider Verfahren vergleichbar sein müssen.

Das Problem beim Kombinieren: BM25-Werte und Ähnlichkeitswerte liegen auf völlig verschiedenen Skalen. Man kann sie normalisieren und gewichtet addieren, muss die Gewichte dann aber für jeden Bestand neu einstellen. Reciprocal Rank Fusion umgeht das, indem sie nur die Ränge nutzt. Cormack, Clarke und Büttcher (SIGIR, 2009) legten die Konstante 60 in einer Vorstudie fest und stellten fest: Die Fusion übertraf die besten Einzelsysteme fast durchgängig. Die Konstante dämpft den Vorsprung der allerersten Plätze, Übereinstimmung zwischen den Listen zählt dadurch mehr als ein einzelner Spitzenplatz.

function rrf(ranglisten, k = 60) {
  const werte = new Map();
  for (const liste of ranglisten) {
    liste.forEach((id, index) => {
      const rang = index + 1;
      werte.set(id, (werte.get(id) ?? 0) + 1 / (k + rang));
    });
  }
  return [...werte.entries()].sort((a, b) => b[1] - a[1]);
}

// rrf([["A", "D", "B"], ["B", "C", "X", "A"]])

Dokument B gewinnt, obwohl die Stichwortsuche es nur auf Platz 3 sah, weil beide Verfahren es für relevant halten. Dasselbe Prinzip nutzt RAG-Fusion, die mehrere Umformulierungen einer Frage verschmilzt, siehe F-RAG (RAG-Fusion). Nach der Fusion folgt in guten Systemen ein Reranking der besten Kandidaten; mehr zur hybriden Suche im Glossar.

06

Was ist bei deutschsprachigen Dokumenten besonders (Komposita, Flexion, Umlaute)?

Deutsche Texte bilden lange zusammengesetzte Wörter, beugen Wörter stark und schreiben Umlaute unterschiedlich. Die Stichwortsuche braucht deshalb Zerlegung von Komposita, Stammformbildung und Normalisierung von Umlauten und ß. Einbettungsmodelle fangen vieles davon ab, aber nicht alles, deshalb gehören beide Seiten auf den Prüfstand mit deutschen Testfragen.

Ohne Textanalyse findet die Stichwortsuche das Wort Tasse nicht in Kaffeetasse und Prüfung nicht in Prüfungen. Suchmaschinen bringen dafür Filter mit. Der Hyphenation Decompounder von Elasticsearch etwa sucht über Silbentrennmuster mögliche Teilwörter und behält nur jene, die in einer Wortliste stehen; aus Kaffeetasse werden so zusätzlich die Einträge Kaffee und tasse. Der GermanNormalizationFilter von Apache Lucene ersetzt ß durch ss und ä, ö, ü durch a, o, u, sodass Müller und Mueller denselben Eintrag treffen.

07

Eine Vektordatenbank muss mehr können als Vektoren speichern

Eine Vektordatenbank speichert Einbettungen und findet näherungsweise schnell die nächsten Nachbarn. Für Unternehmensbestände zählen daneben Filter nach Metadaten und Rechten während der Suche, Aktualisierung und Löschung einzelner Einträge, hybride Abfragen, bei Bedarf mehrere Vektoren pro Dokument und ein planbarer Neuaufbau beim Wechsel des Einbettungsmodells.

Eine Vektordatenbank kann ein eigenständiges System sein oder eine Erweiterung einer vorhandenen Datenbank oder Suchmaschine. Die Produktwahl ist seltener ausschlaggebend als die Frage, ob die folgenden Eigenschaften für Ihren Bestand erfüllt sind. Besonders heikel ist das Filtern: Wird erst nach der Nachbarsuche nach Rechten gefiltert, bleiben von zehn Treffern womöglich zwei übrig, der Rest der richtigen Dokumente wurde nie geprüft. Wie Rechte sauber durch die Suche getragen werden, beschreibt Berechtigungen in KI-Wissenssystemen.

08

Was ist späte Interaktion (ColBERT), und wann lohnt sie sich?

Späte Interaktion, bekannt aus ColBERT (Khattab und Zaharia, SIGIR 2020), speichert statt eines Vektors pro Abschnitt einen Vektor pro Token und vergleicht erst bei der Suche jeden Anfragebegriff mit der passendsten Textstelle. Das trifft feiner als ein Einzelvektor, kostet aber deutlich mehr Speicher und dient deshalb oft nur dem Neuordnen.

Ein einzelner Vektor mittelt einen ganzen Abschnitt zu einem Durchschnitt. Späte Interaktion (Late Interaction) behält die Einzelteile und summiert für jeden Anfragebegriff den besten Treffer. Übertragen auf Seitenbilder steckt das Prinzip in visuellen Abrufmodellen, siehe Dokumente mit KI verstehen. Den Aufbau mit schneller Vorauswahl und genauer Nachbewertung erklärt Late Interaction erklärt.

09

Suchqualität ist eine Zahl, keine Meinung

Suchqualität misst man mit einem Testsatz aus echten Anfragen und bekannten relevanten Dokumenten. Recall@k gibt an, welcher Anteil der relevanten Dokumente unter den ersten k Treffern liegt. nDCG bewertet zusätzlich Reihenfolge und abgestufte Relevanz: Ein sehr relevantes Dokument auf Platz 1 zählt mehr als auf Platz 8.

1. Anfragen sammeln

   Echte Suchanfragen aus Protokollen oder Gesprächen, auch vage und fehlerhaft geschriebene.

2. Relevanz festlegen

   Fachleute markieren je Anfrage die passenden Dokumente, gern abgestuft in sehr, teilweise und nicht relevant.

3. Kennzahlen berechnen

   Recall@k und nDCG@k für jede Suchvariante auf demselben Testsatz.

4. Änderungen vergleichen

   Jede Änderung an Analyse, Modell oder Fusion läuft gegen denselben Testsatz, bevor sie live geht.

Ein Rechenbeispiel: Zu einer Anfrage gibt es drei relevante Dokumente, zwei davon stehen unter den ersten fünf Treffern. Recall@5 beträgt dann 2 von 3, rund 0,67. Recall zählt nur, ob etwas gefunden wurde, nicht wo. Die Definitionen stehen im Lehrbuch von Manning, Raghavan und Schütze (2008); die abgestufte Bewertung mit Rangabschlag geht auf Järvelin und Kekäläinen (ACM TOIS, 2002) zurück. Für RAG ist Recall@k der wichtigste Wert, weil das Modell nur sieht, was abgerufen wurde. Wie man darauf aufbauend ganze Antworten bewertet, zeigt KI-Antworten prüfen.